Create 13. Установка и настройка Neutron

Власов Дмитрий
2020-08-12 01:12:12 +03:00
parent b1555887fc
commit 41919afb6b
@@ -0,0 +1,542 @@
## Схема сетевых подключений
![Neutron scheme](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_13/image6.png)
В данной схеме используется Self-Service Network, которая позволяет создавать неограниченное колличество пользовательских сетей, поверх имеющейся оверлейной сети с помощью VXLAN. Так же добавлена сеть доступа, которая позволяет выдавать глобально-маршрутизируемые IP адреса.
# Установка и настройка Управляющего узла
## Создаём базу данных
```
mysql -u root -p
```
```
MariaDB [(none)]>CREATE DATABASE neutron;
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'localhost' \
IDENTIFIED BY 'NEUTRON_DBPASS';
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'%' \
IDENTIFIED BY 'NEUTRON_DBPASS';
```
>Заменяем NEUTRON_DBPASS
```
. admin-openrc
```
Для создания служебных учётных данных, выполните следующие шаги:
```
openstack user create --domain default --password-prompt neutron
User Password:
Repeat User Password:
+---------------------+----------------------------------+
| Field | Value |
+---------------------+----------------------------------+
| domain_id | default |
| enabled | True |
| id | 319f34694728440eb8ffcb27b6dd8b8a |
| name | neutron |
| password_expires_at | None |
+---------------------+----------------------------------+
```
```
openstack role add --project service --user neutron admin
```
```
openstack service create --name neutron \
--description "OpenStack Networking" network
+-------------+----------------------------------+
| Field | Value |
+-------------+----------------------------------+
| description | OpenStack Networking |
| enabled | True |
| id | f71529314dab4a4d8eca427e701d209e |
| name | neutron |
| type | network |
+-------------+----------------------------------+
```
Создайте конечные точки API для сервиса Сетей:
```
openstack endpoint create --region RegionOne \
network public http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 85d80a6d02fc4b7683f611d7fc1493a3 |
| interface | public |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
openstack endpoint create --region RegionOne \
network internal http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 09753b537ac74422a68d2d791cf3714f |
| interface | internal |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
openstack endpoint create --region RegionOne \
network admin http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 1ee14289c9374dffb5db92a5c112fc4e |
| interface | admin |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
```
## Установка и настройка сетевого узла.
Сетевой узел необходим для маршрутизации трафика, управления службой neutron, фаерволами и прочими сетевыми функциями.
## Плагины
Выбираем, что будет обеспечивать 2 уровнь виртуальной сети
* [linuxbridge](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.1-Neutron-linuxbridge-VXLAN)
* [Open vSwitch](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.2-Self-service-network-%D0%B8-ovs)
----
----
----
----
## ВСЁ В КУЧУ
### Openvswitch конфигурация
### Установка необходимых компонентов и настройка модуля neutron.
```
yum install openstack-neutron openstack-neutron-ml2 \
openstack-neutron-openvswitch ebtables
```
Отредактируйте файл `/etc/neutron/neutron.conf`
```
[database]
#...
connection = mysql+pymysql://neutrondb:NEUTRON_DBPASS@controller-net/neutron
[DEFAULT]
#...
global_physnet_mtu = 9000 # глобальное значение mtu для физических интерфейсов
core_plugin = ml2
service_plugins = router, qos # используемые плагины. Router для маршрутизации трафика,
# QoS для настройки скорости и приоритезации трафика
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
allow_overlapping_ips = true
auth_strategy = keystone
notify_nova_on_port_status_changes = True
notify_nova_on_port_data_changes = True
#...
[keystone_authtoken]
#...
www_authenticate_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS
#...
[nova]
#...
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = nova
password = NOVA_PASS
#...
[oslo_concurrency]
lock_path = /var/lib/neutron/tmp
#...
[oslo_messaging_notifications]
driver = messagingv2
```
### Настраиваем плагин Modular Layer 2 (ML2).
Этот плагин отвечает за работу L2 в инфраструктуре. Он задает необходимые параметры, касаемые вланов, интерфейсов, драйверов и прочего.
Для этого редактируем файл `/etc/neutron/plugins/ml2/ml2_conf.ini`
```
[ml2]
...
type_drivers = flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security, qos
path_mtu = 1550 # MTU для создаваемых сетей. Для vxlan будет 1550 - 50(заголовок), итого 1500.
physical_network_mtus = provider:9000 # MTU для сети провайдера
[ml2_type_flat]
#...
flat_networks = provider1 # Прописывается только в случае наличия нетэгированной провайдерской сети.
#...
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212
#...
[ml2_type_vxlan]
#...
vni_ranges = 65537:69999
#...
[securitygroup]
#...
enable_security_group = True
firewall_driver = openvswitch # Для фильтрации трафика средствами openvswitch, а не iptables
```
В данном случае фильтрация трафика выполняется с помощью создания flow правил прохождения трафика через openvswitch, либо запрета его прохождения.
### Настройка агента openvswitch
Этот агент непосредственно управляет OVS. Он управляет созданием ovs интерфейсов, присоединением их к различным узлам, мостам и сетевым интерфейсам на узле контроллера сети.
``` vi /etc/neutron/plugins/ml2/openvswitch_agent.ini ```
```
[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.200 # IP адрес необходим для работы vxlan. Именно через этот адрес
# эти vxlan будут связаны. OVS в ствоей работе не требует непосредственной
# привязки vxlan к конкретному сетевому интерфейсу, а взаимодействие между
# точками подключения vxlan будет происходить непосредственно
# через указанные ip адреса и связанные с ними интерфейсы
bridge_mappings = provider:br-ext-main # определяется сетевой интерфейс, на котором будет находится
# данная физическая сеть. Далее возможно настройка этой сети, например как
# flat или vlan.
[securitygroup]
firewall_driver = openvswitch
[xenapi]
```
### Настраиваем Linux Bridge агент.
Этот агент на управляющем узле необходим чтобы создавать внешних интерфейсов, например для маршрутизации трафика. Он использует все механизмы linux bridge
Редактируем файл `/etc/neutron/plugins/ml2/linuxbridge_agent.ini`
```
[linux_bridge]
physical_interface_mappings = provider1:eth2
[vxlan]
enable_vxlan = true
local_ip = 172.17.3.200
l2_population = true
[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
```
### Настройка DHCP агента.
Редактируем файл `/etc/neutron/dhcp_agent.ini`
```
[DEFAULT]
...
interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver # в случае использования OVS указать openvswitch
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
enable_isolated_metadata = True
```
### Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов.
Редактируем файл `/etc/neutron/l3_agent.ini `
```
[DEFAULT]
interface_driver = linuxbridge # в случае использования OVS указать openvswitch
[agent]
[ovs]
```
### Настройка агента метаданных.
Генерируем uuid: `uuidgen`
Редактируем файл `/etc/neutron/metadata_agent.ini`
```
nova_metadata_ip = controller-virt
metadata_proxy_shared_secret = UUIDGEN_REZ
```
>Заменить NEUTRON_PASS and UUIDGEN_REZ
## Настройка вычислительной службы для использования сетевой службы
Редактируем `/etc/nova/nova.conf`
```
[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS
service_metadata_proxy = True
metadata_proxy_shared_secret =UUIDGEN_REZ
```
>Заменить NEUTRON_PASS and UUIDGEN_REZ
Завершаем установку на управляющем узле
логинимся от root'a
```
sudo su
```
Создаём ссылку
```
ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini
```
Заполняем базу данных
```
su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
--config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron
```
выходим из root'a
Перезапустите API сервис вычислительных ресурсов:
```
sudo systemctl restart openstack-nova-api.service
```
Запустите сервисы службы Сети и настройте их автоматический запуск при загрузке системы.
Для обеих сетевых опций:
```
sudo systemctl enable neutron-server.service \
neutron-openvswitch-agent.service neutron-l3-agent.service \
neutron-dhcp-agent.service neutron-metadata-agent.service
sudo systemctl start neutron-server.service \
neutron-openvswitch-agent.service neutron-l3-agent.service \
neutron-dhcp-agent.service neutron-metadata-agent.service
```
# Установка и настройка на compute-node
На вычислительном узле запускается только плагин, отвечающий за работу конкретного l2 устройства, linuxbridge или openvswitch.
```
yum install openstack-neutron-openvswitch ebtables ipset
```
### Настройка работы агента сетевой службы
Редактируем `/etc/neutron/neutron.conf`
```
[DEFAULT]
...
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
auth_strategy = keystone
[keystone_authtoken]
...
auth_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS
[oslo_concurrency]
...
lock_path = /var/lib/neutron/tmp
```
### Настройка агента управления L2
Редактируем `/etc/neutron/plugins/ml2/ml2_conf.ini`
```
[DEFAULT]
[l2pop]
[ml2]
path_mtu = 9000
tenant_network_types = vxlan # Тип сети для частных сетей
type_drivers = flat,vlan,vxlan
extension_drivers = port_security
mechanism_drivers = openvswitch,l2population
physical_network_mtus = provider:9000 # MTU физической провайдерской сети
[ml2_type_flat]
[ml2_type_geneve]
[ml2_type_gre]
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212 # разрешённые vlan. С 160 по 165 и 212
[ml2_type_vxlan]
vni_ranges = 65537:69999
[securitygroup]
enable_security_group = True
firewall_driver = ovs_learn_action
[agent]
extensions = qos
```
### Настройка плагина openvswitch
Редактируем `/etc/neutron/plugins/ml2/openvswitch_agent.ini`
```
[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.X
bridge_mappings = provider:br-ext-main #интерфейс для сети provider
[securitygroup]
firewall_driver = openvswitch
[xenapi]
```
Далее необходимо перезапустить службу
```
sudo systemctl enable neutron-openvswitch-agent.service
sudo systemctl start neutron-openvswitch-agent.service
```
### Настройка плагина linuxbridge
Редактируем `/etc/neutron/plugins/ml2/linuxbridge_agent.ini`
```
[linux_bridge]
bridge_mappings = provider:bond0
#Провайдер не может быть bridge интерфейсом, так как потом нельзя будет примапить бридж к бриджу. Так же
# он не может быть vlan интерфейсом... почему то. В итоге нужно делать либо физический интерфейс или bound,
# а при создании внешней сети - выбирать
[vxlan]
l2_population = true
[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
```
```
sudo systemctl enable neutron-linuxbridge-agent.service
sudo systemctl start neutron-linuxbridge-agent.service
```
## Настраиваем вычислительную службу для использования сетевой службы
Редактируем файл `/etc/nova/nova.conf`
```
[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS
```
> Заменить NEUTRON_PASS
Завершите установку
```
sudo systemctl restart openstack-nova-compute.service
```
# Решение проблемы с отсутствием сети на узлах
Чтобы просмотреть список введенных напрямую правил использовать команду
```
firewall-cmd --get-all-rules --direct
```
Чтобы обеспечить сеть на узлах для виртуальных машин, нужно добавить правило:
```
sudo firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -j ACCEPT
```
В случае работы с Linuxbridge и VXLAN на узле контроллера необходимо разрешить порт 8472/udp
```
firewall-cmd --add-port 8472/udp --permanent
firewall-cmd --reload
```
## Troubleshoot
### 1. Отслеживание пакетов конкретного VXLAN
В случае необходимости посмотреть пакеты нужного VXLAN, необходимо запускать tcpdump со следующими параметрами:
```
tcpdump -l -n -i {int} 'port 8472 and udp[8:2] = 0x0800 & 0x0800 and udp[11:4] = {VNI} & 0x00FFFFFF' -nn
```
где:
```
int - физический интерфейс
VNI - VXLAN id
```
### 2. Выполнение команд с виртуального роутера.
Виртуальный роутер является минимального размера контейнером, который имеет интерфейсы и встроенные утилиты для работы
с ним. Чтобы выяснить id виртуального роутера, необходимо в командной строке сетевого контроллера выполнить команду:
```
ip netns list
```
и увидеть вывод, на подобии следующего:
```
[root@controller-net ~]# ip netns list
qdhcp-ea7c22df-e90e-40c7-bc7b-375dcc93273e (id: 0)
qrouter-73d88700-1b3f-479e-ace4-360cf46afadf (id: 1)
```
Это значить что id роутера - `qrouter-73d88700-1b3f-479e-ace4-360cf46afadf`
Для выполненеия команд с роутера(например команды `ip a`) необходимо выполнить:
```
ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
```
Что выведет интерфесы непосредственного виртуального роутера, например так:
```
[root@controller-net ~]# ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
3: qg-4faaa818-e1@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc noqueue state UP group default qlen 1000
link/ether fa:16:3e:8b:a1:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 172.17.5.7/24 brd 172.17.5.255 scope global qg-4faaa818-e1
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:fe8b:a1b9/64 scope link
valid_lft forever preferred_lft forever
4: qr-eb20e42d-80@if19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8946 qdisc noqueue state UP group default qlen 1000
link/ether fa:16:3e:53:fc:2a brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 192.168.1.1/24 brd 192.168.1.255 scope global qr-eb20e42d-80
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:fe53:fc2a/64 scope link
valid_lft forever preferred_lft forever
```