Clone
13. Установка и настройка Neutron
Власов Дмитрий edited this page 2020-08-12 01:12:12 +03:00
This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

Схема сетевых подключений

Neutron scheme

В данной схеме используется Self-Service Network, которая позволяет создавать неограниченное колличество пользовательских сетей, поверх имеющейся оверлейной сети с помощью VXLAN. Так же добавлена сеть доступа, которая позволяет выдавать глобально-маршрутизируемые IP адреса.

Установка и настройка Управляющего узла

Создаём базу данных

mysql -u root -p
MariaDB [(none)]>CREATE DATABASE neutron;
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'localhost' \
  IDENTIFIED BY 'NEUTRON_DBPASS';
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'%' \
  IDENTIFIED BY 'NEUTRON_DBPASS';

Заменяем NEUTRON_DBPASS

. admin-openrc

Для создания служебных учётных данных, выполните следующие шаги:

openstack user create --domain default --password-prompt neutron

User Password:
Repeat User Password:
+---------------------+----------------------------------+
| Field               | Value                            |
+---------------------+----------------------------------+
| domain_id           | default                          |
| enabled             | True                             |
| id                  | 319f34694728440eb8ffcb27b6dd8b8a |
| name                | neutron                          |
| password_expires_at | None                             |
+---------------------+----------------------------------+
openstack role add --project service --user neutron admin
openstack service create --name neutron \
  --description "OpenStack Networking" network

+-------------+----------------------------------+
| Field       | Value                            |
+-------------+----------------------------------+
| description | OpenStack Networking             |
| enabled     | True                             |
| id          | f71529314dab4a4d8eca427e701d209e |
| name        | neutron                          |
| type        | network                          |
+-------------+----------------------------------+

Создайте конечные точки API для сервиса Сетей:

openstack endpoint create --region RegionOne \
  network public http://controller-net:9696

+--------------+----------------------------------+
| Field        | Value                            |
+--------------+----------------------------------+
| enabled      | True                             |
| id           | 85d80a6d02fc4b7683f611d7fc1493a3 |
| interface    | public                           |
| region       | RegionOne                        |
| region_id    | RegionOne                        |
| service_id   | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron                          |
| service_type | network                          |
| url          | http://controller:9696           |
+--------------+----------------------------------+

 openstack endpoint create --region RegionOne \
  network internal http://controller-net:9696

+--------------+----------------------------------+
| Field        | Value                            |
+--------------+----------------------------------+
| enabled      | True                             |
| id           | 09753b537ac74422a68d2d791cf3714f |
| interface    | internal                         |
| region       | RegionOne                        |
| region_id    | RegionOne                        |
| service_id   | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron                          |
| service_type | network                          |
| url          | http://controller:9696           |
+--------------+----------------------------------+

 openstack endpoint create --region RegionOne \
  network admin http://controller-net:9696

+--------------+----------------------------------+
| Field        | Value                            |
+--------------+----------------------------------+
| enabled      | True                             |
| id           | 1ee14289c9374dffb5db92a5c112fc4e |
| interface    | admin                            |
| region       | RegionOne                        |
| region_id    | RegionOne                        |
| service_id   | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron                          |
| service_type | network                          |
| url          | http://controller:9696           |
+--------------+----------------------------------+

Установка и настройка сетевого узла.

Сетевой узел необходим для маршрутизации трафика, управления службой neutron, фаерволами и прочими сетевыми функциями.

Плагины

Выбираем, что будет обеспечивать 2 уровнь виртуальной сети





ВСЁ В КУЧУ

Openvswitch конфигурация

Установка необходимых компонентов и настройка модуля neutron.

yum install openstack-neutron openstack-neutron-ml2 \
  openstack-neutron-openvswitch ebtables

Отредактируйте файл /etc/neutron/neutron.conf

[database]
#...
connection = mysql+pymysql://neutrondb:NEUTRON_DBPASS@controller-net/neutron
[DEFAULT]
#...
global_physnet_mtu = 9000 # глобальное значение mtu для физических интерфейсов
core_plugin = ml2
service_plugins = router, qos # используемые плагины. Router для маршрутизации трафика,
                              # QoS для настройки скорости и приоритезации трафика
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
allow_overlapping_ips = true
auth_strategy = keystone
notify_nova_on_port_status_changes = True
notify_nova_on_port_data_changes = True
#...
[keystone_authtoken]
#...
www_authenticate_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS
#...
[nova]
#...
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = nova
password = NOVA_PASS
#...
[oslo_concurrency]
lock_path = /var/lib/neutron/tmp
#...
[oslo_messaging_notifications]
driver = messagingv2

Настраиваем плагин Modular Layer 2 (ML2).

Этот плагин отвечает за работу L2 в инфраструктуре. Он задает необходимые параметры, касаемые вланов, интерфейсов, драйверов и прочего.

Для этого редактируем файл /etc/neutron/plugins/ml2/ml2_conf.ini

[ml2]
...
type_drivers = flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security, qos
path_mtu = 1550 # MTU для создаваемых сетей. Для vxlan будет 1550 - 50(заголовок), итого 1500.
physical_network_mtus = provider:9000 # MTU для сети провайдера
[ml2_type_flat]
#...
flat_networks = provider1 # Прописывается только в случае наличия нетэгированной провайдерской сети.
#...
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212
#...
[ml2_type_vxlan]
#...
vni_ranges = 65537:69999
#...
[securitygroup]
#...
enable_security_group = True
firewall_driver = openvswitch # Для фильтрации трафика средствами openvswitch, а не iptables

В данном случае фильтрация трафика выполняется с помощью создания flow правил прохождения трафика через openvswitch, либо запрета его прохождения.

Настройка агента openvswitch

Этот агент непосредственно управляет OVS. Он управляет созданием ovs интерфейсов, присоединением их к различным узлам, мостам и сетевым интерфейсам на узле контроллера сети. vi /etc/neutron/plugins/ml2/openvswitch_agent.ini

[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.200                # IP адрес необходим для работы vxlan. Именно через этот адрес 
                                       # эти vxlan будут связаны. OVS в ствоей работе не требует непосредственной  
                                       # привязки vxlan к конкретному сетевому интерфейсу, а взаимодействие между   
                                       # точками подключения vxlan будет происходить непосредственно                  
                                       # через указанные ip адреса и связанные с ними интерфейсы
bridge_mappings = provider:br-ext-main # определяется сетевой интерфейс, на котором будет находится 
                                       # данная физическая сеть. Далее возможно настройка этой сети, например как 
                                       # flat или vlan.
[securitygroup]
firewall_driver = openvswitch
[xenapi]

Настраиваем Linux Bridge агент.

Этот агент на управляющем узле необходим чтобы создавать внешних интерфейсов, например для маршрутизации трафика. Он использует все механизмы linux bridge

Редактируем файл /etc/neutron/plugins/ml2/linuxbridge_agent.ini

[linux_bridge]
physical_interface_mappings = provider1:eth2

[vxlan]
enable_vxlan = true
local_ip = 172.17.3.200
l2_population = true

[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

Настройка DHCP агента.

Редактируем файл /etc/neutron/dhcp_agent.ini

[DEFAULT]
...
interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver # в случае использования OVS указать openvswitch
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
enable_isolated_metadata = True

Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов.

Редактируем файл /etc/neutron/l3_agent.ini

[DEFAULT]
interface_driver = linuxbridge # в случае использования OVS указать openvswitch
[agent]
[ovs]

Настройка агента метаданных.

Генерируем uuid: uuidgen

Редактируем файл /etc/neutron/metadata_agent.ini

nova_metadata_ip = controller-virt
metadata_proxy_shared_secret = UUIDGEN_REZ

Заменить NEUTRON_PASS and UUIDGEN_REZ

Настройка вычислительной службы для использования сетевой службы

Редактируем /etc/nova/nova.conf

[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS
service_metadata_proxy = True
metadata_proxy_shared_secret =UUIDGEN_REZ

Заменить NEUTRON_PASS and UUIDGEN_REZ

Завершаем установку на управляющем узле логинимся от root'a

sudo su

Создаём ссылку

ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini

Заполняем базу данных

su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
  --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron

выходим из root'a

Перезапустите API сервис вычислительных ресурсов:

sudo systemctl restart openstack-nova-api.service

Запустите сервисы службы Сети и настройте их автоматический запуск при загрузке системы. Для обеих сетевых опций:

sudo systemctl enable neutron-server.service \
  neutron-openvswitch-agent.service neutron-l3-agent.service \
  neutron-dhcp-agent.service neutron-metadata-agent.service
sudo systemctl start neutron-server.service \
  neutron-openvswitch-agent.service neutron-l3-agent.service \
  neutron-dhcp-agent.service neutron-metadata-agent.service

Установка и настройка на compute-node

На вычислительном узле запускается только плагин, отвечающий за работу конкретного l2 устройства, linuxbridge или openvswitch.

yum install openstack-neutron-openvswitch ebtables ipset

Настройка работы агента сетевой службы

Редактируем /etc/neutron/neutron.conf

[DEFAULT]
...
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
auth_strategy = keystone

[keystone_authtoken]
...
auth_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS

[oslo_concurrency]
...
lock_path = /var/lib/neutron/tmp

Настройка агента управления L2

Редактируем /etc/neutron/plugins/ml2/ml2_conf.ini

[DEFAULT]
[l2pop]
[ml2]
path_mtu = 9000
tenant_network_types = vxlan # Тип сети для частных сетей
type_drivers = flat,vlan,vxlan
extension_drivers = port_security
mechanism_drivers = openvswitch,l2population
physical_network_mtus = provider:9000 # MTU физической провайдерской сети
[ml2_type_flat]
[ml2_type_geneve]
[ml2_type_gre]
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212 # разрешённые vlan. С 160 по 165 и 212
[ml2_type_vxlan]
vni_ranges = 65537:69999
[securitygroup]
enable_security_group = True
firewall_driver = ovs_learn_action
[agent]
extensions = qos

Настройка плагина openvswitch

Редактируем /etc/neutron/plugins/ml2/openvswitch_agent.ini

[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.X
bridge_mappings = provider:br-ext-main #интерфейс для сети provider
[securitygroup]
firewall_driver = openvswitch
[xenapi]

Далее необходимо перезапустить службу

sudo systemctl enable neutron-openvswitch-agent.service
sudo systemctl start neutron-openvswitch-agent.service 

Настройка плагина linuxbridge

Редактируем /etc/neutron/plugins/ml2/linuxbridge_agent.ini

[linux_bridge]
bridge_mappings = provider:bond0
#Провайдер не может быть bridge интерфейсом, так как потом нельзя будет примапить бридж к бриджу. Так же
# он не может быть vlan интерфейсом... почему то. В итоге нужно делать либо физический интерфейс или bound,
# а при создании внешней сети - выбирать 
[vxlan]
l2_population = true

[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
sudo systemctl enable neutron-linuxbridge-agent.service
sudo systemctl start neutron-linuxbridge-agent.service 

Настраиваем вычислительную службу для использования сетевой службы

Редактируем файл /etc/nova/nova.conf

[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS

Заменить NEUTRON_PASS

Завершите установку

sudo systemctl restart openstack-nova-compute.service

Решение проблемы с отсутствием сети на узлах

Чтобы просмотреть список введенных напрямую правил использовать команду

firewall-cmd --get-all-rules --direct

Чтобы обеспечить сеть на узлах для виртуальных машин, нужно добавить правило:

sudo firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -j ACCEPT

В случае работы с Linuxbridge и VXLAN на узле контроллера необходимо разрешить порт 8472/udp

firewall-cmd --add-port 8472/udp --permanent
firewall-cmd --reload

Troubleshoot

1. Отслеживание пакетов конкретного VXLAN

В случае необходимости посмотреть пакеты нужного VXLAN, необходимо запускать tcpdump со следующими параметрами:

tcpdump -l -n -i {int} 'port 8472 and udp[8:2] = 0x0800 & 0x0800 and udp[11:4] = {VNI} & 0x00FFFFFF' -nn

где:

int - физический интерфейс
VNI - VXLAN id

2. Выполнение команд с виртуального роутера.

Виртуальный роутер является минимального размера контейнером, который имеет интерфейсы и встроенные утилиты для работы с ним. Чтобы выяснить id виртуального роутера, необходимо в командной строке сетевого контроллера выполнить команду:

ip netns list

и увидеть вывод, на подобии следующего:

[root@controller-net ~]# ip netns list
qdhcp-ea7c22df-e90e-40c7-bc7b-375dcc93273e (id: 0)
qrouter-73d88700-1b3f-479e-ace4-360cf46afadf (id: 1)

Это значить что id роутера - qrouter-73d88700-1b3f-479e-ace4-360cf46afadf Для выполненеия команд с роутера(например команды ip a) необходимо выполнить:

ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a

Что выведет интерфесы непосредственного виртуального роутера, например так:

[root@controller-net ~]# ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
3: qg-4faaa818-e1@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc noqueue state UP group default qlen 1000
    link/ether fa:16:3e:8b:a1:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.17.5.7/24 brd 172.17.5.255 scope global qg-4faaa818-e1
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe8b:a1b9/64 scope link 
       valid_lft forever preferred_lft forever
4: qr-eb20e42d-80@if19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8946 qdisc noqueue state UP group default qlen 1000
    link/ether fa:16:3e:53:fc:2a brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.1.1/24 brd 192.168.1.255 scope global qr-eb20e42d-80
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe53:fc2a/64 scope link 
       valid_lft forever preferred_lft forever