Table of Contents
- Установка и настройка Управляющего узла
- Создаём базу данных
- Установка и настройка сетевого узла.
- Плагины
- ВСЁ В КУЧУ
- Openvswitch конфигурация
- Установка необходимых компонентов и настройка модуля neutron.
- Настраиваем плагин Modular Layer 2 (ML2).
- Настройка агента openvswitch
- Настраиваем Linux Bridge агент.
- Настройка DHCP агента.
- Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов.
- Настройка агента метаданных.
- Настройка вычислительной службы для использования сетевой службы
- Установка и настройка на compute-node
- Настройка работы агента сетевой службы
- Настройка агента управления L2
- Настройка плагина openvswitch
- Настройка плагина linuxbridge
- Настраиваем вычислительную службу для использования сетевой службы
- Решение проблемы с отсутствием сети на узлах
Схема сетевых подключений
В данной схеме используется Self-Service Network, которая позволяет создавать неограниченное колличество пользовательских сетей, поверх имеющейся оверлейной сети с помощью VXLAN. Так же добавлена сеть доступа, которая позволяет выдавать глобально-маршрутизируемые IP адреса.
Установка и настройка Управляющего узла
Создаём базу данных
mysql -u root -p
MariaDB [(none)]>CREATE DATABASE neutron;
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'localhost' \
IDENTIFIED BY 'NEUTRON_DBPASS';
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'%' \
IDENTIFIED BY 'NEUTRON_DBPASS';
Заменяем NEUTRON_DBPASS
. admin-openrc
Для создания служебных учётных данных, выполните следующие шаги:
openstack user create --domain default --password-prompt neutron
User Password:
Repeat User Password:
+---------------------+----------------------------------+
| Field | Value |
+---------------------+----------------------------------+
| domain_id | default |
| enabled | True |
| id | 319f34694728440eb8ffcb27b6dd8b8a |
| name | neutron |
| password_expires_at | None |
+---------------------+----------------------------------+
openstack role add --project service --user neutron admin
openstack service create --name neutron \
--description "OpenStack Networking" network
+-------------+----------------------------------+
| Field | Value |
+-------------+----------------------------------+
| description | OpenStack Networking |
| enabled | True |
| id | f71529314dab4a4d8eca427e701d209e |
| name | neutron |
| type | network |
+-------------+----------------------------------+
Создайте конечные точки API для сервиса Сетей:
openstack endpoint create --region RegionOne \
network public http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 85d80a6d02fc4b7683f611d7fc1493a3 |
| interface | public |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
openstack endpoint create --region RegionOne \
network internal http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 09753b537ac74422a68d2d791cf3714f |
| interface | internal |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
openstack endpoint create --region RegionOne \
network admin http://controller-net:9696
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 1ee14289c9374dffb5db92a5c112fc4e |
| interface | admin |
| region | RegionOne |
| region_id | RegionOne |
| service_id | f71529314dab4a4d8eca427e701d209e |
| service_name | neutron |
| service_type | network |
| url | http://controller:9696 |
+--------------+----------------------------------+
Установка и настройка сетевого узла.
Сетевой узел необходим для маршрутизации трафика, управления службой neutron, фаерволами и прочими сетевыми функциями.
Плагины
Выбираем, что будет обеспечивать 2 уровнь виртуальной сети
ВСЁ В КУЧУ
Openvswitch конфигурация
Установка необходимых компонентов и настройка модуля neutron.
yum install openstack-neutron openstack-neutron-ml2 \
openstack-neutron-openvswitch ebtables
Отредактируйте файл /etc/neutron/neutron.conf
[database]
#...
connection = mysql+pymysql://neutrondb:NEUTRON_DBPASS@controller-net/neutron
[DEFAULT]
#...
global_physnet_mtu = 9000 # глобальное значение mtu для физических интерфейсов
core_plugin = ml2
service_plugins = router, qos # используемые плагины. Router для маршрутизации трафика,
# QoS для настройки скорости и приоритезации трафика
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
allow_overlapping_ips = true
auth_strategy = keystone
notify_nova_on_port_status_changes = True
notify_nova_on_port_data_changes = True
#...
[keystone_authtoken]
#...
www_authenticate_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS
#...
[nova]
#...
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = nova
password = NOVA_PASS
#...
[oslo_concurrency]
lock_path = /var/lib/neutron/tmp
#...
[oslo_messaging_notifications]
driver = messagingv2
Настраиваем плагин Modular Layer 2 (ML2).
Этот плагин отвечает за работу L2 в инфраструктуре. Он задает необходимые параметры, касаемые вланов, интерфейсов, драйверов и прочего.
Для этого редактируем файл /etc/neutron/plugins/ml2/ml2_conf.ini
[ml2]
...
type_drivers = flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security, qos
path_mtu = 1550 # MTU для создаваемых сетей. Для vxlan будет 1550 - 50(заголовок), итого 1500.
physical_network_mtus = provider:9000 # MTU для сети провайдера
[ml2_type_flat]
#...
flat_networks = provider1 # Прописывается только в случае наличия нетэгированной провайдерской сети.
#...
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212
#...
[ml2_type_vxlan]
#...
vni_ranges = 65537:69999
#...
[securitygroup]
#...
enable_security_group = True
firewall_driver = openvswitch # Для фильтрации трафика средствами openvswitch, а не iptables
В данном случае фильтрация трафика выполняется с помощью создания flow правил прохождения трафика через openvswitch, либо запрета его прохождения.
Настройка агента openvswitch
Этот агент непосредственно управляет OVS. Он управляет созданием ovs интерфейсов, присоединением их к различным узлам, мостам и сетевым интерфейсам на узле контроллера сети.
vi /etc/neutron/plugins/ml2/openvswitch_agent.ini
[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.200 # IP адрес необходим для работы vxlan. Именно через этот адрес
# эти vxlan будут связаны. OVS в ствоей работе не требует непосредственной
# привязки vxlan к конкретному сетевому интерфейсу, а взаимодействие между
# точками подключения vxlan будет происходить непосредственно
# через указанные ip адреса и связанные с ними интерфейсы
bridge_mappings = provider:br-ext-main # определяется сетевой интерфейс, на котором будет находится
# данная физическая сеть. Далее возможно настройка этой сети, например как
# flat или vlan.
[securitygroup]
firewall_driver = openvswitch
[xenapi]
Настраиваем Linux Bridge агент.
Этот агент на управляющем узле необходим чтобы создавать внешних интерфейсов, например для маршрутизации трафика. Он использует все механизмы linux bridge
Редактируем файл /etc/neutron/plugins/ml2/linuxbridge_agent.ini
[linux_bridge]
physical_interface_mappings = provider1:eth2
[vxlan]
enable_vxlan = true
local_ip = 172.17.3.200
l2_population = true
[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
Настройка DHCP агента.
Редактируем файл /etc/neutron/dhcp_agent.ini
[DEFAULT]
...
interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver # в случае использования OVS указать openvswitch
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
enable_isolated_metadata = True
Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов.
Редактируем файл /etc/neutron/l3_agent.ini
[DEFAULT]
interface_driver = linuxbridge # в случае использования OVS указать openvswitch
[agent]
[ovs]
Настройка агента метаданных.
Генерируем uuid: uuidgen
Редактируем файл /etc/neutron/metadata_agent.ini
nova_metadata_ip = controller-virt
metadata_proxy_shared_secret = UUIDGEN_REZ
Заменить NEUTRON_PASS and UUIDGEN_REZ
Настройка вычислительной службы для использования сетевой службы
Редактируем /etc/nova/nova.conf
[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS
service_metadata_proxy = True
metadata_proxy_shared_secret =UUIDGEN_REZ
Заменить NEUTRON_PASS and UUIDGEN_REZ
Завершаем установку на управляющем узле логинимся от root'a
sudo su
Создаём ссылку
ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini
Заполняем базу данных
su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
--config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron
выходим из root'a
Перезапустите API сервис вычислительных ресурсов:
sudo systemctl restart openstack-nova-api.service
Запустите сервисы службы Сети и настройте их автоматический запуск при загрузке системы. Для обеих сетевых опций:
sudo systemctl enable neutron-server.service \
neutron-openvswitch-agent.service neutron-l3-agent.service \
neutron-dhcp-agent.service neutron-metadata-agent.service
sudo systemctl start neutron-server.service \
neutron-openvswitch-agent.service neutron-l3-agent.service \
neutron-dhcp-agent.service neutron-metadata-agent.service
Установка и настройка на compute-node
На вычислительном узле запускается только плагин, отвечающий за работу конкретного l2 устройства, linuxbridge или openvswitch.
yum install openstack-neutron-openvswitch ebtables ipset
Настройка работы агента сетевой службы
Редактируем /etc/neutron/neutron.conf
[DEFAULT]
...
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
auth_strategy = keystone
[keystone_authtoken]
...
auth_uri = http://controller-virt:5000
auth_url = http://controller-virt:35357
memcached_servers = controller-virt:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = neutron
password = NEUTRON_PASS
[oslo_concurrency]
...
lock_path = /var/lib/neutron/tmp
Настройка агента управления L2
Редактируем /etc/neutron/plugins/ml2/ml2_conf.ini
[DEFAULT]
[l2pop]
[ml2]
path_mtu = 9000
tenant_network_types = vxlan # Тип сети для частных сетей
type_drivers = flat,vlan,vxlan
extension_drivers = port_security
mechanism_drivers = openvswitch,l2population
physical_network_mtus = provider:9000 # MTU физической провайдерской сети
[ml2_type_flat]
[ml2_type_geneve]
[ml2_type_gre]
[ml2_type_vlan]
network_vlan_ranges = provider:160:165,212 # разрешённые vlan. С 160 по 165 и 212
[ml2_type_vxlan]
vni_ranges = 65537:69999
[securitygroup]
enable_security_group = True
firewall_driver = ovs_learn_action
[agent]
extensions = qos
Настройка плагина openvswitch
Редактируем /etc/neutron/plugins/ml2/openvswitch_agent.ini
[DEFAULT]
[agent]
tunnel_types = vxlan
l2_population = True
arp_responder = True
extensions = qos
[ovs]
local_ip = 172.17.1.X
bridge_mappings = provider:br-ext-main #интерфейс для сети provider
[securitygroup]
firewall_driver = openvswitch
[xenapi]
Далее необходимо перезапустить службу
sudo systemctl enable neutron-openvswitch-agent.service
sudo systemctl start neutron-openvswitch-agent.service
Настройка плагина linuxbridge
Редактируем /etc/neutron/plugins/ml2/linuxbridge_agent.ini
[linux_bridge]
bridge_mappings = provider:bond0
#Провайдер не может быть bridge интерфейсом, так как потом нельзя будет примапить бридж к бриджу. Так же
# он не может быть vlan интерфейсом... почему то. В итоге нужно делать либо физический интерфейс или bound,
# а при создании внешней сети - выбирать
[vxlan]
l2_population = true
[securitygroup]
...
enable_security_group = True
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
sudo systemctl enable neutron-linuxbridge-agent.service
sudo systemctl start neutron-linuxbridge-agent.service
Настраиваем вычислительную службу для использования сетевой службы
Редактируем файл /etc/nova/nova.conf
[neutron]
...
url = http://controller-net:9696
auth_url = http://controller-virt:35357
auth_type = password
project_domain_name = Default
user_domain_name = Default
region_name = RegionOne
project_name = service
username = neutron
password = NEUTRON_PASS
Заменить NEUTRON_PASS
Завершите установку
sudo systemctl restart openstack-nova-compute.service
Решение проблемы с отсутствием сети на узлах
Чтобы просмотреть список введенных напрямую правил использовать команду
firewall-cmd --get-all-rules --direct
Чтобы обеспечить сеть на узлах для виртуальных машин, нужно добавить правило:
sudo firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -j ACCEPT
В случае работы с Linuxbridge и VXLAN на узле контроллера необходимо разрешить порт 8472/udp
firewall-cmd --add-port 8472/udp --permanent
firewall-cmd --reload
Troubleshoot
1. Отслеживание пакетов конкретного VXLAN
В случае необходимости посмотреть пакеты нужного VXLAN, необходимо запускать tcpdump со следующими параметрами:
tcpdump -l -n -i {int} 'port 8472 and udp[8:2] = 0x0800 & 0x0800 and udp[11:4] = {VNI} & 0x00FFFFFF' -nn
где:
int - физический интерфейс
VNI - VXLAN id
2. Выполнение команд с виртуального роутера.
Виртуальный роутер является минимального размера контейнером, который имеет интерфейсы и встроенные утилиты для работы с ним. Чтобы выяснить id виртуального роутера, необходимо в командной строке сетевого контроллера выполнить команду:
ip netns list
и увидеть вывод, на подобии следующего:
[root@controller-net ~]# ip netns list
qdhcp-ea7c22df-e90e-40c7-bc7b-375dcc93273e (id: 0)
qrouter-73d88700-1b3f-479e-ace4-360cf46afadf (id: 1)
Это значить что id роутера - qrouter-73d88700-1b3f-479e-ace4-360cf46afadf
Для выполненеия команд с роутера(например команды ip a) необходимо выполнить:
ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
Что выведет интерфесы непосредственного виртуального роутера, например так:
[root@controller-net ~]# ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
3: qg-4faaa818-e1@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc noqueue state UP group default qlen 1000
link/ether fa:16:3e:8b:a1:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 172.17.5.7/24 brd 172.17.5.255 scope global qg-4faaa818-e1
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:fe8b:a1b9/64 scope link
valid_lft forever preferred_lft forever
4: qr-eb20e42d-80@if19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8946 qdisc noqueue state UP group default qlen 1000
link/ether fa:16:3e:53:fc:2a brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 192.168.1.1/24 brd 192.168.1.255 scope global qr-eb20e42d-80
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:fe53:fc2a/64 scope link
valid_lft forever preferred_lft forever
