Archived
Create 13. Установка и настройка Neutron
@@ -0,0 +1,542 @@
|
||||
## Схема сетевых подключений
|
||||

|
||||
|
||||
В данной схеме используется Self-Service Network, которая позволяет создавать неограниченное колличество пользовательских сетей, поверх имеющейся оверлейной сети с помощью VXLAN. Так же добавлена сеть доступа, которая позволяет выдавать глобально-маршрутизируемые IP адреса.
|
||||
|
||||
# Установка и настройка Управляющего узла
|
||||
|
||||
## Создаём базу данных
|
||||
```
|
||||
mysql -u root -p
|
||||
```
|
||||
```
|
||||
MariaDB [(none)]>CREATE DATABASE neutron;
|
||||
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'localhost' \
|
||||
IDENTIFIED BY 'NEUTRON_DBPASS';
|
||||
MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'%' \
|
||||
IDENTIFIED BY 'NEUTRON_DBPASS';
|
||||
```
|
||||
>Заменяем NEUTRON_DBPASS
|
||||
```
|
||||
. admin-openrc
|
||||
```
|
||||
Для создания служебных учётных данных, выполните следующие шаги:
|
||||
|
||||
```
|
||||
openstack user create --domain default --password-prompt neutron
|
||||
|
||||
User Password:
|
||||
Repeat User Password:
|
||||
+---------------------+----------------------------------+
|
||||
| Field | Value |
|
||||
+---------------------+----------------------------------+
|
||||
| domain_id | default |
|
||||
| enabled | True |
|
||||
| id | 319f34694728440eb8ffcb27b6dd8b8a |
|
||||
| name | neutron |
|
||||
| password_expires_at | None |
|
||||
+---------------------+----------------------------------+
|
||||
```
|
||||
```
|
||||
openstack role add --project service --user neutron admin
|
||||
```
|
||||
|
||||
```
|
||||
openstack service create --name neutron \
|
||||
--description "OpenStack Networking" network
|
||||
|
||||
+-------------+----------------------------------+
|
||||
| Field | Value |
|
||||
+-------------+----------------------------------+
|
||||
| description | OpenStack Networking |
|
||||
| enabled | True |
|
||||
| id | f71529314dab4a4d8eca427e701d209e |
|
||||
| name | neutron |
|
||||
| type | network |
|
||||
+-------------+----------------------------------+
|
||||
```
|
||||
|
||||
Создайте конечные точки API для сервиса Сетей:
|
||||
```
|
||||
openstack endpoint create --region RegionOne \
|
||||
network public http://controller-net:9696
|
||||
|
||||
+--------------+----------------------------------+
|
||||
| Field | Value |
|
||||
+--------------+----------------------------------+
|
||||
| enabled | True |
|
||||
| id | 85d80a6d02fc4b7683f611d7fc1493a3 |
|
||||
| interface | public |
|
||||
| region | RegionOne |
|
||||
| region_id | RegionOne |
|
||||
| service_id | f71529314dab4a4d8eca427e701d209e |
|
||||
| service_name | neutron |
|
||||
| service_type | network |
|
||||
| url | http://controller:9696 |
|
||||
+--------------+----------------------------------+
|
||||
|
||||
openstack endpoint create --region RegionOne \
|
||||
network internal http://controller-net:9696
|
||||
|
||||
+--------------+----------------------------------+
|
||||
| Field | Value |
|
||||
+--------------+----------------------------------+
|
||||
| enabled | True |
|
||||
| id | 09753b537ac74422a68d2d791cf3714f |
|
||||
| interface | internal |
|
||||
| region | RegionOne |
|
||||
| region_id | RegionOne |
|
||||
| service_id | f71529314dab4a4d8eca427e701d209e |
|
||||
| service_name | neutron |
|
||||
| service_type | network |
|
||||
| url | http://controller:9696 |
|
||||
+--------------+----------------------------------+
|
||||
|
||||
openstack endpoint create --region RegionOne \
|
||||
network admin http://controller-net:9696
|
||||
|
||||
+--------------+----------------------------------+
|
||||
| Field | Value |
|
||||
+--------------+----------------------------------+
|
||||
| enabled | True |
|
||||
| id | 1ee14289c9374dffb5db92a5c112fc4e |
|
||||
| interface | admin |
|
||||
| region | RegionOne |
|
||||
| region_id | RegionOne |
|
||||
| service_id | f71529314dab4a4d8eca427e701d209e |
|
||||
| service_name | neutron |
|
||||
| service_type | network |
|
||||
| url | http://controller:9696 |
|
||||
+--------------+----------------------------------+
|
||||
```
|
||||
## Установка и настройка сетевого узла.
|
||||
Сетевой узел необходим для маршрутизации трафика, управления службой neutron, фаерволами и прочими сетевыми функциями.
|
||||
|
||||
|
||||
## Плагины
|
||||
Выбираем, что будет обеспечивать 2 уровнь виртуальной сети
|
||||
* [linuxbridge](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.1-Neutron-linuxbridge-VXLAN)
|
||||
* [Open vSwitch](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.2-Self-service-network-%D0%B8-ovs)
|
||||
|
||||
----
|
||||
----
|
||||
----
|
||||
----
|
||||
## ВСЁ В КУЧУ
|
||||
### Openvswitch конфигурация
|
||||
### Установка необходимых компонентов и настройка модуля neutron.
|
||||
|
||||
```
|
||||
yum install openstack-neutron openstack-neutron-ml2 \
|
||||
openstack-neutron-openvswitch ebtables
|
||||
```
|
||||
Отредактируйте файл `/etc/neutron/neutron.conf`
|
||||
```
|
||||
[database]
|
||||
#...
|
||||
connection = mysql+pymysql://neutrondb:NEUTRON_DBPASS@controller-net/neutron
|
||||
[DEFAULT]
|
||||
#...
|
||||
global_physnet_mtu = 9000 # глобальное значение mtu для физических интерфейсов
|
||||
core_plugin = ml2
|
||||
service_plugins = router, qos # используемые плагины. Router для маршрутизации трафика,
|
||||
# QoS для настройки скорости и приоритезации трафика
|
||||
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
|
||||
allow_overlapping_ips = true
|
||||
auth_strategy = keystone
|
||||
notify_nova_on_port_status_changes = True
|
||||
notify_nova_on_port_data_changes = True
|
||||
#...
|
||||
[keystone_authtoken]
|
||||
#...
|
||||
www_authenticate_uri = http://controller-virt:5000
|
||||
auth_url = http://controller-virt:35357
|
||||
memcached_servers = controller-virt:11211
|
||||
auth_type = password
|
||||
project_domain_name = Default
|
||||
user_domain_name = Default
|
||||
project_name = service
|
||||
username = neutron
|
||||
password = NEUTRON_PASS
|
||||
#...
|
||||
[nova]
|
||||
#...
|
||||
auth_url = http://controller-virt:35357
|
||||
auth_type = password
|
||||
project_domain_name = Default
|
||||
user_domain_name = Default
|
||||
region_name = RegionOne
|
||||
project_name = service
|
||||
username = nova
|
||||
password = NOVA_PASS
|
||||
#...
|
||||
[oslo_concurrency]
|
||||
lock_path = /var/lib/neutron/tmp
|
||||
#...
|
||||
[oslo_messaging_notifications]
|
||||
driver = messagingv2
|
||||
```
|
||||
### Настраиваем плагин Modular Layer 2 (ML2).
|
||||
Этот плагин отвечает за работу L2 в инфраструктуре. Он задает необходимые параметры, касаемые вланов, интерфейсов, драйверов и прочего.
|
||||
|
||||
Для этого редактируем файл `/etc/neutron/plugins/ml2/ml2_conf.ini`
|
||||
|
||||
```
|
||||
[ml2]
|
||||
...
|
||||
type_drivers = flat,vlan,vxlan
|
||||
tenant_network_types = vxlan
|
||||
mechanism_drivers = openvswitch,l2population
|
||||
extension_drivers = port_security, qos
|
||||
path_mtu = 1550 # MTU для создаваемых сетей. Для vxlan будет 1550 - 50(заголовок), итого 1500.
|
||||
physical_network_mtus = provider:9000 # MTU для сети провайдера
|
||||
[ml2_type_flat]
|
||||
#...
|
||||
flat_networks = provider1 # Прописывается только в случае наличия нетэгированной провайдерской сети.
|
||||
#...
|
||||
[ml2_type_vlan]
|
||||
network_vlan_ranges = provider:160:165,212
|
||||
#...
|
||||
[ml2_type_vxlan]
|
||||
#...
|
||||
vni_ranges = 65537:69999
|
||||
#...
|
||||
[securitygroup]
|
||||
#...
|
||||
enable_security_group = True
|
||||
firewall_driver = openvswitch # Для фильтрации трафика средствами openvswitch, а не iptables
|
||||
```
|
||||
|
||||
В данном случае фильтрация трафика выполняется с помощью создания flow правил прохождения трафика через openvswitch, либо запрета его прохождения.
|
||||
|
||||
### Настройка агента openvswitch
|
||||
Этот агент непосредственно управляет OVS. Он управляет созданием ovs интерфейсов, присоединением их к различным узлам, мостам и сетевым интерфейсам на узле контроллера сети.
|
||||
``` vi /etc/neutron/plugins/ml2/openvswitch_agent.ini ```
|
||||
```
|
||||
[DEFAULT]
|
||||
[agent]
|
||||
tunnel_types = vxlan
|
||||
l2_population = True
|
||||
arp_responder = True
|
||||
extensions = qos
|
||||
[ovs]
|
||||
local_ip = 172.17.1.200 # IP адрес необходим для работы vxlan. Именно через этот адрес
|
||||
# эти vxlan будут связаны. OVS в ствоей работе не требует непосредственной
|
||||
# привязки vxlan к конкретному сетевому интерфейсу, а взаимодействие между
|
||||
# точками подключения vxlan будет происходить непосредственно
|
||||
# через указанные ip адреса и связанные с ними интерфейсы
|
||||
bridge_mappings = provider:br-ext-main # определяется сетевой интерфейс, на котором будет находится
|
||||
# данная физическая сеть. Далее возможно настройка этой сети, например как
|
||||
# flat или vlan.
|
||||
[securitygroup]
|
||||
firewall_driver = openvswitch
|
||||
[xenapi]
|
||||
```
|
||||
|
||||
### Настраиваем Linux Bridge агент.
|
||||
|
||||
Этот агент на управляющем узле необходим чтобы создавать внешних интерфейсов, например для маршрутизации трафика. Он использует все механизмы linux bridge
|
||||
|
||||
Редактируем файл `/etc/neutron/plugins/ml2/linuxbridge_agent.ini`
|
||||
|
||||
```
|
||||
[linux_bridge]
|
||||
physical_interface_mappings = provider1:eth2
|
||||
|
||||
[vxlan]
|
||||
enable_vxlan = true
|
||||
local_ip = 172.17.3.200
|
||||
l2_population = true
|
||||
|
||||
[securitygroup]
|
||||
...
|
||||
enable_security_group = True
|
||||
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
|
||||
```
|
||||
|
||||
### Настройка DHCP агента.
|
||||
Редактируем файл `/etc/neutron/dhcp_agent.ini`
|
||||
|
||||
```
|
||||
[DEFAULT]
|
||||
...
|
||||
interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver # в случае использования OVS указать openvswitch
|
||||
dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
|
||||
enable_isolated_metadata = True
|
||||
```
|
||||
|
||||
### Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов.
|
||||
|
||||
Редактируем файл `/etc/neutron/l3_agent.ini `
|
||||
```
|
||||
[DEFAULT]
|
||||
interface_driver = linuxbridge # в случае использования OVS указать openvswitch
|
||||
[agent]
|
||||
[ovs]
|
||||
```
|
||||
|
||||
### Настройка агента метаданных.
|
||||
Генерируем uuid: `uuidgen`
|
||||
|
||||
Редактируем файл `/etc/neutron/metadata_agent.ini`
|
||||
|
||||
```
|
||||
nova_metadata_ip = controller-virt
|
||||
metadata_proxy_shared_secret = UUIDGEN_REZ
|
||||
```
|
||||
>Заменить NEUTRON_PASS and UUIDGEN_REZ
|
||||
|
||||
## Настройка вычислительной службы для использования сетевой службы
|
||||
|
||||
Редактируем `/etc/nova/nova.conf`
|
||||
|
||||
```
|
||||
[neutron]
|
||||
...
|
||||
url = http://controller-net:9696
|
||||
auth_url = http://controller-virt:35357
|
||||
auth_type = password
|
||||
project_domain_name = Default
|
||||
user_domain_name = Default
|
||||
region_name = RegionOne
|
||||
project_name = service
|
||||
username = neutron
|
||||
password = NEUTRON_PASS
|
||||
service_metadata_proxy = True
|
||||
metadata_proxy_shared_secret =UUIDGEN_REZ
|
||||
```
|
||||
>Заменить NEUTRON_PASS and UUIDGEN_REZ
|
||||
|
||||
Завершаем установку на управляющем узле
|
||||
логинимся от root'a
|
||||
```
|
||||
sudo su
|
||||
```
|
||||
|
||||
Создаём ссылку
|
||||
```
|
||||
ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini
|
||||
```
|
||||
|
||||
Заполняем базу данных
|
||||
```
|
||||
su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \
|
||||
--config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron
|
||||
```
|
||||
|
||||
выходим из root'a
|
||||
|
||||
Перезапустите API сервис вычислительных ресурсов:
|
||||
```
|
||||
sudo systemctl restart openstack-nova-api.service
|
||||
```
|
||||
Запустите сервисы службы Сети и настройте их автоматический запуск при загрузке системы.
|
||||
Для обеих сетевых опций:
|
||||
|
||||
```
|
||||
sudo systemctl enable neutron-server.service \
|
||||
neutron-openvswitch-agent.service neutron-l3-agent.service \
|
||||
neutron-dhcp-agent.service neutron-metadata-agent.service
|
||||
sudo systemctl start neutron-server.service \
|
||||
neutron-openvswitch-agent.service neutron-l3-agent.service \
|
||||
neutron-dhcp-agent.service neutron-metadata-agent.service
|
||||
```
|
||||
|
||||
# Установка и настройка на compute-node
|
||||
|
||||
На вычислительном узле запускается только плагин, отвечающий за работу конкретного l2 устройства, linuxbridge или openvswitch.
|
||||
|
||||
```
|
||||
yum install openstack-neutron-openvswitch ebtables ipset
|
||||
```
|
||||
### Настройка работы агента сетевой службы
|
||||
|
||||
Редактируем `/etc/neutron/neutron.conf`
|
||||
```
|
||||
[DEFAULT]
|
||||
...
|
||||
transport_url = rabbit://openstack:RABBIT_PASS@controller-virt
|
||||
auth_strategy = keystone
|
||||
|
||||
[keystone_authtoken]
|
||||
...
|
||||
auth_uri = http://controller-virt:5000
|
||||
auth_url = http://controller-virt:35357
|
||||
memcached_servers = controller-virt:11211
|
||||
auth_type = password
|
||||
project_domain_name = Default
|
||||
user_domain_name = Default
|
||||
project_name = service
|
||||
username = neutron
|
||||
password = NEUTRON_PASS
|
||||
|
||||
[oslo_concurrency]
|
||||
...
|
||||
lock_path = /var/lib/neutron/tmp
|
||||
```
|
||||
### Настройка агента управления L2
|
||||
Редактируем `/etc/neutron/plugins/ml2/ml2_conf.ini`
|
||||
|
||||
```
|
||||
[DEFAULT]
|
||||
[l2pop]
|
||||
[ml2]
|
||||
path_mtu = 9000
|
||||
tenant_network_types = vxlan # Тип сети для частных сетей
|
||||
type_drivers = flat,vlan,vxlan
|
||||
extension_drivers = port_security
|
||||
mechanism_drivers = openvswitch,l2population
|
||||
physical_network_mtus = provider:9000 # MTU физической провайдерской сети
|
||||
[ml2_type_flat]
|
||||
[ml2_type_geneve]
|
||||
[ml2_type_gre]
|
||||
[ml2_type_vlan]
|
||||
network_vlan_ranges = provider:160:165,212 # разрешённые vlan. С 160 по 165 и 212
|
||||
[ml2_type_vxlan]
|
||||
vni_ranges = 65537:69999
|
||||
[securitygroup]
|
||||
enable_security_group = True
|
||||
firewall_driver = ovs_learn_action
|
||||
[agent]
|
||||
extensions = qos
|
||||
```
|
||||
|
||||
### Настройка плагина openvswitch
|
||||
Редактируем `/etc/neutron/plugins/ml2/openvswitch_agent.ini`
|
||||
|
||||
```
|
||||
[DEFAULT]
|
||||
[agent]
|
||||
tunnel_types = vxlan
|
||||
l2_population = True
|
||||
arp_responder = True
|
||||
extensions = qos
|
||||
[ovs]
|
||||
local_ip = 172.17.1.X
|
||||
bridge_mappings = provider:br-ext-main #интерфейс для сети provider
|
||||
[securitygroup]
|
||||
firewall_driver = openvswitch
|
||||
[xenapi]
|
||||
```
|
||||
|
||||
Далее необходимо перезапустить службу
|
||||
|
||||
```
|
||||
sudo systemctl enable neutron-openvswitch-agent.service
|
||||
sudo systemctl start neutron-openvswitch-agent.service
|
||||
```
|
||||
|
||||
### Настройка плагина linuxbridge
|
||||
|
||||
Редактируем `/etc/neutron/plugins/ml2/linuxbridge_agent.ini`
|
||||
|
||||
```
|
||||
[linux_bridge]
|
||||
bridge_mappings = provider:bond0
|
||||
#Провайдер не может быть bridge интерфейсом, так как потом нельзя будет примапить бридж к бриджу. Так же
|
||||
# он не может быть vlan интерфейсом... почему то. В итоге нужно делать либо физический интерфейс или bound,
|
||||
# а при создании внешней сети - выбирать
|
||||
[vxlan]
|
||||
l2_population = true
|
||||
|
||||
[securitygroup]
|
||||
...
|
||||
enable_security_group = True
|
||||
firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver
|
||||
```
|
||||
```
|
||||
sudo systemctl enable neutron-linuxbridge-agent.service
|
||||
sudo systemctl start neutron-linuxbridge-agent.service
|
||||
```
|
||||
|
||||
## Настраиваем вычислительную службу для использования сетевой службы
|
||||
|
||||
Редактируем файл `/etc/nova/nova.conf`
|
||||
|
||||
```
|
||||
[neutron]
|
||||
...
|
||||
url = http://controller-net:9696
|
||||
auth_url = http://controller-virt:35357
|
||||
auth_type = password
|
||||
project_domain_name = Default
|
||||
user_domain_name = Default
|
||||
region_name = RegionOne
|
||||
project_name = service
|
||||
username = neutron
|
||||
password = NEUTRON_PASS
|
||||
```
|
||||
> Заменить NEUTRON_PASS
|
||||
|
||||
Завершите установку
|
||||
|
||||
|
||||
```
|
||||
sudo systemctl restart openstack-nova-compute.service
|
||||
```
|
||||
|
||||
# Решение проблемы с отсутствием сети на узлах
|
||||
|
||||
Чтобы просмотреть список введенных напрямую правил использовать команду
|
||||
```
|
||||
firewall-cmd --get-all-rules --direct
|
||||
```
|
||||
Чтобы обеспечить сеть на узлах для виртуальных машин, нужно добавить правило:
|
||||
```
|
||||
sudo firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -j ACCEPT
|
||||
```
|
||||
В случае работы с Linuxbridge и VXLAN на узле контроллера необходимо разрешить порт 8472/udp
|
||||
```
|
||||
firewall-cmd --add-port 8472/udp --permanent
|
||||
firewall-cmd --reload
|
||||
```
|
||||
## Troubleshoot
|
||||
### 1. Отслеживание пакетов конкретного VXLAN
|
||||
В случае необходимости посмотреть пакеты нужного VXLAN, необходимо запускать tcpdump со следующими параметрами:
|
||||
```
|
||||
tcpdump -l -n -i {int} 'port 8472 and udp[8:2] = 0x0800 & 0x0800 and udp[11:4] = {VNI} & 0x00FFFFFF' -nn
|
||||
```
|
||||
где:
|
||||
```
|
||||
int - физический интерфейс
|
||||
VNI - VXLAN id
|
||||
```
|
||||
### 2. Выполнение команд с виртуального роутера.
|
||||
Виртуальный роутер является минимального размера контейнером, который имеет интерфейсы и встроенные утилиты для работы
|
||||
с ним. Чтобы выяснить id виртуального роутера, необходимо в командной строке сетевого контроллера выполнить команду:
|
||||
```
|
||||
ip netns list
|
||||
```
|
||||
и увидеть вывод, на подобии следующего:
|
||||
```
|
||||
[root@controller-net ~]# ip netns list
|
||||
qdhcp-ea7c22df-e90e-40c7-bc7b-375dcc93273e (id: 0)
|
||||
qrouter-73d88700-1b3f-479e-ace4-360cf46afadf (id: 1)
|
||||
```
|
||||
Это значить что id роутера - `qrouter-73d88700-1b3f-479e-ace4-360cf46afadf`
|
||||
Для выполненеия команд с роутера(например команды `ip a`) необходимо выполнить:
|
||||
```
|
||||
ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
|
||||
```
|
||||
Что выведет интерфесы непосредственного виртуального роутера, например так:
|
||||
```
|
||||
[root@controller-net ~]# ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a
|
||||
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
|
||||
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
|
||||
inet 127.0.0.1/8 scope host lo
|
||||
valid_lft forever preferred_lft forever
|
||||
inet6 ::1/128 scope host
|
||||
valid_lft forever preferred_lft forever
|
||||
3: qg-4faaa818-e1@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8950 qdisc noqueue state UP group default qlen 1000
|
||||
link/ether fa:16:3e:8b:a1:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0
|
||||
inet 172.17.5.7/24 brd 172.17.5.255 scope global qg-4faaa818-e1
|
||||
valid_lft forever preferred_lft forever
|
||||
inet6 fe80::f816:3eff:fe8b:a1b9/64 scope link
|
||||
valid_lft forever preferred_lft forever
|
||||
4: qr-eb20e42d-80@if19: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8946 qdisc noqueue state UP group default qlen 1000
|
||||
link/ether fa:16:3e:53:fc:2a brd ff:ff:ff:ff:ff:ff link-netnsid 0
|
||||
inet 192.168.1.1/24 brd 192.168.1.255 scope global qr-eb20e42d-80
|
||||
valid_lft forever preferred_lft forever
|
||||
inet6 fe80::f816:3eff:fe53:fc2a/64 scope link
|
||||
valid_lft forever preferred_lft forever
|
||||
```
|
||||
Reference in New Issue
Block a user