From 41919afb6b7c9974eb5d16dbf15abe5836c427ec Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=92=D0=BB=D0=B0=D1=81=D0=BE=D0=B2=20=D0=94=D0=BC=D0=B8?= =?UTF-8?q?=D1=82=D1=80=D0=B8=D0=B9?= Date: Wed, 12 Aug 2020 01:12:12 +0300 Subject: [PATCH] =?UTF-8?q?Create=2013.=20=D0=A3=D1=81=D1=82=D0=B0=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=BA=D0=B0=20=D0=B8=20=D0=BD=D0=B0=D1=81=D1=82?= =?UTF-8?q?=D1=80=D0=BE=D0=B9=D0=BA=D0=B0=20Neutron?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 13.-Установка-и-настройка-Neutron.md | 542 +++++++++++++++++++++++++++ 1 file changed, 542 insertions(+) create mode 100644 13.-Установка-и-настройка-Neutron.md diff --git a/13.-Установка-и-настройка-Neutron.md b/13.-Установка-и-настройка-Neutron.md new file mode 100644 index 0000000..b57ab70 --- /dev/null +++ b/13.-Установка-и-настройка-Neutron.md @@ -0,0 +1,542 @@ +## Схема сетевых подключений +![Neutron scheme](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_13/image6.png) + +В данной схеме используется Self-Service Network, которая позволяет создавать неограниченное колличество пользовательских сетей, поверх имеющейся оверлейной сети с помощью VXLAN. Так же добавлена сеть доступа, которая позволяет выдавать глобально-маршрутизируемые IP адреса. + +# Установка и настройка Управляющего узла + +## Создаём базу данных +``` +mysql -u root -p +``` +``` +MariaDB [(none)]>CREATE DATABASE neutron; +MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'localhost' \ + IDENTIFIED BY 'NEUTRON_DBPASS'; +MariaDB [(none)]>GRANT ALL PRIVILEGES ON neutron.* TO 'neutrondb'@'%' \ + IDENTIFIED BY 'NEUTRON_DBPASS'; +``` +>Заменяем NEUTRON_DBPASS +``` +. admin-openrc +``` +Для создания служебных учётных данных, выполните следующие шаги: + +``` +openstack user create --domain default --password-prompt neutron + +User Password: +Repeat User Password: ++---------------------+----------------------------------+ +| Field | Value | ++---------------------+----------------------------------+ +| domain_id | default | +| enabled | True | +| id | 319f34694728440eb8ffcb27b6dd8b8a | +| name | neutron | +| password_expires_at | None | ++---------------------+----------------------------------+ +``` +``` +openstack role add --project service --user neutron admin +``` + +``` +openstack service create --name neutron \ + --description "OpenStack Networking" network + ++-------------+----------------------------------+ +| Field | Value | ++-------------+----------------------------------+ +| description | OpenStack Networking | +| enabled | True | +| id | f71529314dab4a4d8eca427e701d209e | +| name | neutron | +| type | network | ++-------------+----------------------------------+ +``` + +Создайте конечные точки API для сервиса Сетей: +``` +openstack endpoint create --region RegionOne \ + network public http://controller-net:9696 + ++--------------+----------------------------------+ +| Field | Value | ++--------------+----------------------------------+ +| enabled | True | +| id | 85d80a6d02fc4b7683f611d7fc1493a3 | +| interface | public | +| region | RegionOne | +| region_id | RegionOne | +| service_id | f71529314dab4a4d8eca427e701d209e | +| service_name | neutron | +| service_type | network | +| url | http://controller:9696 | ++--------------+----------------------------------+ + + openstack endpoint create --region RegionOne \ + network internal http://controller-net:9696 + ++--------------+----------------------------------+ +| Field | Value | ++--------------+----------------------------------+ +| enabled | True | +| id | 09753b537ac74422a68d2d791cf3714f | +| interface | internal | +| region | RegionOne | +| region_id | RegionOne | +| service_id | f71529314dab4a4d8eca427e701d209e | +| service_name | neutron | +| service_type | network | +| url | http://controller:9696 | ++--------------+----------------------------------+ + + openstack endpoint create --region RegionOne \ + network admin http://controller-net:9696 + ++--------------+----------------------------------+ +| Field | Value | ++--------------+----------------------------------+ +| enabled | True | +| id | 1ee14289c9374dffb5db92a5c112fc4e | +| interface | admin | +| region | RegionOne | +| region_id | RegionOne | +| service_id | f71529314dab4a4d8eca427e701d209e | +| service_name | neutron | +| service_type | network | +| url | http://controller:9696 | ++--------------+----------------------------------+ +``` +## Установка и настройка сетевого узла. +Сетевой узел необходим для маршрутизации трафика, управления службой neutron, фаерволами и прочими сетевыми функциями. + + +## Плагины +Выбираем, что будет обеспечивать 2 уровнь виртуальной сети +* [linuxbridge](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.1-Neutron-linuxbridge-VXLAN) +* [Open vSwitch](https://gitlab.resds.ru/resds/openstack-deployment/-/wikis/14.2-Self-service-network-%D0%B8-ovs) + +---- +---- +---- +---- +## ВСЁ В КУЧУ +### Openvswitch конфигурация +### Установка необходимых компонентов и настройка модуля neutron. + +``` +yum install openstack-neutron openstack-neutron-ml2 \ + openstack-neutron-openvswitch ebtables +``` +Отредактируйте файл `/etc/neutron/neutron.conf` +``` +[database] +#... +connection = mysql+pymysql://neutrondb:NEUTRON_DBPASS@controller-net/neutron +[DEFAULT] +#... +global_physnet_mtu = 9000 # глобальное значение mtu для физических интерфейсов +core_plugin = ml2 +service_plugins = router, qos # используемые плагины. Router для маршрутизации трафика, + # QoS для настройки скорости и приоритезации трафика +transport_url = rabbit://openstack:RABBIT_PASS@controller-virt +allow_overlapping_ips = true +auth_strategy = keystone +notify_nova_on_port_status_changes = True +notify_nova_on_port_data_changes = True +#... +[keystone_authtoken] +#... +www_authenticate_uri = http://controller-virt:5000 +auth_url = http://controller-virt:35357 +memcached_servers = controller-virt:11211 +auth_type = password +project_domain_name = Default +user_domain_name = Default +project_name = service +username = neutron +password = NEUTRON_PASS +#... +[nova] +#... +auth_url = http://controller-virt:35357 +auth_type = password +project_domain_name = Default +user_domain_name = Default +region_name = RegionOne +project_name = service +username = nova +password = NOVA_PASS +#... +[oslo_concurrency] +lock_path = /var/lib/neutron/tmp +#... +[oslo_messaging_notifications] +driver = messagingv2 +``` +### Настраиваем плагин Modular Layer 2 (ML2). +Этот плагин отвечает за работу L2 в инфраструктуре. Он задает необходимые параметры, касаемые вланов, интерфейсов, драйверов и прочего. + +Для этого редактируем файл `/etc/neutron/plugins/ml2/ml2_conf.ini` + +``` +[ml2] +... +type_drivers = flat,vlan,vxlan +tenant_network_types = vxlan +mechanism_drivers = openvswitch,l2population +extension_drivers = port_security, qos +path_mtu = 1550 # MTU для создаваемых сетей. Для vxlan будет 1550 - 50(заголовок), итого 1500. +physical_network_mtus = provider:9000 # MTU для сети провайдера +[ml2_type_flat] +#... +flat_networks = provider1 # Прописывается только в случае наличия нетэгированной провайдерской сети. +#... +[ml2_type_vlan] +network_vlan_ranges = provider:160:165,212 +#... +[ml2_type_vxlan] +#... +vni_ranges = 65537:69999 +#... +[securitygroup] +#... +enable_security_group = True +firewall_driver = openvswitch # Для фильтрации трафика средствами openvswitch, а не iptables +``` + +В данном случае фильтрация трафика выполняется с помощью создания flow правил прохождения трафика через openvswitch, либо запрета его прохождения. + +### Настройка агента openvswitch +Этот агент непосредственно управляет OVS. Он управляет созданием ovs интерфейсов, присоединением их к различным узлам, мостам и сетевым интерфейсам на узле контроллера сети. +``` vi /etc/neutron/plugins/ml2/openvswitch_agent.ini ``` +``` +[DEFAULT] +[agent] +tunnel_types = vxlan +l2_population = True +arp_responder = True +extensions = qos +[ovs] +local_ip = 172.17.1.200 # IP адрес необходим для работы vxlan. Именно через этот адрес + # эти vxlan будут связаны. OVS в ствоей работе не требует непосредственной + # привязки vxlan к конкретному сетевому интерфейсу, а взаимодействие между + # точками подключения vxlan будет происходить непосредственно + # через указанные ip адреса и связанные с ними интерфейсы +bridge_mappings = provider:br-ext-main # определяется сетевой интерфейс, на котором будет находится + # данная физическая сеть. Далее возможно настройка этой сети, например как + # flat или vlan. +[securitygroup] +firewall_driver = openvswitch +[xenapi] +``` + +### Настраиваем Linux Bridge агент. + +Этот агент на управляющем узле необходим чтобы создавать внешних интерфейсов, например для маршрутизации трафика. Он использует все механизмы linux bridge + +Редактируем файл `/etc/neutron/plugins/ml2/linuxbridge_agent.ini` + +``` +[linux_bridge] +physical_interface_mappings = provider1:eth2 + +[vxlan] +enable_vxlan = true +local_ip = 172.17.3.200 +l2_population = true + +[securitygroup] +... +enable_security_group = True +firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver +``` + +### Настройка DHCP агента. +Редактируем файл `/etc/neutron/dhcp_agent.ini` + +``` +[DEFAULT] +... +interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver # в случае использования OVS указать openvswitch +dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq +enable_isolated_metadata = True +``` + +### Настраиваем L3 агента. Он будет управлять непосредственно самими виртуальными роутерами, маршрутизацией и трансляцией адресов. + +Редактируем файл `/etc/neutron/l3_agent.ini ` +``` +[DEFAULT] +interface_driver = linuxbridge # в случае использования OVS указать openvswitch +[agent] +[ovs] +``` + +### Настройка агента метаданных. +Генерируем uuid: `uuidgen` + +Редактируем файл `/etc/neutron/metadata_agent.ini` + +``` +nova_metadata_ip = controller-virt +metadata_proxy_shared_secret = UUIDGEN_REZ +``` +>Заменить NEUTRON_PASS and UUIDGEN_REZ + +## Настройка вычислительной службы для использования сетевой службы + +Редактируем `/etc/nova/nova.conf` + +``` +[neutron] +... +url = http://controller-net:9696 +auth_url = http://controller-virt:35357 +auth_type = password +project_domain_name = Default +user_domain_name = Default +region_name = RegionOne +project_name = service +username = neutron +password = NEUTRON_PASS +service_metadata_proxy = True +metadata_proxy_shared_secret =UUIDGEN_REZ +``` +>Заменить NEUTRON_PASS and UUIDGEN_REZ + +Завершаем установку на управляющем узле +логинимся от root'a +``` +sudo su +``` + +Создаём ссылку +``` +ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini +``` + +Заполняем базу данных +``` +su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf \ + --config-file /etc/neutron/plugins/ml2/ml2_conf.ini upgrade head" neutron +``` + +выходим из root'a + +Перезапустите API сервис вычислительных ресурсов: +``` +sudo systemctl restart openstack-nova-api.service +``` +Запустите сервисы службы Сети и настройте их автоматический запуск при загрузке системы. +Для обеих сетевых опций: + +``` +sudo systemctl enable neutron-server.service \ + neutron-openvswitch-agent.service neutron-l3-agent.service \ + neutron-dhcp-agent.service neutron-metadata-agent.service +sudo systemctl start neutron-server.service \ + neutron-openvswitch-agent.service neutron-l3-agent.service \ + neutron-dhcp-agent.service neutron-metadata-agent.service +``` + +# Установка и настройка на compute-node + +На вычислительном узле запускается только плагин, отвечающий за работу конкретного l2 устройства, linuxbridge или openvswitch. + +``` +yum install openstack-neutron-openvswitch ebtables ipset +``` +### Настройка работы агента сетевой службы + +Редактируем `/etc/neutron/neutron.conf` +``` +[DEFAULT] +... +transport_url = rabbit://openstack:RABBIT_PASS@controller-virt +auth_strategy = keystone + +[keystone_authtoken] +... +auth_uri = http://controller-virt:5000 +auth_url = http://controller-virt:35357 +memcached_servers = controller-virt:11211 +auth_type = password +project_domain_name = Default +user_domain_name = Default +project_name = service +username = neutron +password = NEUTRON_PASS + +[oslo_concurrency] +... +lock_path = /var/lib/neutron/tmp +``` +### Настройка агента управления L2 +Редактируем `/etc/neutron/plugins/ml2/ml2_conf.ini` + +``` +[DEFAULT] +[l2pop] +[ml2] +path_mtu = 9000 +tenant_network_types = vxlan # Тип сети для частных сетей +type_drivers = flat,vlan,vxlan +extension_drivers = port_security +mechanism_drivers = openvswitch,l2population +physical_network_mtus = provider:9000 # MTU физической провайдерской сети +[ml2_type_flat] +[ml2_type_geneve] +[ml2_type_gre] +[ml2_type_vlan] +network_vlan_ranges = provider:160:165,212 # разрешённые vlan. С 160 по 165 и 212 +[ml2_type_vxlan] +vni_ranges = 65537:69999 +[securitygroup] +enable_security_group = True +firewall_driver = ovs_learn_action +[agent] +extensions = qos +``` + +### Настройка плагина openvswitch +Редактируем `/etc/neutron/plugins/ml2/openvswitch_agent.ini` + +``` +[DEFAULT] +[agent] +tunnel_types = vxlan +l2_population = True +arp_responder = True +extensions = qos +[ovs] +local_ip = 172.17.1.X +bridge_mappings = provider:br-ext-main #интерфейс для сети provider +[securitygroup] +firewall_driver = openvswitch +[xenapi] +``` + +Далее необходимо перезапустить службу + +``` +sudo systemctl enable neutron-openvswitch-agent.service +sudo systemctl start neutron-openvswitch-agent.service +``` + +### Настройка плагина linuxbridge + +Редактируем `/etc/neutron/plugins/ml2/linuxbridge_agent.ini` + +``` +[linux_bridge] +bridge_mappings = provider:bond0 +#Провайдер не может быть bridge интерфейсом, так как потом нельзя будет примапить бридж к бриджу. Так же +# он не может быть vlan интерфейсом... почему то. В итоге нужно делать либо физический интерфейс или bound, +# а при создании внешней сети - выбирать +[vxlan] +l2_population = true + +[securitygroup] +... +enable_security_group = True +firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver +``` +``` +sudo systemctl enable neutron-linuxbridge-agent.service +sudo systemctl start neutron-linuxbridge-agent.service +``` + +## Настраиваем вычислительную службу для использования сетевой службы + +Редактируем файл `/etc/nova/nova.conf` + +``` +[neutron] +... +url = http://controller-net:9696 +auth_url = http://controller-virt:35357 +auth_type = password +project_domain_name = Default +user_domain_name = Default +region_name = RegionOne +project_name = service +username = neutron +password = NEUTRON_PASS +``` +> Заменить NEUTRON_PASS + +Завершите установку + + +``` +sudo systemctl restart openstack-nova-compute.service +``` + +# Решение проблемы с отсутствием сети на узлах + +Чтобы просмотреть список введенных напрямую правил использовать команду +``` +firewall-cmd --get-all-rules --direct +``` +Чтобы обеспечить сеть на узлах для виртуальных машин, нужно добавить правило: +``` +sudo firewall-cmd --permanent --direct --add-rule ipv4 filter FORWARD 0 -j ACCEPT +``` +В случае работы с Linuxbridge и VXLAN на узле контроллера необходимо разрешить порт 8472/udp +``` +firewall-cmd --add-port 8472/udp --permanent +firewall-cmd --reload +``` +## Troubleshoot +### 1. Отслеживание пакетов конкретного VXLAN +В случае необходимости посмотреть пакеты нужного VXLAN, необходимо запускать tcpdump со следующими параметрами: +``` +tcpdump -l -n -i {int} 'port 8472 and udp[8:2] = 0x0800 & 0x0800 and udp[11:4] = {VNI} & 0x00FFFFFF' -nn +``` +где: +``` +int - физический интерфейс +VNI - VXLAN id +``` +### 2. Выполнение команд с виртуального роутера. +Виртуальный роутер является минимального размера контейнером, который имеет интерфейсы и встроенные утилиты для работы +с ним. Чтобы выяснить id виртуального роутера, необходимо в командной строке сетевого контроллера выполнить команду: +``` +ip netns list +``` +и увидеть вывод, на подобии следующего: +``` +[root@controller-net ~]# ip netns list +qdhcp-ea7c22df-e90e-40c7-bc7b-375dcc93273e (id: 0) +qrouter-73d88700-1b3f-479e-ace4-360cf46afadf (id: 1) +``` +Это значить что id роутера - `qrouter-73d88700-1b3f-479e-ace4-360cf46afadf` +Для выполненеия команд с роутера(например команды `ip a`) необходимо выполнить: +``` +ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a +``` +Что выведет интерфесы непосредственного виртуального роутера, например так: +``` +[root@controller-net ~]# ip netns exec qrouter-73d88700-1b3f-479e-ace4-360cf46afadf ip a +1: lo: mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 + link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 + inet 127.0.0.1/8 scope host lo + valid_lft forever preferred_lft forever + inet6 ::1/128 scope host + valid_lft forever preferred_lft forever +3: qg-4faaa818-e1@if10: mtu 8950 qdisc noqueue state UP group default qlen 1000 + link/ether fa:16:3e:8b:a1:b9 brd ff:ff:ff:ff:ff:ff link-netnsid 0 + inet 172.17.5.7/24 brd 172.17.5.255 scope global qg-4faaa818-e1 + valid_lft forever preferred_lft forever + inet6 fe80::f816:3eff:fe8b:a1b9/64 scope link + valid_lft forever preferred_lft forever +4: qr-eb20e42d-80@if19: mtu 8946 qdisc noqueue state UP group default qlen 1000 + link/ether fa:16:3e:53:fc:2a brd ff:ff:ff:ff:ff:ff link-netnsid 0 + inet 192.168.1.1/24 brd 192.168.1.255 scope global qr-eb20e42d-80 + valid_lft forever preferred_lft forever + inet6 fe80::f816:3eff:fe53:fc2a/64 scope link + valid_lft forever preferred_lft forever +``` \ No newline at end of file