From 6315d5a5d8e8d275edcd11ad1c727ac5e30ec60d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=92=D0=BB=D0=B0=D1=81=D0=BE=D0=B2=20=D0=94=D0=BC=D0=B8?= =?UTF-8?q?=D1=82=D1=80=D0=B8=D0=B9?= Date: Wed, 12 Aug 2020 00:35:00 +0300 Subject: [PATCH] =?UTF-8?q?Create=202.=20=D0=9D=D0=B0=D1=81=D1=82=D1=80?= =?UTF-8?q?=D0=BE=D0=B9=D0=BA=D0=B0=20=D1=81=D0=B5=D1=82=D0=B8=20=D0=BD?= =?UTF-8?q?=D0=B0=20CentOS.=20openvSwitch?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 2.-Настройка-сети-на-CentOS.-openvSwitch.md | 316 ++++++++++++++++++++ 1 file changed, 316 insertions(+) create mode 100644 2.-Настройка-сети-на-CentOS.-openvSwitch.md diff --git a/2.-Настройка-сети-на-CentOS.-openvSwitch.md b/2.-Настройка-сети-на-CentOS.-openvSwitch.md new file mode 100644 index 0000000..b9db96e --- /dev/null +++ b/2.-Настройка-сети-на-CentOS.-openvSwitch.md @@ -0,0 +1,316 @@ +# Обычная установка и настройка (без DPDK) +``` +sudo yum install https://rdoproject.org/repos/rdo-release.rpm +sudo yum install openvswitch +``` +Далее необходимо запустить службу openvswitch и добавить её в автозапуск + +``` +sudo systemctl enable openvswitch +sudo systemctl start openvswitch +``` + +Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager +``` +sudo systemctl disable NetworkManager +sudo systemctl stop NetworkManager +``` +Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000: +``` +cat /etc/sysconfig/network-scripts/ifcfg-eth0 +``` +``` +TYPE=OVSPort +OVS_BRIDGE=br-ext-main +DEVICE=eth0 +DEVICETYPE=ovs +ONBOOT=yes +HOTPLUG=no +OVS_EXTRA="set int $DEVICE mtu_request=9000" +ZONE=public +``` +Пример настройки физического коммутатора br-ext-main с MTU 9000: +``` +DEVICE=br-ext-main +DEVICETYPE=ovs +TYPE=OVSBridge +BOOTPROTO=none +OVS_EXTRA="set int $DEVICE mtu_request=9000" +ONBOOT=yes +HOTPLUG=no +ZONE=public +``` +Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000: +``` +TYPE=OVSIntPort +DEVICETYPE=ovs +DEVICE=mgmt0 +ONBOOT=yes +OVS_BRIDGE=br-ext-main +OVS_OPTIONS="tag=162" +BOOTPROTO=static +IPADDR=172.17.2.X +DNS1=172.17.1.10 +GATEWAY=172.17.2.1 +OVS_EXTRA="set int $DEVICE mtu_request=9000" +NOZEROCONF=yes +PREFIX=24 +HOTPLUG="no" +ZONE=public +``` +В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы. + +Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты `enp7s0f0` и `enp7s0f1`. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов. +``` +cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0 +``` +``` +TYPE=Ethernet +DEVICE=enp7s0f0 +ONBOOT=yes +MTU=9000 +ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off" +ZONE=public +``` +``` +cat /etc/sysconfig/network-scripts/ifcfg-bond0 +``` +``` +TYPE=OVSBond +DEVICETYPE=ovs +NAME=bond0 +DEVICE=bond0 +ONBOOT=yes +BOOTPROTO=none +OVS_BRIDGE=br-ext-main +BOND_IFACES="enp7s0f0 enp7s0f1" +OVS_OPTIONS="bond_mode=balance-tcp lacp=active" +NOZEROCONF=yes +HOTPUG=no +``` + + +``` +ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network +``` + +# Настройка OVS с DPDK (на примере адаптеров intel 82576) + +Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK +``` +yum install https://rdoproject.org/repos/rdo-release.rpm -y +yum install openvswitch driverctl libibverbs policycoreutils-python -y +``` +Добавить модуль ядра для работы драйвера DPDK +``` +modprobe uio_pci_generic +``` +Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK +``` +driverctl -v list-devices | grep -i net +``` +> * driverctl - утилита, управляющая драйверами устройств в linux. + +После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0) +``` +driverctl set-override 0000:0b:00.0 uio_pci_generic +``` +Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf) + +``` +cat < /etc/modules-load.d/dpdk.conf +uio_pci_generic +EOF +``` +Если на системе не отключен selinux, см. раздел [Настройка Selinux](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#openvswitch-with-selinux) этой главы. + +Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем) + +Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл `/etc/default/grub` и дописать в строку `GRUB_CMDLINE_LINUX` следующее: +``` +hugepages=512 isolcpus=2-3 +``` +Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее) +``` +default_hugepagesz=1G hugepagesz=1G hugepages=4 +``` +далее сохранить файл и скомпилировать grub. +Без UEFI +``` +grub2-mkconfig -o /boot/grub2/grub.cfg +``` +С UEFI +``` +grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg +``` + +Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл `/etc/fstab` и добавить следующую строку: +``` +nodev /mnt/huge hugetlbfs defaults 0 0 +``` +и добавить директорию монтирования +``` +mkdir /mnt/huge +``` +После этого выполнить перезагрузку. +Так же можно добавить эту точку монтирования на рабочей системе задав в консоли `mount -t hugetlbfs nodev /mnt/huge`. + +### Запуск openvswitch + +Для запуска выполнить в консоли +``` +systemctl enable openvswitch +systemctl start openvswitch +``` + +Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор) +Для инициализации DPDK ввести: +``` +ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true" +``` +Для выделения конкретного процессора (в данном случае третьего) необходимо указать `pmd-cpu-mask` в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной) +``` +ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4 +``` +Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб) +``` +ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0" +``` + +Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл `/etc/sysconfig/openvswitch`. И изменить/добавить строчку `OVS_USER_ID="root:root"` + +После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение здесь [Работа с одним ядром на двухядерной системе](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#memory-distribution) + +Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: `set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0` +Пример добавления коммутатора +``` +ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev +``` +Пример добавление lacp порта: +``` +ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1 +``` +Так же, для lacp необходимо указать следующие параметры: +``` +ovs-vsctl set port dpdkbond lacp=active +ovs-vsctl set port dpdkbond bond_mode=balance-tcp +ovs-appctl bond/show dpdkbond +``` + +## openvswitch with selinux +В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch. +Самым простым способом является скачивание с репозитория данного проекта модулей selinux +``` +curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp +curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp +``` +Дальше эти модули необходимо установить: +``` +semodule -i ovs-vswitchd.pp +semodule -i ovsdb-server.pp +``` +Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs) +Для этого необходимо установить утилиты для работы с selinux +``` +yum install policycoreutils-python +``` +Создать правило для базы данных openvswitch и применить его +``` +grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server +semodule -i ovsdb-server.pp +``` +Создать правило для утилиты управления openvswitch и применить его +``` +grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd +semodule -i ovs-vswitchd.pp +``` +## Memory Distribution +Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd) + +Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1) +``` +cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages +``` +Для ручного измененеия необходимо выполнить: +``` +echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages +echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages +``` +Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска. +Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров. + +``` +cat < /usr/lib/systemd/system/hugetlb-gigantic-pages.service +[Unit] +Description=HugeTLB Gigantic Pages Reservation +DefaultDependencies=no +Before=dev-hugepages.mount +ConditionPathExists=/sys/devices/system/node + + +[Service] +Type=oneshot +RemainAfterExit=yes +ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh + +[Install] +WantedBy=sysinit.target +EOF +``` + +далее необходимо создать сам скрипт. +``` +cat < /usr/lib/systemd/hugetlb-reserve-pages.sh +#!/bin/sh + +nodes_path=/sys/devices/system/node/ +if [ ! -d $nodes_path ]; then + echo "ERROR: $nodes_path does not exist" + exit 1 +fi + +reserve_pages() +{ + echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages +} + +reserve_pages number_of_pages node +EOF +``` + +В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например +``` +reserve_pages 512 node0 +reserve_pages 0 node1 +``` + +Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие. +``` +systemctl enable hugetlb-gigantic-pages +chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh +``` +# Полезные команды +### Отключить интерфейс +``` +ovs-ofctl mod-port {BRIDGE} {physical port} down +``` +например +``` +ovs-ofctl mod-port br-dpdk p1 down +``` +### Выставить MTU +``` +ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU} +``` +например +``` +ovs-vsctl set int p0 mtu_request=9000 +``` +### Просмотр всей информации о интерфейсе +``` +ovs-vsctl list int {physical port} +``` +например +``` +ovs-vsctl list int p0 +``` \ No newline at end of file