Clone
02. Настройка сети на CentOS. openvSwitch
Власов Дмитрий edited this page 2020-08-12 00:57:01 +03:00
This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

Обычная установка и настройка (без DPDK)

sudo yum install https://rdoproject.org/repos/rdo-release.rpm
sudo yum install openvswitch

Далее необходимо запустить службу openvswitch и добавить её в автозапуск

sudo systemctl enable openvswitch
sudo systemctl start openvswitch

Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager

sudo systemctl disable NetworkManager
sudo systemctl stop NetworkManager

Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000:

cat /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=OVSPort
OVS_BRIDGE=br-ext-main
DEVICE=eth0
DEVICETYPE=ovs
ONBOOT=yes
HOTPLUG=no
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ZONE=public

Пример настройки физического коммутатора br-ext-main с MTU 9000:

DEVICE=br-ext-main
DEVICETYPE=ovs
TYPE=OVSBridge
BOOTPROTO=none
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ONBOOT=yes
HOTPLUG=no
ZONE=public

Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000:

TYPE=OVSIntPort
DEVICETYPE=ovs
DEVICE=mgmt0
ONBOOT=yes
OVS_BRIDGE=br-ext-main
OVS_OPTIONS="tag=162"
BOOTPROTO=static
IPADDR=172.17.2.X
DNS1=172.17.1.10
GATEWAY=172.17.2.1
OVS_EXTRA="set int $DEVICE mtu_request=9000"
NOZEROCONF=yes
PREFIX=24
HOTPLUG="no"
ZONE=public

В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы.

Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты enp7s0f0 и enp7s0f1. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов.

cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0
TYPE=Ethernet
DEVICE=enp7s0f0
ONBOOT=yes
MTU=9000
ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off"
ZONE=public
cat /etc/sysconfig/network-scripts/ifcfg-bond0
TYPE=OVSBond
DEVICETYPE=ovs
NAME=bond0
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
OVS_BRIDGE=br-ext-main
BOND_IFACES="enp7s0f0 enp7s0f1"
OVS_OPTIONS="bond_mode=balance-tcp lacp=active"
NOZEROCONF=yes
HOTPUG=no
ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network

Настройка OVS с DPDK (на примере адаптеров intel 82576)

Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK

yum install https://rdoproject.org/repos/rdo-release.rpm -y
yum install openvswitch driverctl libibverbs policycoreutils-python -y

Добавить модуль ядра для работы драйвера DPDK

modprobe uio_pci_generic

Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK

driverctl -v list-devices | grep -i net
  • driverctl - утилита, управляющая драйверами устройств в linux.

После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0)

driverctl set-override 0000:0b:00.0 uio_pci_generic

Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf)

cat <<EOF > /etc/modules-load.d/dpdk.conf
uio_pci_generic
EOF

Если на системе не отключен selinux, см. раздел openvswitch with selinux этой главы.

Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем)

Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл /etc/default/grub и дописать в строку GRUB_CMDLINE_LINUX следующее:

hugepages=512 isolcpus=2-3

Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее)

default_hugepagesz=1G hugepagesz=1G hugepages=4

далее сохранить файл и скомпилировать grub. Без UEFI

grub2-mkconfig -o /boot/grub2/grub.cfg 

С UEFI

grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg 

Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл /etc/fstab и добавить следующую строку:

nodev                   /mnt/huge               hugetlbfs       defaults        0 0 

и добавить директорию монтирования

mkdir /mnt/huge

После этого выполнить перезагрузку. Так же можно добавить эту точку монтирования на рабочей системе задав в консоли mount -t hugetlbfs nodev /mnt/huge.

Запуск openvswitch

Для запуска выполнить в консоли

systemctl enable openvswitch
systemctl start openvswitch

Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор) Для инициализации DPDK ввести:

ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true"

Для выделения конкретного процессора (в данном случае третьего) необходимо указать pmd-cpu-mask в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной)

ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4

Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб)

ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0"

Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл /etc/sysconfig/openvswitch. И изменить/добавить строчку OVS_USER_ID="root:root"

После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение в разделе Memory Distribution этой главы.

Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 Пример добавления коммутатора

ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev

Пример добавление lacp порта:

ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0     -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1

Так же, для lacp необходимо указать следующие параметры:

ovs-vsctl set port dpdkbond lacp=active
ovs-vsctl set port dpdkbond  bond_mode=balance-tcp
ovs-appctl bond/show dpdkbond

openvswitch with selinux

В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch. Самым простым способом является скачивание с репозитория данного проекта модулей selinux

curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp

Дальше эти модули необходимо установить:

semodule -i ovs-vswitchd.pp
semodule -i ovsdb-server.pp

Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs) Для этого необходимо установить утилиты для работы с selinux

yum install policycoreutils-python

Создать правило для базы данных openvswitch и применить его

grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server
semodule -i ovsdb-server.pp

Создать правило для утилиты управления openvswitch и применить его

grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd
semodule -i ovs-vswitchd.pp

Memory Distribution

Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd)

Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1)

cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

Для ручного измененеия необходимо выполнить:

echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска. Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров.

cat <<EOF > /usr/lib/systemd/system/hugetlb-gigantic-pages.service
[Unit]
Description=HugeTLB Gigantic Pages Reservation
DefaultDependencies=no
Before=dev-hugepages.mount
ConditionPathExists=/sys/devices/system/node


[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh

[Install]
WantedBy=sysinit.target
EOF

далее необходимо создать сам скрипт.

cat <<EOF > /usr/lib/systemd/hugetlb-reserve-pages.sh
#!/bin/sh

nodes_path=/sys/devices/system/node/
if [ ! -d $nodes_path ]; then
	echo "ERROR: $nodes_path does not exist"
	exit 1
fi

reserve_pages()
{
	echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages
}

reserve_pages number_of_pages node
EOF

В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например

reserve_pages 512 node0
reserve_pages 0 node1

Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие.

systemctl enable hugetlb-gigantic-pages
chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh

Полезные команды

Отключить интерфейс

ovs-ofctl mod-port {BRIDGE} {physical port} down

например

ovs-ofctl mod-port br-dpdk p1 down

Выставить MTU

ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU}

например

ovs-vsctl set int p0 mtu_request=9000

Просмотр всей информации о интерфейсе

ovs-vsctl list int {physical port}

например

ovs-vsctl list int p0