Обычная установка и настройка (без DPDK)
sudo yum install https://rdoproject.org/repos/rdo-release.rpm
sudo yum install openvswitch
Далее необходимо запустить службу openvswitch и добавить её в автозапуск
sudo systemctl enable openvswitch
sudo systemctl start openvswitch
Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager
sudo systemctl disable NetworkManager
sudo systemctl stop NetworkManager
Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000:
cat /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=OVSPort
OVS_BRIDGE=br-ext-main
DEVICE=eth0
DEVICETYPE=ovs
ONBOOT=yes
HOTPLUG=no
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ZONE=public
Пример настройки физического коммутатора br-ext-main с MTU 9000:
DEVICE=br-ext-main
DEVICETYPE=ovs
TYPE=OVSBridge
BOOTPROTO=none
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ONBOOT=yes
HOTPLUG=no
ZONE=public
Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000:
TYPE=OVSIntPort
DEVICETYPE=ovs
DEVICE=mgmt0
ONBOOT=yes
OVS_BRIDGE=br-ext-main
OVS_OPTIONS="tag=162"
BOOTPROTO=static
IPADDR=172.17.2.X
DNS1=172.17.1.10
GATEWAY=172.17.2.1
OVS_EXTRA="set int $DEVICE mtu_request=9000"
NOZEROCONF=yes
PREFIX=24
HOTPLUG="no"
ZONE=public
В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы.
Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты enp7s0f0 и enp7s0f1. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов.
cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0
TYPE=Ethernet
DEVICE=enp7s0f0
ONBOOT=yes
MTU=9000
ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off"
ZONE=public
cat /etc/sysconfig/network-scripts/ifcfg-bond0
TYPE=OVSBond
DEVICETYPE=ovs
NAME=bond0
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
OVS_BRIDGE=br-ext-main
BOND_IFACES="enp7s0f0 enp7s0f1"
OVS_OPTIONS="bond_mode=balance-tcp lacp=active"
NOZEROCONF=yes
HOTPUG=no
ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network
Настройка OVS с DPDK (на примере адаптеров intel 82576)
Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK
yum install https://rdoproject.org/repos/rdo-release.rpm -y
yum install openvswitch driverctl libibverbs policycoreutils-python -y
Добавить модуль ядра для работы драйвера DPDK
modprobe uio_pci_generic
Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK
driverctl -v list-devices | grep -i net
- driverctl - утилита, управляющая драйверами устройств в linux.
После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0)
driverctl set-override 0000:0b:00.0 uio_pci_generic
Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf)
cat <<EOF > /etc/modules-load.d/dpdk.conf
uio_pci_generic
EOF
Если на системе не отключен selinux, см. раздел openvswitch with selinux этой главы.
Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем)
Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл /etc/default/grub и дописать в строку GRUB_CMDLINE_LINUX следующее:
hugepages=512 isolcpus=2-3
Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее)
default_hugepagesz=1G hugepagesz=1G hugepages=4
далее сохранить файл и скомпилировать grub. Без UEFI
grub2-mkconfig -o /boot/grub2/grub.cfg
С UEFI
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл /etc/fstab и добавить следующую строку:
nodev /mnt/huge hugetlbfs defaults 0 0
и добавить директорию монтирования
mkdir /mnt/huge
После этого выполнить перезагрузку.
Так же можно добавить эту точку монтирования на рабочей системе задав в консоли mount -t hugetlbfs nodev /mnt/huge.
Запуск openvswitch
Для запуска выполнить в консоли
systemctl enable openvswitch
systemctl start openvswitch
Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор) Для инициализации DPDK ввести:
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true"
Для выделения конкретного процессора (в данном случае третьего) необходимо указать pmd-cpu-mask в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной)
ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4
Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб)
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0"
Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл /etc/sysconfig/openvswitch. И изменить/добавить строчку OVS_USER_ID="root:root"
После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение в разделе Memory Distribution этой главы.
Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0
Пример добавления коммутатора
ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev
Пример добавление lacp порта:
ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1
Так же, для lacp необходимо указать следующие параметры:
ovs-vsctl set port dpdkbond lacp=active
ovs-vsctl set port dpdkbond bond_mode=balance-tcp
ovs-appctl bond/show dpdkbond
openvswitch with selinux
В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch. Самым простым способом является скачивание с репозитория данного проекта модулей selinux
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp
Дальше эти модули необходимо установить:
semodule -i ovs-vswitchd.pp
semodule -i ovsdb-server.pp
Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs) Для этого необходимо установить утилиты для работы с selinux
yum install policycoreutils-python
Создать правило для базы данных openvswitch и применить его
grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server
semodule -i ovsdb-server.pp
Создать правило для утилиты управления openvswitch и применить его
grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd
semodule -i ovs-vswitchd.pp
Memory Distribution
Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd)
Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1)
cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
Для ручного измененеия необходимо выполнить:
echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска. Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров.
cat <<EOF > /usr/lib/systemd/system/hugetlb-gigantic-pages.service
[Unit]
Description=HugeTLB Gigantic Pages Reservation
DefaultDependencies=no
Before=dev-hugepages.mount
ConditionPathExists=/sys/devices/system/node
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh
[Install]
WantedBy=sysinit.target
EOF
далее необходимо создать сам скрипт.
cat <<EOF > /usr/lib/systemd/hugetlb-reserve-pages.sh
#!/bin/sh
nodes_path=/sys/devices/system/node/
if [ ! -d $nodes_path ]; then
echo "ERROR: $nodes_path does not exist"
exit 1
fi
reserve_pages()
{
echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages
}
reserve_pages number_of_pages node
EOF
В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например
reserve_pages 512 node0
reserve_pages 0 node1
Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие.
systemctl enable hugetlb-gigantic-pages
chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh
Полезные команды
Отключить интерфейс
ovs-ofctl mod-port {BRIDGE} {physical port} down
например
ovs-ofctl mod-port br-dpdk p1 down
Выставить MTU
ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU}
например
ovs-vsctl set int p0 mtu_request=9000
Просмотр всей информации о интерфейсе
ovs-vsctl list int {physical port}
например
ovs-vsctl list int p0