diff --git a/3.-Настройка-сети-на-CentOS.-openvSwitch.md b/3.-Настройка-сети-на-CentOS.-openvSwitch.md deleted file mode 100644 index b9db96e..0000000 --- a/3.-Настройка-сети-на-CentOS.-openvSwitch.md +++ /dev/null @@ -1,316 +0,0 @@ -# Обычная установка и настройка (без DPDK) -``` -sudo yum install https://rdoproject.org/repos/rdo-release.rpm -sudo yum install openvswitch -``` -Далее необходимо запустить службу openvswitch и добавить её в автозапуск - -``` -sudo systemctl enable openvswitch -sudo systemctl start openvswitch -``` - -Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager -``` -sudo systemctl disable NetworkManager -sudo systemctl stop NetworkManager -``` -Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000: -``` -cat /etc/sysconfig/network-scripts/ifcfg-eth0 -``` -``` -TYPE=OVSPort -OVS_BRIDGE=br-ext-main -DEVICE=eth0 -DEVICETYPE=ovs -ONBOOT=yes -HOTPLUG=no -OVS_EXTRA="set int $DEVICE mtu_request=9000" -ZONE=public -``` -Пример настройки физического коммутатора br-ext-main с MTU 9000: -``` -DEVICE=br-ext-main -DEVICETYPE=ovs -TYPE=OVSBridge -BOOTPROTO=none -OVS_EXTRA="set int $DEVICE mtu_request=9000" -ONBOOT=yes -HOTPLUG=no -ZONE=public -``` -Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000: -``` -TYPE=OVSIntPort -DEVICETYPE=ovs -DEVICE=mgmt0 -ONBOOT=yes -OVS_BRIDGE=br-ext-main -OVS_OPTIONS="tag=162" -BOOTPROTO=static -IPADDR=172.17.2.X -DNS1=172.17.1.10 -GATEWAY=172.17.2.1 -OVS_EXTRA="set int $DEVICE mtu_request=9000" -NOZEROCONF=yes -PREFIX=24 -HOTPLUG="no" -ZONE=public -``` -В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы. - -Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты `enp7s0f0` и `enp7s0f1`. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов. -``` -cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0 -``` -``` -TYPE=Ethernet -DEVICE=enp7s0f0 -ONBOOT=yes -MTU=9000 -ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off" -ZONE=public -``` -``` -cat /etc/sysconfig/network-scripts/ifcfg-bond0 -``` -``` -TYPE=OVSBond -DEVICETYPE=ovs -NAME=bond0 -DEVICE=bond0 -ONBOOT=yes -BOOTPROTO=none -OVS_BRIDGE=br-ext-main -BOND_IFACES="enp7s0f0 enp7s0f1" -OVS_OPTIONS="bond_mode=balance-tcp lacp=active" -NOZEROCONF=yes -HOTPUG=no -``` - - -``` -ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network -``` - -# Настройка OVS с DPDK (на примере адаптеров intel 82576) - -Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK -``` -yum install https://rdoproject.org/repos/rdo-release.rpm -y -yum install openvswitch driverctl libibverbs policycoreutils-python -y -``` -Добавить модуль ядра для работы драйвера DPDK -``` -modprobe uio_pci_generic -``` -Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK -``` -driverctl -v list-devices | grep -i net -``` -> * driverctl - утилита, управляющая драйверами устройств в linux. - -После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0) -``` -driverctl set-override 0000:0b:00.0 uio_pci_generic -``` -Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf) - -``` -cat < /etc/modules-load.d/dpdk.conf -uio_pci_generic -EOF -``` -Если на системе не отключен selinux, см. раздел [Настройка Selinux](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#openvswitch-with-selinux) этой главы. - -Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем) - -Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл `/etc/default/grub` и дописать в строку `GRUB_CMDLINE_LINUX` следующее: -``` -hugepages=512 isolcpus=2-3 -``` -Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее) -``` -default_hugepagesz=1G hugepagesz=1G hugepages=4 -``` -далее сохранить файл и скомпилировать grub. -Без UEFI -``` -grub2-mkconfig -o /boot/grub2/grub.cfg -``` -С UEFI -``` -grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg -``` - -Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл `/etc/fstab` и добавить следующую строку: -``` -nodev /mnt/huge hugetlbfs defaults 0 0 -``` -и добавить директорию монтирования -``` -mkdir /mnt/huge -``` -После этого выполнить перезагрузку. -Так же можно добавить эту точку монтирования на рабочей системе задав в консоли `mount -t hugetlbfs nodev /mnt/huge`. - -### Запуск openvswitch - -Для запуска выполнить в консоли -``` -systemctl enable openvswitch -systemctl start openvswitch -``` - -Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор) -Для инициализации DPDK ввести: -``` -ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true" -``` -Для выделения конкретного процессора (в данном случае третьего) необходимо указать `pmd-cpu-mask` в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной) -``` -ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4 -``` -Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб) -``` -ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0" -``` - -Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл `/etc/sysconfig/openvswitch`. И изменить/добавить строчку `OVS_USER_ID="root:root"` - -После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение здесь [Работа с одним ядром на двухядерной системе](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#memory-distribution) - -Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: `set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0` -Пример добавления коммутатора -``` -ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev -``` -Пример добавление lacp порта: -``` -ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1 -``` -Так же, для lacp необходимо указать следующие параметры: -``` -ovs-vsctl set port dpdkbond lacp=active -ovs-vsctl set port dpdkbond bond_mode=balance-tcp -ovs-appctl bond/show dpdkbond -``` - -## openvswitch with selinux -В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch. -Самым простым способом является скачивание с репозитория данного проекта модулей selinux -``` -curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp -curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp -``` -Дальше эти модули необходимо установить: -``` -semodule -i ovs-vswitchd.pp -semodule -i ovsdb-server.pp -``` -Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs) -Для этого необходимо установить утилиты для работы с selinux -``` -yum install policycoreutils-python -``` -Создать правило для базы данных openvswitch и применить его -``` -grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server -semodule -i ovsdb-server.pp -``` -Создать правило для утилиты управления openvswitch и применить его -``` -grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd -semodule -i ovs-vswitchd.pp -``` -## Memory Distribution -Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd) - -Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1) -``` -cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages -``` -Для ручного измененеия необходимо выполнить: -``` -echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages -echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages -``` -Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска. -Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров. - -``` -cat < /usr/lib/systemd/system/hugetlb-gigantic-pages.service -[Unit] -Description=HugeTLB Gigantic Pages Reservation -DefaultDependencies=no -Before=dev-hugepages.mount -ConditionPathExists=/sys/devices/system/node - - -[Service] -Type=oneshot -RemainAfterExit=yes -ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh - -[Install] -WantedBy=sysinit.target -EOF -``` - -далее необходимо создать сам скрипт. -``` -cat < /usr/lib/systemd/hugetlb-reserve-pages.sh -#!/bin/sh - -nodes_path=/sys/devices/system/node/ -if [ ! -d $nodes_path ]; then - echo "ERROR: $nodes_path does not exist" - exit 1 -fi - -reserve_pages() -{ - echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages -} - -reserve_pages number_of_pages node -EOF -``` - -В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например -``` -reserve_pages 512 node0 -reserve_pages 0 node1 -``` - -Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие. -``` -systemctl enable hugetlb-gigantic-pages -chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh -``` -# Полезные команды -### Отключить интерфейс -``` -ovs-ofctl mod-port {BRIDGE} {physical port} down -``` -например -``` -ovs-ofctl mod-port br-dpdk p1 down -``` -### Выставить MTU -``` -ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU} -``` -например -``` -ovs-vsctl set int p0 mtu_request=9000 -``` -### Просмотр всей информации о интерфейсе -``` -ovs-vsctl list int {physical port} -``` -например -``` -ovs-vsctl list int p0 -``` \ No newline at end of file diff --git a/3.-Установка-и-Настройка-Ceph.md b/3.-Установка-и-Настройка-Ceph.md new file mode 100644 index 0000000..4acc986 --- /dev/null +++ b/3.-Установка-и-Настройка-Ceph.md @@ -0,0 +1,144 @@ +## Настройка CentOS для работы Ceph cluster + +### Беспарольный доступ к `sudo` +Для работы ceph нужен беспарольный доступ к `sudo` +1. Создаём файл в `/etc/sudoers.d/` +``` +sudo vi /etc/sudoers.d/cephadmin +``` +2. Пишем в нём +``` +cephadmin ALL=(ALL:ALL) NOPASSWD: ALL +``` +## Установка ceph-deploy. +### Скачиваем репозиторий и пакет, необходимые для установки и работы ceph-deploy +``` +sudo yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm + +yum install python-setuptools +``` +``` +sudo yum install ceph-deploy +``` +>далее этот хост будем называть административным. + +## Создание файла конфигурации ceph +>**Далее все команды выполнять в домашнем каталоге** +``` +ceph-deploy new --cluster-network 172.17.3.0/24 --public-network 172.17.2.0/24 cluster1{1,2,3} +``` + + + + +## Установка ceph version 12.2.4 luminous на cluster11, cluster12, cluster13 +``` +ceph-deploy install --release luminous cluster1{1,2,3} +``` +### Проверка устрановленной версии +Необходимо убедиться, что на всех хостах установилась одна версия. +``` +sudo ceph -v +``` + +### Получение ceph.conf всеми узлами + +Раздаём Созданный ceph.conf на все узлы +``` +ceph-deploy mon create-initial +ceph-deploy admin cluster1{1,2,3} +``` + +## Cоздание мониторов +### настройка firewalld +Для того что бы создать мониторы ,необходимо открыть порты, через которые общаются службы мониторов +``` +sudo firewall-cmd --permanent --add-port 6789/tcp +``` +Что бы потом не возвращаться к настройкам firewalld откроем сразу порты дял Ceph Metadata Server + +``` +sudo firewall-cmd --permanent --add-port 6800-7300/tcp +``` + +Перезагрузим правила: + +``` +sudo firewall-cmd --reload +``` +### Раздаём ключи +1.`ceph-deploy gatherkeys cluster1{1,2,3}` + +## Создание OSD +Для создания OSD нужно знать название дисков на которых будут расположены OSD +Для вывода всех доступных дисков можно использовать утилиту fdisk +``` +sudo fdisk -l +``` + +---- +ниже представлен диск sdd + +![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/1.png) + +Не трогаем тот диск ,где расположена система, вывод для него выглядит так +![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/2.png) + +### Форматируем диски +>В данном случае диски называются sda,sdb,sdd **НА ВСЕХ 3х ХОСТАХ** +``` +ceph-deploy disk zap cluster1{1,2,3}:sd{a,b,d} +``` + +### Создаём OSD +``` +ceph-deploy osd create cluster1{1,2,3}:sd{a,b,d} +``` +## Создание ceph-mgr +> Создаём на каждом хосте +### +``` +ceph-deploy mgr create $node +``` + + +## проверяем статус ceph + +``` +sudo ceph -s +``` + +---- +![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/3.png) + +---- + +## Настройка Chrony + +Сейчас мы имеем ceph-cluster предупреждающий нас о расхождении времени на узлах. +Для того, чтобы убрать предупреждение требуется настроить сервер времени,с которым, узлы будут синхронизировать время. +В решении этой задачи, нам поможет Chrony. + +1. Установка Chrony +``` +sudo yum install chrony +``` +2.Настройка Chrony +``` +sudo vi /etc/chrony.conf +``` +Добавляем сервер +---- +``` +server X.X.X.X iburst +``` +>Удаляем или комментируем другие поля вида `server IP iburst` + +3. Запускаем Chrony +``` +sudo systemctl enable chronyd.service +``` +---- +``` +sudo systemctl start chronyd.service +``` \ No newline at end of file