Update 3. Установка и Настройка Ceph

Власов Дмитрий
2020-08-12 00:46:21 +03:00
parent 406370fb75
commit 5436534999
2 changed files with 144 additions and 316 deletions
@@ -1,316 +0,0 @@
# Обычная установка и настройка (без DPDK)
```
sudo yum install https://rdoproject.org/repos/rdo-release.rpm
sudo yum install openvswitch
```
Далее необходимо запустить службу openvswitch и добавить её в автозапуск
```
sudo systemctl enable openvswitch
sudo systemctl start openvswitch
```
Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager
```
sudo systemctl disable NetworkManager
sudo systemctl stop NetworkManager
```
Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000:
```
cat /etc/sysconfig/network-scripts/ifcfg-eth0
```
```
TYPE=OVSPort
OVS_BRIDGE=br-ext-main
DEVICE=eth0
DEVICETYPE=ovs
ONBOOT=yes
HOTPLUG=no
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ZONE=public
```
Пример настройки физического коммутатора br-ext-main с MTU 9000:
```
DEVICE=br-ext-main
DEVICETYPE=ovs
TYPE=OVSBridge
BOOTPROTO=none
OVS_EXTRA="set int $DEVICE mtu_request=9000"
ONBOOT=yes
HOTPLUG=no
ZONE=public
```
Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000:
```
TYPE=OVSIntPort
DEVICETYPE=ovs
DEVICE=mgmt0
ONBOOT=yes
OVS_BRIDGE=br-ext-main
OVS_OPTIONS="tag=162"
BOOTPROTO=static
IPADDR=172.17.2.X
DNS1=172.17.1.10
GATEWAY=172.17.2.1
OVS_EXTRA="set int $DEVICE mtu_request=9000"
NOZEROCONF=yes
PREFIX=24
HOTPLUG="no"
ZONE=public
```
В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы.
Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты `enp7s0f0` и `enp7s0f1`. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов.
```
cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0
```
```
TYPE=Ethernet
DEVICE=enp7s0f0
ONBOOT=yes
MTU=9000
ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off"
ZONE=public
```
```
cat /etc/sysconfig/network-scripts/ifcfg-bond0
```
```
TYPE=OVSBond
DEVICETYPE=ovs
NAME=bond0
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
OVS_BRIDGE=br-ext-main
BOND_IFACES="enp7s0f0 enp7s0f1"
OVS_OPTIONS="bond_mode=balance-tcp lacp=active"
NOZEROCONF=yes
HOTPUG=no
```
```
ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network
```
# Настройка OVS с DPDK (на примере адаптеров intel 82576)
Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK
```
yum install https://rdoproject.org/repos/rdo-release.rpm -y
yum install openvswitch driverctl libibverbs policycoreutils-python -y
```
Добавить модуль ядра для работы драйвера DPDK
```
modprobe uio_pci_generic
```
Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK
```
driverctl -v list-devices | grep -i net
```
> * driverctl - утилита, управляющая драйверами устройств в linux.
После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0)
```
driverctl set-override 0000:0b:00.0 uio_pci_generic
```
Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf)
```
cat <<EOF > /etc/modules-load.d/dpdk.conf
uio_pci_generic
EOF
```
Если на системе не отключен selinux, см. раздел [Настройка Selinux](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#openvswitch-with-selinux) этой главы.
Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем)
Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл `/etc/default/grub` и дописать в строку `GRUB_CMDLINE_LINUX` следующее:
```
hugepages=512 isolcpus=2-3
```
Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее)
```
default_hugepagesz=1G hugepagesz=1G hugepages=4
```
далее сохранить файл и скомпилировать grub.
Без UEFI
```
grub2-mkconfig -o /boot/grub2/grub.cfg
```
С UEFI
```
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
```
Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл `/etc/fstab` и добавить следующую строку:
```
nodev /mnt/huge hugetlbfs defaults 0 0
```
и добавить директорию монтирования
```
mkdir /mnt/huge
```
После этого выполнить перезагрузку.
Так же можно добавить эту точку монтирования на рабочей системе задав в консоли `mount -t hugetlbfs nodev /mnt/huge`.
### Запуск openvswitch
Для запуска выполнить в консоли
```
systemctl enable openvswitch
systemctl start openvswitch
```
Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор)
Для инициализации DPDK ввести:
```
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true"
```
Для выделения конкретного процессора (в данном случае третьего) необходимо указать `pmd-cpu-mask` в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной)
```
ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4
```
Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб)
```
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0"
```
Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл `/etc/sysconfig/openvswitch`. И изменить/добавить строчку `OVS_USER_ID="root:root"`
После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение здесь [Работа с одним ядром на двухядерной системе](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#memory-distribution)
Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: `set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0`
Пример добавления коммутатора
```
ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev
```
Пример добавление lacp порта:
```
ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1
```
Так же, для lacp необходимо указать следующие параметры:
```
ovs-vsctl set port dpdkbond lacp=active
ovs-vsctl set port dpdkbond bond_mode=balance-tcp
ovs-appctl bond/show dpdkbond
```
## openvswitch with selinux
В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch.
Самым простым способом является скачивание с репозитория данного проекта модулей selinux
```
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp
```
Дальше эти модули необходимо установить:
```
semodule -i ovs-vswitchd.pp
semodule -i ovsdb-server.pp
```
Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs)
Для этого необходимо установить утилиты для работы с selinux
```
yum install policycoreutils-python
```
Создать правило для базы данных openvswitch и применить его
```
grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server
semodule -i ovsdb-server.pp
```
Создать правило для утилиты управления openvswitch и применить его
```
grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd
semodule -i ovs-vswitchd.pp
```
## Memory Distribution
Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd)
Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1)
```
cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
```
Для ручного измененеия необходимо выполнить:
```
echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
```
Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска.
Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров.
```
cat <<EOF > /usr/lib/systemd/system/hugetlb-gigantic-pages.service
[Unit]
Description=HugeTLB Gigantic Pages Reservation
DefaultDependencies=no
Before=dev-hugepages.mount
ConditionPathExists=/sys/devices/system/node
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh
[Install]
WantedBy=sysinit.target
EOF
```
далее необходимо создать сам скрипт.
```
cat <<EOF > /usr/lib/systemd/hugetlb-reserve-pages.sh
#!/bin/sh
nodes_path=/sys/devices/system/node/
if [ ! -d $nodes_path ]; then
echo "ERROR: $nodes_path does not exist"
exit 1
fi
reserve_pages()
{
echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages
}
reserve_pages number_of_pages node
EOF
```
В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например
```
reserve_pages 512 node0
reserve_pages 0 node1
```
Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие.
```
systemctl enable hugetlb-gigantic-pages
chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh
```
# Полезные команды
### Отключить интерфейс
```
ovs-ofctl mod-port {BRIDGE} {physical port} down
```
например
```
ovs-ofctl mod-port br-dpdk p1 down
```
### Выставить MTU
```
ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU}
```
например
```
ovs-vsctl set int p0 mtu_request=9000
```
### Просмотр всей информации о интерфейсе
```
ovs-vsctl list int {physical port}
```
например
```
ovs-vsctl list int p0
```
@@ -0,0 +1,144 @@
## Настройка CentOS для работы Ceph cluster
### Беспарольный доступ к `sudo`
Для работы ceph нужен беспарольный доступ к `sudo`
1. Создаём файл в `/etc/sudoers.d/`
```
sudo vi /etc/sudoers.d/cephadmin
```
2. Пишем в нём
```
cephadmin ALL=(ALL:ALL) NOPASSWD: ALL
```
## Установка ceph-deploy.
### Скачиваем репозиторий и пакет, необходимые для установки и работы ceph-deploy
```
sudo yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm
yum install python-setuptools
```
```
sudo yum install ceph-deploy
```
>далее этот хост будем называть административным.
## Создание файла конфигурации ceph
>**Далее все команды выполнять в домашнем каталоге**
```
ceph-deploy new --cluster-network 172.17.3.0/24 --public-network 172.17.2.0/24 cluster1{1,2,3}
```
## Установка ceph version 12.2.4 luminous на cluster11, cluster12, cluster13
```
ceph-deploy install --release luminous cluster1{1,2,3}
```
### Проверка устрановленной версии
Необходимо убедиться, что на всех хостах установилась одна версия.
```
sudo ceph -v
```
### Получение ceph.conf всеми узлами
Раздаём Созданный ceph.conf на все узлы
```
ceph-deploy mon create-initial
ceph-deploy admin cluster1{1,2,3}
```
## Cоздание мониторов
### настройка firewalld
Для того что бы создать мониторы ,необходимо открыть порты, через которые общаются службы мониторов
```
sudo firewall-cmd --permanent --add-port 6789/tcp
```
Что бы потом не возвращаться к настройкам firewalld откроем сразу порты дял Ceph Metadata Server
```
sudo firewall-cmd --permanent --add-port 6800-7300/tcp
```
Перезагрузим правила:
```
sudo firewall-cmd --reload
```
### Раздаём ключи
1.`ceph-deploy gatherkeys cluster1{1,2,3}`
## Создание OSD
Для создания OSD нужно знать название дисков на которых будут расположены OSD
Для вывода всех доступных дисков можно использовать утилиту fdisk
```
sudo fdisk -l
```
----
ниже представлен диск sdd
![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/1.png)
Не трогаем тот диск ,где расположена система, вывод для него выглядит так
![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/2.png)
### Форматируем диски
>В данном случае диски называются sda,sdb,sdd **НА ВСЕХ 3х ХОСТАХ**
```
ceph-deploy disk zap cluster1{1,2,3}:sd{a,b,d}
```
### Создаём OSD
```
ceph-deploy osd create cluster1{1,2,3}:sd{a,b,d}
```
## Создание ceph-mgr
> Создаём на каждом хосте
###
```
ceph-deploy mgr create $node
```
## проверяем статус ceph
```
sudo ceph -s
```
----
![](https://gitlab.resds.ru/resds/openstack-deployment/-/raw/master/images/wiki_ch_3/3.png)
----
## Настройка Chrony
Сейчас мы имеем ceph-cluster предупреждающий нас о расхождении времени на узлах.
Для того, чтобы убрать предупреждение требуется настроить сервер времени,с которым, узлы будут синхронизировать время.
В решении этой задачи, нам поможет Chrony.
1. Установка Chrony
```
sudo yum install chrony
```
2.Настройка Chrony
```
sudo vi /etc/chrony.conf
```
Добавляем сервер
----
```
server X.X.X.X iburst
```
>Удаляем или комментируем другие поля вида `server IP iburst`
3. Запускаем Chrony
```
sudo systemctl enable chronyd.service
```
----
```
sudo systemctl start chronyd.service
```