Archived
Update 3. Установка и Настройка Ceph
@@ -1,316 +0,0 @@
|
||||
# Обычная установка и настройка (без DPDK)
|
||||
```
|
||||
sudo yum install https://rdoproject.org/repos/rdo-release.rpm
|
||||
sudo yum install openvswitch
|
||||
```
|
||||
Далее необходимо запустить службу openvswitch и добавить её в автозапуск
|
||||
|
||||
```
|
||||
sudo systemctl enable openvswitch
|
||||
sudo systemctl start openvswitch
|
||||
```
|
||||
|
||||
Чтобы интерфейсы запускались автоматически, и им можно было присовить IP необходимо создать файлы настройки сети и отключить NetworkManager
|
||||
```
|
||||
sudo systemctl disable NetworkManager
|
||||
sudo systemctl stop NetworkManager
|
||||
```
|
||||
Пример настройки физического интерфейса для коммутатора br-ext-main с MTU 9000:
|
||||
```
|
||||
cat /etc/sysconfig/network-scripts/ifcfg-eth0
|
||||
```
|
||||
```
|
||||
TYPE=OVSPort
|
||||
OVS_BRIDGE=br-ext-main
|
||||
DEVICE=eth0
|
||||
DEVICETYPE=ovs
|
||||
ONBOOT=yes
|
||||
HOTPLUG=no
|
||||
OVS_EXTRA="set int $DEVICE mtu_request=9000"
|
||||
ZONE=public
|
||||
```
|
||||
Пример настройки физического коммутатора br-ext-main с MTU 9000:
|
||||
```
|
||||
DEVICE=br-ext-main
|
||||
DEVICETYPE=ovs
|
||||
TYPE=OVSBridge
|
||||
BOOTPROTO=none
|
||||
OVS_EXTRA="set int $DEVICE mtu_request=9000"
|
||||
ONBOOT=yes
|
||||
HOTPLUG=no
|
||||
ZONE=public
|
||||
```
|
||||
Пример настройки ip интерфейса в 162 VLAN коммутатора br-ext-main с MTU 9000:
|
||||
```
|
||||
TYPE=OVSIntPort
|
||||
DEVICETYPE=ovs
|
||||
DEVICE=mgmt0
|
||||
ONBOOT=yes
|
||||
OVS_BRIDGE=br-ext-main
|
||||
OVS_OPTIONS="tag=162"
|
||||
BOOTPROTO=static
|
||||
IPADDR=172.17.2.X
|
||||
DNS1=172.17.1.10
|
||||
GATEWAY=172.17.2.1
|
||||
OVS_EXTRA="set int $DEVICE mtu_request=9000"
|
||||
NOZEROCONF=yes
|
||||
PREFIX=24
|
||||
HOTPLUG="no"
|
||||
ZONE=public
|
||||
```
|
||||
В случае необходимости настройки Bound интерфейсов, настраивать нужно по другому. Физические интерфейсы настраиваются как обычные сетевые интерфейсы, а bound настраивается как специальный интерфейс OpenvSwitch, но объединяющий эти интерфейсы.
|
||||
|
||||
Пример настройки Bound интерфейса для OpenvSwitch объединяющего порты `enp7s0f0` и `enp7s0f1`. В настройках bound интерфейсов MTU не указывается, а берется из настрйоки физических интерфейсов.
|
||||
```
|
||||
cat /etc/sysconfig/network-scripts/ifcfg-enp7s0f0
|
||||
```
|
||||
```
|
||||
TYPE=Ethernet
|
||||
DEVICE=enp7s0f0
|
||||
ONBOOT=yes
|
||||
MTU=9000
|
||||
ETHTOOL_OPTS="-K ${DEVICE} rx off tx off; -K ${DEVICE} tso off; -K ${DEVICE} gso off"
|
||||
ZONE=public
|
||||
```
|
||||
```
|
||||
cat /etc/sysconfig/network-scripts/ifcfg-bond0
|
||||
```
|
||||
```
|
||||
TYPE=OVSBond
|
||||
DEVICETYPE=ovs
|
||||
NAME=bond0
|
||||
DEVICE=bond0
|
||||
ONBOOT=yes
|
||||
BOOTPROTO=none
|
||||
OVS_BRIDGE=br-ext-main
|
||||
BOND_IFACES="enp7s0f0 enp7s0f1"
|
||||
OVS_OPTIONS="bond_mode=balance-tcp lacp=active"
|
||||
NOZEROCONF=yes
|
||||
HOTPUG=no
|
||||
```
|
||||
|
||||
|
||||
```
|
||||
ip link set dev eth0.162 down && ip link delete eth0.162; ip link set dev eth0 down; systemctl restart network
|
||||
```
|
||||
|
||||
# Настройка OVS с DPDK (на примере адаптеров intel 82576)
|
||||
|
||||
Установка пакета openvswitch из репозитория RDO производится вместе с пакетом DPDK
|
||||
```
|
||||
yum install https://rdoproject.org/repos/rdo-release.rpm -y
|
||||
yum install openvswitch driverctl libibverbs policycoreutils-python -y
|
||||
```
|
||||
Добавить модуль ядра для работы драйвера DPDK
|
||||
```
|
||||
modprobe uio_pci_generic
|
||||
```
|
||||
Необходимо узнать адрес PCI шины устройства, которое нужно пробросить с помощью DPDK
|
||||
```
|
||||
driverctl -v list-devices | grep -i net
|
||||
```
|
||||
> * driverctl - утилита, управляющая драйверами устройств в linux.
|
||||
|
||||
После того как необходимое устройство определено, необходимо заменить его драйвер на драйвер DPDK (в примере это устройство 0000:0b:00.0)
|
||||
```
|
||||
driverctl set-override 0000:0b:00.0 uio_pci_generic
|
||||
```
|
||||
Так же необходимо добавить модуль ядра в автозагрузку(дописать значение в файл /etc/modules-load.d/dpdk.conf)
|
||||
|
||||
```
|
||||
cat <<EOF > /etc/modules-load.d/dpdk.conf
|
||||
uio_pci_generic
|
||||
EOF
|
||||
```
|
||||
Если на системе не отключен selinux, см. раздел [Настройка Selinux](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#openvswitch-with-selinux) этой главы.
|
||||
|
||||
Так как для работы openvswitch очень желательна поддержка больших таблиц памяти и наличие отдельно выделенного процессора, необходимо произвести некоторые изменения в загрузчике ядра (можно сделать это напрямую в системе, но применение этих параметров при загрузке создаст меньше проблем)
|
||||
|
||||
Размер hugepages в linux стандартный и равен 2MB. Для того, чтобы просто задать количество таких страниц, то необходимо открыть файл `/etc/default/grub` и дописать в строку `GRUB_CMDLINE_LINUX` следующее:
|
||||
```
|
||||
hugepages=512 isolcpus=2-3
|
||||
```
|
||||
Если же нужно изменить стандартный размер hugepages(например до 1GB, необходимо записать следующее)
|
||||
```
|
||||
default_hugepagesz=1G hugepagesz=1G hugepages=4
|
||||
```
|
||||
далее сохранить файл и скомпилировать grub.
|
||||
Без UEFI
|
||||
```
|
||||
grub2-mkconfig -o /boot/grub2/grub.cfg
|
||||
```
|
||||
С UEFI
|
||||
```
|
||||
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
|
||||
```
|
||||
|
||||
Так же необходимо задать точку монтирования для hugepages. Для того, чтобы это происходило автоматически, нужно изменить файл `/etc/fstab` и добавить следующую строку:
|
||||
```
|
||||
nodev /mnt/huge hugetlbfs defaults 0 0
|
||||
```
|
||||
и добавить директорию монтирования
|
||||
```
|
||||
mkdir /mnt/huge
|
||||
```
|
||||
После этого выполнить перезагрузку.
|
||||
Так же можно добавить эту точку монтирования на рабочей системе задав в консоли `mount -t hugetlbfs nodev /mnt/huge`.
|
||||
|
||||
### Запуск openvswitch
|
||||
|
||||
Для запуска выполнить в консоли
|
||||
```
|
||||
systemctl enable openvswitch
|
||||
systemctl start openvswitch
|
||||
```
|
||||
|
||||
Необходимо явно сказать openvswitch чтобы он использовал DPDK, а так же задать неоходимые для работы параметры (память и процессор)
|
||||
Для инициализации DPDK ввести:
|
||||
```
|
||||
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init="true"
|
||||
```
|
||||
Для выделения конкретного процессора (в данном случае третьего) необходимо указать `pmd-cpu-mask` в формате битовой маски, записанной с конца в шестнадцатиричном виде (в данном примере это 00000100 в двоичной системе счисления и 4 в шестнадцатиричной)
|
||||
```
|
||||
ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x4
|
||||
```
|
||||
Так же необходимо указать, сколько памяти в мегабайтах с какого узла NUMA выделять (в данном случае с NUMA 0 1024мб)
|
||||
```
|
||||
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem="1024,0"
|
||||
```
|
||||
|
||||
Перед добавлением портов dpdk в openvswitch необходимо решить проблемы с доступом к системным файлам, потому что при запуске openvswitch производит обращение к самим устройтсвам файлов, на что прав ему может не хватать. Для этого нужно чтобы openvswitch запускался от имени root. чтобы это сделать, необходимо открыть файл `/etc/sysconfig/openvswitch`. И изменить/добавить строчку `OVS_USER_ID="root:root"`
|
||||
|
||||
После этого перезапустить openvswitch. Если перезапуск произошёл с ошибкой, то возможно проблема с выделением памяти NUMA ядрам. Решение здесь [Работа с одним ядром на двухядерной системе](https://github.com/temasky/CentOS-Ceph-Openstack/wiki/2.-%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0-%D1%81%D0%B5%D1%82%D0%B8-%D0%BD%D0%B0-CentOS.-openvSwitch#memory-distribution)
|
||||
|
||||
Для добавления порта необходимо его указывать в виде адреса pci-шины с указанием типа dpdk: `set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0`
|
||||
Пример добавления коммутатора
|
||||
```
|
||||
ovs-vsctl add-br br-dpdk -- set bridge br-dpdk datapath_type=netdev
|
||||
```
|
||||
Пример добавление lacp порта:
|
||||
```
|
||||
ovs-vsctl add-bond br-dpdk dpdkbond p0 p1 lacp=active bond_mode=balance-tcp -- set Interface p0 type=dpdk options:dpdk-devargs=0000:0b:00.0 -- set Interface p1 type=dpdk options:dpdk-devargs=0000:0b:00.1
|
||||
```
|
||||
Так же, для lacp необходимо указать следующие параметры:
|
||||
```
|
||||
ovs-vsctl set port dpdkbond lacp=active
|
||||
ovs-vsctl set port dpdkbond bond_mode=balance-tcp
|
||||
ovs-appctl bond/show dpdkbond
|
||||
```
|
||||
|
||||
## openvswitch with selinux
|
||||
В случае ошибки с запуском openvswitch при включенном selinux, нужно добавить разрешения для работы модулей openvswitch.
|
||||
Самым простым способом является скачивание с репозитория данного проекта модулей selinux
|
||||
```
|
||||
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovs-vswitchd.pp
|
||||
curl -O -L https://github.com/temasky/CentOS-Ceph-Openstack/raw/master/ovsdb-server.pp
|
||||
```
|
||||
Дальше эти модули необходимо установить:
|
||||
```
|
||||
semodule -i ovs-vswitchd.pp
|
||||
semodule -i ovsdb-server.pp
|
||||
```
|
||||
Так же это можно сделать вручную(есть вариант что не все события есть в логе, и разрешено будет не всё, из возможностей ovs)
|
||||
Для этого необходимо установить утилиты для работы с selinux
|
||||
```
|
||||
yum install policycoreutils-python
|
||||
```
|
||||
Создать правило для базы данных openvswitch и применить его
|
||||
```
|
||||
grep ovsdb-server /var/log/audit/audit.log | audit2allow -M ovsdb-server
|
||||
semodule -i ovsdb-server.pp
|
||||
```
|
||||
Создать правило для утилиты управления openvswitch и применить его
|
||||
```
|
||||
grep ovs-vswitchd /var/log/audit/audit.log | audit2allow -M ovs-vswitchd
|
||||
semodule -i ovs-vswitchd.pp
|
||||
```
|
||||
## Memory Distribution
|
||||
Может потребоваться в случае использования одного ядра на двухядерной системе. При двухядерной конфигурации на каждый из сокетов выделяется равное количество страниц, что приведет к тому что на из выделенного пула одному ядру будет доступна только половина выделенной памяти(это приведет к ошибке запуска ovs-vswitchd)
|
||||
|
||||
Для того чтобы распределить страницы памяти вручную, необходимо указать их количество в системных файлах(node0 и node1)
|
||||
```
|
||||
cat /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
|
||||
```
|
||||
Для ручного измененеия необходимо выполнить:
|
||||
```
|
||||
echo 512 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
|
||||
echo 0 /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
|
||||
```
|
||||
Так мы назначили 512 страниц по 2МБ первому сокету, и 0 второму. Но после перезапуска эти значения будут утеряны. Для их сохраненения необходимо создать службу и скрипт запуска.
|
||||
Сначала необходимо создать юнит, запускающийся при старте системы, и запусающий скрипт перезаписи параметров.
|
||||
|
||||
```
|
||||
cat <<EOF > /usr/lib/systemd/system/hugetlb-gigantic-pages.service
|
||||
[Unit]
|
||||
Description=HugeTLB Gigantic Pages Reservation
|
||||
DefaultDependencies=no
|
||||
Before=dev-hugepages.mount
|
||||
ConditionPathExists=/sys/devices/system/node
|
||||
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
RemainAfterExit=yes
|
||||
ExecStart=/usr/lib/systemd/hugetlb-reserve-pages.sh
|
||||
|
||||
[Install]
|
||||
WantedBy=sysinit.target
|
||||
EOF
|
||||
```
|
||||
|
||||
далее необходимо создать сам скрипт.
|
||||
```
|
||||
cat <<EOF > /usr/lib/systemd/hugetlb-reserve-pages.sh
|
||||
#!/bin/sh
|
||||
|
||||
nodes_path=/sys/devices/system/node/
|
||||
if [ ! -d $nodes_path ]; then
|
||||
echo "ERROR: $nodes_path does not exist"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
reserve_pages()
|
||||
{
|
||||
echo \$1 > \$nodes_path/\$2/hugepages/hugepages-2048kB/nr_hugepages
|
||||
}
|
||||
|
||||
reserve_pages number_of_pages node
|
||||
EOF
|
||||
```
|
||||
|
||||
В скрипте необходимо указать reserve_pages(последняя строчка) для каждого узла. Например
|
||||
```
|
||||
reserve_pages 512 node0
|
||||
reserve_pages 0 node1
|
||||
```
|
||||
|
||||
Далее, необходимо новый юнит добавить в автозагрузку, а скрипту дать права на исполненеие.
|
||||
```
|
||||
systemctl enable hugetlb-gigantic-pages
|
||||
chmod +x /usr/lib/systemd/hugetlb-reserve-pages.sh
|
||||
```
|
||||
# Полезные команды
|
||||
### Отключить интерфейс
|
||||
```
|
||||
ovs-ofctl mod-port {BRIDGE} {physical port} down
|
||||
```
|
||||
например
|
||||
```
|
||||
ovs-ofctl mod-port br-dpdk p1 down
|
||||
```
|
||||
### Выставить MTU
|
||||
```
|
||||
ovs-vsctl set int {physical port} mtu_request={REQUIRED MTU}
|
||||
```
|
||||
например
|
||||
```
|
||||
ovs-vsctl set int p0 mtu_request=9000
|
||||
```
|
||||
### Просмотр всей информации о интерфейсе
|
||||
```
|
||||
ovs-vsctl list int {physical port}
|
||||
```
|
||||
например
|
||||
```
|
||||
ovs-vsctl list int p0
|
||||
```
|
||||
@@ -0,0 +1,144 @@
|
||||
## Настройка CentOS для работы Ceph cluster
|
||||
|
||||
### Беспарольный доступ к `sudo`
|
||||
Для работы ceph нужен беспарольный доступ к `sudo`
|
||||
1. Создаём файл в `/etc/sudoers.d/`
|
||||
```
|
||||
sudo vi /etc/sudoers.d/cephadmin
|
||||
```
|
||||
2. Пишем в нём
|
||||
```
|
||||
cephadmin ALL=(ALL:ALL) NOPASSWD: ALL
|
||||
```
|
||||
## Установка ceph-deploy.
|
||||
### Скачиваем репозиторий и пакет, необходимые для установки и работы ceph-deploy
|
||||
```
|
||||
sudo yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm
|
||||
|
||||
yum install python-setuptools
|
||||
```
|
||||
```
|
||||
sudo yum install ceph-deploy
|
||||
```
|
||||
>далее этот хост будем называть административным.
|
||||
|
||||
## Создание файла конфигурации ceph
|
||||
>**Далее все команды выполнять в домашнем каталоге**
|
||||
```
|
||||
ceph-deploy new --cluster-network 172.17.3.0/24 --public-network 172.17.2.0/24 cluster1{1,2,3}
|
||||
```
|
||||
|
||||
|
||||
|
||||
|
||||
## Установка ceph version 12.2.4 luminous на cluster11, cluster12, cluster13
|
||||
```
|
||||
ceph-deploy install --release luminous cluster1{1,2,3}
|
||||
```
|
||||
### Проверка устрановленной версии
|
||||
Необходимо убедиться, что на всех хостах установилась одна версия.
|
||||
```
|
||||
sudo ceph -v
|
||||
```
|
||||
|
||||
### Получение ceph.conf всеми узлами
|
||||
|
||||
Раздаём Созданный ceph.conf на все узлы
|
||||
```
|
||||
ceph-deploy mon create-initial
|
||||
ceph-deploy admin cluster1{1,2,3}
|
||||
```
|
||||
|
||||
## Cоздание мониторов
|
||||
### настройка firewalld
|
||||
Для того что бы создать мониторы ,необходимо открыть порты, через которые общаются службы мониторов
|
||||
```
|
||||
sudo firewall-cmd --permanent --add-port 6789/tcp
|
||||
```
|
||||
Что бы потом не возвращаться к настройкам firewalld откроем сразу порты дял Ceph Metadata Server
|
||||
|
||||
```
|
||||
sudo firewall-cmd --permanent --add-port 6800-7300/tcp
|
||||
```
|
||||
|
||||
Перезагрузим правила:
|
||||
|
||||
```
|
||||
sudo firewall-cmd --reload
|
||||
```
|
||||
### Раздаём ключи
|
||||
1.`ceph-deploy gatherkeys cluster1{1,2,3}`
|
||||
|
||||
## Создание OSD
|
||||
Для создания OSD нужно знать название дисков на которых будут расположены OSD
|
||||
Для вывода всех доступных дисков можно использовать утилиту fdisk
|
||||
```
|
||||
sudo fdisk -l
|
||||
```
|
||||
|
||||
----
|
||||
ниже представлен диск sdd
|
||||
|
||||

|
||||
|
||||
Не трогаем тот диск ,где расположена система, вывод для него выглядит так
|
||||

|
||||
|
||||
### Форматируем диски
|
||||
>В данном случае диски называются sda,sdb,sdd **НА ВСЕХ 3х ХОСТАХ**
|
||||
```
|
||||
ceph-deploy disk zap cluster1{1,2,3}:sd{a,b,d}
|
||||
```
|
||||
|
||||
### Создаём OSD
|
||||
```
|
||||
ceph-deploy osd create cluster1{1,2,3}:sd{a,b,d}
|
||||
```
|
||||
## Создание ceph-mgr
|
||||
> Создаём на каждом хосте
|
||||
###
|
||||
```
|
||||
ceph-deploy mgr create $node
|
||||
```
|
||||
|
||||
|
||||
## проверяем статус ceph
|
||||
|
||||
```
|
||||
sudo ceph -s
|
||||
```
|
||||
|
||||
----
|
||||

|
||||
|
||||
----
|
||||
|
||||
## Настройка Chrony
|
||||
|
||||
Сейчас мы имеем ceph-cluster предупреждающий нас о расхождении времени на узлах.
|
||||
Для того, чтобы убрать предупреждение требуется настроить сервер времени,с которым, узлы будут синхронизировать время.
|
||||
В решении этой задачи, нам поможет Chrony.
|
||||
|
||||
1. Установка Chrony
|
||||
```
|
||||
sudo yum install chrony
|
||||
```
|
||||
2.Настройка Chrony
|
||||
```
|
||||
sudo vi /etc/chrony.conf
|
||||
```
|
||||
Добавляем сервер
|
||||
----
|
||||
```
|
||||
server X.X.X.X iburst
|
||||
```
|
||||
>Удаляем или комментируем другие поля вида `server IP iburst`
|
||||
|
||||
3. Запускаем Chrony
|
||||
```
|
||||
sudo systemctl enable chronyd.service
|
||||
```
|
||||
----
|
||||
```
|
||||
sudo systemctl start chronyd.service
|
||||
```
|
||||
Reference in New Issue
Block a user