Настройка CentOS для работы Ceph cluster
Беспарольный доступ к sudo
Для работы ceph нужен беспарольный доступ к sudo
- Создаём файл в
/etc/sudoers.d/
sudo vi /etc/sudoers.d/cephadmin
- Пишем в нём
cephadmin ALL=(ALL:ALL) NOPASSWD: ALL
Установка ceph-deploy.
Скачиваем репозиторий и пакет, необходимые для установки и работы ceph-deploy
sudo yum install http://download.ceph.com/rpm-luminous/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm
yum install python-setuptools
sudo yum install ceph-deploy
далее этот хост будем называть административным.
Создание файла конфигурации ceph
Далее все команды выполнять в домашнем каталоге
ceph-deploy new --cluster-network 172.17.3.0/24 --public-network 172.17.2.0/24 cluster1{1,2,3}
Установка ceph version 12.2.4 luminous на cluster11, cluster12, cluster13
ceph-deploy install --release luminous cluster1{1,2,3}
Проверка устрановленной версии
Необходимо убедиться, что на всех хостах установилась одна версия.
sudo ceph -v
Получение ceph.conf всеми узлами
Раздаём Созданный ceph.conf на все узлы
ceph-deploy mon create-initial
ceph-deploy admin cluster1{1,2,3}
Cоздание мониторов
настройка firewalld
Для того что бы создать мониторы ,необходимо открыть порты, через которые общаются службы мониторов
sudo firewall-cmd --permanent --add-port 6789/tcp
Что бы потом не возвращаться к настройкам firewalld откроем сразу порты дял Ceph Metadata Server
sudo firewall-cmd --permanent --add-port 6800-7300/tcp
Перезагрузим правила:
sudo firewall-cmd --reload
Раздаём ключи
1.ceph-deploy gatherkeys cluster1{1,2,3}
Создание OSD
Для создания OSD нужно знать название дисков на которых будут расположены OSD Для вывода всех доступных дисков можно использовать утилиту fdisk
sudo fdisk -l
ниже представлен диск sdd
Не трогаем тот диск ,где расположена система, вывод для него выглядит так

Форматируем диски
В данном случае диски называются sda,sdb,sdd НА ВСЕХ 3х ХОСТАХ
ceph-deploy disk zap cluster1{1,2,3}:sd{a,b,d}
Создаём OSD
ceph-deploy osd create cluster1{1,2,3}:sd{a,b,d}
Создание ceph-mgr
Создаём на каждом хосте
ceph-deploy mgr create $node
проверяем статус ceph
sudo ceph -s
Настройка Chrony
Сейчас мы имеем ceph-cluster предупреждающий нас о расхождении времени на узлах. Для того, чтобы убрать предупреждение требуется настроить сервер времени,с которым, узлы будут синхронизировать время. В решении этой задачи, нам поможет Chrony.
- Установка Chrony
sudo yum install chrony
2.Настройка Chrony
sudo vi /etc/chrony.conf
Добавляем сервер
server X.X.X.X iburst
Удаляем или комментируем другие поля вида
server IP iburst
- Запускаем Chrony
sudo systemctl enable chronyd.service
sudo systemctl start chronyd.service

