Я из компании Luxoft.
Согласно Opennet: LeoFS — распределённое отказоустойчивое хранилище объектов LeoFS, совместимое с клиентами, использующими API Amazon S3 и REST-API, а также поддерживающего режим работы в роли NFS-сервера. Имеются оптимизации для хранение как мелких, так и очень больших объектов, присутствует встроенный механизм кэширования, возможна репликация хранилищ между дата-центрами. Среди целей проекта отмечается достижение надёжности 99.9999999% за счёт избыточного реплицирования дубликатов и исключения единой точки отказа. Код проекта написан на языке Erlang. LeoFS состоит из трёх компонентов: В этом посте установим Leofs c помощью ansible-playbook, протестируем S3, NFS. Если вы попытаетесь установить LeoFS используя официальные playbook-и, то вас ждут разные ошибки: 1,2. В этом посте напишу что нужно сделать чтобы эти ошибки избежать. Там где вы будете запускать ansible-playbook, нужно установить netcat. Отключение Selinux. Надеюсь что сообщество создаст политики Selinux для LeoFS. Установка netcat и redhat-lsb-core. netcat нужен для leofs-adm, redhat-lsb-core нужен для определения версии ОС здесь. Создание юзера leofs и добавление его в группу wheel Установка Erlang Полную версию поправленых ansible playbook можно найти здесь: https://github.com/patsevanton/leofs_ansible Далее выполняем как написано в https://github.com/leo-project/leofs_ansible без build_leofs.yml Primary и Secondary можно увидеть в логах ansible-playbook   Создаем юзера leofs: Список юзеров: Сделал bucket Список bucket: В поле HTTP Proxy server name указываем IP сервера Gateway Если у вас появляется ошибка ERROR: S3 error: 403 (AccessDenied): Access Denied: То нужно в конфиге s3cmd поправить signature_v2 на True. Подробности в этом issue. Если signature_v2 будет False, то будет вот такая ошибка: Создаем файл 1ГБ Загружаем его в Leofs leofs-adm du для 1 ноды: Видим что вывод не очень информативный. Посмотрим где расположен этот файл.
leofs-adm whereis leofs/1gb Активируем NFS на сервере Leo Gateway 172.26.9.184.  На сервере и клиенте установим nfs-utils Согласно инструкции поправим файл конфигурации /usr/local/leofs/current/leo_gateway/etc/leo_gateway.conf На сервере 172.26.9.184 запустим rpcbind и leofs-gateway На сервере где запущен leo_manager создадим bucket для NFS и сгенерируем ключ для подключения к NFS Дисковое простанство c учетом что каждая нода storage имеет диск 40ГБ (3 ноды running, 1 нода attached): Дисковое простанство c учетом что каждая нода storage имеет диск 40ГБ (6 нод running): Логи находятся в директориях /usr/local/leofs/current/*/log Запускаете сервис systemctl start leofs-manager-master Нужно стартовать systemctl start leofs-manager-slave на leo_manager_1 Нужно чтобы были запущенными leofs-manager-master и leofs-manager-slave и leofs-adm status показывал статус. При запуске leofs-adm start у вас появляется такая ошибка: Не хватает Storage нод. leofs-adm status покажет вам меньше 2 Storage нод. Минимально необходимое количество Storage нод 2. Нужно перебалансировать ноды Нужно стартовать leofs-adm (By default, leofs-adm isn't working on slave node!](https://leo-project.net/leofs/docs/issues/documentation-issues/) Тестирование проходит на 2 нодах с конфигурацией: Для тестирования возмем небольшой диск
На обоих нодах видим диск 9.4G и 5.9G свободного простанства. Телеграм канал: SDS и Кластерные FS DevOps-инженер