Суперкомпьютеры «Кристофари»

Christofari ( до 2021 г. — «Кристофари») —  суперкомпьютеры Christofari (2019), Christofari Neo (2021) от Сбербанка на основе оборудования корпорации Nvidia. Основное предназначение — обучение нейросетей, также применяется для научно-исследовательских и коммерческих расчётов. Названы в честь Николая Кристофари — первого клиента Сбербанка, открывшего в нём сберегательную книжку. Входят в рейтинг Топ-500.

Разработка 
Сбербанк представлял суперкомпьютеры совместно с дочерней компанией SberCloud. В декабре 2019 года Сбербанк и SberCloud запустили в коммерческую эксплуатацию суперкомпьютер Christofari. Через год мощности Christofari легли в основу облачной платформы ML Space, заточенной под работу с моделями машинного обучения, которую Сбербанк и SberCloud анонсировали в декабре 2020.

Более мощный суперкомпьютер Christofari Neo был представлен на международной конференции AI Journey в ноябре 2021 года CTO Сбербанка и исполнительным вице-президентом Давидом Рафаловским . В 2022 году инициатор создания суперкомпьютеров покинул группу компаний Сбер.

Применение 
Суперкомпьютеры предназначены для научно-исследовательских, коммерческих и государственных организаций, работающих в различных отраслях экономики. Основное их предназначение — работа с ИИ-алгоритмами, обучение нейросетей и инференс различных моделей.

Сбер использует Christofari для внутренних задач (распознаёт речь и генерирует голос автоответчика в колл-центре) и сервиса по распознаванию снимков компьютерной томографии лёгких. А команды SberDevices и Sber AI первыми получили доступ к Christofari Neo и разработали первый сервис на основе нейросети DALL-E, который создаёт изображения по запросу на русском языке.

Мощности суперкомпьютеров также предоставляются другим организациям при подключении услуг облачной платформы SberCloud ML Space.

Christofari 
В основе — узлы , оснащённые графическими ускорителями Tesla V100, для межсоединения используется сеть Infiniband на базе оборудования Mellanox. Эффективная производительность — порядка 6,7 петафлопса, что сделало систему (на момент пуска в эксплуатацию 8 ноября 2019 года) 40-й в мире, седьмой в Европе и первой в России по мощности (показатели предыдущего российского лидера — системы «Ломоносов-2» — превзойдены более, чем вдвое). Отмечается как первый в мире суперкомпьютер финансовой организации, доступный для использования сторонними пользователями. Также является первым суперкомпьютером, аттестованным в России для работы с персональными данными.

Характеристики отдельного узла DGX-2 
 энергопотребление пиковое — 10 кВт;
 ЦПУ — 2× Intel Xeon Platinum 8168, 2,7 ГГц, 24 ядра;
 графические ускорители — 16× Nvidia Tesla v100 32 Гбайт;
 память графических ускорителей — 512 Гбайт
 ядра CUDA — 81920
 тензорные ядра — 10240
 ОЗУ — 1,5 Тбайт

Для межсоединения использованы 36-портовые коммутаторы Mellanox, поддерживающие до четырёх соединений InfiniBand EDR со скоростью 100 Гбит/с.

Почти весь используемый стек машинного обучения ориентируется на операционную систему Ubuntu как на базовую платформу, в связи с чем применена специализированная серверная версия Ubuntu 18.04 LTS, поддерживаемая Nvidia, включая драйверы для графических ускорителей, стек сетевого программного обеспечения, необходимые инструменты для обслуживания и диагностики машины. Также в комплекте идёт проприетарное программное обеспечение от Nvidia CUDA Toolkit, cuDNN, NCCL, а также Docker Engine Utility для GPU Nvidia (весь основной стек для машинного обучения запускается в контейнерах).

Расположен в центре обработки данных Сбербанка в инновационном центре «Сколково». Занимает один машинный зал, был построен менее чем за год.

Позиции в рейтингах 
 март 2022 — 5 место среди 50 самых мощных суперкомпьютеров СНГ;
 июнь 2022 — 80 место среди 500 самых мощных суперкомпьютеров мира.
 июнь 2023 — 96 место среди 500 самых мощных суперкомпьютеров мира.

Christofari Neo 
Суперкомпьютер также создан на базе технологий Nvidia и оснащен графическими процессорами Nvidia A100 с 80 Гб памяти. Для межсоединения используется высокоскоростная коммутирующая сеть Infiniband, обеспечивающая скорость обмена данными до 1600 Гбит/с на каждый вычислительный узел и минимальные задержки. Эффективная производительность составляет 11,95 петафлопс .

Характеристики отдельного процессора DGX A100 
 энергопотребление пиковое — 6, 5 кВт;
 ЦПУ — 2× AMD Rome 7742, 128 ядер, 2.25 ГГц (база), 3.4 ГГц (максимум);
 графические ускорители — 8× Nvidia A100, 80 Гбайт;
 память графических ускорителей — 640 Гбайт;
 ОЗУ — 2 Тбайт.

Позиции в рейтингах 
 март 2022 — 4 место среди 50 самых мощных суперкомпьютеров СНГ;
 июнь 2022 — 46 место среди 500 самых мощных суперкомпьютеров мира.
 июнь 2023 — 55 место среди 500 самых мощных суперкомпьютеров мира.

Примечания

Ссылки 

 Обзор «Кристофари» в Сколтехе

Суперкомпьютеры России