ReText.AI: как создать отказоустойчивую инфраструктуру для нейросети по работе с текстами

Компания

Отрасль

Нейросеть для работы с текстом

Пользователи

ReText.AI — нейросеть для работы с текстами. Первоначально компания использовала собственные серверы, но с ростом аудитории мощностей перестало хватать. Тогда команда решила развивать гибридную инфраструктуру.

Теперь в ReText.AI используют физическую инфраструктуру, а также два дублирующих друг друга облака, одно из них — VK Cloud. Такой подход повысил отказоустойчивость и сократил расходы на инфраструктуру.

Подробнее о проекте рассказали сооснователи нейросети: CEO ReText.AI Ольга Шкряба и СМО Елена Райтс.

Как стартап для работы с текстами превратился в перспективный сервис

Нейросеть для работы с текстами ReText.AI — продукт нашей студии разработки. В 2021 году мы получили заказ на исследование текстовых нейросетей и решили попробовать запустить свой сервис на широкую аудиторию. Первая версия сервиса вышла на домене SmartWriter.io с простым дизайном и анонсировалась только в телеграм-каналах.

Изначально нашим продуктом пользовались копирайтеры и редакторы. Мы поняли, что у сервиса большой потенциал, и провели опрос для выбора нового имени, им стал ReText.AI. Летом 2021 года мы переехали на домен retext.ai, а в октябре анонсировали запуск сервиса в СМИ и начали первую PR-кампанию. Это позволило нам привлечь новую аудиторию, включая студентов. В итоге на сайте выросло число пользователей и нагрузка на нашу инфраструктуру стала критической.

На старте мы использовали собственные серверы и зарубежную облачную инфраструктуру, предоставленную по гранту для стартапов. Однако в 2022 году грант закончился, поэтому мы полностью перешли на собственные серверы.

Популярность ReText.AI росла, разработчики старались оптимизировать ML-модели, но вскоре стало ясно, что без облака не обойтись. Перед нами стояла задача — мигрировать в российское облако.

Главная страница нейросети для текстов ReText.AI, функциональность «Перефразирование»

Грант стал преимуществом при выборе облачной платформы для развития продукта

Для развития ReText.AI важно обеспечить стабильную и экономичную инфраструктуру.

Первоначально ReText.AI был SaaS-проектом, один из важнейших аспектов выживания — стабильная и экономичная инфраструктура. Мы решили использовать облачные сервисы, сфокусировались на поиске провайдера с программой поддержки стартапов. После поиска и тестирования облачных российских сервисов мы выбрали для работы платформу VK Cloud. Наши разработчики и DevOps-инженеры хорошо знакомы с VK Cloud. Кроме того, у платформы удобный интерфейс — большая часть функциональности понятна даже неспециалисту. Бонусом стало участие в программе для стартапов VK Cloud, которая предоставила нам доступ к сервисам провайдера со скидкой.

Переезд на платформу занял около двух месяцев. Миграция прошла без проблем — технические специалисты VK Cloud нам помогали и оперативно отвечали на вопросы.

Гибридная инфраструктура повысила отказоустойчивость сервиса

Сейчас для ReText.AI используем гибридную инфраструктуру. На физических серверах располагаются тяжелые генеративные модели, в облаках — легковесные, например для определения языка и токенизации. От физической инфраструктуры полностью не отказываемся, поскольку наши генеративные модели работают на GPU. По нашей оценке, на данном этапе использовать собственные графические процессоры для нас эффективнее.

Отказоустойчивость достигается за счет того, что облачные инфраструктуры провайдеров дублируют друг друга. Стандартно одна половина инфраструктуры запущена в VK Cloud, а другая — во втором облаке. При резком росте нагрузки подключаем больше ресурсов в обоих облаках.

В облаке для нас важны вычислительные ресурсы, также мы используем управляемое S3-хранилище.

Результаты переезда в облако

Кратно вырос SLA для ресурсов, перенесенных в облако VK Cloud.
Мы оптимизировали расходы на инфраструктуру и вышли на самоокупаемость, а за счет роста ресурсов можно развивать новые функции ReText.AI.
У VK Cloud хорошо работает поддержка — не было такого, чтобы мы долго ждали ответа или нам не помогли.
Интерфейс дружелюбнее, чем у зарубежного провайдера, которым мы изначально пользовались. Всегда понятно, что происходит с инфраструктурой, для этого не нужно закапываться в подменю.

Планы на будущее

Еще недавно у сервиса было три модели: перефразирование, суммаризация и расширение. Сейчас развиваем внутри платформы новый сервис « Грамматик» — это умная проверка пунктуации и орфографии. Нейросеть указывает на недоработки в тексте, объясняет правила русского языка и дает рекомендации.

Развитие новой нейросети стало возможным, в частности, благодаря сотрудничеству с облачным провайдером VK Cloud.

Также мы работаем над генеративной моделью. Она позволит создавать тексты, оптимизированные под поисковых роботов Яндекса и Google. Пользователь будет формировать техническое задание, а сервис — предоставлять готовый результат.

Попробуйте наши сервисы

После активации аккаунта мы свяжемся с вами и начислим 3 000 рублей на ваш счет VK Cloud, чтобы вы смогли протестировать сервис в течение 60 дней.

Или оставьте с индивидуальным расчетом

40+ готовых сервисов