О сервисе

Обновлена 15 апреля 2024 г. в 08:50

О сервисеBeta

Cloud Kafka — распределенная платформа для передачи сообщений между приложениями. Каждый экземпляр сервиса представляет собой кластер Apache Kafka, развернутый в отказоустойчивой конфигурации или в конфигурации одного узла.

Сервис работает по принципу «публикация/подписка»: поставщики (producers) публикуют сообщения в топики, а потребители (consumers) опрашивают сервис для получения новых сообщений. Cloud Kafka не отслеживает, какие записи уже были прочитаны потребителем, но хранит записи в течение заданного периода времени. Благодаря этому одно и то же сообщение может быть обработано различными потребителями необходимое число раз.

Возможные сценарии использования сервиса:

шина загрузки данных, в том числе в сценариях потоковой загрузки данных;
буфер для сбора метрик, логов и других типов сообщений из прикладных систем;
сервис очередей для взаимодействия распределенных приложений;
передача данных между сервисом и внешними системами (Kafka Connect).

Сервис Cloud Kafka автоматизирует процессы:

развертывание инфраструктуры под экземпляр сервиса;
эффективное распределение ресурсов кластера;
масштабирование ресурсов экземпляра сервиса.

Пользователь может управлять ресурсами Cloud Kafka через личный кабинет VK Cloud, при этом доступен стандартный инструмент Apache Kafka — Kafka UI.