Архитектура сервиса

Обновлена 15 апреля 2024 г. в 08:50

Архитектура сервисаBeta

Кластер Cloud Kafka состоит из нескольких кластеров Zookeeper и нескольких брокеров (Kafka Broker). Количество экземпляров Zookeeper и Kafka Broker зависит от выбранного режима отказоустойчивости. Чтобы повысить производительность кластера, можно вручную увеличить количество брокеров.

Сервис работает по принципу «публикация/подписка»: поставщики (producers) публикуют сообщения в топики, а потребители (consumers) опрашивают сервис для получения новых сообщений. Для работы у поставщиков и потребителей должно быть настроено подключение через балансировщик нагрузки bootstrap (Kafka bootstrap load balancer). Балансировщик обеспечивает отказоустойчивое подключение поставщиков и потребителей.

Для кластера Cloud Kafka может быть создан Kafka Connect — инструмент потоковой передачи данных между Apache Kafka и другими системами. Сервис Cloud Kafka поддерживает коннекторы:

Также для работы с кластером разворачивается инструмент Kafka UI. Его основные функции:

просматривать список топиков кластера Apache Kafka и сообщений в них;
запускать коннекторы и отслеживать их работу в Kafka Connect;
отслеживать доступность брокеров.