VK Data Platform — это экосистема масштабируемых облачных сервисов для хранения, обработки и анализа больших данных. Она включает в себя современные инструменты для легкой работы с данными на основе таких платформ как:
Hadoop, Spark 1/2, Kafka; Airflow, NiFi (в рамках сервиса Cloud Big Data),
набор Managed-баз данных, в том числе аналитических — ClickHouse и Arenadata DB на основе Greenplum (сервис VK Cloud Databases),
S3-совместимое объектное хранилище как альтернатива HDFS для надежного хранения (сервис VK Cloud Storage),
Kubernetes с функцией автомасштабирования для построения аналитических пайплайнов и реализации современного подхода к работе с данными MLOps (сервис VK Cloud Containers),
высокопроизводительные GPU для любых “тяжелых” задач, в том числе обучения нейросетей (сервис VK Cloud GPU),
среды разработки для Data Scientists и инженеров данных на базе Jupyter и Zeppelin Notebooks, готовое API компьютерного зрения (сервис VK Cloud ML Platform).
Платформа может быть использована в рамках публичного, частного или гибридного облака. Возможно размещение в сегменте с полным соответствием 152-ФЗ для обработки персональных данных.
Платформа может быть использована для применений в области интернета вещей (IoT) и в таком случае включает в себя технологии сбора, обработки и анализа данных в режиме реального времени, управления устройствами и машинным обучением (промышленная платформа интернета вещей IoT Platform от VK).