Какие проблемы возникают при работе с потоковыми данными?
Архитектура обработки потоковых данных требует особой подготовки, обусловленной характером и объемом данных.
Доступность
Приложения потоковой трансляции данных требует стабильности работы, низкой задержки и высокой доступности. Потребители регулярно получают новые данные из потоков для последующей обработки. Задержки на стороне поставщика данных могут привести к резервному копированию системы и вызвать различные ошибки.
Возможности масштабирования
Необработанные потоки данных могут неожиданным образом создавать пиковые нагрузки. Например, количество публикаций в социальных сетях резко возрастает во время крупных соревнований. По этой причине система должна обеспечивать правильное формирование последовательностей данных, гарантируя доступность и стабильность работы даже во время пиковых нагрузок.
Надежность
Так как данные зачастую обладают чувствительностью к временным параметрам, система обработки потоков должна быть устойчивой к сбоям. В ином случае данные можно навсегда потерять при отключении питания либо при сбое системы.