Потоковое программирование и потоки данных¶

Потоковое программирование — парадигма программирования, при которой вычисления организуются как непрерывная обработка последовательности элементов данных по мере их поступления, а не как единовременный расчёт над полностью доступным набором. Связанное понятие поток данных (data stream) обозначает упорядоченную во времени последовательность записей, потенциально бесконечную и генерируемую в реальном времени. Парадигма противопоставляется пакетной обработке (batch processing), где данные сначала накапливаются, а затем обрабатываются целиком.

¶Основные характеристики

Ключевые свойства потоковой модели:

• Неограниченность: поток может не иметь конца, поэтому алгоритмы не могут опираться на полный объём данных.
• Однопроходность: элементы обрабатываются в порядке поступления, часто без возможности повторного чтения.
• Оконные вычисления: для агрегации применяются окна — временные (tumbling, sliding, session) или по количеству элементов.
• Малая задержка: результат выдаётся с минимальной латентностью, что отличает подход от пакетного.

¶Модели и операторы

В основе лежит граф потока данных: источники (sources) порождают элементы, операторы (operators) их преобразуют, приёмники (sinks) выводят результат. Типовые операторы — фильтрация, отображение (map), агрегация, соединение (join) потоков, разделение и слияние. Различают операторы без состояния (stateless) и с состоянием (stateful), сохраняющие промежуточные значения между элементами.

¶Технологии и платформы

Распространённые системы потоковой обработки:

Реактивные библиотеки (Reactive Streams, RxJava, Reactor) применяют ту же идею на уровне приложений, обеспечивая асинхронную обработку с противодавлением (backpressure).

¶Применение

Потоковая обработка используется в аналитике в реальном времени, мониторинге систем, обработке финансовых транзакций, интернете вещей, рекомендательных системах и обнаружении аномалий. Она позволяет реагировать на события по мере их возникновения, а не после накопления данных.

¶Смежные понятия

Потоковое программирование связано с реактивным программированием, обработкой событий (event processing) и концепцией лямбда-архитектуры, объединяющей пакетный и потоковый слои. Отдельно выделяют потоковое программирование в смысле конвейеров Unix, где данные передаются между процессами через стандартные потоки ввода-вывода.