Swift в YTsaurus Flow

Swift — принцип обработки данных в YTsaurus Flow, при котором результат работы компьютейшена не сохраняется в YTsaurus. Вместо этого функция преобразования должна быть строго детерминированной: если результат потребуется повторно (например, при перезапуске джоба), он будет вычислен заново из тех же входных данных.

Зачем это нужно

В классическом подходе (TTransformComputation) каждая эпоха завершается транзакционной записью результатов в YTsaurus. Это обеспечивает exactly-once, но создаёт нагрузку на кластер: для каждого входного сообщения выполняется лукап и запись в таблицу дедупликации, плюс по одной записи на каждое выходное сообщение.

Swift снимает это ограничение: если функция детерминирована, хранить её вывод не нужно — при необходимости его можно воспроизвести. Это позволяет:

  • снизить нагрузку на YTsaurus до нуля или до минимума (только метаданные),
  • повысить пропускную способность при stateless-преобразованиях.

Как сохраняются гарантии exactly-once

Несмотря на отсутствие записи выходных данных в YTsaurus, гарантии exactly-once для доставки в другой компьютернейшен Flow сохраняются за счёт детерминированности:

  • Если джоб упал до доставки результата, Flow перезапускает его и получает тот же вывод из тех же входных данных.
  • Message Distributor продолжает доставлять сообщение до получения подтверждения (MarkPersisted) от получателя, что исключает потери.

Таким образом, exactly-once обеспечивается не хранением вывода, а идемпотентностью вычисления и дедупликацией на стороне получателя.

TSwiftMapComputation не поддерживает Sink. TSwiftOrderedSourceComputation поддерживает прямую доставку во внешний sink. Deferred publications обеспечивают фиксацию выходной эпохи, но сами по себе не повышают гарантию at-least-once входа до exactly-once.

Требование детерминированности

Функция преобразования в Swift-компьютейшене должна быть детерминированной: при одних и тех же входных данных должен возвращаться одинаковый вывод, включая порядок сообщений.

Требование распространяется и на lineage — привязку выходных сообщений к родительским: при повторном вычислении каждый вывод должен получить тех же родителей в том же порядке. Типичная ошибка — итерация по неупорядоченной структуре (например, hash-таблице или множеству) при разбиении батча на группы: порядок групп меняется от запуска к запуску, и повторное вычисление даёт другой вывод. По умолчанию у каждого выходного сообщения Swift-компьютейшена ровно один родитель; несколько родителей допустимы только при allow_batching_with_relaxed_guarantees и в TSwiftStableBatchSourceComputation.

Важно

Нарушение детерминированности при обновлении пайплайна без дрейна может привести к дубликатам или потере промежуточных сообщений: разные части системы могут обработать разные версии вывода.

Из этого правила могут быть исключения, обусловленные особенностями бизнес-логики пайплайна, но разработчик бизнес-логики должен точно представлять, почему он их реализует, и за счёт каких механизмов результат работы пайплайна в целом останется корректным.

По умолчанию Flow дописывает к message id производного сообщения его порядковый номер. Если два повтора Swift-вычисления порождают на одной позиции разные сообщения, они получают одинаковый message id. Это может привести к потере данных или появлению дубликатов, а если у сообщений различаются ключи — также к нарушению внутренних инвариантов Flow. В C++, Java, Python и Go через output options можно исключить порядок из идентичности сообщения, выбрав хеш payload или пользовательский суффикс (см. описание C++ API). Это защищает от такого совпадения идентификаторов только при стабильном семантическом суффиксе и не делает недетерминированное вычисление детерминированным.

Классы Swift-компьютейшенов

В Flow реализованы следующие Swift-классы:

TSwiftMapComputation

Детерминированный Map без материализации результатов в YTsaurus.

  • Нагрузка на YTsaurus: ~0 записей за эпоху (только системные фоновые процессы).
  • Не поддерживает: Source и Sink.
  • Поддерживает: таймеры и key-visitor-стримы — только для работы со стейтом, например для фонового клинапа (GC). Эмит выходных сообщений из обработки таймера или визита запрещён: output-стрим не может зависеть от таймер- или visit-стрима в streams_dependency. Так как таймер-стримы по умолчанию добавляются в зависимости каждого output-а, спека с таймерами и output-ами обязана задавать streams_dependency явно.
  • Требует: строгой детерминированности и того, чтобы у каждого результирующего сообщения был ровно один родитель — входное сообщение.

Подробнее — в разделе Computation (C++).

TSwiftPassthroughComputation

Passthrough-компьютейшен — наследник TSwiftMapComputation. Конвертирует input-сообщения в схему output-стрима без пользовательской логики. Подробнее — Computation (C++).

TSwiftOrderedSourceComputation

Основной класс для чтения упорядоченных данных из внешних источников.

  • Нагрузка на YTsaurus: ~1–2 записи за эпоху (метаданные для восстановления; сами сообщения не сохраняются).
  • Поддерживает: Sink и WatermarkStrategy для оценки вотермарков. Для прямого внешнего sink-а без дедупликации доставка имеет гарантию at-least-once.
  • Требует: ровно одного Source, реализующего IOrderedSource.

Подробнее — в разделе Computation (C++).

TSwiftStableBatchSourceComputation

Ordered source, на котором process function может агрегировать сообщения одного чтения — например, чтобы схлопнуть сообщения горячего ключа до того, как они перегрузят партицию потребителя. Exactly-once сохраняется без материализации выхода.

  • Группы чтения. Каждое чтение из источника — одна группа: функция получает её целиком одним вызовом, а Flow публикует и завершает её целиком. Источник продвигается за группу, только когда доставлены все её выходные сообщения. Границы каждой не полностью доставленной (persisted) группы хранятся в стейте источника, поэтому при повторе после рестарта группы читаются ровно с теми же границами, и функция видит те же сообщения.
  • Размер группы задают настройки батчинга в динамической спеке компьютейшена: batch_duration, max_rows_per_batch и max_bytes_per_batch. Неполное чтение закрывается через batch_duration, а при отставании каждое чтение полное. Чтобы группы были крупнее, увеличьте лимиты по строкам и байтам. При повторе каждая группа читается целиком независимо от текущих настроек батчинга: уменьшение лимитов не разбивает уже прочитанные группы, а повторно читаемая группа занимает в памяти примерно столько же, сколько при первом чтении.
  • Источники. Поддерживаются только источники, повторное чтение которых возвращает те же записи: TQueueSource. Спека с другим источником (например, TKafkaSource, TRandomSource или TSource статических таблиц) не проходит валидацию.
  • Message id. У выходного сообщения с несколькими родителями message id — это id максимального родителя с суффиксом; порядковый номер суффикса считается по паре «максимальный родитель, стрим». Alignment timestamp берётся у максимального родителя, event timestamp — минимальный по родителям. Если функция задаёт родителей отдельно для каждого ключа через SetParents, message id ключа сохраняет порядок от группы к группе. FromUserDefined(...) должен быть уникален в пределах пары «максимальный родитель, стрим», а FromPayloadHash() допустим только для сообщения с одним родителем.
  • Удаление данных из начала источника (trim) или внешний сдвиг позиции — это потеря данных, которая может задеть группу в обработке. Выходные сообщения, у которых сохранился максимальный родитель, сохраняют свои message id, если функция задаёт родителей по ключам через SetParents или даёт ключу собственный FromUserDefined(...). Если же родители всех выходов — все сообщения группы, после такого удаления порядковые номера суффиксов могут сдвинуться.
  • skip_if_expression. Новое выражение применяется к группам, впервые прочитанным после изменения. Повторно прочитанная группа фильтруется выражением, действовавшим при её первом чтении.
  • Потребитель дедуплицирует выходные сообщения по message id, как и для любого Swift-компьютейшена.
  • Не поддерживает: таймеры, стейт, watermark_alignment/read_delays, компаньоны и графы process function.
  • Переключение существующего компьютейшена на этот класс или с него — изменение статической спеки, его выполняют на остановленном с дрейном пайплайне после обновления бинарей контроллера и воркеров.

TSwiftPassthroughOrderedSourceComputation

Passthrough-компьютейшен — наследник TSwiftOrderedSourceComputation. Преобразует source-сообщения в output-стрим приведением к новой схеме. Подробнее — Computation (C++).

Сравнение с TTransformComputation

Тип Запись в YTsaurus за эпоху Поддержка таймеров Поддержка стейта Требование детерминированности
TTransformComputation 2 на каждое входное сообщение и 1 на выходное Да Да Нет
TSwiftOrderedSourceComputation ~1–2 (метаданные) Нет Нет Да
TSwiftPassthroughOrderedSourceComputation ~1–2 (метаданные) Нет Нет Да
TSwiftStableBatchSourceComputation ~1–2 (метаданные) Нет Нет Да
TSwiftMapComputation ~0 Да (только стейт) Да Да
TSwiftPassthroughComputation ~0 Нет Нет Да

См. также