Sorted Dynamic Table Sink в YTsaurus Flow
Коннектор для записи данных в сортированные динамические таблицы YTsaurus.
Внимание
В большинстве случаев для работы с сортированными динамическими таблицами следует использовать StateManager, а не этот коннектор.
Основные отличия:
- StateManager поддерживает read-modify-write операции, удаление строк по нетривиальным правилам и гарантирует единую точку модификации каждой строки.
group_by_schemacomputation должна совпадать (или быть префиксом) с ключевыми колонками стейта. - Этот коннектор — низкоуровневый примитив, поддерживающий только write-only запись (вставку или удаление строк). Ограничений на
group_by_schemaнет, что позволяет писать в таблицу из нескольких computation с разными ключами, но при этом порядок модификаций одной строки не контролируется.
Код коннектора находится здесь.
Режимы записи
Синк принимает сообщения и записывает их строки в сортированную динамическую таблицу. Схема сообщений должна быть совместима со схемой целевой таблицы.
Синхронный синк (NYT::NFlow::NSortedDynamicTable::TSyncSink) записывает строки в рамках основной транзакции эпохи. Запись атомарна вместе с остальными изменениями эпохи, но таблица должна находиться на основном кластере процессинга — на том же, что и пайплайн.
Асинхронный синк (NYT::NFlow::NSortedDynamicTable::TAsyncSink) записывает каждый батч в отдельной таблетной транзакции. Целевая таблица может находиться на другом кластере, указанном в table_path. Такая запись не атомарна с основной транзакцией эпохи: синк подтверждает сообщения после успешного коммита отдельной транзакции.
Асинхронный синк показывает последнюю ошибку записи в YT в /async_write и повторяет попытки после любой ошибки, кроме Canceled, до успешной записи или отмены job. Интервалы между попытками используют экспоненциальный backoff с jitter. Интервал до применения jitter начинается со значения backoff_duration и ограничен одной минутой (либо значением backoff_duration, если оно больше). Ожидающие сообщения продолжают учитываться в output buffers, поэтому во время повторных попыток действует обычный backpressure выходного потока.
В рамках одного экземпляра синка батчи записываются последовательно. Этот порядок не распространяется на перезапуски job и передачу партиции: уже начатая таблетная транзакция старой job может завершиться после того, как новая job запишет повторённый и последующие батчи. Поэтому старая модификация может перезаписать более новую модификацию того же ключа. Используйте асинхронный синк, только если безопасны и повторная запись, и такая перестановка, например когда по каждому ключу всегда записывается одно и то же значение или логическая версия входит в ключ. Агрегатные записи не поддерживаются.
Количество каналов получателя (receiver channels) автоматически подстраивается под количество таблетов целевой таблицы. Для chaos replicated table контроллер читает число таблетов из enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить количество receiver channels.
Параметры синхронного синка
Класс синка: NYT::NFlow::NSortedDynamicTable::TSyncSink.
Статическая спека:
Источник: yt/yt/flow/library/cpp/common/registry-inl.h
|
Параметр |
Описание |
|
|
Тип: |
|
|
Тип: |
|
|
Тип: |
|
|
Тип: Примечание Sink может или работать в режиме вставки, или удаления, но не одновременно. Если вам нужен функционал и вставки, и удаления, то используйте StateManager. |
|
|
Тип: |
Дополнительные параметры
|
|
Тип: TDuration |
Динамическая спека:
Источник: yt/yt/flow/library/cpp/common/registry-inl.h
В структуре нет основных параметров.
Параметры асинхронного синка
Класс синка: NYT::NFlow::NSortedDynamicTable::TAsyncSink.
Статическая спека:
Источник: yt/yt/flow/library/cpp/common/registry-inl.h
|
Параметр |
Описание |
|
|
Тип: |
|
|
Тип: |
|
|
Тип: |
|
|
Тип: |
|
|
Тип: |
Дополнительные параметры
|
|
Тип: TDuration |
Динамическая спека:
Источник: yt/yt/flow/library/cpp/common/registry-inl.h
|
Параметр |
Описание |
|
|
Тип: |
|
|
Тип: |
Дополнительные параметры
|
|
Тип: TDuration |