Sorted Dynamic Table Sink в YTsaurus Flow

Коннектор для записи данных в сортированные динамические таблицы YTsaurus.

Внимание

В большинстве случаев для работы с сортированными динамическими таблицами следует использовать StateManager, а не этот коннектор.

Основные отличия:

  • StateManager поддерживает read-modify-write операции, удаление строк по нетривиальным правилам и гарантирует единую точку модификации каждой строки. group_by_schema computation должна совпадать (или быть префиксом) с ключевыми колонками стейта.
  • Этот коннектор — низкоуровневый примитив, поддерживающий только write-only запись (вставку или удаление строк). Ограничений на group_by_schema нет, что позволяет писать в таблицу из нескольких computation с разными ключами, но при этом порядок модификаций одной строки не контролируется.

Код коннектора находится здесь.

Режимы записи

Синк принимает сообщения и записывает их строки в сортированную динамическую таблицу. Схема сообщений должна быть совместима со схемой целевой таблицы.

Синхронный синк (NYT::NFlow::NSortedDynamicTable::TSyncSink) записывает строки в рамках основной транзакции эпохи. Запись атомарна вместе с остальными изменениями эпохи, но таблица должна находиться на основном кластере процессинга — на том же, что и пайплайн.

Асинхронный синк (NYT::NFlow::NSortedDynamicTable::TAsyncSink) записывает каждый батч в отдельной таблетной транзакции. Целевая таблица может находиться на другом кластере, указанном в table_path. Такая запись не атомарна с основной транзакцией эпохи: синк подтверждает сообщения после успешного коммита отдельной транзакции.

Асинхронный синк показывает последнюю ошибку записи в YT в /async_write и повторяет попытки после любой ошибки, кроме Canceled, до успешной записи или отмены job. Интервалы между попытками используют экспоненциальный backoff с jitter. Интервал до применения jitter начинается со значения backoff_duration и ограничен одной минутой (либо значением backoff_duration, если оно больше). Ожидающие сообщения продолжают учитываться в output buffers, поэтому во время повторных попыток действует обычный backpressure выходного потока.

В рамках одного экземпляра синка батчи записываются последовательно. Этот порядок не распространяется на перезапуски job и передачу партиции: уже начатая таблетная транзакция старой job может завершиться после того, как новая job запишет повторённый и последующие батчи. Поэтому старая модификация может перезаписать более новую модификацию того же ключа. Используйте асинхронный синк, только если безопасны и повторная запись, и такая перестановка, например когда по каждому ключу всегда записывается одно и то же значение или логическая версия входит в ключ. Агрегатные записи не поддерживаются.

Количество каналов получателя (receiver channels) автоматически подстраивается под количество таблетов целевой таблицы. Для chaos replicated table контроллер читает число таблетов из enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить количество receiver channels.

Параметры синхронного синка

Класс синка: NYT::NFlow::NSortedDynamicTable::TSyncSink.

Статическая спека:

Источник: yt/yt/flow/library/cpp/common/registry-inl.h

Параметр

Описание

table_path

Тип: NYT::NYPath::TRichYPath
Обязательный параметр
Путь к целевой сортированной динамической таблице с указанием кластера.

column_filter

Тип: std::optional<THashSet<std::string>>
Какие колонки сообщения записывать в таблицу (по умолчанию — все). При использовании параметра delete_rows необходимо указать все ключевые колонки, если не включён allow_missing_key_columns. При включённом параметре allow_missing_key_columns пропущенные ключевые колонки считаются равными null.

aggregate_columns

Тип: std::optional<THashSet<std::string>>
Список колонок, для которых при записи учитывается функция агрегации. По умолчанию происходит перезапись значения в колонке.

delete_rows

Тип: bool
Значение по умолчанию: false
Если установлено в true, то вместо вставки строк будет выполняться их удаление. В этом режиме важно, чтобы в column_filter были выбраны ключевые колонки целевой таблицы. При allow_missing_key_columns = true пропущенные ключевые колонки считаются равными null.

Примечание

Sink может или работать в режиме вставки, или удаления, но не одновременно. Если вам нужен функционал и вставки, и удаления, то используйте StateManager.

require_sync_replica

Тип: bool
Значение по умолчанию: true
Если установлено в false, то при записи строк в целевую таблицу не проверяется наличие синхронной реплики. По умолчанию значение true - проверка происходит.

allow_missing_key_columns

Тип: bool
Значение по умолчанию: false
Если установлено в true, отсутствующие ключевые колонки целевой таблицы считаются равными null при записи и удалении строк. Это относится и к колонкам, которых нет в схеме входного потока или которые исключены через column_filter. Схема целевой таблицы должна допускать null в этих колонках.

Дополнительные параметры

update_partition_count_period

Тип: TDuration
Значение по умолчанию: 1m
Как часто контроллеру обновлять число таблетов в таблице (контроллер соответственно меняет число каналов получателя). Для chaos replicated table контроллер использует enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить число каналов получателя.

Динамическая спека:

Источник: yt/yt/flow/library/cpp/common/registry-inl.h

В структуре нет основных параметров.

Параметры асинхронного синка

Класс синка: NYT::NFlow::NSortedDynamicTable::TAsyncSink.

Статическая спека:

Источник: yt/yt/flow/library/cpp/common/registry-inl.h

Параметр

Описание

table_path

Тип: NYT::NYPath::TRichYPath
Обязательный параметр
Путь к целевой сортированной динамической таблице с указанием кластера.

column_filter

Тип: std::optional<THashSet<std::string>>
Какие колонки сообщения записывать в таблицу (по умолчанию — все). При использовании параметра delete_rows необходимо указать все ключевые колонки, если не включён allow_missing_key_columns. При включённом параметре allow_missing_key_columns пропущенные ключевые колонки считаются равными null.

aggregate_columns

Тип: std::optional<THashSet<std::string>>
Агрегатные записи не поддерживаются: параметр должен быть не указан или содержать пустой список. Асинхронная запись может повторить уже закоммиченный батч после восстановления, поэтому неидемпотентная агрегация небезопасна.

delete_rows

Тип: bool
Значение по умолчанию: false
Если установлено в true, то вместо вставки строк будет выполняться их удаление. В этом режиме важно, чтобы в column_filter были выбраны ключевые колонки целевой таблицы. При allow_missing_key_columns = true пропущенные ключевые колонки считаются равными null.

require_sync_replica

Тип: bool
Значение по умолчанию: true
Если установлено в false, то при записи строк в целевую таблицу не проверяется наличие синхронной реплики. По умолчанию значение true - проверка происходит.

allow_missing_key_columns

Тип: bool
Значение по умолчанию: false
Если установлено в true, отсутствующие ключевые колонки целевой таблицы считаются равными null при записи и удалении строк. Это относится и к колонкам, которых нет в схеме входного потока или которые исключены через column_filter. Схема целевой таблицы должна допускать null в этих колонках.

Дополнительные параметры

update_partition_count_period

Тип: TDuration
Значение по умолчанию: 1m
Как часто контроллеру обновлять число таблетов в таблице (контроллер соответственно меняет число каналов получателя). Для chaos replicated table контроллер использует enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить число каналов получателя.

Динамическая спека:

Источник: yt/yt/flow/library/cpp/common/registry-inl.h

Параметр

Описание

max_rows_per_batch

Тип: long
Значение по умолчанию: 1000
Максимальное число сообщений Flow в батче: batching sink сбрасывает накопленный батч при достижении этого порога. Допустимый диапазон — от 1 до 2000.

max_bytes_per_batch

Тип: long
Значение по умолчанию: 5242880
Максимальный суммарный размер сообщений Flow в батче: batching sink сбрасывает накопленный батч при достижении этого порога. Допустимый диапазон — от 1 байта до 10 MiB.

Дополнительные параметры

backoff_duration

Тип: TDuration
Значение по умолчанию: 3s
Начальная пауза между повторными попытками до применения jitter. Интервалы используют экспоненциальный backoff с jitter; интервал до применения jitter ограничен одной минутой (либо этим значением, если оно больше). Sink продолжает попытки до успешной записи или отмены job и показывает последнюю ошибку в своём статусе.

Предыдущая
Следующая