---
metadata:
  - name: generator
    content: Diplodoc Platform v5.70.0
alternate:
  - https://ytsaurus.tech/docs/en/flow/connectors/sorted-dynamic-table.md
  - https://ytsaurus.tech/docs/ru/flow/connectors/sorted-dynamic-table.md
  - href: https://ytsaurus.tech/docs/ru/flow/connectors/sorted-dynamic-table.md
    type: text/markdown
    title: Markdown version
  - href: https://ytsaurus.tech/docs/ru/llms.txt?revision=d1460a800885385aa850a1578c0d21951c4247ed
    rel: describedby
---
> **Documentation Index:** Fetch the complete configuration index at https://ytsaurus.tech/docs/ru/llms.txt?revision=d1460a800885385aa850a1578c0d21951c4247ed

<!-- source: ru/_includes/flow/connectors/sorted-dynamic-table.md -->
# Sorted Dynamic Table Sink в YTsaurus Flow

Коннектор для записи данных в [сортированные динамические таблицы YTsaurus](https://ytsaurus.tech/docs/ru/user-guide/dynamic-tables/sorted-dynamic-tables.md).

{% note info "Внимание" %}

В большинстве случаев для работы с сортированными динамическими таблицами следует использовать [StateManager](https://ytsaurus.tech/docs/ru/flow/concepts/stateful.md), а не этот коннектор.

Основные отличия:

- **StateManager** поддерживает read-modify-write операции, удаление строк по нетривиальным правилам и гарантирует единую точку модификации каждой строки. `group_by_schema` computation должна совпадать (или быть префиксом) с ключевыми колонками стейта.
- **Этот коннектор** &mdash; низкоуровневый примитив, поддерживающий только write-only запись (вставку или удаление строк). Ограничений на `group_by_schema` нет, что позволяет писать в таблицу из нескольких computation с разными ключами, но при этом порядок модификаций одной строки не контролируется.

{% endnote %}

Код коннектора находится [здесь](https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow/library/cpp/connectors/sorted_dynamic_table).

## Режимы записи

Синк принимает сообщения и записывает их строки в сортированную динамическую таблицу. Схема сообщений должна быть совместима со схемой целевой таблицы.

Синхронный синк (`NYT::NFlow::NSortedDynamicTable::TSyncSink`) записывает строки в рамках основной транзакции эпохи. Запись атомарна вместе с остальными изменениями эпохи, но таблица должна находиться на основном кластере процессинга &mdash; на том же, что и пайплайн.

Асинхронный синк (`NYT::NFlow::NSortedDynamicTable::TAsyncSink`) записывает каждый батч в отдельной таблетной транзакции. Целевая таблица может находиться на другом кластере, указанном в `table_path`. Такая запись не атомарна с основной транзакцией эпохи: синк подтверждает сообщения после успешного коммита отдельной транзакции.

Асинхронный синк показывает последнюю ошибку записи в YT в `/async_write` и повторяет попытки после любой ошибки, кроме `Canceled`, до успешной записи или отмены job. Интервалы между попытками используют экспоненциальный backoff с jitter. Интервал до применения jitter начинается со значения `backoff_duration` и ограничен одной минутой (либо значением `backoff_duration`, если оно больше). Ожидающие сообщения продолжают учитываться в output buffers, поэтому во время повторных попыток действует обычный backpressure выходного потока.

В рамках одного экземпляра синка батчи записываются последовательно. Этот порядок не распространяется на перезапуски job и передачу партиции: уже начатая таблетная транзакция старой job может завершиться после того, как новая job запишет повторённый и последующие батчи. Поэтому старая модификация может перезаписать более новую модификацию того же ключа. Используйте асинхронный синк, только если безопасны и повторная запись, и такая перестановка, например когда по каждому ключу всегда записывается одно и то же значение или логическая версия входит в ключ. Агрегатные записи не поддерживаются.

Количество каналов получателя (receiver channels) автоматически подстраивается под количество таблетов целевой таблицы. Для chaos replicated table контроллер читает число таблетов из enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить количество receiver channels.

### Параметры синхронного синка

Класс синка: `NYT::NFlow::NSortedDynamicTable::TSyncSink`.

#### Статическая спека:

<!-- source: ru/flow/generated_docs/NYT_NFlow_TUnitedParameters_NYT_NFlow_NSortedDynamicTable_TSyncSink.md -->
<!-- This file is generated by yt/yt/flow/yandex/tools/generate_yson_struct_doc/generate.sh script -->
<!-- Before using doc generation tool check readme: yt/yt/flow/yandex/tools/generate_yson_struct_doc/README.md -->
Источник: [yt/yt/flow/library/cpp/common/registry-inl.h](https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow/library/cpp/common/registry-inl.h)

#|
|| **Параметр** | **Описание** ||
|| `table_path` | **Тип**: `NYT::NYPath::TRichYPath`
**Обязательный параметр**
Путь к целевой сортированной динамической таблице с указанием кластера. ||
|| `column_filter` | **Тип**: `std::optional<THashSet<std::string>>`
Какие колонки сообщения записывать в таблицу (по умолчанию &mdash; все). При использовании параметра `delete_rows` необходимо указать все ключевые колонки, если не включён `allow_missing_key_columns`. При включённом параметре `allow_missing_key_columns` пропущенные ключевые колонки считаются равными `null`. ||
|| `aggregate_columns` | **Тип**: `std::optional<THashSet<std::string>>`
Список колонок, для которых при записи учитывается функция агрегации. По умолчанию происходит перезапись значения в колонке. ||
|| `delete_rows` | **Тип**: `bool`
**Значение по умолчанию**: `false`
Если установлено в `true`, то вместо вставки строк будет выполняться их удаление. В этом режиме важно, чтобы в `column_filter` были выбраны ключевые колонки целевой таблицы. При `allow_missing_key_columns = true` пропущенные ключевые колонки считаются равными `null`.

{% note info %}

Sink может или работать в режиме вставки, или удаления, но не одновременно. Если вам нужен функционал и вставки, и удаления, то используйте StateManager.

{% endnote %} ||
|| `require_sync_replica` | **Тип**: `bool`
**Значение по умолчанию**: `true`
Если установлено в `false`, то при записи строк в целевую таблицу не проверяется наличие синхронной реплики. По умолчанию значение `true` - проверка происходит. ||
|| `allow_missing_key_columns` | **Тип**: `bool`
**Значение по умолчанию**: `false`
Если установлено в `true`, отсутствующие ключевые колонки целевой таблицы считаются равными `null` при записи и удалении строк. Это относится и к колонкам, которых нет в схеме входного потока или которые исключены через `column_filter`. Схема целевой таблицы должна допускать `null` в этих колонках. ||
|#


{% cut "**Дополнительные параметры**" %}


#|
|| `update_partition_count_period` | **Тип**: [TDuration](https://ytsaurus.tech/docs/ru/flow/generated_docs/all_yson_structs.md#TDuration)
**Значение по умолчанию**: `1m`
Как часто контроллеру обновлять число таблетов в таблице (контроллер соответственно меняет число каналов получателя). Для chaos replicated table контроллер использует enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить число каналов получателя. ||
|#


{% endcut %}
<!-- endsource: ru/flow/generated_docs/NYT_NFlow_TUnitedParameters_NYT_NFlow_NSortedDynamicTable_TSyncSink.md -->

#### Динамическая спека:

<!-- source: ru/flow/generated_docs/NYT_NFlow_TDynamicUnitedParameters_NYT_NFlow_NSortedDynamicTable_TSyncSink.md -->
<!-- This file is generated by yt/yt/flow/yandex/tools/generate_yson_struct_doc/generate.sh script -->
<!-- Before using doc generation tool check readme: yt/yt/flow/yandex/tools/generate_yson_struct_doc/README.md -->
Источник: [yt/yt/flow/library/cpp/common/registry-inl.h](https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow/library/cpp/common/registry-inl.h)

**В структуре нет основных параметров.**
<!-- endsource: ru/flow/generated_docs/NYT_NFlow_TDynamicUnitedParameters_NYT_NFlow_NSortedDynamicTable_TSyncSink.md -->

### Параметры асинхронного синка

Класс синка: `NYT::NFlow::NSortedDynamicTable::TAsyncSink`.

#### Статическая спека:

<!-- source: ru/flow/generated_docs/NYT_NFlow_TUnitedParameters_NYT_NFlow_NSortedDynamicTable_TAsyncSink.md -->
<!-- This file is generated by yt/yt/flow/yandex/tools/generate_yson_struct_doc/generate.sh script -->
<!-- Before using doc generation tool check readme: yt/yt/flow/yandex/tools/generate_yson_struct_doc/README.md -->
Источник: [yt/yt/flow/library/cpp/common/registry-inl.h](https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow/library/cpp/common/registry-inl.h)

#|
|| **Параметр** | **Описание** ||
|| `table_path` | **Тип**: `NYT::NYPath::TRichYPath`
**Обязательный параметр**
Путь к целевой сортированной динамической таблице с указанием кластера. ||
|| `column_filter` | **Тип**: `std::optional<THashSet<std::string>>`
Какие колонки сообщения записывать в таблицу (по умолчанию &mdash; все). При использовании параметра `delete_rows` необходимо указать все ключевые колонки, если не включён `allow_missing_key_columns`. При включённом параметре `allow_missing_key_columns` пропущенные ключевые колонки считаются равными `null`. ||
|| `aggregate_columns` | **Тип**: `std::optional<THashSet<std::string>>`
Агрегатные записи не поддерживаются: параметр должен быть не указан или содержать пустой список. Асинхронная запись может повторить уже закоммиченный батч после восстановления, поэтому неидемпотентная агрегация небезопасна. ||
|| `delete_rows` | **Тип**: `bool`
**Значение по умолчанию**: `false`
Если установлено в `true`, то вместо вставки строк будет выполняться их удаление. В этом режиме важно, чтобы в `column_filter` были выбраны ключевые колонки целевой таблицы. При `allow_missing_key_columns = true` пропущенные ключевые колонки считаются равными `null`. ||
|| `require_sync_replica` | **Тип**: `bool`
**Значение по умолчанию**: `true`
Если установлено в `false`, то при записи строк в целевую таблицу не проверяется наличие синхронной реплики. По умолчанию значение `true` - проверка происходит. ||
|| `allow_missing_key_columns` | **Тип**: `bool`
**Значение по умолчанию**: `false`
Если установлено в `true`, отсутствующие ключевые колонки целевой таблицы считаются равными `null` при записи и удалении строк. Это относится и к колонкам, которых нет в схеме входного потока или которые исключены через `column_filter`. Схема целевой таблицы должна допускать `null` в этих колонках. ||
|#


{% cut "**Дополнительные параметры**" %}


#|
|| `update_partition_count_period` | **Тип**: [TDuration](https://ytsaurus.tech/docs/ru/flow/generated_docs/all_yson_structs.md#TDuration)
**Значение по умолчанию**: `1m`
Как часто контроллеру обновлять число таблетов в таблице (контроллер соответственно меняет число каналов получателя). Для chaos replicated table контроллер использует enabled data replica с лексикографически минимальным replica id; текущий режим sync/async не влияет на выбор. Reshard этой реплики может изменить число каналов получателя. ||
|#


{% endcut %}
<!-- endsource: ru/flow/generated_docs/NYT_NFlow_TUnitedParameters_NYT_NFlow_NSortedDynamicTable_TAsyncSink.md -->

#### Динамическая спека:

<!-- source: ru/flow/generated_docs/NYT_NFlow_TDynamicUnitedParameters_NYT_NFlow_NSortedDynamicTable_TAsyncSink.md -->
<!-- This file is generated by yt/yt/flow/yandex/tools/generate_yson_struct_doc/generate.sh script -->
<!-- Before using doc generation tool check readme: yt/yt/flow/yandex/tools/generate_yson_struct_doc/README.md -->
Источник: [yt/yt/flow/library/cpp/common/registry-inl.h](https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow/library/cpp/common/registry-inl.h)

#|
|| **Параметр** | **Описание** ||
|| `max_rows_per_batch` | **Тип**: `long`
**Значение по умолчанию**: `1000`
Максимальное число сообщений Flow в батче: batching sink сбрасывает накопленный батч при достижении этого порога. Допустимый диапазон — от 1 до 2000. ||
|| `max_bytes_per_batch` | **Тип**: `long`
**Значение по умолчанию**: `5242880`
Максимальный суммарный размер сообщений Flow в батче: batching sink сбрасывает накопленный батч при достижении этого порога. Допустимый диапазон — от 1 байта до 10 MiB. ||
|#


{% cut "**Дополнительные параметры**" %}


#|
|| `backoff_duration` | **Тип**: [TDuration](https://ytsaurus.tech/docs/ru/flow/generated_docs/all_yson_structs.md#TDuration)
**Значение по умолчанию**: `3s`
Начальная пауза между повторными попытками до применения jitter. Интервалы используют экспоненциальный backoff с jitter; интервал до применения jitter ограничен одной минутой (либо этим значением, если оно больше). Sink продолжает попытки до успешной записи или отмены job и показывает последнюю ошибку в своём статусе. ||
|#


{% endcut %}
<!-- endsource: ru/flow/generated_docs/NYT_NFlow_TDynamicUnitedParameters_NYT_NFlow_NSortedDynamicTable_TAsyncSink.md -->
<!-- endsource: ru/_includes/flow/connectors/sorted-dynamic-table.md -->
