Apache Flink Connector YTsaurus

Apache Flink Connector YTsaurus — это коннектор, позволяющий использовать YTsaurus в задачах потоковой обработки данных на Apache Flink.

Коннектор работает с сортированными динамическими таблицами YTsaurus. С его помощью можно осуществлять потоковую запись в сортированные динамические таблицы YTsaurus, а также выполнять Lookup-операции.

Ключевые особенности:

• Запись в сортированные динамические таблицы;
• Поддержка партиционирования данных;
• Автоматическое создание таблиц;
• Предварительное решардирование таблиц;
• Поддержка синхронных и асинхронных Lookup операций;
• Наличие Full и Partial стратегий кеширования Lookup запросов.

Установка

Maven

<dependency>
    <groupId>tech.ytsaurus.flyt.connectors.ytsaurus</groupId>
    <artifactId>flink-connector-ytsaurus</artifactId>
    <version>${connectorVersion}</version>
    <classifier>all</classifier>
</dependency>

Gradle

implementation("tech.ytsaurus.flyt.connectors.ytsaurus:flink-connector-ytsaurus:$connectorVersion:all")

Исходный код

Исходный код доступен на странице проекта на GitHub.

Начало работы

Более подробно познакомиться с работой коннектора можно через Quick Start Guide на странице проекта.