Эксплуатация YTsaurus Flow
В этом разделе описано, как запустить пайплайн, проверить его состояние и разобраться с остановкой обработки. Команды предполагают, что у вас есть доступ к кластеру и права на узел пайплайна; вместо //path/to/pipeline, <cluster> и <operation-id> подставьте свои значения. Flow можно запускать в Linux-окружениях, если выполнены требования к среде выполнения и конфигурации, а из окружения есть сетевой доступ к используемым пайплайном кластерам YTsaurus и другим сервисам. Vanilla-операции приведены в документации как самый простой пример окружения, нативного для кластера YTsaurus.
Развёртывание
Для первого запуска выполните первичный деплой в Vanilla-операции. Контроллер и воркеры будут запущены как задачи одной операции. Для запуска из выпущенных образов Flow прочитайте про запуск в docker-окружении: там описаны vanilla-джобы в docker-образах, контроллер и воркеры в Kubernetes, разрешение имени кластера и доступ к прокси извне. Flow по умолчанию создаёт и монтирует внутренние таблицы вместе с пайплайном. Если пайплайн использует внешний стейт, который вы обслуживаете самостоятельно, перед созданием таких таблиц выберите тип таблиц внешнего стейта с учётом доступности и стоимости.
Запуск Flow
Создайте конфигурацию и запустите пайплайн по инструкции для Vanilla. Перед запуском проверьте объекты и права, которые нужны новой версии.
Инструкции по развёртыванию
Для изменения действующего пайплайна используйте операции, релизы, настройку доступа и логи.
Управление
Используйте yt flow для запуска, остановки, паузы и просмотра состояния пайплайна. Остановка через stop-pipeline дренирует промежуточные буферы; pause-pipeline приостанавливает обработку без дрейна. Удаление пайплайна отдельно отменяет Vanilla-операцию и удаляет узел с внутренними таблицами Flow. Пользовательские таблицы External State за пределами узла остаются.
Для обновления, хотфикса или отката версии следуйте правилам релизов. Передавайте токен и другие секреты по правилам доступа; не помещайте их в спеку или образ.
Когда прогресс остановился
Сначала запросите состояние и представление пайплайна, затем сопоставьте их с логами контроллера и воркеров. Диагностика помогает найти проблемную джобу, профилирование — источник нагрузки или зависания, а типовые проблемы связывают наблюдение с безопасным следующим действием.