Диагностика пайплайна YTsaurus Flow

Начните с этой последовательности, если пайплайн не запускается, останавливается или не обрабатывает новые данные. Вам нужны права read на узел пайплайна и доступ к его Vanilla-операции. Подставьте путь пайплайна и кластер своей установки.

Состояние и джобы

yt --proxy <cluster> flow get-pipeline-state //path/to/pipeline
yt --proxy <cluster> flow get-flow-view //path/to/pipeline

Состояние показывает, работает ли пайплайн, дренируется или приостановлен. В flow view найдите компьютейшен и партицию, где прекратился прогресс, а также текущие джобы. Если CLI выводит working, но данных на выходе нет, сравните состояние источника, выходные буферы и ошибки соответствующих джоб.

Логи и доступные метрики

Читайте логи контроллера для причин изменения состояния и назначения джоб; логи воркера нужны для ошибки конкретного компьютейшена. Для завершившейся джобы получите stderr командой с ID операции и джобы. Сохраните первую содержательную ошибку и время её появления до повторного запуска.

Если в вашей установке доступны UI или метрики, сравните статус джоб, размер входных и выходных буферов, лаг и время частей эпох. Наличие конкретной панели зависит от развёртывания; команды выше и логи остаются доступным путём, когда панели нет. Рост лагов при работающих джобах ведёт к разбору медленной обработки.

Следующий шаг

Сопоставьте найденный статус или ошибку с типовыми проблемами. При зависании соберите бектрейсы и Orchid до перезапуска: после завершения джобы эти данные могут исчезнуть. Не удаляйте стейт ради диагностики.