Джобы

Джоб — единица вычислений в рамках операции YTsaurus. Операция распределяет обработку данных между джобами, каждый из которых выполняется на одном узле кластера. Например, джобы операций Map, Reduce и MapReduce запускают пользовательский код.

В этой статье описаны окружение джоба, передача файлов и данных, ресурсы и пользовательские статистики. О распределении ресурсов между операциями читайте в разделе Планировщик и пулы.

Устройство джоба

Джоб состоит из одного или нескольких процессов. В каждом джобе есть системный процесс JobProxy. В джобах с пользовательским кодом он запускает процесс UserJob, который выполняет команду маппера или редьюсера и может создавать дочерние процессы.

JobProxy получает входные данные с узлов кластера и передаёт их пользовательскому процессу через файловые дескрипторы. Через дескрипторы он также получает результат обработки. Кроме того, JobProxy следит за потреблением ресурсов пользовательским процессом и сообщает об этом узлу, на котором работает джоб.

Узлы с данными — JobProxy — UserJobВычислительный узелУзлы с даннымиJobProxyUserJobВходные данныеВходные данныеРезультатРезультат

Окружение джоба

Пользовательская команда запускается в рабочей директории sandbox. Здесь же доступны файлы, переданные в спецификации операции. Домашний каталог процесса — директория home.

Параметры изоляции процессов и доступ к файловой системе зависят от окружения выполнения на кластере. Не рассчитывайте на файлы и программы хоста, с которого вы запускаете операцию: нужные файлы передавайте через спецификацию, а системное окружение задавайте с помощью образа или слоёв.

Для временных файлов можно заказать tmpfs — файловую систему, содержимое которой хранится в оперативной памяти. Путь в sandbox задаётся параметром tmpfs_path, размер — tmpfs_size. Для нескольких разделов используйте tmpfs_volumes. Занятое место в tmpfs учитывается в потреблении памяти джоба. Подробнее о параметрах читайте в разделе Настройки операций.

Корневая файловая система

В спецификации пользовательского скрипта можно указать docker_image или layer_paths, чтобы задать корневую файловую систему контейнера. Доступность этих способов зависит от настройки окружения выполнения на кластере. Подробнее читайте в разделе Образы корневой файловой системы.

Файлы, доступные в джобах

Чтобы передать файл в джоб, укажите его путь в Кипарисе в параметре file_paths спецификации пользовательского скрипта. Перед запуском файл будет доступен в корне sandbox. По умолчанию это символическая ссылка только для чтения; параметр copy_files включает копирование файлов в sandbox.

Имя файла выбирается в следующем порядке:

  1. Атрибут file_name на пути, переданном в спецификацию.
  2. Атрибут file_name самого файла в Кипарисе.
  3. Последняя часть пути файла в Кипарисе.

Таблицу тоже можно передать через file_paths. Для неё обязательно укажите на пути атрибут format, который задаёт формат сохранения таблицы в файл.

Чтобы передать иерархию директорий и файлов, упакуйте её в архив, передайте архив в джоб и распакуйте его в пользовательском коде.

Ресурсы джоба

В спецификации пользовательского скрипта можно задать memory_limit, cpu_limit и gpu_limit. Эти параметры относятся к одному джобу.

Память

memory_limit ограничивает потребление памяти джобом в байтах. Значение по умолчанию — 512 МиБ. При превышении лимита джоб может завершиться с ошибкой Memory limit exceeded.

Для планирования запуска используется резерв памяти. Если резерв меньше лимита, в процессе работы джобу может потребоваться дополнительная память узла. Учитывайте в лимите память пользовательского процесса и файлы в tmpfs.

CPU

cpu_limit задаёт число процессорных ядер, которое планировщик учитывает для джоба. Значение по умолчанию — 1. Можно задавать дробное значение, например 0.5, и запускать многопоточный код.

В окружении Porto по умолчанию для контейнера задаётся вес CPU, пропорциональный cpu_limit. Параметр set_container_cpu_limit позволяет также установить лимит CPU контейнера. Фактическое распределение процессорного времени зависит от настроек окружения и нагрузки на узел.

Увеличение cpu_limit повышает запрос ресурсов одного джоба и может уменьшить количество одновременно выполняющихся джобов операции.

GPU

На кластерах с GPU параметр gpu_limit задаёт число GPU, необходимых одному джобу. Если узлы с GPU выделены в отдельные деревья пулов, укажите подходящее дерево в pool_trees. Список деревьев можно получить командой:

yt --proxy "<cluster_proxy>" list //sys/pool_trees

Выбор дерева зависит от конфигурации кластера. Уточните у администратора, какие деревья предоставляют нужные GPU.

Переменные окружения

В пользовательском процессе доступны переменные:

  • YT_OPERATION_ID — идентификатор операции.
  • YT_JOB_ID — идентификатор джоба.
  • YT_JOB_INDEX — порядковый номер запущенного джоба. Может превышать job_count, если некоторые джобы завершались с ошибкой и запускались заново.
  • YT_START_ROW_INDEX — начало диапазона индексов, выделенного джобу с табличным входом. Для джобов одной стадии обработки диапазоны длиной в число входных строк не пересекаются. Значение не является фактическим номером первой строки входной таблицы: входные строки могут идти не подряд, а при перезапуске джоб получает новый диапазон.

Собственные переменные передавайте через словарь environment в спецификации пользовательского скрипта. Например, environment = {MODE = "test"} добавит переменную MODE со значением test.

Важно

Не передавайте через environment токены, пароли и другие секреты: значения входят в спецификацию операции и могут быть доступны другим пользователям.

Для секретов используйте словарь secure_vault в спецификации операции. Например, пара key = "value" добавляет в окружение пользовательского процесса переменную YT_SECURE_VAULT_key со значением value. Переменная YT_SECURE_VAULT содержит весь словарь в YSON-формате. Содержимое secure_vault удаляется из общедоступного представления спецификации и хранится отдельно.

Конфигурация кластера может добавлять другие переменные окружения. Конфигурацию контроллер-агента можно посмотреть командой, если у вас есть доступ к этому узлу Кипариса:

yt --proxy "<cluster_proxy>" get "//sys/controller_agents/instances/<instance>/orchid/controller_agent/config/environment"

Ввод-вывод джоба

Параметры ввода-вывода задаются в секциях job_io спецификации операции:

  • table_reader и table_writer — настройки чтения и записи табличных данных.
  • error_file_writer — настройки записи stderr-файла.
  • control_attributes — настройки контрольных атрибутов, которые передают служебную информацию вместе с данными.
  • buffer_row_count — максимальное число записей, которые JobProxy может буферизовать при передаче входных данных джобу.
  • pipe_io_pool_size — размер пула обработки данных в JobProxy.

Файловые дескрипторы

Для обмена данными между UserJob и JobProxy используются дескрипторы:

  • 0 (stdin) — входные данные из всех входных таблиц с соблюдением гарантий операции. Определить исходную таблицу записи помогают контрольные атрибуты.
  • 1 (stdout), 4, 7, …, 3k + 1 — запись в выходные таблицы. Здесь k — индекс таблицы, начиная с нуля. Выбрать выходную таблицу также можно с помощью переключателей таблиц.
  • 2 (stderr) — стандартный поток ошибок.
  • 5 — пользовательские статистики.
  • 8 — данные профилирования.

Статистики джобов

YTsaurus собирает, агрегирует и отображает статистики джобов. Их значения доступны на вкладке Statistics страницы операции. Подробный список системных метрик и примеры диагностики приведены в разделе Статистики джобов.

Агрегация

По завершении джоб передаёт статистики в виде YSON-документа. Идентификатор статистики — путь к числовому значению в дереве документа. Поддерживаются значения типов i64 и ui64.

Статистики группируются по типу джоба, например map или reduce, и состоянию, например completed или failed. Для групп рассчитываются сумма, минимум, максимум и количество значений (sum, min, max, count). Агрегированные статистики доступны в атрибуте операции @progress/job_statistics в Кипарисе.

Пользовательские статистики

Из пользовательского кода можно передавать собственные метрики через дескриптор 5. Поток должен иметь формат YSON list fragment: последовательность словарей, разделённых точкой с запятой. Если метрика встречается несколько раз, её значения агрегируются внутри джоба. Затем для группы джобов считаются сумма сумм, минимум минимумов и максимум максимумов.

Например, джоб может измерять длительность инициализации, обработки данных и завершения в миллисекундах и записать один словарь:

{init_time = 10; run_time = 250; finalize_time = 5};

Те же метрики можно передавать отдельными записями по мере выполнения:

{init_time = 10};
{run_time = 250};
{finalize_time = 5};

Дерево метрик может быть многоуровневым:

{time = {init = 10; run = 250}};
{time = {finalize = 5}};

Ограничения

  • Длина полного пути пользовательской статистики с системным префиксом custom — не более 512 байт.
  • Количество пользовательских статистик по умолчанию ограничено 128. Изменить лимит можно параметром custom_statistics_count_limit в спецификации пользовательского скрипта. Максимум — 1024.

Python API

В Python-джобах используйте функцию yt.wrapper.write_statistics(dict). Она записывает словарь метрик в дескриптор 5.

Подробнее о клиенте читайте в разделе Python API.

Диагностика и отладка

К работающему джобу можно подключиться через Job Shell. Для воспроизведения джоба локально используйте Job Tool.

Предыдущая