Джобы
Джоб — единица вычислений в рамках операции YTsaurus. Операция распределяет обработку данных между джобами, каждый из которых выполняется на одном узле кластера. Например, джобы операций Map, Reduce и MapReduce запускают пользовательский код.
В этой статье описаны окружение джоба, передача файлов и данных, ресурсы и пользовательские статистики. О распределении ресурсов между операциями читайте в разделе Планировщик и пулы.
Устройство джоба
Джоб состоит из одного или нескольких процессов. В каждом джобе есть системный процесс JobProxy. В джобах с пользовательским кодом он запускает процесс UserJob, который выполняет команду маппера или редьюсера и может создавать дочерние процессы.
JobProxy получает входные данные с узлов кластера и передаёт их пользовательскому процессу через файловые дескрипторы. Через дескрипторы он также получает результат обработки. Кроме того, JobProxy следит за потреблением ресурсов пользовательским процессом и сообщает об этом узлу, на котором работает джоб.
Окружение джоба
Пользовательская команда запускается в рабочей директории sandbox. Здесь же доступны файлы, переданные в спецификации операции. Домашний каталог процесса — директория home.
Параметры изоляции процессов и доступ к файловой системе зависят от окружения выполнения на кластере. Не рассчитывайте на файлы и программы хоста, с которого вы запускаете операцию: нужные файлы передавайте через спецификацию, а системное окружение задавайте с помощью образа или слоёв.
Для временных файлов можно заказать tmpfs — файловую систему, содержимое которой хранится в оперативной памяти. Путь в sandbox задаётся параметром tmpfs_path, размер — tmpfs_size. Для нескольких разделов используйте tmpfs_volumes. Занятое место в tmpfs учитывается в потреблении памяти джоба. Подробнее о параметрах читайте в разделе Настройки операций.
Корневая файловая система
В спецификации пользовательского скрипта можно указать docker_image или layer_paths, чтобы задать корневую файловую систему контейнера. Доступность этих способов зависит от настройки окружения выполнения на кластере. Подробнее читайте в разделе Образы корневой файловой системы.
Файлы, доступные в джобах
Чтобы передать файл в джоб, укажите его путь в Кипарисе в параметре file_paths спецификации пользовательского скрипта. Перед запуском файл будет доступен в корне sandbox. По умолчанию это символическая ссылка только для чтения; параметр copy_files включает копирование файлов в sandbox.
Имя файла выбирается в следующем порядке:
- Атрибут
file_nameна пути, переданном в спецификацию. - Атрибут
file_nameсамого файла в Кипарисе. - Последняя часть пути файла в Кипарисе.
Таблицу тоже можно передать через file_paths. Для неё обязательно укажите на пути атрибут format, который задаёт формат сохранения таблицы в файл.
Чтобы передать иерархию директорий и файлов, упакуйте её в архив, передайте архив в джоб и распакуйте его в пользовательском коде.
Ресурсы джоба
В спецификации пользовательского скрипта можно задать memory_limit, cpu_limit и gpu_limit. Эти параметры относятся к одному джобу.
Память
memory_limit ограничивает потребление памяти джобом в байтах. Значение по умолчанию — 512 МиБ. При превышении лимита джоб может завершиться с ошибкой Memory limit exceeded.
Для планирования запуска используется резерв памяти. Если резерв меньше лимита, в процессе работы джобу может потребоваться дополнительная память узла. Учитывайте в лимите память пользовательского процесса и файлы в tmpfs.
CPU
cpu_limit задаёт число процессорных ядер, которое планировщик учитывает для джоба. Значение по умолчанию — 1. Можно задавать дробное значение, например 0.5, и запускать многопоточный код.
В окружении Porto по умолчанию для контейнера задаётся вес CPU, пропорциональный cpu_limit. Параметр set_container_cpu_limit позволяет также установить лимит CPU контейнера. Фактическое распределение процессорного времени зависит от настроек окружения и нагрузки на узел.
Увеличение cpu_limit повышает запрос ресурсов одного джоба и может уменьшить количество одновременно выполняющихся джобов операции.
GPU
На кластерах с GPU параметр gpu_limit задаёт число GPU, необходимых одному джобу. Если узлы с GPU выделены в отдельные деревья пулов, укажите подходящее дерево в pool_trees. Список деревьев можно получить командой:
yt --proxy "<cluster_proxy>" list //sys/pool_trees
Выбор дерева зависит от конфигурации кластера. Уточните у администратора, какие деревья предоставляют нужные GPU.
Переменные окружения
В пользовательском процессе доступны переменные:
YT_OPERATION_ID— идентификатор операции.YT_JOB_ID— идентификатор джоба.YT_JOB_INDEX— порядковый номер запущенного джоба. Может превышатьjob_count, если некоторые джобы завершались с ошибкой и запускались заново.YT_START_ROW_INDEX— начало диапазона индексов, выделенного джобу с табличным входом. Для джобов одной стадии обработки диапазоны длиной в число входных строк не пересекаются. Значение не является фактическим номером первой строки входной таблицы: входные строки могут идти не подряд, а при перезапуске джоб получает новый диапазон.
Собственные переменные передавайте через словарь environment в спецификации пользовательского скрипта. Например, environment = {MODE = "test"} добавит переменную MODE со значением test.
Важно
Не передавайте через environment токены, пароли и другие секреты: значения входят в спецификацию операции и могут быть доступны другим пользователям.
Для секретов используйте словарь secure_vault в спецификации операции. Например, пара key = "value" добавляет в окружение пользовательского процесса переменную YT_SECURE_VAULT_key со значением value. Переменная YT_SECURE_VAULT содержит весь словарь в YSON-формате. Содержимое secure_vault удаляется из общедоступного представления спецификации и хранится отдельно.
Конфигурация кластера может добавлять другие переменные окружения. Конфигурацию контроллер-агента можно посмотреть командой, если у вас есть доступ к этому узлу Кипариса:
yt --proxy "<cluster_proxy>" get "//sys/controller_agents/instances/<instance>/orchid/controller_agent/config/environment"
Ввод-вывод джоба
Параметры ввода-вывода задаются в секциях job_io спецификации операции:
table_readerиtable_writer— настройки чтения и записи табличных данных.error_file_writer— настройки записи stderr-файла.control_attributes— настройки контрольных атрибутов, которые передают служебную информацию вместе с данными.buffer_row_count— максимальное число записей, которыеJobProxyможет буферизовать при передаче входных данных джобу.pipe_io_pool_size— размер пула обработки данных вJobProxy.
Файловые дескрипторы
Для обмена данными между UserJob и JobProxy используются дескрипторы:
0(stdin) — входные данные из всех входных таблиц с соблюдением гарантий операции. Определить исходную таблицу записи помогают контрольные атрибуты.1(stdout),4,7, …,3k + 1— запись в выходные таблицы. Здесьk— индекс таблицы, начиная с нуля. Выбрать выходную таблицу также можно с помощью переключателей таблиц.2(stderr) — стандартный поток ошибок.5— пользовательские статистики.8— данные профилирования.
Статистики джобов
YTsaurus собирает, агрегирует и отображает статистики джобов. Их значения доступны на вкладке Statistics страницы операции. Подробный список системных метрик и примеры диагностики приведены в разделе Статистики джобов.
Агрегация
По завершении джоб передаёт статистики в виде YSON-документа. Идентификатор статистики — путь к числовому значению в дереве документа. Поддерживаются значения типов i64 и ui64.
Статистики группируются по типу джоба, например map или reduce, и состоянию, например completed или failed. Для групп рассчитываются сумма, минимум, максимум и количество значений (sum, min, max, count). Агрегированные статистики доступны в атрибуте операции @progress/job_statistics в Кипарисе.
Пользовательские статистики
Из пользовательского кода можно передавать собственные метрики через дескриптор 5. Поток должен иметь формат YSON list fragment: последовательность словарей, разделённых точкой с запятой. Если метрика встречается несколько раз, её значения агрегируются внутри джоба. Затем для группы джобов считаются сумма сумм, минимум минимумов и максимум максимумов.
Например, джоб может измерять длительность инициализации, обработки данных и завершения в миллисекундах и записать один словарь:
{init_time = 10; run_time = 250; finalize_time = 5};
Те же метрики можно передавать отдельными записями по мере выполнения:
{init_time = 10};
{run_time = 250};
{finalize_time = 5};
Дерево метрик может быть многоуровневым:
{time = {init = 10; run = 250}};
{time = {finalize = 5}};
Ограничения
- Длина полного пути пользовательской статистики с системным префиксом
custom— не более 512 байт. - Количество пользовательских статистик по умолчанию ограничено 128. Изменить лимит можно параметром
custom_statistics_count_limitв спецификации пользовательского скрипта. Максимум — 1024.
Python API
В Python-джобах используйте функцию yt.wrapper.write_statistics(dict). Она записывает словарь метрик в дескриптор 5.
Подробнее о клиенте читайте в разделе Python API.
Диагностика и отладка
К работающему джобу можно подключиться через Job Shell. Для воспроизведения джоба локально используйте Job Tool.