---
metadata:
  - name: generator
    content: Diplodoc Platform v5.66.1
alternate:
  - https://ytsaurus.tech/docs/en/user-guide/data-processing/operations/jobs.md
  - https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/jobs.md
  - href: https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/jobs.md
    type: text/markdown
    title: Markdown version
  - href: https://ytsaurus.tech/docs/ru/llms.txt?revision=2d850064a4d3adf46de511155ae933c6c038d243
    rel: describedby
---
> **Documentation Index:** Fetch the complete configuration index at https://ytsaurus.tech/docs/ru/llms.txt?revision=2d850064a4d3adf46de511155ae933c6c038d243

<!-- source: ru/_includes/user-guide/data-processing/operations/jobs.md -->
# Джобы

Джоб — единица вычислений в рамках операции YTsaurus. Операция распределяет обработку данных между джобами, каждый из которых выполняется на одном узле кластера. Например, джобы операций [Map](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/map.md), [Reduce](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/reduce.md) и [MapReduce](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/mapreduce.md) запускают пользовательский код.

В этой статье описаны окружение джоба, передача файлов и данных, ресурсы и пользовательские статистики. О распределении ресурсов между операциями читайте в разделе [Планировщик и пулы](https://ytsaurus.tech/docs/ru/user-guide/data-processing/scheduler/scheduler-and-pools.md).

<a id="anatomiya-dzhoba-v-yt"></a>

## Устройство джоба {#job-anatomy}

Джоб состоит из одного или нескольких процессов. В каждом джобе есть системный процесс `JobProxy`. В джобах с пользовательским кодом он запускает процесс `UserJob`, который выполняет команду маппера или редьюсера и может создавать дочерние процессы.

`JobProxy` получает входные данные с узлов кластера и передаёт их пользовательскому процессу через файловые дескрипторы. Через дескрипторы он также получает результат обработки. Кроме того, `JobProxy` следит за потреблением ресурсов пользовательским процессом и сообщает об этом узлу, на котором работает джоб.

![JobProxy передаёт данные между узлами кластера и пользовательским процессом UserJob](../../../../_images/job_anatomy_ru.svg =800x)

## Окружение джоба {#job-environment}

Пользовательская команда запускается в рабочей директории `sandbox`. Здесь же доступны файлы, переданные в спецификации операции. Домашний каталог процесса — директория `home`.

Параметры изоляции процессов и доступ к файловой системе зависят от окружения выполнения на кластере. Не рассчитывайте на файлы и программы хоста, с которого вы запускаете операцию: нужные файлы передавайте через спецификацию, а системное окружение задавайте с помощью образа или слоёв.

Для временных файлов можно заказать tmpfs — файловую систему, содержимое которой хранится в оперативной памяти. Путь в `sandbox` задаётся параметром `tmpfs_path`, размер — `tmpfs_size`. Для нескольких разделов используйте `tmpfs_volumes`. Занятое место в tmpfs учитывается в потреблении памяти джоба. Подробнее о параметрах читайте в разделе [Настройки операций](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/operations-options.md#user_script_options).

### Корневая файловая система {#rootfs}

В спецификации пользовательского скрипта можно указать `docker_image` или `layer_paths`, чтобы задать корневую файловую систему контейнера. Доступность этих способов зависит от настройки окружения выполнения на кластере. Подробнее читайте в разделе [Образы корневой файловой системы](https://ytsaurus.tech/docs/ru/user-guide/data-processing/layers/layer-paths.md).

## Файлы, доступные в джобах {#job-files}

Чтобы передать файл в джоб, укажите его путь в Кипарисе в параметре `file_paths` спецификации пользовательского скрипта. Перед запуском файл будет доступен в корне `sandbox`. По умолчанию это символическая ссылка только для чтения; параметр `copy_files` включает копирование файлов в `sandbox`.

Имя файла выбирается в следующем порядке:

1. Атрибут `file_name` на пути, переданном в спецификацию.
1. Атрибут `file_name` самого файла в [Кипарисе](https://ytsaurus.tech/docs/ru/user-guide/storage/cypress.md).
1. Последняя часть пути файла в Кипарисе.

Таблицу тоже можно передать через `file_paths`. Для неё обязательно укажите на пути атрибут `format`, который задаёт формат сохранения таблицы в файл.

Чтобы передать иерархию директорий и файлов, упакуйте её в архив, передайте архив в джоб и распакуйте его в пользовательском коде.

## Ресурсы джоба {#job-resources}

В [спецификации пользовательского скрипта](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/operations-options.md#user_script_options) можно задать `memory_limit`, `cpu_limit` и `gpu_limit`. Эти параметры относятся к одному джобу.

### Память {#memory}

`memory_limit` ограничивает потребление памяти джобом в байтах. Значение по умолчанию — 512 МиБ. При превышении лимита джоб может завершиться с ошибкой `Memory limit exceeded`.

Для планирования запуска используется [резерв памяти](https://ytsaurus.tech/docs/ru/user-guide/data-processing/scheduler/memory-digest.md). Если резерв меньше лимита, в процессе работы джобу может потребоваться дополнительная память узла. Учитывайте в лимите память пользовательского процесса и файлы в tmpfs.

### CPU {#cpu}

`cpu_limit` задаёт число процессорных ядер, которое планировщик учитывает для джоба. Значение по умолчанию — 1. Можно задавать дробное значение, например `0.5`, и запускать многопоточный код.

В окружении Porto по умолчанию для контейнера задаётся вес CPU, пропорциональный `cpu_limit`. Параметр `set_container_cpu_limit` позволяет также установить лимит CPU контейнера. Фактическое распределение процессорного времени зависит от настроек окружения и нагрузки на узел.

Увеличение `cpu_limit` повышает запрос ресурсов одного джоба и может уменьшить количество одновременно выполняющихся джобов операции.

### GPU {#gpu}

На кластерах с GPU параметр `gpu_limit` задаёт число GPU, необходимых одному джобу. Если узлы с GPU выделены в отдельные деревья пулов, укажите подходящее дерево в `pool_trees`. Список деревьев можно получить командой:

```shell
yt --proxy "<cluster_proxy>" list //sys/pool_trees
```

Выбор дерева зависит от конфигурации кластера. Уточните у администратора, какие деревья предоставляют нужные GPU.

<a id="peremennye-okruzheniya-v-dzhobah"></a>

## Переменные окружения {#environment-variables}

В пользовательском процессе доступны переменные:

- `YT_OPERATION_ID` — идентификатор операции.
- `YT_JOB_ID` — идентификатор джоба.
- `YT_JOB_INDEX` — порядковый номер запущенного джоба. Может превышать `job_count`, если некоторые джобы завершались с ошибкой и запускались заново.
- `YT_START_ROW_INDEX` — начало диапазона индексов, выделенного джобу с табличным входом. Для джобов одной стадии обработки диапазоны длиной в число входных строк не пересекаются. Значение не является фактическим номером первой строки входной таблицы: входные строки могут идти не подряд, а при перезапуске джоб получает новый диапазон.

Собственные переменные передавайте через словарь `environment` в спецификации пользовательского скрипта. Например, `environment = {MODE = "test"}` добавит переменную `MODE` со значением `test`.

{% note warning %}

Не передавайте через `environment` токены, пароли и другие секреты: значения входят в спецификацию операции и могут быть доступны другим пользователям.

{% endnote %}

Для секретов используйте словарь `secure_vault` в [спецификации операции](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/operations-options.md). Например, пара `key = "value"` добавляет в окружение пользовательского процесса переменную `YT_SECURE_VAULT_key` со значением `value`. Переменная `YT_SECURE_VAULT` содержит весь словарь в YSON-формате. Содержимое `secure_vault` удаляется из общедоступного представления спецификации и хранится отдельно.

Конфигурация кластера может добавлять другие переменные окружения. Конфигурацию контроллер-агента можно посмотреть командой, если у вас есть доступ к этому узлу Кипариса:

```shell
yt --proxy "<cluster_proxy>" get "//sys/controller_agents/instances/<instance>/orchid/controller_agent/config/environment"
```

## Ввод-вывод джоба {#job-io}

Параметры ввода-вывода задаются в секциях `job_io` [спецификации операции](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/operations-options.md):

- `table_reader` и `table_writer` — [настройки чтения и записи табличных данных](https://ytsaurus.tech/docs/ru/user-guide/storage/io-configuration.md).
- `error_file_writer` — настройки записи stderr-файла.
- `control_attributes` — настройки [контрольных атрибутов](https://ytsaurus.tech/docs/ru/user-guide/storage/io-configuration.md#control_attributes), которые передают служебную информацию вместе с данными.
- `buffer_row_count` — максимальное число записей, которые `JobProxy` может буферизовать при передаче входных данных джобу.
- `pipe_io_pool_size` — размер пула обработки данных в `JobProxy`.

### Файловые дескрипторы {#descriptors_in_job}

Для обмена данными между `UserJob` и `JobProxy` используются дескрипторы:

- `0` (`stdin`) — входные данные из всех входных таблиц с соблюдением гарантий операции. Определить исходную таблицу записи помогают контрольные атрибуты.
- `1` (`stdout`), `4`, `7`, …, `3k + 1` — запись в выходные таблицы. Здесь `k` — индекс таблицы, начиная с нуля. Выбрать выходную таблицу также можно с помощью [переключателей таблиц](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/table-switch.md).
- `2` (`stderr`) — стандартный поток ошибок.
- `5` — [пользовательские статистики](#user_stats).
- `8` — данные профилирования.

## Статистики джобов {#job_stat}

YTsaurus собирает, агрегирует и отображает статистики джобов. Их значения доступны на вкладке **Statistics** страницы операции. Подробный список системных метрик и примеры диагностики приведены в разделе [Статистики джобов](https://ytsaurus.tech/docs/ru/user-guide/problems/jobstatistics.md).

### Агрегация {#statistics-aggregation}

По завершении джоб передаёт статистики в виде YSON-документа. Идентификатор статистики — путь к числовому значению в дереве документа. Поддерживаются значения типов `i64` и `ui64`.

Статистики группируются по типу джоба, например `map` или `reduce`, и состоянию, например `completed` или `failed`. Для групп рассчитываются сумма, минимум, максимум и количество значений (`sum`, `min`, `max`, `count`). Агрегированные статистики доступны в атрибуте операции `@progress/job_statistics` в Кипарисе.

### Пользовательские статистики {#user_stats}

Из пользовательского кода можно передавать собственные метрики через дескриптор `5`. Поток должен иметь формат YSON list fragment: последовательность словарей, разделённых точкой с запятой. Если метрика встречается несколько раз, её значения агрегируются внутри джоба. Затем для группы джобов считаются сумма сумм, минимум минимумов и максимум максимумов.

Например, джоб может измерять длительность инициализации, обработки данных и завершения в миллисекундах и записать один словарь:

```yson
{init_time = 10; run_time = 250; finalize_time = 5};
```

Те же метрики можно передавать отдельными записями по мере выполнения:

```yson
{init_time = 10};
{run_time = 250};
{finalize_time = 5};
```

Дерево метрик может быть многоуровневым:

```yson
{time = {init = 10; run = 250}};
{time = {finalize = 5}};
```

#### Ограничения {#custom-statistics-limits}

- Длина полного пути пользовательской статистики с системным префиксом `custom` — не более 512 байт.
- Количество пользовательских статистик по умолчанию ограничено 128. Изменить лимит можно параметром `custom_statistics_count_limit` в [спецификации пользовательского скрипта](https://ytsaurus.tech/docs/ru/user-guide/data-processing/operations/operations-options.md#user_script_options). Максимум — 1024.

### Python API {#python-statistics}

В Python-джобах используйте функцию `yt.wrapper.write_statistics(dict)`. Она записывает словарь метрик в дескриптор `5`.

Подробнее о клиенте читайте в разделе [Python API](https://ytsaurus.tech/docs/ru/api/python/start.md).

## Диагностика и отладка {#job-debugging}

К работающему джобу можно подключиться через [Job Shell](https://ytsaurus.tech/docs/ru/user-guide/problems/jobshell-and-slowjobs.md). Для воспроизведения джоба локально используйте [Job Tool](https://ytsaurus.tech/docs/ru/user-guide/problems/jobtool.md).
<!-- endsource: ru/_includes/user-guide/data-processing/operations/jobs.md -->
