NBD на кластере YTsaurus

В этом документе описана настройка и использование NBD (Network Block Device) на кластере YTsaurus. NBD позволяет подключать образы файловых систем из Кипариса в качестве слоёв корневой файловой системы джобов, что ускоряет подготовку окружения, снижает нагрузку на диск и при некоторых условиях нагрузку на сеть.

Как работает NBD

NBD — Network Block Device, механизм ядра Linux, который позволяет монтировать блочные устройства, данные которых хранятся удалённо. В YTsaurus NBD используют для подключения образов файловых систем SquashFS из Кипариса в качестве слоёв корневой файловой системы джобов.

Архитектура

На каждой exec-ноде работает NBD-сервер — компонент YTsaurus, который реализует протокол NBD поверх Unix Domain Socket или TCP. Схема работы:

Последовательность событий при подготовке NBD слоя:

1. Exec-нода получает задание с layer_paths, содержащим NBD слой.
2. YT скачивает метаданные чанков образа, не сами данные.
3. NBD-сервер регистрирует экспорт для образа.
4. Ядро Linux подключает /dev/nbdX к экспорту через Unix Domain Socket.
5. Porto монтирует /dev/nbdX как слой в overlayfs.
6. Когда джоб обращается к файлу, ядро читает нужные блоки через /dev/nbdX → NBD-сервер → data-ноды.

Блочный кеш

NBD-сервер поддерживает блочный кеш in-memory LRU для хранения сжатых данных чанков. Кеш позволяет избежать повторных обращений к data-нодам при чтении одних и тех же блоков разными джобами. Размер кеша настраивается параметром block_cache_compressed_data_capacity.

Кеш томов

Exec-нода кеширует RO NBD тома, смонтированные образы. Если несколько джобов используют один и тот же NBD слой на одной exec-ноде, система создаёт том один раз и переиспользует его. Метрики кеша: exec_node/ronbd_volume_cache/missed_count, exec_node/ronbd_volume_cache/hit_count.

Установка пакетов

Для работы с NBD и SquashFS установите пакеты:

sudo apt install nbd-client squashfs-tools

• nbd-client — утилита для ручного подключения NBD-устройств. Используется при диагностике: NBD-сервер YTsaurus встроен в exec-ноду, и в штатном режиме ядро подключается к нему напрямую.
• squashfs-tools — утилиты mksquashfs и unsquashfs для сборки и проверки SquashFS-образов.

Для конвертации существующих tar-слоёв в SquashFS дополнительно установите squashfs-tools-ng с утилитой tar2sqfs:

sudo apt install squashfs-tools-ng

Проверьте установку:

nbd-client --version
# This is nbd-client, from nbd 3.26.1

mksquashfs -version
# mksquashfs version 4.6.1 (2023/03/25)

Модуль ядра nbd

Для работы NBD требуется загрузка модуля ядра nbd. Параметр nbds_max определяет число NBD-устройств, которые ядро создаёт при загрузке модуля. NBD-устройства могут создаваться и удаляться динамически.

Загрузка модуля вручную:

modprobe nbd nbds_max=1024

Автоматическая загрузка после перезагрузки, рекомендуется:

Создайте файл /etc/modules-load.d/nbd.conf:

nbd

Создайте файл /etc/modprobe.d/nbd.conf:

options nbd nbds_max=1024

Проверка загрузки модуля:

lsmod | grep nbd
# nbd                    49152  0
cat /sys/module/nbd/parameters/nbds_max
# 128

Рекомендуемое значение nbds_max: не менее числа джобовых слотов на ноде, умноженного на максимальное число NBD слоёв в одном джобе. Например, для 32 слотов и 2 NBD слоёв на джоб: nbds_max=128. Устройства могут создаваться динамически, поэтому значение не ограничивает работу, но заранее созданный запас снижает накладные расходы на создание устройств под нагрузкой.

Конфигурация NBD

Настройка NBD выполняется через динамический конфиг exec-ноды. Все параметры находятся в секции exec_node/nbd.

Включение NBD

exec_node:
  nbd:
    enabled: true

Полный пример конфигурации

exec_node:
  nbd:
    enabled: true
    block_cache_compressed_data_capacity: 536870912  # 512 МБ
    client:
      io_timeout: 30000          # 30 секунд, в миллисекундах
      reconnect_timeout: 5000    # 5 секунд, в миллисекундах
      connection_count: 1
    server:
      thread_count: 2
      unix_domain_socket:
        path: /tmp/nbd.sock

Параметры конфигурации

Проверка работоспособности

Проверка состояния ноды

После включения NBD убедитесь, что exec-нода перешла в состояние online и не имеет алертов:

yt get //sys/exec_nodes/<node-address>/@state
# "online"

yt get //sys/exec_nodes/<node-address>/@alerts
# []

Проверка через тестовую операцию

Запустите тестовую операцию с NBD слоем:

import yt.wrapper as yt

# Создайте тестовый squashfs образ и загрузите его в Кипарис
# yt set //path/to/layer.squashfs/@filesystem squashfs
# yt set //path/to/layer.squashfs/@access_method nbd

yt.run_map(
    lambda row: row,
    source_table="//tmp/test_input",
    destination_table="//tmp/test_output",
    spec={
        "mapper": {
            "layer_paths": ["//path/to/layer.squashfs"],
        }
    }
)

Проверка через логи

В логах exec-ноды exec-node.info.log при успешном запуске NBD-сервера появляются записи:

NBD server started (UnixDomainSocket: /tmp/nbd.sock, ThreadCount: 2)

При создании NBD-устройства:

Creating NBD device (FilePath: //path/to/layer.squashfs, DeviceName: /dev/nbd0)
NBD device created (FilePath: //path/to/layer.squashfs, DeviceName: /dev/nbd0)

Мониторинг

Solomon-сенсоры

Система экспортирует все метрики NBD в Solomon. Основные сенсоры:

Серверные метрики:

Метрики устройств. Тег file_path — путь к файлу слоя в Кипарисе:

Метрики томов. Теги type=nbd, file_path:

Метрики кеша томов:

Ключевые метрики для мониторинга

Обработка ошибок

lsmod | grep nbd
dmesg | grep nbd

Диагностика через orchid

Состояние NBD-сервера доступно через orchid exec-ноды:

yt get //sys/exec_nodes/<node-address>/orchid/exec_node

Типичные проблемы и решения

modprobe nbd nbds_max=256