Дерево метаинформации

Кипарис — дерево метаинформации, содержащее в себе различную системную информации и данные о том, где хранятся пользовательские данные.

Вы познакомитесь с общим представлением дерева, атрибутами узлов Кипариса и TTL для узлов Кипариса.

Общее представление дерева

С пользовательской точки зрения Кипарис похож на дерево файловой системы в Linux, но имеет ряд существенных отличий:

• С каждым узлом в дереве связан набор атрибутов, в том числе задаваемых пользователем.
• Дерево является транзакционным.
• В качестве узла Кипариса могут быть не только файлы и директории, но и другие объекты.

По аналогии с файловой системой в Кипарисе поддерживается система контроля доступов.

Что еще важно знать

• Корневым элементом Кипариса является /, который имеет тип map_node (то есть является директорией). Адресация узлов в Кипарисе осуществляется с помощью YPath.

• Количество дочерних узлов директории ограничено. По умолчанию лимит равен 50000, но зависит от конфигурации кластера.

• Глубина Кипариса в теории не ограничена, но стоит помнить о том, что в YPath существует лимит на глубину разрешения пути.

Примеры

Примеры путей: //tmp – временная директория, //tmp/@ – атрибуты этой директории, //tmp/table/@type – путь до атрибута type узла //tmp/table.

С использованием YPath Кипарис может быть изображен следующим образом:

/
  /home
    /user1
      /table
        /@id
        /@chunk_ids
        /@type
        ...
      ...
    /user2
    ...
  /tmp
  /sys
    /chunks
      ...
    ...
  ...

Атрибуты узлов Кипариса

У узлов Кипариса есть общие для всех объектов атрибуты. Также есть дополнительные атрибуты, представленные в таблице:

Каждый узел имеет свой дескриптор, отвечающий за управление доступом, поэтому среди его атрибутов есть inherit_acl, acl и owner. Подробнее можно прочитать в разделе Система контроля доступов.

Атрибуты времени

Для большинства команд, при помощи которых происходит чтение или запись, существуют опции suppress_access_tracking и suppress_modification_tracking, которые позволяют отключить обновления атрибутов access_time, modification_time и revision при чтении и записи соответственно.

В частности, веб-интерфейс использует suppress_access_tracking, так что просмотры содержимого через web UI не приводят к обновлению access_time.

TTL для узлов Кипариса

Кипарис может автоматически удалять узлы по наступлении указанного момента времени или в случае отсутствия обращений к узлу на протяжении указанного интервала времени.

Для управления этой возможностью существуют атрибуты expiration_time и expiration_timeout. По умолчанию атрибуты отсутствуют, в этом случае система не будет автоматически удалять узел.

Для работы TTL необходимо:

• указать в атрибуте expiration_time момент времени, при наступлении которого узел будет удален. Если узел композитный, то будет также удалено все его поддерево;
• указать в атрибуте expiration_timeout интервал времени, в течение которого к узлу должны отсутствовать обращения, чтобы узел (и все его поддерево, если узел композитный) был удален.

Для учета времени последнего запроса используется время из атрибута touch_time.

Особенности атрибута touch_time

• Атрибут touch_time по аналогии с access_time хранит время последнего обращения к узлу. Данный атрибут присутствует только у узлов с присутствующим атрибутом expiration_timeout.

• В отличие от access_time, touch_time обновляется при обращении к атрибутам узла, а также при обращениях к узлу через веб-интерфейс.

• Атрибут touch_time не учитывает изменение сыновей узла, т.е. атрибут touch_time у map_node не меняется, если где-то в глубине дерева происходят обращения. Также touch_time не обновляется в запросах с включенной опцией supress_expiration_timeout_renewal.

Пример

Момент времени необходимо указать либо строкой в isoformat, либо целым числом миллисекунд с начала эпохи. Эти способы эквивалентны:

yt set //home/project/path/table/@expiration_time '"2020-05-16 15:12:34.591+03:00"'
yt set //home/project/path/table/@expiration_time '1589631154591'

Интервал времени указывается в миллисекундах:

# Удалить узел, если его «не трогали» неделю.
yt set //home/project/path/table/@expiration_timeout 604800000

Что важно знать про TTL

Атрибуты TTL можно менять в транзакциях, однако эффект имеют только их закоммиченные значения.

• Чтобы выставлять данные атрибуты для узла, необходимо иметь право write на сам узел, как и для многих других атрибутов, а также remove для данного узла и всего его поддерева, так как фактически заказывается удаление, хоть и отложенное. Чтобы удалить данные атрибуты, достаточно права write.

• Система не дает никаких гарантий точности времени удаления. На практике удаление происходит в пределах единиц секунд после наступления указанного времени.

  Автоматическое удаление узла не наступает, если в момент наступления указанного времени на узле есть блокировки, отличные от snapshot. Система удалит узел, как только все блокировки будут сняты. Этим свойством можно пользоваться для искусственного продления времени жизни узла.

• При копировании и перемещении узла атрибуты expiration_time и expiration_timeout по умолчанию сбрасываются, так что копия не будет автоматически удалена. У команд есть опции preserve-expiration-time и preserve-expiration-timeout, позволяющие поменять поведение.

Удаление может произойти раньше, если узел находится в поддереве с меньшим значением expiration_time/expiration_timeout в корне. Чтобы получить фактическое время удаления узла, можно воспользоваться атрибутом effective_expiration:

$ yt get //home/project/path/table/@effective_expiration
{
  "time": {"value": 42, "path": //testator/path}
  "timeout": {"value": 42, "path": //testator/path}
}

При отсутствии, например, expiration_time на пути от корня до узла, в поле "time" будет записано YSON entity.