Классы данных

Основной способ представления строк таблицы — это классы с полями, которые размечены типами (аналог dataclasses). См. также пример.

Мотивация

1. Удобство: так как система скалярных типов YTsaurus более богатая, чем в Python, разметка типами помогает явно выразить желаемые типы колонок. Ещё лучше видно удобство при работе со сложными типами, например, структурами.
2. Строгая типизация позволяет распознавать больше ошибок в коде до того как они приведут к повреждению данных и другим неприятным эффектам. В этом также могут помогать линтеры и IDE.
3. Скорость: за счёт использования формата Skiff и некоторых других оптимизаций потребление CPU в несколько раз меньше, чем для нетипизированных данных.

Установка

Для работы с модулем yt.wrapper.schema установите пакеты:

• typing_extensions
• ytsaurus-yson
• six

Введение

Для работы с табличными данными нужно объявить класс с декоратором yt.wrapper.yt_dataclass и разметить его поля типами. После двоеточия указывается тип поля. Это могут быть:

• встроенные типы в Python: int, float, str и другие;
• пользовательские классы с декоратором @yt_dataclass;
• композитные типы из модуля typing. Сейчас поддерживаются List, Dict и Optional. В планах поддержка Tuple и ряда других типов.
• специальные типы из yt.wrapper.schema: Int8, Uint16, OtherColumns и другие (более полный список ниже).

Пример:

@yt.wrapper.yt_dataclass
class Row:
    id: int
    name: str
    is_robot: bool = False

Для описанного таким образом класса будут сгенерированы конструктор и прочие служебные методы, в частности, __eq__ и __repr__. Для некоторых полей можно указать значение по умолчанию. Оно попадёт в сигнатуру конструктора. В стандартном модуле dataclasses объект можно создавать обычным образом: row = Row(id=123, name="foo"). При этом для всех полей, для которых не указаны значения по умолчанию (как для robot: bool = False), необходимо передать соответствующие поля в конструктор, иначе будет показано исключение.

Для классов данных поддерживается наследование.

Имея такой класс, можно:

1. Создать таблицу с соответствующей схемой (можно просто начать писать в пустую или несуществующую таблицу или использовать функцию TableSchema.from_row_type()).
2. Писать и читать таблицы, пример.
3. Запускать операции, пример.

Специальные типы