Сопоставление типов данных: SPYT, Spark и YTsaurus

В этой статье описано сопоставление типов данных в YTsaurus и типов данных в Spark при чтении и записи.

Особенности

1. Указания типов: некоторые сопоставления могут быть изменены указаниями типов в метаданных полей, позволяя более точный контроль над преобразованием типов.

2. Точность Decimal: YTsaurus ограничивает precision типа decimal значением 35 (не scale). Подробнее про Decimal

3. Строковые типы: опция конфигурации stringToUtf8 контролирует, сопоставляются ли строки с типами string или utf8 в YTsaurus. Пример:

   import spyt
   from pyspark.sql import Row
   from pyspark.sql.types import StructType, StructField, StringType, BinaryType
   
   spark.createDataFrame(
       spark.sparkContext.parallelize([Row("string", b"binary")]),
       StructType([
           StructField("string", StringType(), nullable=False),
           StructField("binary", BinaryType(), nullable=False),
       ])
   ).write \
   .option("string_to_utf8", "true") \
   .yt("//path/to/table")
   

4. Составные типы: сложные типы наподобие структур, массивов и словарей рекурсивно сопоставляются с использованием тех же правил для их элементарных типов.

5. Тип float при чтении сопоставляется по-разному в зависимости от положения в схеме:

   • колонка верхнего уровня → FloatType;
   • элемент внутри составного типа (Array, Dict, Struct, Tuple, Variant) → DoubleType.

   Это связано с особенностью формата YSON: в YSON нет 4-байтного float-узла, поэтому float внутри составных типов хранится как 8-байтный double. Чтобы избежать потери данных при чтении, SPYT преобразует его в DoubleType. Колонки верхнего уровня читаются по wire-протоколу, где тип float сохраняется как FloatType.

6. «Arrow не поддерживается»: для типов с такой пометкой при включённой опции spark.yt.read.arrow.enabled (по умолчанию true) SPYT автоматически переключается на wire-протокол.

   Важно

   Если хотя бы одна колонка схемы содержит тип без поддержки Arrow, вся таблица читается через wire-протокол, включая остальные колонки. При проектировании схемы это стоит учитывать, если важна производительность чтения.

Подробнее про некоторые специальные методы для работы с типами данных можно почитать в статьях Опции чтения и Опции записи.

Сопоставление типов при чтении из YTsaurus

Составные типы

В обозначениях ниже inner, key, value — типы вложенных элементов. Для каждого из них применяются правила «внутреннего уровня» (например, float → DoubleType).

Сопоставление типов при записи в YTsaurus

Переопределение типа через schema_hint

Если стандартное сопоставление не подходит, можно явно указать целевой YTsaurus-тип через schema_hint.

df.write.schema_hint({"my_col": "uint8"}).yt("//path/to/table")

df.write.schemaHint(Map("my_col" -> YtLogicalType.Uint8)).yt("//path/to/table")

Кастомные типы SPYT

Перечисленные ниже типы не входят в стандартный Apache Spark — они предоставляются библиотекой SPYT.

Временны́е типы расширенного диапазона

В YTsaurus существуют два набора временны́х типов:

• Стандартные (date, datetime, timestamp, interval) — беззнаковые целые; диапазон [1970-01-01, 2105-12-31].
• Широкие (date32, datetime64, timestamp64, interval64) — знаковые целые (int32/int64); диапазон около 145 000 лет в прошлое и в будущее от Unix-эпохи.

Широкие типы появились позже стандартных и являются предпочтительными для данных, выходящих за пределы 1970–2105. В Spark им соответствуют кастомные типы SPYT: Date32Type, Datetime64Type, Timestamp64Type, Interval64Type.

Подробнее про устройство временны́х типов в YTsaurus см. в разделе Временны́е типы.

YsonType

YsonType — кастомный UDT (User Defined Type), хранящий данные в виде YSON-байтов.

• При чтении из YTsaurus: тип any/yson → YsonType (расширенный режим) или BinaryType (базовый режим).
• При записи в YTsaurus: YsonType → тип any.

Подробнее про работу с YsonType см. в разделах Python API и Scala API.