Сопоставление типов данных: SPYT, Spark и YTsaurus

В этой статье описано сопоставление типов данных в YTsaurus и типов данных в Spark при чтении и записи.

Особенности

1. Указания типов: некоторые сопоставления могут быть изменены указаниями типов в метаданных полей, позволяя более точный контроль над преобразованием типов.

2. Точность Decimal: YTsaurus ограничивает точность decimal до 35.Подробнее про Decimal

3. Строковые типы: опция конфигурации stringToUtf8 контролирует, сопоставляются ли строки с типами string или utf8 в YTsaurus. Пример:

   import spyt
   from pyspark.sql import Row
   from pyspark.sql.types import StructType, StructField, StringType, BinaryType
   
   spark.createDataFrame(
       spark.sparkContext.parallelize([Row("string", b"binary")]),
       StructType([
           StructField("string", StringType(), nullable=False),
           StructField("binary", BinaryType(), nullable=False),
       ])
   ).write \
   .option("string_to_utf8", "true") \
   .yt("//path/to/table")
   

4. Составные типы: сложные типы наподобие структур, массивов и карт рекурсивно сопоставляются с использованием тех же правил для их элементарных типов.

Подробнее про некоторые специальные методы для работы с типами данных можно почитать в статьях Опции чтения и Опции записи.

Сопоставление типов при чтении из YTsaurus

Композитные типы

Сопоставление типов при записи в YTsaurus