Shuffle‑сервис для SPYT в YTsaurus

В YTsaurus 25.2 появился свой собственный Shuffle-сервис, предназначенный для хранения промежуточных данных между стадиями вычислений. В отличие от стандартного Spark Shuffle сервиса, который хранит промежуточные данные в оперативной памяти и во временных директориях на диске, YTsaurus shuffle-сервис хранит их в чанках YTsaurus. Это позволяет повысить устойчивость к падениям стадий распределенных Spark-вычислений, не теряя произведенные вычисления при падениях экзекьютеров, которых потенциально может происходить много by design.

Начиная с версии SPYT 2.7.3 поддержана интеграция с YTsaurus Shuffle-сервисом, и теперь его можно включать специальной опцией.

Проведенные внутренние тесты показали, что время работы с внешним shuffle-сервисом практически не увеличивается, а в кейсах с падением экзекьютеров и их перезапуском — сокращается. Причем чем больше происходит перезапусков в рамкой одной задачи, тем эффект ощутимее.

Принцип работы и рекомендации по применению детальнее описаны в документации.