SPYT в Scala
Требования
SPYT работает с Java 11 и Scala 2.12.
Зависимости
Все зависимости ставятся в SPYT автоматически, поэтому значение для scope
– Provided
. Они будут использоваться только для компиляции и не будут включены в .jar
для запуска.
libraryDependencies ++= Seq(
// зависимости от Spark
"org.apache.spark" %% "spark-core" % "3.0.1" % Provided,
"org.apache.spark" %% "spark-sql" % "3.0.1" % Provided,
// библиотека SPYT
"tech.ytsaurus" %% "spark-yt-data-source" % "1.50.0" % Provided
)
Сборка
Код с примерами собран командой sbt assembly
и выложен в YTsaurus: //home/spark/examples/scala-examples-assembly-0.1.jar
.
Запуск джобов
Перед запуском джобов из примера необходимо запустить кластер SPYT или узнать discovery-path
уже запущенного кластера.
Запуск джобов производится с помощью утилиты spark-submit-yt
.
spark-submit-yt \
--proxy ${YT_PROXY} \
--discovery-path ${SPYT_DISCOVERY_PATH} \
--deploy-mode cluster \
--class tech.ytsaurus.spyt.examples.GroupingExample \
yt:///home/spark/examples/scala-examples-assembly-0.1.jar