Spark History Server (SHS)
History Server может входить как в состав внутреннего кластера, так и запускаться отдельно. Второй случай необходим, если используется запуск задач напрямую в YTsaurus.
Сохранение event logs при запуске задач напрямую в YTsaurus
Чтобы сохранить event logs запуска задачи, команде spark-submit
следует указать параметры:
--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=ytEventLog:/<history server discovery path>/logs/event_log_table
В этом случае event logs запуска будут сохранены в соответствующей таблице и будут доступны в History Server, который использует эту таблицу в качестве хранилища логов.
Запуск отдельного History Server-а
Основные параметры команды shs-launch-yt
являются подмножеством параметров команды spark-launch-yt, релевантные для запуска History Server. Пример запуска History Server-а:
$ shs-launch-yt --proxy <proxy address> --discovery-path <discovery path>
Пример:
$ shs-launch-yt --proxy my.ytsaurus.cluster.net --discovery-path //home/user/spark/discovery
Предыдущая
Следующая