Решение проблем

Кластер запустился с ошибками

Для получения информации о запущенной операции используется утилита spark-discovery-yt:

spark-discovery-yt <cluster-name> --discovery-path my_discovery_path

В списке задач данной операции всегда присутствует мастер, воркер и Spark History Server. Если не работает мастер, то не работают и другие компоненты. При корректной работе в логе воркера можно увидеть данные о принятой задаче и запуске её исполнения.

При ошибке запуска задачи необходимо:

• зайти в лог задачи через Master Web UI, в нём имеются ссылки на логи драйвера и экзекьютора;
• зайти в Worker UI через Master Web UI и посмотреть как происходил запуск приложения;
• посмотреть Event Log.