Решение проблем
Кластер запустился с ошибками
Для получения информации о запущенной операции используется утилита spark-discovery-yt
:
spark-discovery-yt <cluster-name> --discovery-path my_discovery_path
В списке задач данной операции всегда присутствует мастер, воркер и Spark History Server. Если не работает мастер, то не работают и другие компоненты. При корректной работе в логе воркера можно увидеть данные о принятой задаче и запуске её исполнения.
При ошибке запуска задачи необходимо:
- зайти в лог задачи через Master Web UI, в нём имеются ссылки на логи драйвера и экзекьютора;
- зайти в Worker UI через Master Web UI и посмотреть как происходил запуск приложения;
- посмотреть Event Log.