Диагностика

Для диагностики работы прямого сабмита можно использовать следующие инструменты:

• Анализ логов джобов — диагностическую информацию можно получить в логах YTsaurus операций.
• SparkUI — для мониторинга во время работы приложения. Ниже содержится информация о том, как получить ссылку на SparkUI.
• Spark History Server — для анализа event log Spark приложения после завершения работы. Подробнее.

Анализ логов джобов

Для анализа логов джобов необходимо перейти на страницу соответствующей операции драйвера или экзекьюторов, перейти на вкладку Jobs и выбрать stderr нужного джоба для просмотра.
Следует учесть следующее:

• Доступны только логи, которые пишутся в stderr, поэтому нужно сделать соответствующие настройки логирования в запускаемом Spark приложении.
• В настоящий момент драйвер и экзекьюторы запускаются в разных YTsaurus операциях, соответственно логи нужно смотреть и в той, и в другой.

Справочная информация

После запуска Spark приложения в операции с драйвером автоматически становится доступна дополнительная справочная информация о Spark приложении: id операции с экзекьюторами для быстрого доступа к логам, а также url SparkUI.