Работа с Jupyter Notebooks

YTsaurus позволяет запустить Jupyter Notebooks на вычислительных мощностях кластера. Функциональность доступна только для кластеров, использующих CRI job environment.

Для развёртывания ноутбука необходимо выполнить следующие действия:

  1. Установить переменную окружения JUPYT_CTL_ADDRESS в адрес strawberry controller для JUPYT.
export JUPYT_CTL_ADDRESS=jupyt.test.yt.mycloud.net
  1. Выбрать docker-образ jupyter-ноутбука. В качестве образа или основы для образа можно выбрать jupyter stacks, например, minimal-notebook.

  2. Создать ноутбук. Для создания ноутбука необходимо указать docker-образ с ноутбуком и пул, в котором будет запущена операция.

yt jupyt ctl create --speclet-options '{jupyter_docker_image="quay.io/jupyter/minimal-notebook"; pool=my-pool}' test-jupyt
  1. Запустить ноутбук.
yt jupyt ctl start test-jupyt
  1. Дождаться запуска ноутбука и получить ссылку на ноутбук.
foo@bar:~$ yt jupyt ctl get-endpoint test-jupyt
{
    "address" = "http://some-node.yt.mycloud.net:27042";
    "operation_id" = "60b8ec86-6f123a7d-134403e8-ee6b88de";
    "job_id" = "16f76ac9-2a20ab96-13440384-14e";
}

Внимание

Содержимое ноутбуков и файлы, созданные на файловой системе, теряются при перезапуске джоба с ноутбуком. Для надёжного хранения файлов необходимо использовать Кипарис.

Предыдущая
Следующая