Как попробовать YTsaurus

1. Установите Docker:

   • Если у вас Linux x86_64 — установите Docker Engine.
   • Если у вас Mac — установите Docker Desktop либо Podman в качестве альтернативы. Убедитесь, что у вас установлена и включена Rosetta 2.

2. Скачайте скрипт run_local_cluster.sh для развёртывания кластера и выставьте права на исполнение:

   mkdir ~/yt-local && cd ~/yt-local
   curl -s https://raw.githubusercontent.com/ytsaurus/ytsaurus/main/yt/docker/local/run_local_cluster.sh > run_local_cluster.sh
   chmod +x run_local_cluster.sh
   

3. Чтобы поднять кластер, запустите скрипт:

   ./run_local_cluster.sh
   

   Этот скрипт создаст и запустит docker-контейнеры, в которых будет развёрнут YTsaurus. Если всё прошло успешно, появится сообщение:

   Congratulations! Local cluster is up and running. To use the cluster web interface, point your browser to http://localhost:8001. Or, if you prefer command-line tool 'yt', use it like this: 'yt --proxy localhost:8000 <command>'.
   

   Обратите внимание на адреса, которые указаны в этом сообщении. Они понадобятся в дальнейших примерах.

   • localhost:8001 — адрес веб-интерфейса. Можно открыть его в браузере.
   • localhost:8000 — адрес серверной части кластера. Этот адрес нужно будет указать в качестве адреса прокси для доступа к кластеру через CLI.

4. Чтобы убедиться, что всё работает, запустите команду:

   $ docker ps | grep yt
   CONTAINER ID   IMAGE                           COMMAND                  CREATED         STATUS         PORTS              NAMES
   2c254e35037c   ghcr.io/ytsaurus/local:stable   "--fqdn localhost --…"   2 minutes ago   Up 2 minutes   80/tcp, 8002/tcp   yt.backend
   5235b5077b5b   ghcr.io/ytsaurus/ui:stable      ""                       2 minutes ago   Up 2 minutes   80/tcp             yt.frontend
   

   У вас должны быть запущены два контейнера:

   • yt.frontend — процессы, связанные с веб-интерфейсом.

   • yt.backend — в этом контейнере подняты компоненты YTsaurus кластера.

     Про компоненты YTsaurus

     Чтобы узнать, какие компоненты YTsaurus подняты в системе, можно посмотреть на список запущенных процессов внутри контейнера:

     $ docker exec -it yt.backend /bin/bash
     $ ps -axo command | grep ytserver
     /mnt/rosetta /usr/bin/python3.8 /usr/local/bin/yt_local start --proxy-port 80 --local-cypress-dir /var/lib/yt/local-cypress --fqdn localhost --ytserver-all-path /usr/bin/ytserver-all --sync --fqdn localhost --proxy-config {coordinator={public_fqdn="localhost:8000"}} --rpc-proxy-count 0 --rpc-proxy-port 8002 --node-count 1 --queue-agent-count 1 --address-resolver-config {enable_ipv4=%true;enable_ipv6=%false;} --native-client-supported --id primary -c {name=query-tracker} -c {name=yql-agent;config={path="/usr/bin";count=1;artifacts_path="/usr/bin"}}
     /mnt/rosetta /primary/bin/ytserver-http-proxy --pdeathsig 9 --config /primary/configs/http-proxy-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-master --pdeathsig 9 --config /primary/configs/master-0-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-queue-agent --pdeathsig 9 --config /primary/configs/queue_agent-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-node --pdeathsig 9 --config /primary/configs/node-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-scheduler --pdeathsig 9 --config /primary/configs/scheduler-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-controller-agent --pdeathsig 9 --config /primary/configs/controller_agent-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /primary/bin/ytserver-query-tracker --pdeathsig 9 --config /primary/configs/query_tracker-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /usr/bin/ytserver-yql-agent --pdeathsig 9 --config /primary/configs/yql_agent-0.yson --pdeathsig 15 --setsid
     /mnt/rosetta /usr/bin/grep --color=auto ytserver
     

     Как видно, запустились компоненты:

     • Мастер-сервер — отвечает за отказоустойчивое хранение метаданных кластера. К этим данным относится информация о пользователях системы, о хранимых объектах и о местоположении самих данных.
     • Нода — объединяет в себе функциональность Data-ноды и Exec-ноды. Отвечает за хранение данных, за работу динамических таблиц и занимается исполнением джобов.
     • Планировщик (шедулер) — отвечает за планирование процесса обработки данных (Map, Reduce и так далее).
     • Контроллер-агент — отвечает за планирование джобов конкретных операций.
     • HTTP-прокси — сервер, через который осуществляется общение с внешним миром.
     • YQL-агент — движок исполнения SQL подобных запросов.
     • Очередь YTsaurus — упорядоченные динамические таблицы.
     • Query Tracker — компонент для запуска запросов на разных SQL диалектах (YQL, QT, CHYT, SPYT).

5. Готово! Теперь YTsaurus поднят и готов к использованию. Можно переходить к следующему шагу. После того как вы закончите работу с примерами, не забудьте удалить кластер.

Чтобы остановить YTsaurus кластер, необходимо завершить работу контейнеров yt.frontend и yt.backend. Для этого выполните команду:

./run_local_cluster.sh --stop

Команда остановит контейнеры (выполнит docker stop) и затем удалит их (docker rm).