Файловый кеш

В данном разделе содержится информация про файловый кеш.

Общие сведения

Файловый кеш позволяет однократно загрузить файл в Кипарис, а затем получать путь к файлу на кластере по заданному MD5 хешу.
Файловый кеш необходим для запуска операций. Когда пользователи запускают операции, происходит загрузка исполняемого файла и всех его зависимостей.
Например, при использовании Python API загружается большое количество модулей и динамических библиотек. Чтобы не загружать одинаковые файлы много раз, достаточно загрузить их в кеш, а при следующих запусках запрашивать их путь в Кипарисе по MD5 хешу.

Подсчёт MD5 хэша у загружаемых файлов

Чтобы заказать подсчет MD5 загружаемого файла, передайте опцию compute_md5=True в команду write_file.

Существует ряд ограничений:

При использовании append заказать подсчет MD5 можно только в том случае, если до этого в файл производилась запись с подсчетом MD5;
Подсчитанный MD5 сбрасывается, если была вызвана команда concatenate, результат которой записывается в соответствующий файл.

Команды API

Для работы с файловым кешем предназначены команды put_file_to_cache и get_file_from_cache.