Работа с экземпляром сервиса

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

Просмотрите информацию на вкладках страницы экземпляра.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на значок ••• для нужного экземпляра и выберите пункт Редактировать.

Отредактируйте имя и описание экземпляра.

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Архитектура.

Ознакомьтесь с информацией.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на значок ••• для нужного экземпляра и выберите пункт Горизонтальное масштабирование.

Укажите количество узлов.

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

Перейдите на вкладку Настройки.

Ознакомьтесь с параметрами экземпляра.

Чтобы ознакомиться с описанием определенного параметра, нажмите на его название.

Внесите изменения в параметры экземпляра:

• Чтобы изменить значение, нажмите ••• для нужного параметра и выберите пункт Редактировать.
• Чтобы вернуть значение по умолчанию, нажмите ••• для нужного параметра и выберите пункт Сбросить.

Значения параметров, которые отличаются от значения по умолчанию, помечены меткой Изм..

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Учетные данные.

Нажмите ••• для нужной учетной записи и выберите пункт Редактировать.

В открывшемся окне укажите новый пароль администратора.

Требования к паролю:

• может содержать только цифры, символы !, ", #, $, %, &, ', (, ), *, +, ,, -, ., /, :, ;, <, =, >, ?, @, [, \, ], ^, _, `, {, |, }, ~, заглавные и строчные латинские буквы;
• должен состоять как минимум из 16 символов;
• должен содержать хотя бы одну заглавную и одну строчную букву латинского алфавита, хотя бы одну цифру и один символ.

Чтобы сгенерировать новый пароль, нажмите кнопку Сгенерировать.

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Учетные данные.

Нажмите кнопку Добавить учетную запись.

В открывшемся окне задайте логин администратора для доступа к Cloud Trino.

Придумайте или сгенерируйте пароль администратора.

Требования к паролю:

• может содержать только цифры, символы !, ", #, $, %, &, ', (, ), *, +, ,, -, ., /, :, ;, <, =, >, ?, @, [, \, ], ^, _, `, {, |, }, ~, заглавные и строчные латинские буквы;
• должен состоять как минимум из 16 символов;
• должен содержать хотя бы одну заглавную и одну строчную букву латинского алфавита, хотя бы одну цифру и один символ.

Нажмите кнопку Добавить.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Подключения.

Нажмите кнопку Добавить подключение.

На открывшейся странице измените тип подключения и задайте его параметры:

1. Выберите источник:

   • PostgreSQL — подключение к базе данных PostgreSQL.
   • Greenplum — подключение к базе данных Greenplum.
   • Clickhouse — подключение к базе данных ClickHouse.
   • MySQL — подключение к базе данных MySQL.
   • MariaDB — подключение к базе данных MariaDB.
   • Redis — подключение к базе данных Redis.
   • Iceberg c хранением данных на S3 VK Cloud — подключение к VK Object Storage в том же проекте.
   • Iceberg c хранением данных на внешнем S3 — подключение к внешнему объектному хранилищу S3.
   • Hive Metastore c хранением данных на HDFS — подключение к серверу Hive Metastore с хранилищем HDFS.
   • Hive Metastore c хранением данных на внешнем S3 — подключение к серверу Hive Metastore с хранилищем S3.
   • Hive Metastore c хранением данных на VK Cloud S3 — подключение к серверу Hive Metastore с хранилищем VK Object Storage.

2. Настройте параметры подключения к источнику:

   PostgreSQL, Greenplum

   Clickhouse

   MySQL, MariaDB

   Redis

   Iceberg Metastore (VK Object Storage)

   Iceberg Metastore (S3)

   Hive Metastore (HDFS)

   Hive Metastore (S3)

   Hive Metastore (VK Object Storage)

   • Название: имя подключения.
   • hostname:port: адрес сервера для подключения.
   • Логин: логин учетной записи пользователя базы данных, от имени которой Cloud Trino будет подключаться к источнику.
   • Название базы данных: название базы данных, к которой Trino будет подключаться.
   • Пароль: пароль учетной записи пользователя базы данных.
   • Сертификат TLS: сертификат для безопасного соединения с базой данных при использовании TLS-шифрования. Прикрепите файл с сертификатом или в текстовом поле укажите его содержание в формате PEM.
   • Название каталога: название логической структуры для доступа и управления метаданными, работы с таблицами и схемами. Если каталога нет в базе данных, он будет создан автоматически.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.
   • hostname:port: адрес сервера для подключения.
   • Логин: логин учетной записи пользователя базы данных, от имени которой Cloud Trino будет подключаться к источнику.
   • Название базы данных: название базы данных, к которой Trino будет подключаться.
   • Пароль: пароль учетной записи пользователя базы данных.
   • Сертификат TLS: сертификат для безопасного соединения с базой данных при использовании TLS-шифрования. Прикрепите файл с сертификатом или в текстовом поле укажите его содержание в формате PEM. Чтобы использовать защищенное соединение, включите опцию Включить SSL.
   • Название каталога: название логической структуры для доступа и управления метаданными, работы с таблицами и схемами. Если каталога нет в базе данных, он будет создан автоматически.
   • compress: включите опцию, чтобы применить сжатие при обмене данных с сервером. Как правило используется при низкой пропускной способности канала связи или высокой задержке ответа от сервера ClickHouse. По умолчанию выключена.
   • Включить SSL: включите опцию, чтобы использовать защищенное SSL/TLS подключение к серверу Clickhouse. При включенной опции необходимо указать значение в поле Сертификат TLS.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.
   • hostname:port: адрес сервера для подключения.
   • Логин: логин учетной записи пользователя базы данных, от имени которой Cloud Trino будет подключаться к источнику.
   • Пароль: пароль учетной записи пользователя базы данных.
   • Название каталога: название логической структуры для доступа и управления метаданными, работы с таблицами и схемами. Если каталога нет в базе данных, он будет создан автоматически.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.
   • hostname:port: адрес сервера для подключения.
   • Логин: логин учетной записи пользователя базы данных, от имени которой Cloud Trino будет подключаться к источнику.
   • Имя таблицы: имя таблицы базы данных.
   • Пароль: пароль учетной записи пользователя базы данных.
   • catalog: название логической структуры для унифицированного доступа и управления метаданными.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.
   • hostname:port сервиса Iceberg Metastore: адрес сервера для подключения.
   • Логин сервиса Iceberg Metastore: логин учетной записи пользователя Iceberg Metastore.
   • Пароль сервиса Iceberg Metastore: пароль учетной записи пользователя Iceberg Metastore.
   • Название базы данных metastore в JDBC каталоге: название базы данных, которая используется в качестве Iceberg Metastore в JDBC каталоге.
   • Название каталога: название логической структуры для доступа и управления метаданными.
   • Использовать блум фильтр: опция для использования фильтра Блума, чтобы ускорить чтение данных.
   • Игнорировать статистику: опция пропуска статистики в файлах Parquet при чтении данных.
   • Процент валидируeмых паркет файлов: процент файлов Parquet, которые будут проверены после записи.
   • Размер записываемых страниц: максимальный размер страниц, которые записывает Parquet writer.
   • Количество записываемых страниц: максимальное количество значений на страницах, которые записывает Parquet writer.
   • Размер записываемых групп строк: максимальный размер групп строк, которые записывает Parquet writer.
   • Количество строк, обрабатываемых во время записи: максимальное количество строк в батче, которое обрабатывает Parquet writer.
   • Количество строк, обрабатываемых за один раз во время чтения: максимальное количество строк в батче, которое может быть прочитано.
   • Максимальный размер маленьких файлов: максимальный размер файла, который считается маленьким. Файл меньшего размера может быть обработан для улучшения производительности и уменьшения числа файлов в хранилище. Например, объединен с другими файлами.
   • Включить Java Vector API (SIMD): опция поддержки Java Vector API (SIMD) для быстрого декодирования файлов Parquet.
   • Bucket: имя бакета VK Object Storage, к которому Trino будет подключаться.
   • Путь к файлам в bucket: имя директории в бакете VK Object Storage, к которой Trino будет подключаться.
   • Разрешить выполнять процедуру register_table: опция регистрации существующих таблиц в каталоге Iceberg Metastore.
   • Разрешить выполнять процедуру add_files: опция добавления файлов в существующие таблицы в каталоге Iceberg Metastore.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.
   • hostname:port сервиса Iceberg Metastore: адрес сервера для подключения.
   • Логин сервиса Iceberg Metastore: логин учетной записи пользователя Iceberg Metastore.
   • Регион: регион, в котором расположено S3-хранилище.
   • Access Key: публичный ключ для доступа к S3-хранилищу.
   • Secret Key: приватный ключ для доступа к S3-хранилищу.
   • S3 URL: URL-адрес S3-хранилища.
   • Пароль сервиса Iceberg Metastore: пароль учетной записи пользователя Iceberg Metastore.
   • Название базы данных metastore в JDBC каталоге: название базы данных, которая используется в качестве Iceberg Metastore в JDBC каталоге.
   • Bucket: имя бакета VK Object Storage, к которому Trino будет подключаться.
   • Путь к файлам в bucket: имя директории в бакете VK Object Storage, к которой Trino будет подключаться.
   • Название каталога: название логической структуры для доступа и управления метаданными.
   • Использовать блум фильтр: опция для использования фильтра Блума, чтобы ускорить чтение данных.
   • Игнорировать статистику: опция пропуска статистики в файлах Parquet при чтении данных.
   • Процент валидируeмых паркет файлов: процент файлов Parquet, которые будут проверены после записи.
   • Размер записываемых страниц: максимальный размер страниц, которые записывает Parquet writer.
   • Количество записываемых страниц: максимальное количество значений на страницах, которые записывает Parquet writer.
   • Размер записываемых групп строк: максимальный размер групп строк, которые записывает Parquet writer.
   • Количество строк, обрабатываемых во время записи: максимальное количество строк в батче, которое обрабатывает Parquet writer.
   • Количество строк, обрабатываемых за один раз во время чтения: максимальное количество строк в батче, которое может быть прочитано.
   • Максимальный размер маленьких файлов: максимальный размер файла, который считается маленьким. Файл меньшего размера может быть обработан для улучшения производительности и уменьшения числа файлов в хранилище. Например, объединен с другими файлами.
   • Включить Java Vector API (SIMD): опция поддержки Java Vector API (SIMD) для быстрого декодирования файлов Parquet.
   • Разрешить выполнять процедуру register_table: опция регистрации существующих таблиц в каталоге Iceberg Metastore.
   • Разрешить выполнять процедуру add_files: опция добавления файлов в существующие таблицы в каталоге Iceberg Metastore.
   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Название: имя подключения.

   • hostname:port Thrift сервиса Hive Metastore: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для Thrift-сервиса Hive Metastore.

   • Keytab файл в формате base64 принципала Cloud Trino сервиса: содержание Keytab-файла, перекодированное в формат base64.

     Для подключения к кластеру Hive Metastore с HDFS хранилищем используются учетные данные Kerberos. Обратитесь к администратору Hive Metastore, чтобы создать новый принципал (principal) клиента и получить для него Keytab-файл. Этот файл нужно перекодировать в формат base64.

     Как получить значение в формате base64

   • Имя каталога в Hive Metastore: запросите у администратора Hive Metastore. Для получения списка каталогов в Hive Metastore используется запрос:

      
     SHOW CATALOGS;

     Такое же имя каталога используется в Cloud Trino для запросов к подключению Hive Metastore.

   • hostname:port KDC сервиса: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для сервиса KDC (Key Distribution Center).

   • Имя principal сервиса Hive Metastore: имя принципала, под которым работает Hive Metastore.

   • Имя principal клиента: имя принципала, которое использовалось для созданного Keytab-файла.

   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Включить User Impersonation: включите опцию, чтобы выполнять запросы к Hive Metastore от имени пользователя, инициировавшего запрос в Cloud Trino.

   • Запись во внешние Hive таблицы: включите опцию, чтобы Cloud Trino мог вести запись во внешние (external) таблицы, подключенные к Hive Metastore. При выключенной опции будет доступна только запись в управляемые (managed) таблицы.

   • Название: имя подключения.

   • Регион: регион, в котором расположено хранилище S3.

   • Access Key: публичный ключ для доступа к хранилищу S3.

   • Secret Key: приватный ключ для доступа к хранилищу S3.

   • S3 URL: URL-адрес хранилища S3.

   • hostname:port Thrift сервиса Hive Metastore: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для Thrift-сервиса Hive Metastore.

   • Keytab файл в формате base64 принципала Cloud Trino сервиса: содержание Keytab-файла, перекодированное в формат base64.

     Для подключения к кластеру Hive Metastore с S3 хранилищем используются не только учетные данные S3, но и данные Kerberos. Обратитесь к администратору Hive Metastore, чтобы создать новый принципал (principal) клиента и получить для него Keytab-файл. Этот файл нужно перекодировать в формат base64.

     Как получить значение в формате base64

   • Bucket: имя бакета в хранилище S3.

   • Имя каталога в Hive Metastore: запросите у администратора Hive Metastore. Для получения списка каталогов в Hive Metastore используется запрос:

      
     SHOW CATALOGS;

     Такое же имя каталога используется в Cloud Trino для запросов к подключению Hive Metastore.

   • hostname:port KDC сервиса: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для сервиса KDC (Key Distribution Center).

   • Имя principal сервиса Hive Metastore: имя принципала, под которым работает Hive Metastore.

   • Имя principal клиента: имя принципала, которое использовалось для созданного Keytab-файла.

   • Использовать блум фильтр: включите опцию, чтобы использовать фильтр Блума при чтении файлов Parquet.

   • Игнорировать статистику: включите опцию, чтобы игнорировать статистику в файлах Parquet при чтении данных.

   • Процент валидируемых паркет файлов: процент файлов Parquet, которые будут проверяться после записи.

   • Размер записываемых страниц: максимальный размер одной страницы Parquet.

   • Количество записываемых страниц: максимальное количество значений на одной странице Parquet.

   • Размер записываемых групп строк: максимальный размер блока при записи файла Parquet.

   • Количество строк, обрабатываемых во время записи: количество записей, которые будут собраны в пакет (batch) перед тем, как записать их в файл Parquet за одну операцию.

   • Количество строк, обрабатываемых за один раз во время чтения: максимальное количество строк, которые читаются за один раз из одного блока.

   • Максимальный размер маленьких файлов: значение, которое определяет, какой размер файла считается маленьким.

   • Включить Java Vector API (SIMD): включите опцию, чтобы использовать векторизованное декодирование при чтении файлов Parquet.

   • Разрешить выполнять процедуру register_table: включите опцию, чтобы разрешить регистрировать существующие таблицы формата Apache Iceberg в Hive Metastore. При вызове функции в SQL-запросе требуется указать полный путь до файла метаданных.

   • Разрешить выполнять процедуру add_files: включите опцию, чтобы разрешить добавлять новые файлы данных (например, файлы Parquet) в уже существующую таблицу формата Apache Iceberg.

   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Включить User Impersonation: включите опцию, чтобы выполнять запросы к Hive Metastore от имени пользователя, инициировавшего запрос в Cloud Trino.

   • Название: имя подключения.

   • hostname:port Thrift сервиса Hive Metastore: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для Thrift-сервиса Hive Metastore.

   • Keytab файл в формате base64 принципала Cloud Trino сервиса: содержание Keytab-файла, перекодированное в формат base64.

     Для подключения к кластеру Hive Metastore с VK Object Storage используются учетные данные Kerberos. Обратитесь к администратору Hive Metastore, чтобы создать новый принципал (principal) клиента и получить для него Keytab-файл. Этот файл нужно перекодировать в формат base64.

     Как получить значение в формате base64

   • Имя каталога в Hive Metastore: запросите у администратора Hive Metastore. Для получения списка каталогов в Hive Metastore используется запрос:

      
     SHOW CATALOGS;

     Такое же имя каталога используется в Cloud Trino для запросов к подключению Hive Metastore.

   • hostname:port KDC сервиса: пара ключ/значение в формате <FQDN>:<ПОРТ> или <IP-АДРЕС>:<ПОРТ>. Данные указываются для сервиса KDC (Key Distribution Center).

   • Имя principal сервиса Hive Metastore: имя принципала, под которым работает Hive Metastore.

   • Имя principal клиента: имя принципала, которое использовалось для созданного Keytab-файла.

   • Использовать блум фильтр: включите опцию, чтобы использовать фильтр Блума при чтении файлов Parquet.

   • Игнорировать статистику: включите опцию, чтобы игнорировать статистику в файлах Parquet при чтении данных.

   • Процент валидируемых паркет файлов: процент файлов Parquet, которые будут проверяться после записи.

   • Размер записываемых страниц: максимальный размер одной страницы Parquet.

   • Количество записываемых страниц: максимальное количество значений на одной странице.

   • Размер записываемых групп строк: максимальный размер блока при записи файла Parquet.

   • Количество строк, обрабатываемых во время записи: количество записей, которые будут собраны в пакет (batch) перед тем, как записать их в файл Parquet за одну операцию.

   • Количество строк, обрабатываемых за один раз во время чтения: максимальное количество строк, которые читаются за один раз из одного блока.

   • Максимальный размер маленьких файлов: значение, которое определяет, какой размер файла считается маленьким.

   • Включить Java Vector API (SIMD): включите опцию, чтобы использовать векторизованное декодирование при чтении файлов Parquet.

   • Bucket: имя бакета VK Object Storage.

   • Путь к файлам в bucket: директория в бакете VK Object Storage.

   • Разрешить выполнять процедуру register_table: включите опцию, чтобы разрешить регистрировать существующие таблицы формата Apache Iceberg в Hive Metastore. При вызове функции в SQL-запросе требуется указать полный путь до файла метаданных.

   • Разрешить выполнять процедуру add_files: включите опцию, чтобы разрешить добавлять новые файлы данных (например, файлы Parquet) в уже существующую таблицу формата Apache Iceberg.

   • Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Trino, не вводя данные повторно.

   • Включить User Impersonation: включите опцию, чтобы выполнять запросы к Hive Metastore от имени пользователя, инициировавшего запрос в Cloud Trino.

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Подключения.

Нажмите на имя нужного подключения.

Изучите информацию о подключении.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Подключения.

Нажмите ••• для нужной учетной записи и выберите пункт Удалить.

Подтвердите удаление.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на имя нужного экземпляра.

На странице экземпляра перейдите на вкладку Обслуживание.

Выберите дни недели и время начала проведения технических работ. В это время на сервере могут выполняться технические работы, в том числе создание резервных копий — сервис будет недоступен.

Если хотите изменить задачи, которые будут выполняться при обслуживании экземпляра, в блоке Задачи по расписанию нажмите Обслуживание iceberg подключений и настройте параметры:

• Частота запуска — время начала и периодичность обслуживания подключений к Iceberg. Чтобы изменить значение параметра:

  1. Выберите в списке Создать индивидуальное расписание.
  2. Задайте время и частоту запуска в формате Cron-выражения.

• (Опционально) Задайте дополнительные параметры:

  • Продолжительность — максимальное время выполнения в секундах. Значение по умолчанию — 3600.
  • Возраст снимков — максимальный возраст снимков файлов метаданных и данных. Снимки старше указанного значения будут удалены. Значение по умолчанию — 7d.
  • Возраст orphan файлов — максимальный возраст orphan-файлов данных. Файлы старше указанного значения будут удалены. Значение по умолчанию — 7d.
  • Минимальный размер файла манифеста — минимальный размер файла манифеста. Файлы манифестов с размером ниже указанного значения будут оптимизированы. Значение по умолчанию — 128MB.
  • Удалять файлы метаданных — опция для удаления устаревших файлов метаданных после выполнения коммита. Включена по умолчанию.
  • Количество версий файлов метаданных — максимальное количество версий файлов метаданных. Устаревшие версии будут удалены, если включена опция Удалять файлы метаданных. Значение по умолчанию — 10.

Нажмите кнопку Сохранить изменения.

Перейдите в личный кабинет VK Cloud.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите на значок ••• для нужного экземпляра и выберите пункт Удалить.

Подтвердите удаление и дождитесь завершения операции. Удаление экземпляра может занять длительное время.