Создание экземпляра сервиса

Перейдите в личный кабинет VK Cloud.

Выберите проект, где нужно создать экземпляр сервиса.

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите кнопку Создать экземпляр.

На шаге Конфигурация:

1. Выберите тип сервиса: Spark.
2. Выберите нужную версию сервиса.
3. Нажмите кнопку Следующий шаг.

На шаге Параметры:

1. Задайте параметры экземпляра:

   • Название: укажите имя для экземпляра сервиса.

   • Описание: при необходимости добавьте описание.

   • Назначить внешний IP: включите опцию, чтобы экземпляр Spark был доступен через интернет.

   • Кластер Kubernetes: выберите из выпадающего списка нужный кластер или создайте новый, выбрав в списке Создать новый кластер. При создании нового кластера задайте параметры:

     • Сеть: выберите из списка подсеть, в которой будет доступен кластер, или создайте новую, выбрав в списке Создать новую сеть. При создании новой подсети укажите SDN и адрес подсети.
     • Зона доступности: выберите из списка зону доступности кластера.

2. Укажите настройки сервиса Spark Connect: количество CPU и объем RAM.

   Этот сервис позволяет удаленно подключиться к кластеру Spark и интерактивно работать с заданиями Spark.

3. Укажите параметры сервера Spark History Server: количество CPU, объем RAM, тип и размер диска.

   Этот сервер хранит логи выполнения заданий Spark.

4. Укажите параметры контейнеров Sparkjobs: количество CPU, объем RAM и колличество контейнеров Sparkjobs.

   Эти контейнеры выполняют задания Spark.

5. Нажмите кнопку Следующий шаг.

На шаге Обслуживание:

1. Выберите дни недели и время начала технических работ с учетом указанной в блоке временной зоны.

   Длительность проведения технических работ, в том числе резервного копирования — 4 часа. В это время сервис может быть недоступен.

2. Нажмите кнопку Следующий шаг.

На шаге Настройки:

1. При необходимости измените версию Spark, которая будет использоваться при запуске ваших задач:

   1. Нажмите кнопку Редактировать.
   2. В столбце Значение выберите нужную версию из списка.

2. Нажмите кнопку Следующий шаг.

На шаге Подключения добавьте подключение PostgreSQL и одно из подключений: S3 VK Cloud или S3 внешний. Чтобы добавить подключение к источнику данных :

1. Нажмите кнопку Добавить подключение.

2. Выберите источник данных:

   • S3 внешний — подключение к внешнему объектному хранилищу S3.
   • S3 VK Cloud — подключение к хранилищу VK Object Storage в том же проекте.
   • PostgreSQL — подключение к базе данных PostgreSQL.
   • Iceberg Metastore с S3 VK Cloud — подключение к экземпляру Cloud Iceberg Metastore в том же проекте VK Cloud.
   • Iceberg Metastore с внешним S3 — подключение к внешнему каталогу Cloud Iceberg Metastore.

3. Настройте параметры подключения к источнику:

   S3 внешний

   S3 VK Cloud

   PostgreSQL

   Iceberg Metastore с S3 VK Cloud

   Iceberg Metastore с внешний S3

   • Имя внешнего подключения S3: задайте имя подключения. Имя может содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Access Key: уникальный идентификатор ключа доступа к хранилищу.
   • Secret Key: секретный ключ доступа к хранилищу.
   • S3 URL: URL-адрес вашего хранилища S3.
   • Путь в бакете S3: путь к ранее созданной директории в бакете, которая будет доступна экземпляру Spark.
   • Бакет: имя бакета в хранилище S3, к которому будет подключаться экземпляр Spark.
   • Регион: регион, в котором расположено ваше хранилище S3.

   • Имя внутреннего подключения S3: задайте имя подключения. Имя может содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Путь в бакете S3: путь к ранее созданной директории в бакете, которая будет доступна экземпляру Spark.
   • Бакет: имя бакета VK Object Storage, к которому будет подключаться экземпляр Spark.

   • PostgreSQL: задайте имя подключения. Имя может содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Имя пользователя: имя учетной записи пользователя базы данных.
   • Имя хоста БД: адрес сервера для подключения.
   • Имя базы данных: имя базы данных, к которой будет подключаться экземпляр Spark.
   • Пароль пользователя: пароль учетной записи пользователя базы данных.

   • Имя внутреннего подключения Iceberg Metastore: задайте имя подключения. Имя может содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Имя хоста БД Iceberg: адрес сервера для подключения.
   • Имя пользователя Iceberg: имя учетной записи пользователя базы данных.
   • Пароль пользователя: пароль учетной записи пользователя базы данных.
   • Имя бакета в S3 VK Cloud: имя бакета VK Object Storage, к которому будет подключаться экземпляр Spark.
   • Имя каталога к которому будет подключен Spark: имя каталога, к которому будет подключаться экземпляр Spark по-умолчанию.
   • Путь в бакете Iceberg Metastore S3: путь к ранее созданной директории в бакете, которая будет доступна экземпляру Spark.

   • Имя внешнего подключения Iceberg Metastore: задайте имя подключения. Имя может содержать только заглавные и строчные латинские буквы, цифры и знаки _.
   • Имя хоста БД Iceberg: адрес сервера для подключения.
   • Имя пользователя Iceberg: имя учетной записи пользователя базы данных.
   • Регион S3: регион, в котором расположено ваше хранилище S3.
   • Access Key: уникальный идентификатор ключа доступа к хранилищу.
   • Secret Key: секретный ключ доступа к хранилищу.
   • S3 URL: URL-адрес вашего хранилища S3.
   • Имя бакета в вашем S3 сервисе: имя бакета в хранилище S3, к которому будет подключаться экземпляр Spark.
   • Пароль пользователя: пароль учетной записи пользователя базы данных.
   • Путь в бакете S3: путь к ранее созданной директории в бакете, которая будет доступна экземпляру Spark.
   • Имя каталога к которому будет подключен Spark: имя каталога, к которому будет подключаться экземпляр Spark по-умолчанию.

Нажмите кнопку Создать.