Добавление объектов в бакет

1. Установите и настройте AWS CLI, если он еще не установлен.

2. Создайте бакет, если он еще не создан.

3. В консоли выполните команду:

    
   aws s3 cp <ПУТЬ> s3://<ИМЯ_БАКЕТА>/<КЛЮЧ_ОБЪЕКТА>   --endpoint-url <ENDPOINT_URL>   --storage-class <КЛАСС_ХРАНЕНИЯ>   --acl <НАСТРОЙКА_ACL>

   Здесь:

   • <ПУТЬ> — путь к локальному файлу.

   • <ИМЯ_БАКЕТА> — имя бакета, в который нужно загрузить объект.

   • <КЛЮЧ_ОБЪЕКТА> — полное имя объекта, включая путь до него. Следуйте рекомендациям при выборе имен.

   • <ENDPOINT_URL> — должен соответствовать региону аккаунта:

     • https://hb.vkcloud-storage.ru или https://hb.ru-msk.vkcloud-storage.ru — для региона Москва;
     • https://hb.kz-ast.vkcloud-storage.ru — для региона Казахстан.

   • (Опционально) <КЛАСС_ХРАНЕНИЯ> — задает класс хранения объекта. Если не указано, класс хранения наследуется из бакета. Доступные значения:

     • STANDARD — соответствует классу хранения Hotbox;
     • STANDARD_IA — соответствует классу хранения Icebox.

   • (Опционально) <НАСТРОЙКА_ACL> — задает настройки ACL. Доступные значения:

     • private — значение по умолчанию, если настройка не указана;
     • public-read;
     • public-read-write.

Полное описание операций копирования и перемещения объектов и файлов доступно в официальной документации AWS CLI.

1. Создайте бакет, если он еще не создан.

2. Узнайте эндпоинт для сервиса VK Object Storage.

3. Сформируйте подпись запроса для аутентификации в API.

4. Используйте метод PutObject для загрузки объекта в бакет.

1. Установите и настройте SDK для Go, если он еще не установлен.

2. Создайте бакет, если он еще не создан.

3. Добавьте код в свой проект:

    
   package mainimport (    "github.com/aws/aws-sdk-go/aws"    "github.com/aws/aws-sdk-go/aws/session"    "github.com/aws/aws-sdk-go/service/s3"    "log"    "os"    "strings")const (    vkCloudHotboxEndpoint = "https://hb.ru-msk.vkcloud-storage.ru"    defaultRegion         = "ru-msk")func main() {    // Создание сессии    sess, _ := session.NewSession()    // Подключение к сервису VK Object Storage    svc := s3.New(sess, aws.NewConfig().WithEndpoint(vkCloudHotboxEndpoint).WithRegion(defaultRegion))    bucket := "gobucket"    // Загрузка объекта из строки в бакет    key := "test_string.txt"    body := "Hello World!"    if _, err := svc.PutObject(&s3.PutObjectInput{ 	   Bucket: aws.String(bucket), 	   Key:    aws.String(key), 	   Body:   strings.NewReader(body),    }); err != nil { 	   log.Fatalf("Unable to upload %q to %q, %v\n", body, bucket, err)    } else { 	   log.Printf("File %q uploaded to bucket %q\n", body, bucket)    }    // Загрузка объекта из файла в бакет    fileName := "test.txt"    file, err := os.Open(fileName)    if err != nil { 	   log.Fatalf("Unable to open file %q, %v\n", fileName, err)    }    defer file.Close()    if _, err := svc.PutObject(&s3.PutObjectInput{ 	   Bucket: aws.String(bucket), 	   Key:    aws.String(key), 	   Body:   file,    }); err != nil { 	   log.Fatalf("Unable to upload %q to %q, %v\n", fileName, bucket, err)    } else { 	   log.Printf("File %q uploaded to bucket %q\n", fileName, bucket)    }}

   Значения переменных vkCloudHotboxEndpoint и defaultRegion должны соответствовать региону аккаунта:

   • vkCloudHotboxEndpoint:

     • https://hb.vkcloud-storage.ru или https://hb.ru-msk.vkcloud-storage.ru — для региона Москва;
     • https://hb.kz-ast.vkcloud-storage.ru — для региона Казахстан.

   • defaultRegion:

     • ru-msk — для региона Москва;
     • kz-ast — для региона Казахстан.

   Команда PutObject подробно описана в официальной документации к библиотеке aws-sdk-go.

1. Установите и настройте SDK для Python, если он еще не установлен.

2. Создайте бакет, если он еще не создан.

3. Добавьте код в свой проект:

    
   import boto3session = boto3.session.Session()s3_client = session.client(   service_name = 's3',   endpoint_url = 'https://hb.ru-msk.vkcloud-storage.ru'   )test_bucket_name = 'boto3-test-bucket-name'#Загрузка данных из строкиs3_client.put_object(Body='TEST_TEXT_TEST_TEXT', Bucket=test_bucket_name, Key='test_file.txt')#Загрузка локального файлаs3_client.upload_file('some_test_file_from_local.txt', test_bucket_name, 'copy_some_test_file.txt')#Загрузка локального файла в директорию внутри бакетаs3_client.upload_file('some_test_file_from_local.txt', test_bucket_name, 'backup_dir/copy_some_test_file.txt')

   Значение переменной endpoint_url должно соответствовать региону аккаунта:

   • https://hb.vkcloud-storage.ru или https://hb.ru-msk.vkcloud-storage.ru — домен региона Москва;
   • https://hb.kz-ast.vkcloud-storage.ru — домен региона Казахстан.

   Команды put_object и upload_file подробно описаны в официальной документации к библиотеке boto3 по методам PUT и UPLOAD.

1. Создайте бакет, если он еще не создан.

2. Разделите на части файл, который нужно загрузить в бакет. Например, в Linux-системах это можно сделать при помощи команды split.

3. Узнайте эндпоинт и сформируйте подпись запроса для аутентификации в API.

4. Инициируйте составную загрузку при помощи запроса CreateMultipartUpload. На этом этапе создается ключ будущего объекта и добавляются все его пользовательские метаданные. В ответе вернется идентификатор загрузки UploadId, который понадобится для следующих этапов составной загрузки.

5. Загрузите в бакет все части файла. Для загрузки каждой части отправьте отдельный запрос UploadPart. Для каждой части укажите номер. Номера не должны повторяться, иначе последняя загруженная часть перезапишет предыдущую с таким же номером. VK Object Storage будет собирать все части объекта в порядке возрастания их номеров.

   В каждом ответе на запрос вернется ETag загруженной части. Сохраните значение ETag и соответствующий ему номер части.

6. Проверьте, все ли части файла загружены в бакет. Для этого используйте запрос ListParts.

7. Завершите загрузку и соберите объект при помощи запроса CompleteMultipartUpload.

1. Создайте бакет, если он еще не создан.

2. Добавьте код в свой проект:

    
   // Подключение S3Client для выполнения операций с бакетами и объектамиtype BucketBasics struct {       S3Client *s3.Client   }// UploadLargeObject разделяет большой файл на части и загружает их VK Object Storage одновременноfunc (basics BucketBasics) UploadLargeObject(bucketName string, objectKey string, largeObject []byte) error { largeBuffer := bytes.NewReader(largeObject) var partMiBs int64 = 10 uploader := manager.NewUploader(basics.S3Client, func(u *manager.Uploader) { 	u.PartSize = partMiBs * 1024 * 1024    })    _, err := uploader.Upload(context.TODO(), &s3.PutObjectInput{ 	   Bucket: aws.String(bucketName), 	   Key:    aws.String(objectKey), 	   Body:   largeBuffer,    })    if err != nil { 	   log.Printf("Couldn't upload large object to %v:%v. Here's why: %v\n", 		   bucketName, objectKey, err)    }    return err}// DownloadLargeObject разделяет большой объект на части и скачивает их независимо из VK Object Storagefunc (basics BucketBasics) DownloadLargeObject(bucketName string, objectKey string) ([]byte, error) {    var partMiBs int64 = 10    downloader := manager.NewDownloader(basics.S3Client, func(d *manager.Downloader) { 	   d.PartSize = partMiBs * 1024 * 1024    })    buffer := manager.NewWriteAtBuffer([]byte{})    _, err := downloader.Download(context.TODO(), buffer, &s3.GetObjectInput{ 	   Bucket: aws.String(bucketName), 	   Key:    aws.String(objectKey),    })    if err != nil { 	   log.Printf("Couldn't download large object from %v:%v. Here's why: %v\n", 		   bucketName, objectKey, err)    }    return buffer.Bytes(), err}

1. Создайте бакет, если он еще не создан.

2. Добавьте код в свой проект:

    
   import sysimport threadingimport boto3from boto3.s3.transfer import TransferConfigMB = 1024 * 1024s3 = boto3.resource("s3")class TransferCallback: def __init__(self, target_size):     self._target_size = target_size     self._total_transferred = 0     self._lock = threading.Lock()     self.thread_info = {} # Метод обратного вызова, запускается периодически, чтобы показать прогресс по загрузке def __call__(self, bytes_transferred):     thread = threading.current_thread()     with self._lock:         self._total_transferred += bytes_transferred         if thread.ident not in self.thread_info.keys():             self.thread_info[thread.ident] = bytes_transferred         else:             self.thread_info[thread.ident] += bytes_transferred         target = self._target_size * MB         sys.stdout.write(             f"\r{self._total_transferred} of {target} transferred "             f"({(self._total_transferred / target) * 100:.2f}%)."         )         sys.stdout.flush() # Загрузка с настройками по умолчанию def upload_with_default_configuration(local_file_path, bucket_name, object_key, file_size_mb):   transfer_callback = TransferCallback(file_size_mb)   s3.Bucket(bucket_name).upload_file(      local_file_path, object_key,  Callback=transfer_callback   )   return transfer_callback.thread_info # Загрузка с определением размера частей загружаемого объекта и добавлением метаданных объекта def upload_with_chunksize_and_meta(local_file_path, bucket_name, object_key, file_size_mb, metadata=None):   transfer_callback = TransferCallback(file_size_mb)   config = TransferConfig(multipart_chunksize=1 * MB)   extra_args = {"Metadata": metadata} if metadata else None   s3.Bucket(bucket_name).upload_file(      local_file_path,      object_key,      Config=config,      ExtraArgs=extra_args,      Callback=transfer_callback,   )   return transfer_callback.thread_info # Загрузка с установкой порогового значения # Если файл меньше или равен установленному порогу, он загружается обычным методом, если больше — через составную def upload_with_high_threshold(local_file_path, bucket_name, object_key, file_size_mb):   transfer_callback = TransferCallback(file_size_mb)   config = TransferConfig(multipart_threshold=file_size_mb * 2 * MB)   s3.Bucket(bucket_name).upload_file(     local_file_path, object_key, Config=config, Callback=transfer_callback   )   return transfer_callback.thread_info