Контролът и управлението на данни може да бъде трудна задача. Тези AWS S3 команди ще ви помогнат бързо и ефективно да управлявате вашите AWS S3 кофи и данни.
AWS S3 е услугата за съхранение на обекти, предоставяна от AWS. Това е най-широко използваната услуга за съхранение от AWS, която на практика може да съдържа безкрайно количество данни. Той е много достъпен, издръжлив и лесен за интегриране с няколко други AWS услуги.
AWS S3 може да се използва от хора с всякакви изисквания като съхранение на мобилни/уеб приложения, съхранение на големи данни, съхранение на данни за машинно обучение, хостване на статични уебсайтове и много други.
Ако сте използвали S3 във вашия проект, ще знаете, че предвид огромното количество капацитет за съхранение, управлението на 100 кофи и терабайти данни в тези кофи може да бъде трудна работа. Имаме списък с AWS S3 команди с примери, които можете да използвате, за да управлявате ефективно вашите AWS S3 кофи и данни.
Съдържание
Настройка на AWS CLI
След като успешно изтеглите и инсталирате AWS CLI, трябва да конфигурирате AWS Credentials, за да имате достъп до своя AWS акаунт и услуги. Нека бързо прегледаме как можете да конфигурирате AWS CLI.
Първата стъпка е да създадете потребител с програмен достъп до AWS акаунт. Не забравяйте да поставите отметка в това квадратче, когато създавате потребител за AWS CLI.
Дайте разрешенията и създайте потребител. На последния екран, след като успешно сте създали този потребител, копирайте ID на ключа за достъп и секретния ключ за достъп за този потребител. Ще използваме тези идентификационни данни за влизане през AWS CLI.
Сега отидете на терминала по ваш избор и изпълнете следната команда.
aws configure
Въведете ID на ключа за достъп и секретния ключ за достъп, когато бъдете подканени. Изберете произволен AWS регион по ваш избор и изходен формат на командата. Аз лично предпочитам да използвам JSON формат. Това не е голяма работа, винаги можете да промените тези стойности по-късно.
Вече можете да стартирате всяка AWS CLI команда в конзолата. Нека сега преминем през командите на AWS S3.
cp
Командата cp просто копира данните към и от S3 кофи. Може да се използва за копиране на файлове от локално към S3, от S3 към локално и между две кофи S3. Има много други параметри, които можете да предоставите с командите.
Например параметър -dryrun за тестване на командата, параметър –storage-class за указване на класа за съхранение на вашите данни в S3, други параметри за задаване на криптиране и много други. The cp команда ви дава пълен контрол върху начина, по който конфигурирате защитата на вашите данни в S3.
Използване
aws s3 cp <SOURCE> <DESTINATION> [--options]
Примери
Копирайте данни от локално към S3
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt
Копирайте данни от S3 на локално
aws s3 cp s3://bucket_name/file_name_2.txt file_name.txt
Копирайте данни между кофи S3
aws s3 cp s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Копирайте данни от локално към S3 – IA
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Копирайте всички данни от локална папка в S3
aws s3 cp ./local_folder s3://bucket_name --recursive
ls
The ls команда се използва за изброяване на кофите или съдържанието на кофите. Така че, ако просто искате да видите информация за вашите кофи или данните в тези кофи, можете да използвате командата ls.
Употреба:
aws s3 ls NONE or <BUCKET_NAME> [--options]
Примери
Избройте всички кофи в акаунта
aws s3 ls Output: 2022-02-02 18:20:14 BUCKET_NAME_1 2022-03-20 13:12:43 BUCKET_NAME_2 2022-03-29 10:52:33 BUCKET_NAME_3
Тази команда изброява всички кофи във вашия акаунт с датата на създаване на кофата.
Избройте всички обекти от най-високо ниво в кофа
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1
Output:
PRE samplePrefix/
2021-12-09 12:23:20 8754 file_1.png
2021-12-09 12:23:21 1290 file_2.json
2021-12-09 12:23:21 3088 file_3.html
Тази команда изброява всички обекти от най-високо ниво в кофа S3. Тук имайте предвид, че обектите с префикс samplePrefix/ не са показани тук, само обектите от най-високо ниво.
Избройте всички обекти в кофа
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 --recursive Output: 2021-12-09 12:23:20 8754 file_1.png 2021-12-09 12:23:21 1290 file_2.json 2021-12-09 12:23:21 3088 file_3.html 2021-12-09 12:23:20 16328 samplePrefix/file_1.txt 2021-12-09 12:23:20 29325 samplePrefix/sampleSubPrefix/file_1.css
Тази команда изброява всички обекти в кофа S3. Тук имайте предвид, че обектите с префикс samplePrefix/ и всички подпрефикси също се показват.
мб
The mb команда просто се използва за създаване на нови кофи S3. Това е доста проста команда, но за да създадете нови кофи, името на новата кофа трябва да е уникално във всички кофи S3.
Използване
aws s3 mb <BUCKET_NAME>
Пример
Създайте нова кофа в определен регион
aws s3 mb myUniqueBucketName --region eu-west-1
мв
The mv команда просто премества данните към и от кофи S3. Точно като командата cp, командата mv се използва за преместване на данни от локално към S3, S3 към локално или между две кофи S3.
Единствената разлика между mv и cp командата е, че при използване на mv командата файлът се изтрива от източника. AWS премества този файл до местоназначението. Има много опции, които можете да посочите с командата.
Използване
aws s3 mv <SOURCE> <DESTINATION> [--options]
Примери
Преместете данни от локално към S3
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt
Преместване на данни от S3 към локален
aws s3 mv s3://bucket_name/file_name_2.txt file_name.txt
Преместване на данни между кофи S3
aws s3 mv s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Преместете данни от локално към S3 – IA
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Преместете всички данни от префикс в S3 в локална папка.
aws s3 mv s3://bucket_name/somePrefix ./localFolder --recursive
предписвам
Командата presign генерира предварително подписан URL за ключ в кофата S3. Можете да използвате тази команда, за да генерирате URL адреси, които могат да се използват от други за достъп до файл в посочения ключ на кофа S3.
Използване
aws s3 presign
Пример
Генерирайте предварително подписан URL адрес, който е валиден за 1 час за обект в кофата.
aws s3 presign s3://bucket_name/samplePrefix/file_name.png --expires-in 3600 Output: https://s3.ap-south-1.amazonaws.com/bucket_name/samplePrefix/file_name.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIA4MCZT73PAX7ZMVFW%2F20220314%2Fap-south-1%2Fs3%2Faws4_request&X-Amz-Date=20220314T054113Z&X-Amz-Expires=3600&X-Amz-SignedHeaders=host&X-Amz-Signature=f14608bbf3e1f9f8d215eb5b439b87e167b1055bcd7a45c13a33debd3db1be96
rb
Командата rb се използва просто за изтриване на кофи S3.
Използване
aws rb <BUCKET_NAME>
Пример
Изтриване на кофа S3.
aws s3 mb myBucketName # This command fails if there is any data in this bucket.
Изтрийте контейнер S3 заедно с данните в контейнера S3.
aws s3 mb myBucketName --force
rm
Командата rm се използва просто за изтриване на обекти в кофи S3.
Използване
aws s3 rm <S3Uri_To_The_File>
Примери
Изтрийте един файл от кофата S3.
aws s3 rm s3://bucket_name/sample_prefix/file_name_2.txt
Изтрийте всички файлове с конкретен префикс в контейнер S3.
aws s3 rm s3://bucket_name/sample_prefix --recursive
Изтрийте всички файлове в кофа S3.
aws s3 rm s3://bucket_name --recursive
синхронизиране
Командата за синхронизиране копира и актуализира файлове от източника до местоназначението точно като командата cp. Важно е да разберем разликата между cp и командата sync. Когато използвате cp, той копира данни от източника към местоназначението, дори ако данните вече съществуват в местоназначението.
Освен това няма да изтрие файлове от дестинацията, ако са изтрити от източника. Синхронизирането обаче преглежда дестинацията, преди да копира данните ви, и копира само новите и актуализираните файлове. The команда за синхронизиране е подобно на извършването и натискането на промени в отдалечен клон в git. Командата за синхронизиране предлага много опции за персонализиране на командата.
Използване
aws s3 sync <SOURCE> <DESTINATION> [--options]
Примери
Синхронизирайте локална папка към S3
aws s3 sync ./local_folder s3://bucket_name
Синхронизирайте S3 данни с локална папка
aws s3 sync s3://bucket_name ./local_folder
Синхронизиране на данни между две кофи S3
aws s3 sync s3://bucket_name s3://bucket_name_2
Преместване на данни между две кофи S3, с изключение на всички .txt файлове
aws s3 sync s3://bucket_name s3://bucket_name_2 --exclude "*.txt
уебсайт
Можете да използвате кофи S3 за хостване на статични уебсайтове. Командата website се използва за конфигуриране на статичния хостинг на S3 уебсайт за вашата кофа.
Посочвате индекса и файловете за грешки и S3 ви дава URL, където можете да видите файла.
Използване
aws s3 website <S3_URI> [--options]
Пример:
Конфигурирайте статичен хостинг за S3 контейнер и посочете индекса и файловете за грешки
aws s3 website s3://bucket_name --index-document index.html --error-document error.html
Заключение
Надявам се, че горното ви дава представа за някои от често използваните команди на AWS S3 за управление на кофи. Ако се интересувате да научите повече, можете да проверите подробностите за сертифицирането на AWS.