0. 목표
- S3 버킷 내 여러 파일 동시에 다운로드
- S3 특정 버킷에 특정 사용자(IP)만 파일 다운로드 할 수 있도록 설정 - 사용자 추가 X
- S3 특정 버킷에 특정 사용자(IAM User)만 접근(목록, 파일 다운로드, 업로드)할 수 있도록 설정 - 사용자 추가 O
1. S3 멀티다운로드
아래 사진에 있는 버킷의 디렉토리 경로를 나중에 사용하니 확인해둡니다.
AWS CLI를 활용하여 S3 버킷에 있는 파일을 여러 개 동시에 다운로드하는 방법을 소개합니다.
1.1 버킷 리스트
다운받으려고 하는 버킷이 CLI로 검색가능한지 확인합니다.
aws s3 ls
# expected output
# 2021-05-26 09:25:54 athena-query-result-singapore1.2 폴더 생성
폴더를 생성하는 이유는 내 컴퓨터 폴더와 S3 버킷 내 폴더를 동기화하기 위함입니다.
다운로드 받을 파일을 저장할 새로운 폴더를 하나 생성합니다.
1.3 파일 다운로드
사용자 환경에 맞게 버킷 이름, 디렉토리 구성을 변경하여 명령어를 실행합니다.
아래 명령어를 실행하여 위에서 생성한 폴더로 버킷 내 디렉토리에 있는 파일 전체를 다운로드 받습니다.
aws s3 sync s3://athena-query-result-singapore/Unsaved/2021/05/27/ ./1
참고 - AWS CLI s3 명령어
s3 sync 명령은 버킷과 디렉터리의 내용 또는 두 버킷의 내용을 동기화합니다.
s3 cp 명령을 사용하여 버킷이나 로컬 디렉터리에서 객체를 복사합니다.
s3 mv 명령을 사용하여 버킷이나 로컬 디렉터리에서 객체를 이동합니다.
2. S3 - 특정 사용자(IP)만 다운로드
본 가이드는 외부의 특정 사용자가 버킷에 있는 파일 목록을 볼 수 있는 가이드는 아닙니다. 파일의 위치를 알고 있을 때 다운로드만 할 수 있도록 제한하는 설정입니다.
특정 사용자가 AWS Console에 접근해서 특정 버킷만 보도록 설정이 필요한 경우에는 IAM 서비스에서 사용자 추가를 하여 그 사용자의 권한을 제한하는 방식으로 설정할 수 있습니다.
AWS Console로 접속 ▶ 검색창에 S3 검색 ▶ S3 서비스 선택
권한을 변경하려고 하는 버킷 이름을 선택합니다.
권한 탭을 선택합니다.
스크롤을 아래로 내려 퍼블릭 액세스 차단 블록 중 편집을 선택합니다.
일반적으로 버킷 정책을 설정하지 않은 채 모든 퍼블릭 액세스 차단을 해제하는 것은 권장하지 않습니다.
모든 퍼블릭 액세스 차단 체크를 해제합니다.
버킷 정책 블록에서 편집을 선택합니다.
아래의 내용을 복사하여 붙여넣습니다. 단, 버킷 이름과 IP는 환경에 맞게 변경하여야합니다.
{
"Version": "2012-10-17",
"Id": "S3PolicyId1",
"Statement": [
{
"Sid": "IPAllow",
"Effect": "Allow",
"Principal": "*",
"Action": "s3:*",
"Resource": "arn:aws:s3:::<your-bucket-name>/*",
"Condition": {
"NotIpAddress": {
"aws:SourceIp": "0.0.0.0/32"
},
"IpAddress": {
"aws:SourceIp": [
"1.214.61.128/32",
"123.123.123.123/32"
]
}
}
}
]
}추가한 다음 변경사항을 저장합니다.
파일이 제대로 다운받아지는지 확인합니다.
3. S3 - 특정 사용자(IAM User)만 접근
AWS 계정 관리자는 IAM User를 추가하여 다수의 사용자가 AWS 리소스에 접근이 가능하도록 합니다.
관리자는 IAM User에 따라 필요한 권한을 제한하여 사용자를 관리합니다.
3.1 사용자 추가
AWS Console로 접속 ▶ 검색창에 IAM 검색 ▶ IAM 서비스 선택
왼쪽 메뉴 중 사용자를 선택합니다.
사용자 추가를 선택합니다.