AWS 특강 - S3 & CDN 정리

30 Aug 2023 in DevOps

소프트웨어 마에스트로 14기로 활동하면서 전담 멘토님께서 주관하시는 AWS 특강을 수강하게 되었고, 해당 특강을 통해 학습한 키워드를 재학습하여 내 지식으로 만들고자 게시글을 작성하게 되었다.

S3

Simple Storage Service의 약자
Core Components
- Bucket
  - Management
    - Properties
      - Bucket Versioning
        웹 사이트 호스팅 목적으로는 부적합
        Key - Value에서 Key에 대한 버전 히스토리를 관리
        Delete가 없음
        Delete Marker 라는 개념이 생김
        실제로 삭제가 되지는 않고 삭제한 것처럼 표시
      - Encryption
        2022년 말부터 S3 버킷 기본 암호화 적용
        SSE-S3
        Server Side Encryption
        내부적으로 KMS를 쓰지만 내부적으로는 접근 불가능
        SSE-KMS
        KMS 키를 직접 만들어서 사용
        key에 대한 접근 제어 역시 KMS에서 할 수 있게 됨
        CSE vs SSE
        CSE : 클라이언트에서 암호화 및 복호화 수행
        SSE : 서버에서 암호화 및 복호화 수행
        AWS의 모든 저장소 암호화 기능은 KMS(Key Management Service) 서비스와 통합
        Bucket key
        KMS Key는 Operation마다 비용 부과
        Enable : KMS를 한 번 호출하고 봉투화를 통해 중간키를 만들어 S3 Bucket에 저장함
        안 쓸 이유가 없음
        항상 활성화 할 것
      - Static Website hosting
        S3 버킷으로 정적 웹 사이트 호스팅
        S3 자체적인 버킷 단위 도메인을 제공
        HTTPS
        문제점
        커스텀 도메인 설정이 불가능함
        CNAME 설정 가능 / 커스텀 도메인에 대한 HTTPS 인증서 설정이 불가
        커스텀 도메인 설정하면 HTTP로는 사용 가능
      - Request pay
        SaaS 서비스 시 사용
        고객이 call 마다 비용을 지불
      - Transfer acceleration
        전용 채널을 통해 더 빠른 속도 제공
        웹사이트 호스팅 시에는 사용하지 않음
      - Event Notifications
        이벤트 기반 작업 시 사용
        ex) 이미지를 올렸을 때 event를 트리거링 해서 lambda가 이미지를 후처리(압축 등) 할 때 사용할 수 있음
      - Server access logging, AWS CloudTrail data event
        특정 버킷을 지정하여 해당 버킷에 대한 access log를 저장할 수 있음
        두 가지가 데이터 유실에 따른 차이가 있음
      - Intelligent Tiering
        Storage Class 관련 옵션
        스토리지를 자동으로 관리해주는 기능
    - Lifecycle rule
      - 특정 키에 대해 관리할 수 있음
        ex) 30일 뒤에 삭제해라
    - Replication rule
      - 버킷과 버킷간의 복제 관련 룰
  - Access Control
    - Bucket Policy
      - Resource-based Policy
      - IAM : 권한을 제어하는 주체
        Identity-based Policy (IAM User, Group, Role)
        Resource-based Policy
        S3, SQS/ SNS / KMS / Lambda / ECR Repo
    - ACL
      - 잊어라. 무시해라.
    - Object Ownership
      - 버킷의 오브젝트를 올리는 사람 혹은 서비스에 대한 권한을 어떻게 가져갈 것인지에 대한 설정
      - BucketOwnerEnforced가 기본
    - Block Public Access
      - 항상 켜라
    - CORS
      - 무시해도 되요.
      - Special Case: Static Website Hosting을 할 때 쓰는 기능
    - VPC Private Link
      - VPC - Endpoints, Endpoint services..
        Endpoint (서비스 소비자)
        Interface Endpoint
        랜선을 통해 VPC에 연결하는 방식 (네트워크 카드가 생긴다)
        서비스에 우리 IP가 할당됨 - 유료
        Gateway Endpoint
        라우팅 시 서비스로 보내라
        S3 / DynamoDB 서비스만 지원
        S3 생성 시 설정해놓음 - 무료
        Endpoint Service (서비스 제공자)
      - AWS VPC와 서비스를 연결시켜주는 기술
- Access Point
  - 하나의 버킷에 여러 진입 지점을 만들고, 각 진입 지점에 따른 접근 제어를 따로 할 수 있음
  - ex) 개발팀, 운영팀의 접근 제어를 따로 함
- Object Lambda Access Point
  - 특정 object에 대해 접근 제어를 통해 lambda로 전처리를 할 수 있음
- Multi-Region Access Point
Object 저장소 / Key-Value Storage
- ‘폴더명/’의 key에 value를 넣어주는 식으로 디렉토리 구조를 표현함
- ex) key - ‘폴더명/파일명.확장자’
내구성 / 내결함성 (Amazon S3 is designed for 99.9999999999% (11 9’s) of durability)
- 안전하게 믿고 데이터를 맡길 수 있음
Storage Class - 버킷에서도 걸 수 있고, Object 별로도 걸 수 있음
- IA (Intelligent A…)
- Glacier
- ex) Glacier Deep Archive의 경우에는 100배 가까이 보관 비용이 차이가 나지만, 꺼내볼 때 비용을 지불함
Regional 서비스
- VPC 서비스는 아님
- AZ를 사용함
Global에서 Bucket명이 유니크해야 함
Permissions
- Block Public Access settings for this account는 항상 켜두는 것이 좋음
  - block all public access
Bucket

S3 - Presigned URL

API 서버가 파일 업로드를 직접 대응 하는 것은 확장성에서 좋지 못함
업로드
1. Clinet → API Server로 이미지 업로드 요청을 전송(이미지는 보내지 않음)
2. Server → S3에게 Presigned URL을 발급받음
  1. 파일 경로
  2. 파일 MIME 타입
  3. 파일 크기 제한
  4. 유효 기간
  5. 등등
3. Server → Client에게 Presigned URL을 전송함
4. Client → S3로 Presigned URL을 통해 이미지 업로드
  - 추가적으로 Event Noti 설정을 통해 Lambda로 후처리 작업 가능
  - 결과적으로 모든 프로세스가 비동기로 돌아가게 됨
다운로드도 설정 가능

CloudFront

CDN (Content Devlivery Network)
- 정적 데이터를 전달하는데 특화된 네트워크 서비스
- 동적 데이터도 서빙 가능
- CloudFlare라는 서비스도 있음
- 캐싱 레이어
  - 레이턴시 개선
- Core Compoent
  - Edge Server
    - 캐싱 역할을 하는 서버 (데이터 센터와는 다른 개념)
    - Edge Location에 존재함
  - Origin server
    - 원본 컨텐츠를 보유한 서버
Gloval Service
- AWS에서 모든 글로벌 서비스의 리전은 us-east-1 (버지니아)
Core Components
- Distribution
  - 도메인 단위 (목적 단위)
  - distribution의 가장 가까운 edge 서버 호출
  - Settings
    - Price class
    - edge location에 대해 선택할 수 있음
    - CNAME으로 별개 도메인 달 수 있음
    - SSL 무조건 달아야 하는데, us-east-1에서 하나 생성해야 함
    - Default root object
      - root로 요청했을 때, s3의 어떤걸 가져오겠다.
    - Standard Logging
      - 로깅을 s3에 저장할 수 있음
- Origins
  - 여러 개 설정 가능
- Behavior
  - 도메인으로 들어왔을 때 어떤 origin으로 가라라고 명시해주는 정책
  - default behavior
  - ordered behavior
    - path pattern을 정의해야함
    - 위에서 아래로 순차적으로 체크
- restiriction
  - 특정 국가에 대한 block 혹은 allow 가능
- invalidations
  - 강제로 캐시를 날림
  - 날리고 싶은 key를 입력 가능
    - *
    - /icndmages/profiles/*
- Policy
  - behavior에서 사용됨
  - Cache Policy
    - Http Method + Host + URL Path를 Cache키로 사용
  - origin request
    - cdn이 origin으로 보내는 요청에 대한 정책
  - response headers
    - CF가 주는 https 응답을 설정할 수 있음
- Function
  - CloudFront Function (viewer, origin 다 가능)
    - behavior에서 function을 연동할 수 있음
    - 데이터를 조작할 수 있음
    - 캐싱 레이어에서 후처리 할 수 있음
      - 사용 예
        썸네일(image resizing 서비스)
  - Lambd@Edge (Lambda Function)
    - origin만 가능
      - origin request, origin response
  - Use Cases
    - Thumbnail
      - 8x8
      - 16x16
      - 32x32
      - 64x64
    - /images/asjdkfkajdfsl.jpg/{width}/{height}
- Origin
  - S3 Origin
    - S3 버킷에 대한 Origin
  - Custom Origin
    - 가장 범용적인 Origin
  - Origin Group
    - primary, secondary를 정의하여 primary에서 fail over 대응을 할 수 있음
- Origin Access
  - Public (비추천)
  - Origin Access Control (최신)
  - Origin Access Identity (작년에 레거시됨)
    - create origin access identity
      - 클라우드에 사용자를 만드는 개념
      - 일반적으로 distribution 당 하나
API에도 CDN을 붙여서 특정 경로에 대해 캐싱을 수행할 수 있음

AWS 특강 - S3 & CDN 정리

S3

S3 - Presigned URL

CloudFront

개발자 이진우

Error

S3

S3 - Presigned URL

CloudFront

Templates (for web app):

Error