AWSのCloudFront/Snowball/StorageGateway/Macie

# CloudFront

- CDNでcontentsをキャッシュする箇所。
    - ObjectはTTL(TimeToLive)の間キャッシュされる。
    - キャッシュをクリアすることもできるが、料金がかかる。(クリアには時間がかかるので、Objectを消すより前にキャッシュクリアする)
    - CloudFrontの前にFireWallを立てることもできる。

- Edge Location
    - READonlyではなく、WRITEもできる。
- Origin
    - オリジン。S3バケット、EC2インスタンス、ELB、Route53など
- Distribution
    - Web Distribution(Webサイトに使われる)
    - RTMP(MediaStremingに使われる、20年12月31日でサポート終了)


- SignedURLやSidgnedCookieを使えば、(ログインユーザにのみ表示などの)アクセス制限をかけることができる、らしい。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/59f9c3a1-8090-400e-cacc-f788a1996fe3.png)


# Snowball

- S3にデータ(ペタバイトスケール)をin/outする時に使う。
    - 異国のregionにinしたい時は該当regionにinしてからそれをCross-Region Data Transferする。
- AWS Snowball Edge はデータ移行とエッジコンピューティングのデバイスであり、[2 つのオプションがあります](https://aws.amazon.com/jp/snowball/)。
    - Snowball Edge Storage Optimized は、ブロックストレージと Amazon S3 と互換性のあるオブジェクトストレージの両方、および 40 個の vCPU を提供します。
    - Snowball Edge Compute Optimized は、52 個の vCPU、ブロックストレージとオブジェクトストレージ、オプションの GPU を提供します。
- 使うべきタイミングは![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/21cd8485-636a-20b1-4bcd-4204d7161ea7.png)


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/d4ebbf91-9ffd-5d92-5788-f424f92137dd.png)

## exaByteのデータ転送にはSnowmobile

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/fb8abc0d-c7f0-97f6-670f-bbcda7743171.png)


# [Storage Gateway](https://aws.amazon.com/jp/storagegateway/faqs/)
- オンプレミスから実質無制限のAmazonクラウドストレージサービスS3へのアクセスを提供するVM?アプライアンス?。
    - ソフトウェア?とハードウェア?の２種類ある。
- 頻繁にアクセスされるデータはオンプレミスでキャッシュして低レイテンシーのパフォーマンスを実現する。
- 変更があったデータのみを圧縮して送ることで、AWS へのデータ転送を最適化する。

## File Gateway

- オンプレサーバーとのS3間のファイルベースのインターフェイスを提供する。
- S3 バケットを Network File System (NFS) マウントポイントとして、あるいは Server Message Block (SMB) ファイル共有として使用できるようになる。
- S3上に保存されたファイルはS3オブジェクトとしてVersioning, Lifecycle, Cross-RegionReplicationが可能になる。
- 直近に使用されたデータは、低レイテンシーのアクセスのため、ゲートウェイ上にキャッシュされます
- ファイルゲートウェイはオンプレミスまたは EC2 で実行できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/77746dc6-ae1b-9f57-b3be-063ce0873db4.png)



## Volume Gateway(iSCSI)

### Stored Volume
- 全てのデータはオンプレに残っている
- HDDのインクリメンタルバックアップとして使われる。HDDの状態の増分バックアップが非同期にEBSスナップショット(1GB-16TB)がS3に保存される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/1e78d37e-67a9-d961-1164-48876a4737aa.png)

### Cached Volume
- 頻繁にアクセスされるデータはオンプレのVolumeGatewayに(キャッシュとして)保存。
    - このキャッシュのVolumeは1GB-32TB
    - Buffer StorageはS3に保存される???
- 頻繁にアクセスされないデータはオンプレには保存せず、S3ないのVolume Gatewayに保存される 
    - StorageVolumeのデータは32TiBまで。
    - このStorageVolumeはiSCSIデバイスとして、オンプレのアプリケーションサーバーからattach(アクセス?)できる。

## Tape Gateway(VTL)
- オンプレで使っていた[テープバックアップ](fujitsu.com/jp/products/computing/storage/lib-f/tech/backup/tapebackup/)をAWSのS3にバーチャルテープカートリッジとして保存する
- AWS マネジメントコンソールを使用し、仮想テープライブラリ内に仮想テープを作成する
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/534442/1b15bd7c-9c09-ae05-f69b-59460a551fea.png)

# Athena
- S3 -> Athenaテーブルを作るには(1)AWS Glue (2)Athena コンソール、を使用する。

# Macie

- 機械学習、NLP、パターンマッチングを使用して AWS の機密データ=PII(Personally Identifiable Information)を検出して保護する、フルマネージドのデータセキュリティとデータプライバシーのサービス
    - DashBoardレポートやアラートを出してくれる
    - S3内のデータやCloudTrailのログを検査
        - Maciiでも(Athenaと同じように)S3内のデータにクエリをかける。



# その他のメモ

- 増分バックアップ(Incremential Backup)は完全バックアップしてから毎回の変化分を変化分を保存。差分バックアップ(Differential Backup)は、完全バックアップした状態との変化分を保存。
    - (例)1(完全バックアップ),2,3,4,5なら、`増分は[+1, +1, +1, +1]`で、`差分は[+1, +2, +3, +4]`。