Enterprise Cloud Service Public Preview on AWS - Enterprise Security 編についてまとめて和訳してみた①

##はじめに
今回は、2020年6月12日に Vinay Wagh 氏と Abhinav Garg 氏によって投稿されました「 Enterprise Cloud Service Public Preview on AWS 」で紹介されている Enterprise Security の1つである「 Security that Unblocks the True Potential of Your Data Lake 」　に関する内容を翻訳し、まとめてみました。

本記事のリンクは下記参照。
■リンク
 ・[Security that Unblocks the True Potential of your Data Lake](https://databricks.com/jp/blog/2020/03/16/security-that-unblocks.html)
・[Enterprise Cloud Service Public Preview on AWS](https://databricks.com/jp/blog/2020/06/12/enterprise-cloud-service-public-preview-on-aws.html)


##エンタープライズセキュリティ
今回の AWS 上での、Databricks のエンタープライズクラウドサービスにおけるエンタープライズセキュリティの主な内容は以下の4つです。

■エンタープライズセキュリティ
①Data Lake の真のポテンシャルを妨げないセキュリティ
②顧客管理VPC
③セキュアなクラスター接続
④Notebook の為の顧客管理キー
⑤IAM 証明パススルー

今回は、「①Data Lake の真のポテンシャルを妨げないセキュリティ」について、紹介したいと思います。

##Data Lake の真のポテンシャルを妨げないセキュリティ
###Data Lake の保護に関する試み
私達が経験から学んだことは、本番環境を単一のユースケースの運用から企業内のどのチームも利用できるプラットフォームの運用へとスケーリングすることは、多くのセキュリティ上の問題を引き起こす、ということです。

■セキュリティ上の問題
・Data Lake にアクセスする全コンピュータの安全性と、エンタープライズガバナンスコントロールに準拠しているか
・全ユーザが許可されたデータにのみアクセス可能な状態か
・誰が Data Lake にアクセスし、そして読み書きをしているのか
・企業の重要機密データをポリシーで管理された環境を用意する方法

特定のユースケースにおける小規模のチーム、またはデータセットならともかく、全てのデータサイエンティスト、エンジニア、アナリストがデータを最大限に活用できるような規模となると、とても難しいです。
このような問題を解決するために Databricks プラットフォームは作られました。Databricks を用いることで、エンタープライズ規模でデータ分析を簡素化し、安全に実現することができます。

###重要なセキュリティのためのクラウドネイティブなコントロール
企業は、データを企業全体の様々な製品やサービスに使用できるようにするために、Data Lake の作成と維持に莫大なリソースを費やしていますが、1つのプラットフォームで全てのエンタープライズニーズを解決することはできません。そのため、データはオープン形式で統一し、可能ならクラウドネイティブコントロールを使用して安全性を確保する必要があります。
理由は2つあります。

■2つの理由
①クラウドプロバイダがコアセキュリティコントロールをスケーリングする方法を見つけたため
②データの保護とアクセスに独自のツールが必要な場合、それらのツールをデータにアクセスする全てのものと統合する必要があるため


これは、Databricks プラットフォームが正に行っていることです。 Databricks は、IAM、アイデンティティのための AAD、データの暗号化のための KMS/Key vault、アクセストークンのための TS、ファイアウォールなどのセキュリティグループ/NSG と統合されています。これにより、企業はトラストアンカーを制御し、アクセス制御ポリシを一箇所に集中管理し、Databricks にシームレスに拡張することができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/321349/712b2d93-4390-7d79-5521-e005055b0d5c.png)


###環境の隔離
コンピューティングとストレージの分離は、大量のデータを保存して処理するための一般的なアーキテクチャパターンです。データにアクセスできるコンピュート環境のセキュリティを確保し保護することは、全体的な攻撃対象を減らすための最も重要なステップです。
コンピュート環境の保護について、紹介していきます。

#####ステップ1
・解析用のクラウドワークスペースには、安全に保護された企業境界からのみアクセスできるようにする
・従業員が遠隔地から作業する必要がある場合は、企業ネットワークに VPN 接続する必要あり

→ 企業のIT部門はクラウド上のワークスペースへのアクセスの監視、検査、ポリシーの実施が可能に

#####ステップ2
・Azure Private Link または AWS privateLinkを実装

→ プラットフォームのユーザー、ノートブック、およびクエリを処理する計算クラスタ間のすべてのトラフィックが暗号化され、クラウドプロバイダーのネットワークバックボーンを介して送信されることで、外部からのアクセスを遮断

#####ステップ3
・ユーザ自身の PC を制限し、監視
・クエリを実行するコンピュートクラスタを、ssh とネットワークアクセスを制限して保護

→ 任意のパッケージのインストールを防ぎ、定期的に脆弱性スキャンを行い、継続的に監視して検証するイメージのみを使用していることを保証。これは、Databricks を使用して、"launch cluster." をクリックするだけで実現できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/321349/006bab22-fe67-6a79-1893-1fe326091b7c.png)


###データの保護
Data Lake のデータセキュリティ/保護における課題は、Data Lake には異なるレベルの分類とセンシティブさを持つ大量のデータがあることです。多くの場合、データは様々な製品やサービスを介してユーザにアクセスされ、PII データを含むことがあります。100人/1000人のエンジニアが許可されたデータのみにアクセスできるようにしつつ、100人/1000人のエンジニアにデータアクセスを提供するにはどうすれば良いでしょうか？

#####PIIデータの削除
データが Data Lake に到達する前に、PIIデータを削除
※PII = Personally Identifiable Information(個人を特定できる情報のこと)

→ これは多くのケースで可能であり、コンプライアンスの範囲を最小限に抑え、ユーザが PII データの誤使用や漏洩防止を保証する場合に最も成功するルートであることが証明されています。


#####強力なアクセスコントロール
アクセス制御戦略は、データが Data Lake にどう保存されているかで異なります。
異なる分類にカテゴライズされたデータが異なるフォルダに分離されている場合、分離されたストレージに IAM ロールをマッピングすることで分離が可能になり、ID プロバイダ内のユーザ/グループをこれらのロールの1つ、または複数に関連付けることができます。
データオブジェクトレベルで分類が定義されている場合や、行/列/レコードレベルでアクセス制御を実装する必要がある場合、アーキテクチャでは、全てのクエリに対して細かいアクセス制御ポリシーを適用できる集中型アクセス制御層が必要となります。
その理由は、Data Lake にアクセスするツールや製品が異なる場合があり、それぞれに異なるソリューションを用意すると、複数の場所でポリシを管理する必要があるからです。

#####暗号化
暗号化は、サードパーティのインフラストラクチャ上のデータの「所有権」を得るための手段として機能するだけでなく、アクセス制御の追加レイヤとしても使用できます。サードパーティよりクラウド・プロバイダの鍵管理システムを使用するのは、全てのサービスと緊密に統合されているからです。
セキュリティを更に強化したい企業は、データの暗号化/復号化に使用される顧客管理鍵のポリシを設定し、ストレージフォルダ自体のアクセス制御と組み合わせる必要があります。これにより、ストレージ環境を管理するユーザと、ストレージ環境内のデータにアクセスする必要のあるユーザとの間の職務の分離が確実になります。

###Data Lake のポテンシャルを妨げない
Data Lake の真のポテンシャルは、レイク内の全データをエンジニアと科学者が利用できて、初めて発揮されます。これを実現するには、データプラットフォームに組まれた強力なセキュリティファブリックが必要です。そのようなデータプラットフォームを構築し、世界中の全ユーザにスケールアップできるようにするのは、複雑な作業です。Databricks は AI 主導の未来の基盤として、このような世界有数の大企業から信頼されるプラットフォームを提供しています。


##おわりに
Enterprise Security に関するまとめは以上です。
より詳しい内容については、本記事を参照ください。