[CDGC] Amazon S3のスキャン

# はじめに

[インフォマティカ](https://www.informatica.com/jp/)が提供する、 [CDGC](https://www.informatica.com/jp/products/data-governance/cloud-data-governance-and-catalog.html)(データガバナンス＆カタログ)を使って、Amazon S3からメタデータを取得(スキャン)するためのガイドです。2023/08時点の情報を元にしています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/53441740-848c-dadd-21df-55b780144b75.png)

# 事前準備
CDGCがセットアップ済みであり、メタデータコマンドセンターのメニューにアクセスできるライセンス、およびユーザロール、ユーザである事を確認して下さい。[こちらのナレッジベース](https://knowledge.informatica.com/s/article/FAQ-CDGC-apps-licenses-roles?language=ja)より手順をご確認下さい。

# 前提
<!-- ★ソース側のユーザーや権限、接続前提条件を書く -->
メタデータを抽出するには、以下の権限を割り当ててあるユーザーを利用する必要があります。必要に応じてS3管理者の方とご相談下さい。

__メタデータを抽出する権限__
・Read Permission.データを読み出す権限は必要です。
・Access Permission.S3リソースを作るユーザと違うユーザでアクセスする場合、アクセス権限は必要です。

__メタデータを抽出する対象一覧__
・AVRO.
・CSV.
・JSON.
・Parquet.
Excel：
・Excel 97-2003 Workbook with XLS extension
・Excel Workbook with XLSX extension
・Excel Macro-Enabled Workbook with XLSM extension

__プロファイリングの実行権限__
・PutObject
・GetObject
・DeleteObject
・ListBucket
・ListBucketMultipartUploads

__プロファイリングできる対象一覧__
・AVRO
・CSV
・Parquet

# 接続設定
CDGC でソースシステムからからメタデータを抽出するには前提にあるようなソース毎の要件を満たしたユーザーで接続を作成する必要があります。

:::note warn
接続を作成する際に Secure Agent を指定する必要があります。もし、まだインストールされていない方は[こちら](https://knowledge.informatica.com/s/article/HOW-To-Install-a-secure-agent-on-a-Linux-machine?language=ja)のナレッジを参考に Secure Agent をインストールしてください。
:::
以下、接続例です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/680f6c09-5553-ec10-e1dd-193b7ed200f4.png)

# スキャン設定
英語になっていますが、詳細のステップは、[マニュアル](https://docs.informatica.com/data-governance-and-quality-cloud/metadata-command-center/current-version/catalog-source-configuration/amazon-s3.html)、[How to Library](https://knowledge.informatica.com/s/article/How-To-Configure-a-Amazon-S3-Resource-In-CDGC?language=en_US&type=external)も合わせてご参照ください。
 
1. メニューから「メタデータコマンドセンター」を選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/4c13c820-c420-b5ea-3207-c0231f92aa13.png)
1. メタデータコマンドセンターから「新規」を選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/a1da8b98-d05e-07bd-b796-2f0c62fffd6f.png)
1. カタログソースから「Amazon S3」を選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/bf817d03-3aa9-81e9-20ba-59c7abbb3c2d.png)
1. カタログリソース名前を入力し、Amazon S3への接続情報を選んで、「次へ」をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/be0089a6-0496-483f-c8ca-deca9d4c959f.png)
1. メタデータ抽出を設定。ランタイム接続から利用するSecure Agentを選択、必要に応じてフィルタによるパラメータを運用して絞り込みを実施し、「保存」をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/2a075e6b-b9d5-9320-8a49-ddeb9625773b.png) 
:::note info
- フィルタを適用して、S3のファイルとフォルダーのメタデータを包含または除外できます。ファイルとフォルダーの名前を指定することで設定できます。詳細の設定は[マニュアル](https://docs.informatica.com/data-governance-and-quality-cloud/metadata-command-center/current-version/catalog-source-configuration/amazon-s3.html)を参照して下さい。
:::

6\. プロファイリングを設定。「データプロファイリングとデータ品質」タブをクリックし、データプロファイリングの有効化をONにする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/1605b410-1f3b-6570-a162-845c7558ef60.png)

「署名と値を保持」で、値の頻度と呼ばれる実データのサマリを取得できます。プロファイリングスコープを「完全」にすることでメタデータの変更の有無に関わらず、プロファイリングが実施されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/c3a9c5e7-7b7e-aa2b-6a8f-514b8cd68305.png)

7\. 他にも設定項目はありますが、今回は簡易のスキャン設定なので、このまま保存して、実行していきます。「実行」をクリックし、スキャンを始めます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/b27c382b-857c-201f-56df-998c6c135b90.png)
実行スコープはそのままにして、実行をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/41ffa47f-e162-6337-c5ea-9ce854097c99.png)

8\. ジョブ監視画面に自動で遷移するので、しばらく待って右上のリフレッシュボタンで進捗を確認。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/98fb7aa5-c45a-29e8-49a1-5a5bae999ffd.png)

# 結果の確認
1. スキャンした結果を確認。
CDGCの画面を呼出し、該当のカタログリソースが閲覧できることを確認。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/d55cbe04-96f7-4cd8-4e04-282957168df4.png)
1. カラムの詳細画面を確認。
ご自身のデータにより表示する内容も変わるのですが、こちらで電話番号のフォーマットパターンを確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2986164/c231f57e-ba0e-1c61-e54b-b97ecf89dcee.png)
# Tips
- プロファイリングに失敗する場合、[ナレッジベース(KB)](https://knowledge.informatica.com/s/global-search/%20#t=KB&sort=relevancy&f:@athenaproduct=[Cloud%20Data%20Governance%20and%20Catalog])を参照し、エラーメッセージから検索を実施して下さい。
- Amazon別製品、Google製品とAzure製品等のスキャン方法については別途、記事にする予定です。
# 参考文献
- [**マニュアル** *ログインが必要](https://docs.informatica.com/data-governance-and-quality-cloud/metadata-command-center/current-version/catalog-source-configuration/amazon-s3.html)
- [**ナレッジベース(KB) - How to Library(H2L)** *リンクのPDFを参照して下さい](https://knowledge.informatica.com/s/article/How-To-Configure-a-Amazon-S3-Resource-In-CDGC?language=en_US)