[CDGC] File System のスキャン

# はじめに
<!-- ★『インフォマティカが提供する、 CDGC(データガバナンス＆カタログ)を使って』までは定型文 -->
[インフォマティカ](https://www.informatica.com/jp/)が提供する、 [CDGC](https://www.informatica.com/jp/products/data-governance/cloud-data-governance-and-catalog.html)(データガバナンス＆カタログ)を使って、File Systemからメタデータを取得(スキャン)するためのガイドです。
※2023/10時点の情報を元にしています。


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/ef4163d2-44fe-2188-4518-88dd97db3b06.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/e4463478-7594-ce4a-44fc-0aed33ab012f.png)


 
<!-- 各チャプター -->
 
# 事前準備
<!-- ★ここはすべて定型文であり変更は不要 -->
CDGCがセットアップ済みであり、メタデータコマンドセンターのメニューにアクセスできるライセンス、およびユーザロール、ユーザである事を確認して下さい。[こちらのナレッジベース](https://knowledge.informatica.com/s/article/FAQ-CDGC-apps-licenses-roles?language=ja)より手順をご確認下さい。
 
# 前提
<!-- ★ソース側のユーザーや権限、接続前提条件を書く -->
ファイル システム カタログ ソースを使用して、Windows または Linux マシンにあるファイルからメタデータをカタログに抽出します。
2通りの抽出方法があり、①ローカル ファイルシステム・プロトコルを使用してローカル・マシン(Secure Agentがインストールされているマシン)にあるファイルからメタデータをインポートするか、②リモート ファイルシステム・プロトコルを使用してリモートの Windows マシンにあるファイルからメタデータをインポートできます。

# スキャン対象
<!-- ★マニュアルから抜粋し、日本語訳する -->
ファイル システム カタログ ソースを使用して、次のファイル タイプとそのパーティションからメタデータを抽出できます：
- AVRO: シングル・パーティション、マルチ・パーティション、スキーマ・マージ
- CSV: シングル・パーティション、マルチ・パーティション、スキーマ・マージ
- JSON: シングル・パーティション
- Parquet： 単一パーティション、複数パーティション、スキーマ・マージ


以下のMicrosoft Excelファイル・タイプからメタデータを抽出できます：
- 拡張子XLSのExcel 97-2003ワークブック
- 拡張子がXLSXのExcelワークブック
- 拡張子XLSMのExcelマクロ対応ワークブック

:::note warn
2023年7月リリースより、Microsoft Excelファイルからのメタデータ抽出がプレビュー可能になりました。プレビュー機能は評価目的でサポートされていますが、本番環境または本番環境への移行を予定している環境ではサポートされていません。Informatica は、本番環境向けの次期リリースにプレビュー機能を含める予定ですが、市場や技術状況の変化に応じて、プレビュー機能を提供しない場合もあります。
:::

 



# スキャン設定
<!-- ★基本的にはStep by Stepでスクリーンショットを記載する -->
詳細のステップは、[マニュアル](https://docs.informatica.com/data-governance-and-quality-cloud/metadata-command-center/current-version/catalog-source-configuration/file-system.html)も合わせて参照して下さい。
 
1\. メニューから「メタデータコマンドセンター」を選択
![chrome_1tgmiMYCUF.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/e0573c01-973c-faa1-1344-23822d62f7d1.png)
 
2\. メタデータコマンドセンターから「新規」を選択
![chrome_w8lflLEgjP.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/bd12959e-af63-9aa5-7051-bb2680b6dd49.png)
 
3\. カタログソースから「ファイルシステム」を選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/a86fff8f-d566-3282-8c33-6b01ddc66290.png)

4\. File Systemへの接続情報を選択しますが、上記の通り、2パターンのプロトコルを選択できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/f981a63a-edba-da02-6e5e-57a0e7efb2be.png)

- ① ローカルファイルシステム
    - ローカル・マシン(Secure Agentのインストールマシン上)にあるファイルからメタデータをインポートするために利用します。
    - メタデータをカタログにインポートするSecure Agentマシン上における、ディレクトリへの絶対パスを指定します。
    - 下記の例の場合、実体のファイル群は、Secure Agentと同じマシンのローカルにあることを確認し、絶対パスを取得します
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/d6b6164d-b03f-485b-23a1-0b164172f760.png)

    - パスに、絶対パスを指定します。
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/1730fc69-e3bf-6ab7-874c-4566fa958a25.png)

- ② リモートファイルシステム
    -  リモートWindowsマシンにあるファイルからメタデータをインポートするために利用します
    - メタデータをカタログにインポートする、ネットワークまたは共有パスを指定します。
    - 下記の例の場合、Windows上で共有設定がされたフォルダ内に実体のファイル群があることが確認できます。
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/9572811b-1d91-fb61-7ea6-4f2e9a931f54.png)
    - パスに、ネットワークまたは共有パスを指定します。
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/091df341-399e-7a3d-56da-8af1b3bc16c2.png)

    |パラメータ  |説明  |
    |---|---|
    |パス  |パス メタデータをカタログにインポートするネットワークまたは共有パスを指定します。例： \SharedPath\test_files.  |
    |ホスト  |Windows マシンのホスト名または IP アドレスを指定します。  |
    |ユーザー  |Windows マシンにアクセスするためのユーザー名を入力します。 |
    |パスワード  |Windows マシンにアクセスするためのパスワードを入力します。  |
 
5\. ランタイム接続から利用するSecure Agentを選択、必要に応じてフィルタによる絞り込みや構成パラメータを設定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/97030fd3-b68f-3806-e649-faec3dedd508.png)

構成パラメータの設定値は以下の通りです。
|パラメータ  |説明  |
|---|---|
|1行目を区切りファイルのヘッダとして使用  |区切りファイルのヘッダーとして最初の行を使用する、またはヘッダーを自動的に検出する場合は、以下のオプションのいずれかを選択します<BR>はい : 最初の行を区切りファイルのヘッダーとして使用します。<BR>いいえ : 区切りファイルのヘッダーを自動的に検出します。 |
|拡張子のないファイルを次のように扱う  |拡張子のないファイルを識別するには、次のオプションのいずれかを選択します<BR>Parquet<BR>Avro<BR>JSON  |
|ファイル区切り文字の入力 |メタデータを抽出するファイルが、以下の区切り文字のリスト以外の区切り文字を使用している場合は、ファイルの区切り文字を指定します：<BR>カンマ(,)<BR>横タブ( \t)<BR>セミコロン(;)<BR>コロン(:)<BR>パイプ記号(\|)<BR><BR>区切り記号はシングルクォーテーションで囲みます。例えば、'$'。複数の区切り文字を区切るにはコンマを使用します。 |
|パーティション検出時に除外するファイル  |パーティション検出時に除外するファイルの正規表現。複数の正規表現を指定する場合はカンマで区切り、それぞれの正規表現をニ重引用符で囲んでください。<BR>例 : ".\*json","Customer.csv","Parquet.*"
 
 
 
7\.「関連付け」「スケジュール」は必要に応じて設定しますが、今回はすぐにスキャンを実施したいため、「保存」後に、「実行」をクリックし、実行スコープを確認して、実行を開始
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/40684ed1-b131-9349-41d7-4f90551bc461.png)


 
8\. ジョブ監視画面に自動で遷移するので、しばらく待ってステータスが完了した事を確認
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/0e034d70-a313-7e4c-d8ac-126863aaeb30.png)

 
 
# 結果の確認
<!-- ★CDGC側からの見た目のサンプルを表示。アセット一覧とリネージュの2通り程度 -->
- 取得したアセットの一覧を表示
CDGCの画面を呼出し、該当のカタログリソースが閲覧できることを確認する
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/6378fdfd-4f02-7981-0201-0134eadd0eb9.png)

    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/e4463478-7594-ce4a-44fc-0aed33ab012f.png)

 
# Tips
サブディレクトリ、サブフォルダもスキャンすることは可能となります。
ただし、それらの中にファイルが存在しない場合は、データカタログ上には表示されません。2023年10月時点での仕様

下記の例だと、non-fileディレクトリの中にはファイルが何もありません
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/aaf700d4-ced3-537d-8ea0-8dc9956c288b.png)

データカタログ上では、non-fileディレクトリ以外が表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/110338/05a21e2a-a353-b09b-8d37-fea1a7b59cce.png)


# 参考文献
<!-- ★URLをそれぞれのカタログソースに応じて変更する -->
- [**マニュアル** *ログインが必要](https://docs.informatica.com/data-governance-and-quality-cloud/metadata-command-center/current-version/catalog-source-configuration/file-system.html)