データの見える化からはじまるDX推進

## はじめに

グローバルな動きとしてデジタルトランスフォーメーション(DX)は進んでおり、日本でも経済産業省や多くの企業でDXに向けた取り組みを行っています。DXに取り組む企業の数は増加しているため、様々な事例も出てきています。
今回は、DXのポイントとその推進に欠かせないツールについて、[Informatica](https://www.informatica.com/jp/ "Informatica")のIDMC(Intelligent Data Management Platform)における[CDGC](https://www.informatica.com/jp/products/data-governance/cloud-data-governance-and-catalog.html "CDGC")(Cloud Data Goverance and Catalog)を例としてご説明します。



## デジタルトランスフォーメーション(DX)とは

一義的ではありませんが、経済産業省では「ビジネス環境の激しい変化に対応し、顧客のニーズを元にデータを利活用してビジネスモデル、組織・文化を変革し、競争上の優位性を確立すること」と定義しています。特に組織・文化の変革の必要性は、コロナ禍で迅速な外部環境変化への対応に迫られたことで明確になりました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/65c1d9b7-129a-70f3-c342-6961ce108eca.png)


## DXのポイント

日本においてDXを推進していくためには、以下の4つの重要なポイントが挙げられます。

1. データを活用してビジネス環境の激しい変化に対応
2. 新規ビジネスの創出
3. 組織の変革
4. 情報漏洩などリスクへの対応


#### DXのポイント – 1.データを活用してビジネス環境の激しい変化に対応

データは企業の資産であり、企業価値を高めるために活用していくものです。
そのため、まずは資産の状況を明らかにし、その後どのように活用していくか検討すべきです。
しかし、実際には社内にどのような情報があるか分からないまま、データ分析に着手するケースも多いようです。その結果、以下のような状況を招くことになります。

- データを探すのに時間がかかる
- それぞれの担当で同じデータを作成してしまう
- すぐにデータや帳票が陳腐化してしまう
- ツールを入れ替えて、また新たな仕組みを作り直す

次のページで、データ利活用プロジェクトにおける経営ダッシュボード構築の事例を紹介します。


#### データ利活用プロジェクトにおける経営ダッシュボード構築の例

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/f07a3e41-d795-b5b3-8b0a-3d0125c37b31.png)

ダッシュボードの見直し、たとえば新しいKPIの追加を行いたいとした場合にこの2-5のプロセスを繰り返すことになるため、改修に時間がかかり、やがて使われなくなってしまいます。
このような状況に陥らないようにするためには、最初にデータという資産の状況を明らかにすることが必要です。シンプルに考えると次のようなステップとなります。

- 社内にどのようなデータがあるか把握する
- 社内にどのようなデータがないか把握する
- データマネジメントのロードマップを描く

最初に、社内のデータベース、ファイルなどのデータソースからメタデータを収集し、一元管理します。さらに、そのデータがどのシステムから来たのか、どの断面のデータか、業務的にどういう意味があるのかなどの情報がデータ利用の際には必要となるため、メタデータに追記します。この際に、データにどのような課題があるかも併せて確認を行います。
次に、中期経営計画などを鑑みて社内にどのようなデータがないのか、どのようなデータが必要となるか検討を行います。
最後に、業務の優先度などを考慮して必要なデータの入手またはデータ連携の実装スケジュールなどを含むロードマップを策定します。


##### データの見える化からはじめるデータマネジメントのロードマップ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/f413bceb-5220-f397-1bf0-144403c9c78f.png)

それでは、CDGCを使うとどのようにデータが見えるのでしょうか。
手始めに、人事システムのOracleデータベースをスキャンしてみましょう。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/eb2123ec-3e9b-1184-6ff4-479777936287.png)

このように、スキーマが1、テーブルが14、ビューが2などを含むメタデータがスキャンできました。そして、従業員を管理するテーブルに付加情報を追加すると、以下のようなイメージになります。

![cdgc.dm-ap.informaticacloud.com_asset_7a8708bb-255f-42ae-8e03-340c8fabed45_tabId=overview (8).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/43c7c768-1ed4-fe06-3da5-5fa1044e4bd5.png)

上記の主なメタデータに関する説明は以下のとおりです。

- 説明：テーブルの説明
- 関係者：メタデータの更新を行うことができる管理者 
- 用語集：テーブルに割り当てるビジネスユーザにとって分かりやすいビジネス用語
- データエンティティの分類：クレジットカード番号、Eメールアドレスなどの分類
- データエレメント：テーブルカラム、ファイルのカラムなどの要素
- システム属性：テーブルの作成日、物理名、行数、スキーマ名などのシステム的な属性
- カスタム属性：ビジネス的な属性で任意の内容を割り当てることが可能

データカタログのデータを充実させるためには、上記のカスタム属性が欠かせないものとなります。ただ、どのようなカスタム属性を作成したら良いか分からないと言うことをよく耳にします。
データマネジメントに関する知識を体系的にまとめたDMBOK(Data Management Body Of Knowledge)では、メタデータの種類としては3つあり、ビジネスメタデータ、テクニカルメタデータ、オペレーショナルメタデータがあると記載されていますので、参考にしてください。たとえば、オペレーショナルメタデータの例としてはバックアップスケジュール、データの保持期限、廃棄規定などが例として挙げられています。

ここで、データエレメントのセクションでは、データに含まれるNULL値や一意の値(重複なし)も表示されていることが分かります。データ分析を行うためには、データの説明だけではなく、どのようなデータが入っているかの情報も必要になります。
そのため、カラムのデータを見てみると、データパターン、また具体的にどのような値が入っているかも確認することができるので、データ分析を行ったりダッシュボードを作る際に役立ちます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/8820251b-00fb-4af9-ee06-b010e1636aef.png)

Oracleデータベース以外でも、部門で管理しているEXCELファイル、個人で管理しているテキストファイルでも、スキャンしてデータカタログに取り込むことが可能です。
まずは、このようにデータソースをスキャンして、使ってみるところから始めてみましょう。

### DXのポイント – 2.新規ビジネスの創出
経済産業省が2022年7月に発表したDXレポート2.2では、DXに取り組む企業でも以下のような問題があることが指摘されています。

- デジタル投資の大部分が既存ビジネスの効率化に振り向けられている
- サービスの創造・革新の取り組みで成果が出ている企業は1割未満にとどまっている

既存のビジネスの効率化はもちろん重要で、継続的に取り組むべきです。しかし、単に効率化に取り組むだけでは急激なビジネスの変化への対応力を養うことはできません。そのため、既存ビジネスでも自社の強みの明確化と強化、顧客との関係強化、顧客満足度の向上などを図り、既存ビジネスの付加価値向上と収益向上を達成することが必要となります。

新規ビジネスの創出は、デジタル技術を活用することがポイントとなりますが、よく使われる手法としてはIoTなどで今まで取得していなかったデータを取得する、または紙で管理していたアナログの情報をデジタル化するなどが挙げられます。
このように新しいデータを分析対象として扱うためには、分析の精度を確保するために、データの品質も同様に確保する必要があります。そのためには、データ品質の監視、修正のサイクルを確立することが重要です。

CDGCにおける品質チェックの例は以下のとおりです。

品質に関するビジネスルールを作成します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/a6d555c1-1e38-bb50-e944-86f7032a533f.png)

このルールをテーブルカラムに対して紐づけし、許容するデータの割合を設定してデータソースをスキャンすると、ダッシュボードで品質ルールの実行結果をサマリとして確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/fdde6017-2deb-ae5b-8957-9cdfa7c3e308.png)

詳細を確認すると、時系列で品質がどのように変化したか確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/59bb5350-4e94-1263-99b2-131711291ac4.png)

さらに、ETLでデータ連携しているようなケースでは、変換の流れを追うことができるのに加え、どの時点でデータ品質が変化しているのか確認することもできます。
このようにして、いつ、どこで品質の問題が発生しているのかを把握することで、対応を検討して品質を向上させていくことができるようになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/a94789de-e284-53d2-88f1-57f61916edbc.png)


### DXのポイント – 3.組織の変革
次の表で示すように、日本では主に以下の点が米国と比較して課題があります。

- 情報共有がうまくいっていない
- チャレンジすることが尊重される文化ではない
- 高いスキルを持っていても報酬に反映されない

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/b73c20af-cad7-435b-3f44-5525a54081f4.png)

全社横断的なデータ活用をはじめても、必要な情報を誰かが提供してくれるのを待っているだけでは、タイムリーな情報収集ができず、 十分なナレッジも蓄積されません。その結果、従前の部門などの小さい単位での個別最適化に戻ってしまい、DXは頓挫してしまいます。
DXを効果的に進めるためには、従業員が共有のプラットフォームで情報共有を行うことが効果的です。さらに、そのプラットフォームを通じて従業員間でQAなどのコラボレーションを行うことで、より質の高いナレッジの蓄積、高度なデータ活用を行うことが可能となります。

CDGCでコラボレーションを行うための機能としては以下のものがあります。

- アセット認証
- 評価
- コメント
- チケット

これらの機能はカタログの画面に統合されており、1つのプラットフォームでナレッジの共有とコラボレーションを行うことが可能です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/a0e5e1df-f11e-1f4c-ab93-cae85f54f2d8.png)

DX推進の先進企業では、チャレンジすることを奨励し、仕組みをつくり、ビジョンとして社外に広く発信することで、企業文化の変革に取り組んでいます。DX推進の事例としては、経済産業省のHPでDX銘柄として紹介されていますので、参考にしてください。

#### DXのポイント – 4.情報漏洩などリスクへの対応
企業活動においては個人情報なども取り扱うため、当然に情報漏えい等のリスクも考慮する必要があります。また、個人情報保護法やGDPRなどの法規や、社内で規定したデータ取扱のルールなどに準拠していることも確認できるようにする必要があります。
すなわち、データと関連するポリシーやプロセスの関連性の見える化を行うことで、インシデント発生を未然に防止することができるようになり、さらに複雑化するIT監査への負荷軽減、よりクリエイティブな作業へのリソース集中が可能となります。

CDGCでは、以下のようにリレーションとして各システムやポリシーの関連性を表示することが可能です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2988146/02857649-a287-e72b-1e72-033c8335aa0c.png)

これは会員管理システムにカタログソース、プロセス、ポリシーなどを紐づけた例となります。カタログソースはOracleデータベースなどのデータソースで、含まれているテーブルなどを確認することができます。そのデータに関連するデータ取扱手順などのプロセス、また個人情報保護法やGDPRなどのポリシーを紐づけて、遵守すべきポリシーに抵触しないプロセスが定義されているか、関連する文書がどこにあるかなど迅速に確認することが可能です。

## まとめ
データを活用してビジネスや組織の変革ができない企業は生き残れないと言われており、近い将来にはデータカタログを利用したデータ資産の把握と活用が当たり前になっているはずです。

データカタログがない状態でデータ分析プロジェクトだけを進めても、これまでに述べたように変化に応じたデータ活用ができないだけではなく、情報漏えい等のクリティカルな問題が発生するリスクが高まってしまいます。まずは、データカタログを利用したデータの見える化をはじめていただくことをご検討ください。

なお、Informaticaはデータカタログにおいて重要な、以下のポイントを押さえていることが強みです。

:::note info
- オンプレミスのデータカタログ製品(Enterprise Data Catalog)で培ったノウハウと実績がある
- AI/MLを用いた自動化とデータから新たなインサイトを提供
- 多くのデータソースに対応している
- 多くのETLについてリネージュを取得できる(リネージュ：処理を解析してデータの流れを可視化したもの)
:::

以上となりますが、今後のデータ活用のご参考になれば幸いです。

## ご参考


- [インフォマティカ・データマネジメント・プラットフォーム概要](https://qiita.com/tabe77/items/cb24d22775928727bf82 "インフォマティカ・データマネジメント・プラットフォーム概要")
- [クラウド・データカタログのここがすごい、5選！！](https://qiita.com/masatoshimada-max/items/871e08ee20ed5f129cf8 "クラウド・データカタログのここがすごい、5選！！")