データマネジメントについて

データマネジメントは、データを安全かつ効率的に、あらゆるビジネス目的で利用できるようにするために、企業が実施する戦略です。

データマネジメントとは、プロセスとテクノロジーの両方を指します。プロセスは通常、その企業のデータガバナンスのフレームワークによって定義され、それぞれのプロセスは関連するソフトウェアツールを使用して実装されます。

#データマネジメント戦略とは？
データマネジメント戦略は、企業のデータインフラストラクチャのすべての側面を含みます。データマネジメント戦略には次のような要素が含まれます。

##1. インジェスト
データは、本番用データベースや信頼できるサードパーティなど、信頼できるソースから取得する必要があります。データの全履歴を記述したメタデータであるデータ・リネージは、特にデータが複数のサーバーを通過した可能性がある場合には、情報の出所をトラッキングするために不可欠です。
 
##2. アクセス
管理者は、ユーザーロールの作成を管理し、各ユーザーが適切な読み取りアクセスと書き込みアクセスを受けられるようにしなければなりません。アクセス権は組織的な問題であり、誰もが自分の仕事をするために必要な権限を持っていることを担保するために、各部門との調整が必要となります。

##3. インテグレーション
新しいデータを取得したり、既存のデータを移動したりする際には、統合レイヤーを通過しなければならない場合があります。通常、これにはマスタースキーマを作成し、それにマッチするようにデータを加工することが含まれます。この変換は、移動先のリポジトリの要件を満たしつつ、常にデータの整合性を維持する方法で行われなければなりません。

##4. メタデータ
ビッグデータセットにはメタデータスキーマが必要であり、分析の専門家が迅速にデータの探索を行えるようにします。データマネジメント戦略には、関連するメタデータを収集してインデックスを作成するための明確なプロセスが必要であり、このメタデータは必要なときに利用できるようになっていなければなりません。

##5. コンプライアンス
データマネジメント方針に影響を与えるコンプライアンス要件は数多くあります。GDPRやCCPAなどの法律では個人情報の取り扱いが規定されており、監査規則では財務情報の一部を一定期間ファイルに保存しなければならないことが定められています。データマネジメントポリシーは、すべての規制要件を反映し、企業が法律の正しい側に留まるようにしなければなりません

##6. アナリティクス 
現在、ほとんどの組織では、意思決定の源泉としてアナリティクスに大きく依存しています。データマネジメント戦略は、アナリティクスの取り組みをサポートし、利用可能なデータがタイムリーで、関連性があり、完全であることを保証しなければなりません。また、データが適切な種類のリポジトリ（例えば、部門別アナリティクス用のデータマートなど）に保管されていることも確認しなければなりません。

##7. セキュリティ
セキュリティは、データマネジメントポリシーの最初で最後のものです。いかなるユーザーやシステムでも、機密データを公開したり、不正なデータアクセスを許可してはなりません。データ管理者は、セキュリティの問題を明るみに出し、定期的な監査やテストを実施する責任があります。

##8. アーカイブ 
データは多くの場合、データウェアハウスやデータレイクなどのストレージリポジトリに移動する必要があります。データマネジメント戦略では、企業が長期的なデータストレージに対して統一されたアプローチをとることができるソリューションを推奨します。

##9. 効率性
データマネジメントには、財政的にも環境的にもコストがかかります。企業は定期的にデータマネジメント戦略を見直し、現在のアプローチが費用対効果が高く、持続可能かどうかを確認する必要があります。つまり、意思決定者が新しい代替的なデータソリューションについて常に情報を得る必要があるということです。

##10. スケーリング
データ量は急速に増加する可能性があります。例えば、モノのインターネット（IoT）とウェブサイトの分析は、どちらもどこかに保存しなければならない膨大な量のデータを生成します。ビジネスが成長するにつれて、これらのデータ量は指数関数的に増加し始める可能性があります。データマネジメント戦略は、必要に応じて簡単にスケールアップできるように計画する必要があります。
 
こうした戦略を実行するのがデータマネージャーの仕事です。データマネージャーには、チーフデータオフィサーのような役職を持つ個人もいれば、データの専門家からなるチームもあります。データマネジメントの自動化が進んでいますが、これは、ポリシーをより高いレベルで定義し、データマネジメントシステムを使って遂行することを意味します。

#データマネジメントシステムとは？
実際には、データマネジメントは複雑すぎて、手動で実施することはできません。ほとんどの企業では、これまで述べたタスクを実行する際、特に以下のタスクを実行する際にデータマネジメントシステムに頼っています。

- データインポート
- データ変換
- データアーカイブ
- セキュリティ管理
- アクセス管理

最も一般的な解決策は、手動によるデータマネジメントとローコードによるデータマネジメントの2つです。

##マニュアル・データマネジメント
データチームは、オーダーメイドのデータマネジメントシステムを一から作成します。手動でのデータマネジメントには、以下のようなタスクが含まれます。

- データマネジメント構造全体を文書化
- データ変換のためのモデルとスキーマの作成
- データウェアハウスなどのリポジトリのアーキテクチャ設計
- データをソースからターゲットに移動させるためのデータパイプラインの構築、通常はバッチスクリプトやChronジョブを使用
- 可能な場合８、APIコールを使用した追加ソースのパイプラインへの統合
- リポジトリにロードする前に、スタンドアロンのデータベース上でホストされているステージングレイヤーを介して、データ変換を適用
- 承認されたユーザー・ロールがタイムリーにデータを利用可能に
- データマネジメントシステムの監視・保守・更新
- セキュリティ問題への対応

この種のシステムは、ソフトウェアエンジニアとデータエンジニアのチームで構築することができます。リソースが非常に多く、エンジニアリングチームの無期限のサポートが必要になります。しかし、複雑な環境においては最適なソリューションになるかもしれません。

##ローコード・データマネジメント
ローコードのデータマネジメントプラットフォームは、テイラーメイドのソリューションを必要としない企業を対象としています。これらのプラットフォームを利用することで、企業はリソースに大規模な投資をすることなくデータマネジメント戦略を実行することができます。

一般的なローコードソリューションには、次のような機能があります。

- アーキテクチャ設計のためのドラッグ・アンド・ドロップ・インターフェース
- 自動化されたデータパイプライン
- 既に用意された統合機能により、プラットフォームがデータソース、データリポジトリ、分析ツールに接続することが可能
- アナリティクスの結果を表示するダッシュボード
- オンラインによるライブサポートとセキュリティ監視を含むクラウドホスティング

XplentyをはじめとするETLプラットフォームは、ほとんどのビジネスユースケースにおいてデータ処理プラットフォームとして機能します。

ローコードのデータマネジメントシステムは、スケーラビリティの問題にも対応しています。これらのプラットフォームは一般的にクラウドでホストされているため、企業はデータのニーズが大きくなっても追加の処理能力を別途用意する必要がありません。

#最後に
もし、データマネジメントやデータ統合に関連する記事をお探しの場合、ぜひ、**[Xplentyのブログページ](https://www.xplenty.com/jp/blog/)**もチェックしてみてください。