データ分析基盤（概念モデル）におけるソースレイヤー

## 概要
データ分析基盤（概念モデル）におけるソースレイヤーに関する整理を実施します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/c83466a8-adab-5bdc-d656-5f32f89af663.png)

本記事にて、下記の記事におけるソースレイヤーの詳細を記載します。

- [最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～](https://qiita.com/manabian/private/e689daf5cc006eced737)

## 定義
### ソースレイヤーの定義
データ分析基盤がソースとするデータを保持したシステム、および、データストアを保持した層。

### コンポーネント詳細
| 番号 | データ基盤におけるレイヤー                    | コンポーネント名                                             | 説明                                                         | サービス例                                                   |
| ---- | --------------------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 1    | ソースレイヤー                                | 業務システム                                                 | 業務を実施するために利用するシステム。                       | SAP、Dynamics                                                |
| 2    | ソースレイヤー                                | マスターデータ管理システム（MDM）                            | マスタデータの値と識別子の制御によるシステム間で一貫した利用を行うための運用を支援するシステム。データ分析基盤においては、管理されたマスターデータと参照データによる適合ディメンションの利用が可能となる。マスターデータと参照データを別のデータストアから連携することもある。 | Informatica MDM                                              |
| 3    | ソースレイヤー                                | ストレージサービス                                           | データをファイルとして保存できるサービス。                   | AWS S3、Azure  Storage、BOX、SharePoint Onlineドキュメント   |
| 4    | ソースレイヤー                                | メッセージング                                               | メッセージを一方向または双方向で送受信するサービス。利用される通信プロトコルには、HTTP、MQTT、AMQPがある。 | Fluentd                                                      |
| 5    | ソースレイヤー                                | データ仮想化サービス                                         | データストアやサービスに対して、データの抽出、変換、統合を仮想的に実行するサービス。 | denodo                                                       |

## 要求要件
### 業務システム
データ分析基盤での管理対象がであるため、特になし。

### マスターデータ管理システム（MDM）
データ分析基盤での管理対象がであるため、特になし。

### ストレージサービス
データ分析基盤での管理対象がであるため、特になし。

### メッセージング
データ分析基盤での管理対象がであるため、特になし。

### データ仮想化サービス
データ分析基盤での管理対象がであるため、特になし。

## 参考情報
### 業務システム
特になし。

### マスターデータ管理システム（MDM）
DAMAが下記のように定義しており、本概念モデルにおける認識と相違はあまりないです。

>   Master Data Management (MDM) 
>   Processes that control management of master data  values to enable consistent, shared, contextual use across systems, of the most accurate, timely, and relevant version of truth about essential business en-tities. (DAMA-DMBOK Guide, 1st edition, pg. 171.) 

>   マスターデータ管理（MDM）
>   マスターデータ値の管理を制御して、システム間で一貫性のある共有されたコンテキスト使用を可能にし、重要なビジネスエンティティに関する最も正確でタイムリーで関連性のあるバージョンの真実を実現するプロセス。 （DAMA-DMBOKガイド、第1版、171ページ）

引用元：The DAMA Dictionary of Data Management, 2nd Edition

### ストレージサービス
特になし

### メッセージング
ガートナーにて下記のように定義されているが、モバイルデバイス以外からのデータ受信を想定している点で本概念モデルと相違点がある。

>   Messaging
>   Messaging refers to an alphanumeric or graphic one-way or two-way service that sends, receives and displays messages on a mobile device.

下記は機械翻訳結果。

>   メッセージング
>   メッセージングとは、モバイル デバイスでメッセージを送受信および表示する、英数字またはグラフィックの一方向または双方向のサービスを指します。

引用元：[Gartner Glossary Messaging](https://www.gartner.com/en/information-technology/glossary/messaging)



### データ仮想化サービス
MDMとしてDAMAが下記のように定義しており、本概念モデルにおける認識と相違はあまりないです。
>   データ仮想化サーバーはデータ抽出、変換、統合を仮想的に実行する。

引用元：DMBOK 2nd

## 参考資料
- [DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition](https://www.amazon.co.jp/DAMA-DMBOK-Data-Management-Body-Knowledge/dp/1634622340)
- [データマネジメント知識体系ガイド 第二版](https://www.amazon.co.jp/%E3%83%87%E3%83%BC%E3%82%BF%E3%83%9E%E3%83%8D%E3%82%B8%E3%83%A1%E3%83%B3%E3%83%88%E7%9F%A5%E8%AD%98%E4%BD%93%E7%B3%BB%E3%82%AC%E3%82%A4%E3%83%89-%E7%AC%AC%E4%BA%8C%E7%89%88-DAMA-International/dp/4296100491/ref=pd_lpo_14_t_0/355-0270959-3880927?_encoding=UTF8&pd_rd_i=4296100491&pd_rd_r=6532e6ec-4ebf-491f-8bc4-e1ea0ff00bd6&pd_rd_w=1rgNg&pd_rd_wg=XtJYk&pf_rd_p=4b55d259-ebf0-4306-905a-7762d1b93740&pf_rd_r=EQJ9BB6JE81405JYZVM7&psc=1&refRID=EQJ9BB6JE81405JYZVM7)
- [The DAMA Dictionary of Data Management, 2nd Edition: Over 2,000 Terms Defined for IT and Business Professionals (English Edition)](https://www.amazon.co.jp/DAMA-Dictionary-Data-Management-Professionals-ebook/dp/B01BT0BUCG/ref=sr_1_2?dchild=1&qid=1602683933&refinements=p_27%3ADAMA+International&s=english-books&sr=1-2&text=DAMA+International)
- [Gartner Glossary](https://www.gartner.com/en/information-technology/glossary/business-intelligence-bi)