意外に知られていない? データマネジメントの基本「整然データ」の概念

# 「整然データ」の概念が意外に知られていない?

* インフォマティカ・ジャパン株式会社（インフォマティカ）のNIEKAWAと申します。
* 弊社は、法人・団体のお客さまに「 __データマネジメント__ 」（投資をして得た財産としてのデータの価値を発揮させる活動 / DAMA International 2017＝2018: 40）のためのソリューションを提供しています。
* 近年ますます「データマネジメント」に関心がある方々が増えてきていると認識しています。
* しかし先日、あるパートナー企業の方と仕事をしていて、データベース技術者でない方々に「データマネジメント」の基本にある概念が意外に知られていないのでは、と思う節がありました。
* そこで本記事では「データマネジメント」の基本になっている概念の一例として「 __整然データ__ 」を紹介させていただきます。
* 「もう知っているよ」という方は読み飛ばしてください。

# 「整然データ」の概念

* 「整然データ」 _tidy data_ とは（主にコンピューターによる）分析が容易になるように構造を整理したデータをいいます（Wickham 2014: 1）。
* 従来「データベース形式」「リスト形式」（田中 2021: 138）などの概念があったところ、データ科学者 data scientist のハドリー・ウィッカム氏 Dr. Hadley Wickham が関連する概念を整理して提唱し、普及したようです。
* 「整然データ」には下記の四つの特徴があります（注1）（西原 2017: 449）。
    * (1) 個々の値 value が一つのセル cell を成す。
    * (2) 個々の変数 variable が一つの列 column を成す。
    * (3) 個々の観測 observation が一つの行 row を成す。
    * (4) 個々の観測ユニットの類型 type of observational unit が一つの表 table を成す。
* 私は(3)の「観測」がピンときていませんでしたが、「下の行に順番に書き足していけるような構造」と理解することにしています。
* ごく単純な例としては、次のようなデータです。

![スライド1.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2311618/006c6c20-cc13-173f-3a15-8b105bd0be4f.png)

* 対義語は「 __雑然データ__ 」 _messy data_ です。
* ごく単純な例としては、次のようなデータです。

![スライド2.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2311618/84ba4590-b6b8-6fde-b2cf-8fbb75f83e72.png)

* 「整然データ」は、コンピューターに分かりやすい一方で、人間に分かりにくい場合があります。
* 例えば、データを集計する基本的な形である __分割表__ （クロス集計表）は、行に変数の意味を持たせるため、「整然データ」ではなく「雑然データ」に分類されます（馬場 2018: 118-9）。
* データベース技術に詳しい方には、関係データベース relational database の __正規化__ normalization を連想する方も多いかと思いますが、とりあえず「両者は異なった概念」（西原 2017: 453）、「整然データ」は正規化よりも基本的な概念と捉えてよいと考えます。

# 「整然データ」の先にあるデータ利活用

* 「整然データ」は、コンピューターによる分析が容易であり、「整然データ」の整備が「データマネジメント」の一角を占めているのは間違いありません。
* 大規模なシステムを用いない、表計算ソフトウエアのMicrosoft Excelや、独自に開発したPythonスクリプトで十分な業務でも、最初の入力を「整然データ」にしておくと、後の計算、出力の工程で分析ツールを最大限に活用でき、データの追加にも対応しやすくなります（田中 2021: 137; 馬場 2018: 119）。
* しかし、上記の「雑然データ」の例のように、業務のガバナンスが行き届かないとつい「整然データ」を逸脱した入力をしてしまいます。
* そのため、組織全体でデータを利活用するようになると「 __データ品質__ 」が問題になってきます。
* 「データマネジメント」の事実上の標準である _DAMA-DMBOK2_ でDAMA Internationalは __「データ品質」が低下していくことを前提に__ の八つの評価軸で「データ品質」を評価するよう提案しており、うち「一貫性」（類型が一貫しているか）と「整合性」（重複や欠落がないか）とは、データが整然とした状態を保っているかに関わっています（DAMA International 2017＝2018: 491-2）。
* 「データ品質」については、 [弊社の2021年Advent Calendar](https://qiita.com/advent-calendar/2021/informatica) の後続の記事もご覧ください。

# ［注］

* （注1）ウィッカム氏は原著論文（2014: 4）で(2)～(4)を挙げていますが、西原史暁（にしはら・ふみあき）氏の解説（2017: 449）によると、ウィッカム氏は2017年の入門書で(1)を加えているそうです。

# ［文献］

* 馬場真哉, 2018,『Pythonで学ぶあたらしい統計学の教科書』翔泳社. https://www.shoeisha.co.jp/book/detail/9784798155067
* DAMA International, 2017, _DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)_ , Basking Ridge: Technics Publications.（DAMA日本支部・Metafindコンサルティング株式会社訳, 2018,『データマネジメント知識体系ガイド 第二版』日経BP社.） https://www.nikkeibp.co.jp/atclpubmkt/book/18/270160/
* 西原史暁, 2017,「整然データとは何か」『情報の科学と技術』67(9): 448-53. https://www.jstage.jst.go.jp/article/jkg/67/9/67_448/_article/-char/ja
* 田中亨, 2021,『Excelの本当に正しい使い方』日経BP. https://www.nikkeibp.co.jp/atclpubmkt/book/21/283960/
* Wickham, Hadley, 2014, “Tidy Data,” _Journal of Statistical Software_ , 59(10): 1-23. https://www.jstatsoft.org/article/view/v059i10
    * 西原氏が https://id.fnshr.info/2017/01/09/trans-tidy-data/ で日本語訳を公開しています。