データ解析
著者のジョナサン・クーメイ(Jonathan Koomey)は、定量データを理解するための一連のベストプラクティスを推奨している。これらは次のとおりである。
解析を行う前に、生データに異常がないかをチェックする。
重要な計算を再実行する。たとえば、計算式に基づくデータ列を検証する。
総計が小計の合計であることを確認する。
時間経過に伴う比率など、予測可能な形で関連すべき数値間の関係を確認する。
数字を正規化して比較を容易にする。たとえば、1人当たりの金額、GDPとの比較、または指標値として基準年と比較して分析する。
自己資本利益率に対するデュポン分析(英語版)のように、結果を導いた要因を分析し、問題を構成要素に分解する。
解析者は通常、調査対象となる変数について、平均、中央値、標準偏差などの記述統計量を求める。また、個々の値が平均値の周囲にどのように集まっているかを確認するために、主要変数の分布を分析することもある。
マッキンゼー・アンド・カンパニーのコンサルタントは、定量的な問題を構成要素に分解する手法をMECE原則と名付けた。各層は、その構成要素に分解することができる。各々の部分構成要素は互いに排他的(英語版)であり、合わせるとその上位層にならなければならない。この関係は「相互に排他的な項目による完全な全体集合」またはMECE(Mutually Exclusive and Collectively Exhaustive)と呼ばれる。たとえば、利益の定義は、総収入と総費用に分解することができる。
効果的な分析においては、質問に答えたり、結論や正式な意見を裏付けたり、仮説を検証するために、関連する事実を入手する必要がある。事実の定義は「反証できないこと」であり、分析に関わるすべての人がその事実に同意できるという意味である。たとえば、2010年8月、米国議会予算局(英語版)(CBO)は、2001年と2003年のブッシュ減税を2011年-2020年までの期間に延長すると、約3兆3千億ドルの国家債務が追加されると試算した。誰もがCBOの報告を調べることができ、実際そうだと同意するはずである。これは事実である。人がCBOに賛成するか反対するかは、その人自身の意見である。
別の例として、公開会社の監査人は、上場企業の財務諸表が「すべての重要な点において公正に記載されている」かどうか正式な意見を導き出さなければならない。そのためには、事実データや証拠を広範に分析して、意見を裏付ける必要がある。事実から意見へと飛躍するとき、その意見が誤っている可能性は常にある。
Adèr, H.J. & Mellenbergh, G.J. (with contributions by D.J. Hand) (2008). Advising on Research Methods: A Consultant's Companion. Huizen, the Netherlands: Johannes van Kessel Publishing. ISBN 978-90-79418-01-5(英語)
Chambers, John M.; Cleveland, William S.; Kleiner, Beat; Tukey, Paul A. (1983). Graphical Methods for Data Analysis, Wadsworth/Duxbury Press. ISBN 0-534-98052-X(英語)
Fandango, Armando (2017). Python Data Analysis, 2nd Edition. Packt Publishers. ISBN 978-1787127487(英語)
Juran, Joseph M.; Godfrey, A. Blanton (1999). Juran's Quality Handbook, 5th Edition.
解析(analysis)とは、全体を構成要素に分割し、個々を考察することである。データ解析とは、生データ(英語版)を入手し、それを利用者の意思決定に役立つ情報に変換するプロセス(英語版)である。データ(data)は、質問に答えたり、仮説を検証したり、理論を反証するために収集され、解析される。
統計学者のジョン・テューキーは、1961年にデータ解析を次のように定義した。
「データを解析する手順、その結果を解釈するための技術、解析をより容易に、正確で、精密にするためのデータ収集の計画方法、およびデータの解析に適用されるすべての機械と(数学的)統計学の結果」。
以下に説明するように、区別することができるいくつかの段階がある。各段階は反復的(英語版)であり、後の段階からのフィードバックが、前の段階での追加作業につながることがある。データマイニングで使用されるCRISPフレームワーク(英語版)にも同様のステップがある。