探索的データ解析
探索的データ解析(たんさくてきデータかいせき、exploratory data analysis、EDA)とは、データセットを解析してその主な特徴を要約する、統計学における手法であり、しばしば統計グラフィックスやその他のデータ可視化手法を使用する。統計モデルは使っても使わなくてもよいが、EDAは主に形式的なモデル化を超えてデータが何を語ってくれるかを見るためのもので、それによって従来の仮説検定と対比される。探索的データ解析は、1970年以降、ジョン・テューキーによって推進されており、統計学者に対して、データを探索し新しいデータ収集や実験につながるような仮説を立てることを奨励している。EDAは初期データ解析(IDA)とは異なるもので、IDAは、モデル適合や仮説検定に必要な前提条件を確認したり、欠損値の処理や、必要に応じて変数を変換を行うことに焦点を絞っている。EDAにはIDAが含まれる。
テューキーは1961年にデータ解析の定義を、『データを分析するための手順、その手順による結果を解釈する技術、分析をより容易に、正確または精密にするためのデータ収集の計画方法、そしてデータ分析に適用される(数理)統計学のすべての手続きと結果である。』と説明した。
EDAに対するテューキーの擁護は、特にベル研究所のS言語のような、計算機統計学の開発を後押しした。プログラミング言語Sは、後に、S-PLUSやRシステムに影響を与えた。この一連の統計計算環境は、大幅に改善された動的な可視化機能を備えており、統計学者は、さらに研究する価値のあるデータの異常値、傾向、パターンを識別することができた。
テューキーのEDAは、統計理論における他の2つの発展、すなわちロバスト統計学とノンパラメトリック統計学に関連しており、これらはいずれも統計モデルの定式化の誤りに対する統計的推測の感度を低減させるものであった。テューキーは、数値データについて、五数要約Five-number summary(2つの極値(最大と最小)、中央値、および四分位値)の使用を推進した。なぜなら、中央値と四分位値は経験分布関数であり、平均値と標準偏差とは異なり、すべての分布に対して定義され、さらに、四分位値と中央値は従来の要約(平均値と標準偏差)よりも、歪んだ分布や裾の重い分布に対してよりロバスト(堅牢)だからである。S、S-PLUS、Rの各パッケージには、モーリス・クヌーイュとテューキーのジャックナイフ・リサンプリング法や、ブラッドレイ・エフロンのブートストラップ法など、ノンパラメトリックで(多くの問題に対して)頑健な、リサンプリング統計を用いたルーチンが含まれている。
探索的データ解析、ロバスト統計、ノンパラメトリック統計、および統計プログラミング言語の開発により、統計学者による科学的および工学的な問題への取り組みが容易になった。このような問題には、ベル研究所に関係する半導体の製造と通信ネットワークの理解が含まれている。これらの統計学の発展はすべてテューキーが唱えたもので、統計的仮説検定に関する解析理論、特に指数型分布族に対するラプラシアン強調を補完するように設計された2022年5月。
1977年、ジョン・W・テューキーは Exploratory Data Analysis(探索的データ解析)という本を著した。テューキーは、統計学においては統計的仮説検定(確証的データ解析)が重視されすぎており、データを用いて検定すべき仮説を示唆することにもっと重点を置くべきと主張した。特に彼は、2つの種類の分析を混同して同じデータセットに適用すると、データから示唆される仮説検定をする際に内在する問題により、系統的バイアスにつながる可能性があると考えた。
EDAの目的は次のとおりである。
データから予期しない発見を可能にする。
観察された現象の原因に関する仮説を提案する。
統計的推測の基礎となる仮定を評価する。
適切な統計ツールや技術の選択を支援する。
サンプリング調査や実験を通じて、さらなるデータ収集の基礎を提供する。
多くのEDA技術はデータマイニングに取り入れられている。それらはまた、統計的思考を導入する方法として、若い学生にも教えられている。
EDAに有効なツールは多数あるが、EDAの特徴は特定の技術よりもその姿勢に見られる。
EDAで使われる代表的な統計グラフィックスはつぎのとおりである。
ランチャート(実行流れ図)
散布図(2D/3D)
オッズ比 Odds ratio
値変遷グラフ(ホライゾングラフ)
PhenoPlot、チャーノフの顔などのグリフベースの可視化手法。
グランドツアー、ガイドツアー、マニュアルツアーなどの投影手法。
次元削減:
主成分分析(PCA)
非線形次元削減(NLDR)
代表的な定量的手法:
EDAのアイデアの多くは、以前の著者にさかのぼることができる。たとえば:
フランシス・ゴルトンは順序統計量と分位数を力説した。
アーサー・リヨン・ボウリーは、ステムプロットと五数要約の前身を使用した(ボウリーは実際には、中央値とともに、極値、十分位、四分位を含む「七数要約」を使用していたElementary Manual of Statistics (第3版, 1920、p. 62)を参照。彼は「最大値と最小値、中央値、四分位、2つの十分位」を「七位置」として定義した)。
アンドリュー・S・C・エーレンバーグはデータ削減の原理を明確にした(同名の彼の本を参照)。
オープン大学の講座「Statistics in Society(社会における統計学)」(MDST 242)では、上記の考え方を取り入れ、ゴットフリート・E・ネーターの研究と統合し、コイン投げや中央値検定による統計的推論を導入した。
EDAから得られる知見は、主要な分析課題と(統計学的に)関係しない。説明のために、Cookらの例で考えてみよう。この分析課題は、食事会のパーティーがウェイターに渡すチップ額を最もよく予測する変数を見つけることである。この課題のために収集されたデータで利用可能な変数は、チップ額、合計請求額、支払い者の性別、喫煙/禁煙席、時間帯、曜日、食事会の規模である。主要な分析課題は、チップ率を応答変数とする回帰モデルの適合によって取り組まれる。その適合モデルは、
(チップ率) = 0.18 - 0.01 × (パーティーの規模)
であり、食事会の人数が1人増える(請求額が高くなる)と、チップ率は平均で1%減少することを表す。
ただし、このデータを調べてみると、このモデルで説明できない別の興味深い特徴があることが明らかになる。
この実験は、こうした他の傾向を調査するように設計されたわけではないが、プロットから学べることは回帰モデルで示されるものとは異なっている。データを探索することによって発見されたパターンは、事前に予想されていなかったかもしれないチップに関する仮説を示唆している。それは、仮説を正式に述べ、新しいデータを収集することによって検証される、興味深い追跡実験につながる可能性がある。
JMP (統計ソフトウェア)- SAS InstituteのEDAパッケージ。
KNIME - Eclipseをベースとしたオープンソースのデータ探索プラットフォーム。
Minitab - 産業や企業で広く使われているEDAおよび一般的な統計パッケージ。
Orange - オープンソースのデータマイニングおよび機械学習ソフトウェアスイート。
Python - データマイニングや機械学習で広く利用されているオープンソースのプログラミング言語。
R - 統計計算およびグラフィックスのためのオープンソースのプログラミング言語。Pythonとともに、データサイエンスで最も人気のある言語の1つ。
TinkerPlots - 小学校高学年から中学生向けのEDAソフトウェア。
Weka - ターゲット射影追跡などの可視化およびEDAツールを含むオープンソースのデータマイニングパッケージ
Visplore - 大規模な時系列データのためのEDAソフトウェア
アンスコムの例 - 探索の大切さを示す
データドレッジング- 統計的に有意な結果を得た結果だけを報告する、データ分析の悪用
予測的分析 - 現在および過去の事実をもとに、将来または未知の出来事について予測する分析手法
構造化データ解析 (統計学) - 与えられたデータに適合する構造を探索し、比較、予測、操作などに用いる分析手法
構成頻度分析 - 偶然に予想されるよりも著しく多い、または少ないパターンを検出し、構造に関する洞察を得る分析手法
記述統計量 - 標本の分布の特徴を定量的に記述し要約する統計学的な値
Andrienko, N & Andrienko, G (2005) Exploratory Analysis of Spatial and Temporal Data. A Systematic Approach. Springer. 3-540-25994-5
Leinhardt, G., Leinhardt, S., , Review of Research in Education, Vol. 8, 1980 (1980), pp. 85–157.
Theus, M., Urbanek, S. (2008), Interactive Graphics for Data Analysis: Principles and Examples, CRC Press, Boca Raton, FL, 978-1-58488-594-8
Young, F. W. Valero-Mora, P. and Friendly M. (2006) . Wiley 978-0-471-68160-1
Jambu M. (1991) . Academic Press 0123800900
S. H. C. DuToit, A. G. W. Steyn, R. H. Stumpf (1986) .  Springer 978-1-4612-9371-2