探索的データ解析

探索的データ解析（たんさくてきデータかいせき、、EDA）とは、データセットを解析してその主な特徴を要約する、統計学における手法であり、しばしばやその他のデータ可視化手法を使用する。統計モデルは使っても使わなくてもよいが、EDAは主に形式的なモデル化を超えてデータが何を語ってくれるかを見るためのもので、それによって従来の仮説検定と対比される。探索的データ解析は、1970年以降、ジョン・テューキーによって推進されており、統計学者に対して、データを探索し新しいデータ収集や実験につながるような仮説を立てることを奨励している。EDAは初期データ解析（IDA）とは異なるもので、IDAは、モデル適合や仮説検定に必要な前提条件を確認したり、欠損値の処理や、必要に応じて変数を変換を行うことに焦点を絞っている。EDAにはIDAが含まれる。
概要.
テューキーは1961年にデータ解析の定義を、『データを分析するための手順、その手順による結果を解釈する技術、分析をより容易に、正確または精密にするためのデータ収集の計画方法、そしてデータ分析に適用される（数理）統計学のすべての手続きと結果である。』と説明した。
EDAに対するテューキーの擁護は、特にベル研究所のS言語のような、の開発を後押しした。プログラミング言語Sは、後に、S-PLUSやRシステムに影響を与えた。この一連の統計計算環境は、大幅に改善された動的な可視化機能を備えており、統計学者は、さらに研究する価値のあるデータの異常値、傾向、パターンを識別することができた。
テューキーのEDAは、における他の2つの発展、すなわちとノンパラメトリック統計学に関連しており、これらはいずれも統計モデルの定式化の誤りに対する統計的推測の感度を低減させるものであった。テューキーは、数値データについて、（2つの極値（最大と最小）、中央値、および四分位値）の使用を推進した。なぜなら、中央値と四分位値はであり、平均値と標準偏差とは異なり、すべての分布に対して定義され、さらに、四分位値と中央値は従来の要約（平均値と標準偏差）よりも、歪んだ分布や裾の重い分布に対してよりロバスト（堅牢）だからである。S、S-PLUS、Rの各パッケージには、モーリス・クヌーイュとテューキーのや、のブートストラップ法など、ノンパラメトリックで（多くの問題に対して）頑健な、リサンプリング統計を用いたルーチンが含まれている。
探索的データ解析、ロバスト統計、ノンパラメトリック統計、および統計プログラミング言語の開発により、統計学者による科学的および工学的な問題への取り組みが容易になった。このような問題には、ベル研究所に関係する半導体の製造と通信ネットワークの理解が含まれている。これらの統計学の発展はすべてテューキーが唱えたもので、統計的仮説検定に関する解析理論、特に指数型分布族に対するラプラシアン強調を補完するように設計された。
展開.
1977年、ジョン・W・テューキーは "Exploratory Data Analysis"（探索的データ解析）という本を著した。テューキーは、統計学においては統計的仮説検定（確証的データ解析）が重視されすぎており、データを用いて検定すべき仮説を示唆することにもっと重点を置くべきと主張した。特に彼は、2つの種類の分析を混同して同じデータセットに適用すると、をする際に内在する問題により、系統的バイアスにつながる可能性があると考えた。
EDAの目的は次のとおりである。
多くのEDA技術はデータマイニングに取り入れられている。それらはまた、統計的思考を導入する方法として、若い学生にも教えられている。
技術とツール.
EDAに有効なツールは多数あるが、EDAの特徴は特定の技術よりもその姿勢に見られる。
EDAで使われる代表的なはつぎのとおりである。
次元削減：
代表的な定量的手法：
歴史.
EDAのアイデアの多くは、以前の著者にさかのぼることができる。たとえば：
オープン大学の講座「"Statistics in Society（"社会における統計学）」（MDST 242）では、上記の考え方を取り入れ、の研究と統合し、コイン投げやによる統計的推論を導入した。
事例.
EDAから得られる知見は、主要な分析課題と（統計学的に）関係しない。説明のために、Cookらの例で考えてみよう。この分析課題は、食事会のパーティーがウェイターに渡すチップ額を最もよく予測する変数を見つけることである。この課題のために収集されたデータで利用可能な変数は、チップ額、合計請求額、支払い者の性別、喫煙／禁煙席、時間帯、曜日、食事会の規模である。主要な分析課題は、チップ率を応答変数とする回帰モデルの適合によって取り組まれる。その適合モデルは、
であり、食事会の人数が1人増える（請求額が高くなる）と、チップ率は平均で1%減少することを表す。
ただし、このデータを調べてみると、このモデルで説明できない別の興味深い特徴があることが明らかになる。
この実験は、こうした他の傾向を調査するように設計されたわけではないが、プロットから学べることは回帰モデルで示されるものとは異なっている。データを探索することによって発見されたパターンは、事前に予想されていなかったかもしれないチップに関する仮説を示唆している。それは、仮説を正式に述べ、新しいデータを収集することによって検証される、興味深い追跡実験につながる可能性がある。