探索的データ解析
Exploratory Data Analysis. Addison-Wesley. ISBN 978-0-201-07616-5. https://archive.org/details/exploratorydataa00tuke_0
Velleman, P. F.; Hoaglin, D. C. (1981). Applications, Basics and Computing of Exploratory Data Analysis. ISBN 978-0-87150-409-8. https://archive.org/details/applicationsbasi00vell
Young, F. W. Valero-Mora, P. and Friendly M. (2006) Visual Statistics: Seeing your data with Dynamic Interactive Graphics. Wiley ISBN 978-0-471-68160-1
Jambu M. (1991) Exploratory and Multivariate Data Analysis. Academic Press ISBN 0123800900
S. H. C. DuToit, A. G. W. Steyn, R. H. Stumpf (1986) Graphical Exploratory Data Analysis. Springer ISBN 978-1-4612-9371-2
この現象は、ガソリンなど別の種類の買い物にも共通している。
チップと請求額の散布図。直線より下の打点は、(その請求額に対して)予想より低いチップに対応し、直線より上の打点は、予想より高いチップに対応する。読者は、締まって隙間のない正の線形関連が見られると予想したかもしれないが、チップの額によってばらつきがあることがわかる。特に、左上よりも右下の方が直線から遠く離れた打点が多く、非常に気前のいい客よりも非常に財布の紐が堅い客の方が多いことを示している。
支払い者の性別と喫煙席の有無で区切った、チップ額対会計額の散布図を示す。喫煙席の方が、渡すチップにより多くのばらつきがある。男性は(少数の)より高い請求額を支払う傾向があり、女性の非喫煙者は非常に一貫したチップを支払う傾向がある(サンプルに示された3つの顕著な例外を除く)。
この実験は、こうした他の傾向を調査するように設計されたわけではないが、プロットから学べることは回帰モデルで示されるものとは異なっている。データを探索することによって発見されたパターンは、事前に予想されていなかったかもしれないチップに関する仮説を示唆している。それは、仮説を正式に述べ、新しいデータを収集することによって検証される、興味深い追跡実験につながる可能性がある。
EDAから得られる知見は、主要な分析課題と(統計学的に)関係しない。説明のために、Cookらの例で考えてみよう。この分析課題は、食事会のパーティーがウェイターに渡すチップ額を最もよく予測する変数を見つけることである。この課題のために収集されたデータで利用可能な変数は、チップ額、合計請求額、支払い者の性別、喫煙/禁煙席、時間帯、曜日、食事会の規模である。主要な分析課題は、チップ率を応答変数とする回帰モデルの適合によって取り組まれる。その適合モデルは、
(チップ率) = 0.18 - 0.01 × (パーティーの規模)
であり、食事会の人数が1人増える(請求額が高くなる)と、チップ率は平均で1%減少することを表す。
ただし、このデータを調べてみると、このモデルで説明できない別の興味深い特徴があることが明らかになる。
チップ額のヒストグラム。ここでビン(箱)は1ドル刻み。値の分布は、右に偏った単峰性であり、小さく非負の量の分布でよく見られる。
このチップ額のヒストグラムは0.10ドル刻みのビンを用いた。興味深い現象が見られる。ピークは、1ドルと半ドルの金額で発生する。これは、顧客が概数(端数のない数)をチップとして選ぶことに起因している。