統計学の歴史
パースの実験は心理学と教育学の他の研究者に大きく影響を与え、1800年代に、研究室や専門書で行われる無作為に行う実験での調査法を発展させた。パースはまた、1876年に回帰モデルの最適計画(英語版)についての最初の英語の本を出版した。多項式回帰の最適計画で先駆的なものは、1815年にジョゼフ・ディエズ・ジョルゴンヌ(英語版)が提示したものである。1918年にキアスティーネ・スミス(英語版)は、6次(以下の)多項式についての最適計画を発表した。
計画における実験の繰り返しは、前の実験結果に依存しうり、実験を中止する可能性がある。このことは、エイブラハム・ウォールドの論文 "sequential tests of statistical hypotheses"の文脈で見出された。逐次計画(英語版)や適応的デザイン(英語版)は最適化が可能である。逐次計画の具体的な型は「二腕バンディット問題」である(これは多腕バンディット問題に一般化される)。これの初期の功績は、1952年のハーバート・ロビンズ(英語版)によるものである。
"Design of experiments"(DOE、実験計画法)という語は、ロナルド・フィッシャーの初期の統計学の研究に由来する。アネシュ・ハル(英語版)はフィッシャーを「現代の統計科学の基礎をほぼ独力で創った天才」と評した。フィッシャーは実験計画法の原理を開始し、「分散分析」の研究に腐心した。さらに重要と考えられることは、フィッシャーは新しい統計手法を開発し始め、実際のデータ分析に体系的なアプローチを施したことである。
彼の著書 "Natural and Political Observations Made upon the Bills of Mortality" では死亡率の分析を行い、初等統計学的に基づいてロンドンの人口を推定した。彼は、ロンドンでは年間で約13,000の葬儀があり、11家族中3名の割合で亡くなっていることを知っていた。彼は小教区の記録から、世帯平均人数は8名と推定し、そこからロンドンの人口はおよそ384,000名と割り出した。これは比推定量(英語版)が初めて使用された例として知られる。1802年にラプラスは、同様の方法でフランスの人口を推定した。
統計学の適用範囲は元々は統治に有用なデータに限られていたが、その守備範囲は19世紀の間に、科学や商学の多くの分野に広がって行った。この分野の数学的基礎は、16世紀になって新たに拓かれた確率論によって促された。その初期の確率論を拓いたのは、ジェロラモ・カルダーノ、ピエール・ド・フェルマー、ブレーズ・パスカルである。クリスティアーン・ホイヘンス(1657年)は、この分野を科学的にとらえた最も初期の科学者として知られる。ヤコブ・ベルヌーイは『推測術(英語版)』(死後の1713年に出版)で、アブラーム・ド・モアブルは『偶然の理論(英語版)』(1718年)で、この分野を数学の一分野として扱った。ベルヌーイは著書で、確実に起こることを1で表し、確率を0から1の間の数で表すという考えを紹介した。
ネイマンは「準ベイズ統計学」の研究を始め、その後信頼区間(頻度主義統計学での重要な手法)を開発した彼は次を述べている:「ベイズ主義、事前分布を考慮に入れずに理論全体を構築した方が、より明解になる」Bayesian という語は1950年頃に登場し、1960年代までに、頻度主義統計学に限界と不満を感じている者に好まれるようになった。
20世紀にラプラスの発想はさらに2つの方向に発展し、ベイズ統計学の実践に「客観性」と「主観性」の流れをもたらした。客観主義の流れでは、統計分析は想定されたモデルと分析されたデータのみを依りどころとする。そこでは主観的な判断をする必要はない。対照的に、「主観主義者」の統計家は、一般の場合における分析は完全に客観的であることの可能性を否定している。
ラプラスの発想のさらなる発展の中で、主観的な発想は客観主義者の立場より前からある。「確率」は「命題における主観的な信念の度合い」として解釈されるべきである、という発想は、例えば、1920年代初期にジョン・メイナード・ケインズによって提唱されている。この発想はさらに、ブルーノ・デ・フィネッティ(イタリア、Fondamenti Logici del Ragionamento Probabilistico, 1930)、フランク・ラムゼイ(ケンブリッジ、The Foundations of Mathematics, 1931)に取り入れられた。このアプローチは、統計的確率についての問題点を解決するために考案された。これはラプラスの客観的なアプローチより前のことであった。主観的なベイズ統計学の手法は、1950年代に Leonard Jimmie Savage によってさらに発展し普及した。