統計学の歴史
この時点での他の重要な貢献には、ピアソンの積率相関係数を有用に拡張した、スピアマンの順位相関係数がある。イギリスの統計家ウィリアム・ゴセットは、本名よりもペンネーム "Student"(スチューデント)としての方が知られている。彼は、標本が小さく、母標準偏差が未知の場合に有用な連続確率分布である、t分布を導入した。
エゴン・ピアソンとイェジ・ネイマンは、第二種過誤、検出力(検定力)、信頼区間の概念を導入した。1934年にネイマンは、無作為層化抽出法は一般に、有意抽出法よりも良い推定方法であることを示した。
1747年に、HM Bark Salisbury(船)で外科医として勤務していたジェームズ・リンドは、壊血病の治療法を開発するために、よく管理された実験を行った。この研究では、彼の被験者の症例は「自分の症状と同じ位のを持っていた」つまり、彼は無関係な変動を減らすために入場要件を厳格にした。男性は組になり、系統誤差を減らすようにした(「ブロッキング」)。現代の観点から大きく欠けているのは、治療する被験者をランダムに割り当てることである。
リンドは今日「一時一事」("one-factor-at-a-time" (OFAT)) を実行した実験者としてしばしば説明される。one-factor-at-a-time (OFAT) の実験が同様に実施された例として、1840年代にロザムステッド農業試験場でのジョン・ベネット・ローズによる、小麦に最適な無機肥料の決定がある。
統計的推測の理論は、チャールズ・サンダース・パースの『科学の論理の図解』(Illustrations of the Logic of Science、1877-1878)と『確率的推論の理論』(A Theory of Probable Inference、1883)によって開発された。2つの著書では、無作為性に基づいた統計的推測重要性を強調している。別の研究では、パースは盲検・反復測定デザインを適用して、ボランティアを無作為に割り当て、体重を識別する能力を評価した。
パースの実験は心理学と教育学の他の研究者に大きく影響を与え、1800年代に、研究室や専門書で行われる無作為に行う実験での調査法を発展させた。パースはまた、1876年に回帰モデルの最適計画についての最初の英語の本を出版した。多項式回帰の最適計画で先駆的なものは、1815年にジョゼフ・ディエズ・ジョルゴンヌが提示したものである。1918年にキアスティーネ・スミスは、6次(以下の)多項式についての最適計画を発表した。
計画における実験の繰り返しは、前の実験結果に依存しうり、実験を中止する可能性がある。このことは、エイブラハム・ウォールドの論文 "sequential tests of statistical hypotheses"の文脈で見出された。逐次解析や最小化法 (臨床試験)は最適化が可能である。逐次計画の具体的な型は「二腕バンディット問題」である(これは多腕バンディット問題に一般化される)。これの初期の功績は、1952年のハーバート・ロビンズによるものである。
"Design of experiments"(DOE、実験計画法)という語は、ロナルド・フィッシャーの初期の統計学の研究に由来する。アネシュ・ハルはフィッシャーを「現代の統計科学の基礎をほぼ独力で創った天才」と評した。フィッシャーは実験計画法の原理を開始し、「分散分析」の研究に腐心した。さらに重要と考えられることは、フィッシャーは新しい統計手法を開発し始め、実際のデータ分析に体系的なアプローチを施したことである。彼は手作業で行われる必要な計算に伴う労力に特別の注意を払い、数学的厳密性に基づき実用的である手法を開発した。1925年に、この業績は、彼の最初の著書『研究者のための統計的方法』で最高潮に達した。この本は後年多くの版と翻訳を重ね、多くの分野の科学者にとっての標準的な参考書となった。
実験を設計するための方法論は、フィッシャーの著書『実験計画法』(1935) で提示され、これも標準的なものとなった。例として、彼は次の仮説を確かめる方法を述べた:[ある女性が最初にカップに入れたのがミルクであるか紅茶であるかを、味だけで判断することができるか] これは取るに足らない適用のように聞こえるが、これは実験計画法の最も重要な考え方をよく説明することができる例となっている。詳細は紅茶の違いのわかる婦人を参照。
農学の進歩は、大都市の人口増加と農場の少なさの両立を可能にした。しかし、成育するための地理や気候、ニーズが大きく異なることを作物学者が十分に考慮するためには、地域の生育条件を識別することが重要であった。地域の作物実験を全国規模に外挿するために、作物の標本調査を経済的に母集団全体に拡張する必要があった。統計的手法が進歩(主に、「一時一事」の実験に代わる、実験計画法の有効性)するに連れて、要因計画で代表的なものは、標本による結果から母集団全体の有意義な推測をすることを可能とした。しかし作物の標本をどのように抽出したかを知るのは困難である。要因計画法は、無作為な標本の変動とデータを収集する手順の中から推定し修正する方法を示した。
ベイズ統計学の「ベイズ」とは、トーマス・ベイズ (1702-1761) を指し示す。ベイズは、事象列が確率収束しうることを示した。しかし、現在ベイズの定理と呼ばれているものを("principle VI" として)導入し、それを天体力学、医療統計学、信頼性、法学に適用したのはピエール=シモン・ラプラス (1749-1827) である。彼の "principle of insufficient reason"(等確率の原理)によると、事前分布の知識について不十分であるときは、ラプラスは一様な事前分布を用いた。ラプラスは哲学的な理由でなく単純な数学として事前分布に一様性を仮定した。ラプラスはまた、原始的な共役事前分布とベルンシュテイン-フォン・ミーゼスの定理を導入した。これによると、観測回数が増加するにつれて、事後分布は最初は事前分布と最初は異なっていても、最終的には一致する。このラプラスの等確率の原理による、事前分布を採用した初期のベイズ推定は「逆確率」と呼ばれた(なぜなら、これは観測から確率変数値へ、結果から原因へと、逆向きに推測するからである)。
1920年代以降、逆確率は、ロナルド・フィッシャー、イェジ・ネイマン、エゴン・ピアソンによって開発された一連の手法に大きく取って代わられた。彼らの手法は頻度主義統計学と呼ばれるようになった。フィッシャーはベイズの見解を否定し、「逆確率の理論は誤りに基づいており、完全に否定されるべきである」と記している。しかしながら、フィッシャーの事実に基づく確率へのアプローチがベイズの随筆に記されており、彼は晩年いたく敬意を表していた。フィッシャーは依然、ラプラスの確率に対する見解は "fallacious rubbish"(誤ったごみ)であると主張した。ネイマンは「準ベイズ統計学」の研究を始め、その後信頼区間(頻度主義統計学での重要な手法)を開発した彼は次を述べている:「ベイズ主義、事前分布を考慮に入れずに理論全体を構築した方が、より明解になる」Bayesian という語は1950年頃に登場し、1960年代までに、頻度主義統計学に限界と不満を感じている者に好まれるようになった。
20世紀にラプラスの発想はさらに2つの方向に発展し、ベイズ統計学の実践に「客観性」と「主観性」の流れをもたらした。客観主義の流れでは、統計分析は想定されたモデルと分析されたデータのみを依りどころとする。そこでは主観的な判断をする必要はない。対照的に、「主観主義者」の統計家は、一般の場合における分析は完全に客観的であることの可能性を否定している。
ラプラスの発想のさらなる発展の中で、主観的な発想は客観主義者の立場より前からある。「確率」は「命題における主観的な信念の度合い」として解釈されるべきである、という発想は、例えば、1920年代初期にジョン・メイナード・ケインズによって提唱されている。この発想はさらに、ブルーノ・デ・フィネッティ(イタリア、Fondamenti Logici del Ragionamento Probabilistico, 1930)、フランク・ラムゼイ(ケンブリッジ、The Foundations of Mathematics, 1931)に取り入れられた。このアプローチは、統計的確率についての問題点を解決するために考案された。これはラプラスの客観的なアプローチより前のことであった。主観的なベイズ統計学の手法は、1950年代に Leonard Jimmie Savage によってさらに発展し普及した。
客観的なベイズ推定はさらにハロルド・ジェフリーズ(ケンブリッジ大学)によって発展した。彼の独創的な著書『確率論』(Theory of probability)が1939年に最初に登場し、ベイズ確率の再興に重要な役割を果たした。1957年に、エドウィン・トンプソン・ジェインズは、事前分布を構成するために、最大エントロピーの概念を創始した。これは、主に離散的な問題を客観的な手法で定式化するための重要な原理である。1965年の、デニス・リンドリーの全2巻の作品 "Introduction to Probability and Statistics from a Bayesian Viewpoint" はベイズ統計学の手法を大衆に広くもたらした。1979年に ホセ=ミゲル・ベルナルドは、客観的分析が一般の場合に適用することのできる、参照事前分布分析(reference analysis)を導入した。他によく知られているベイズ確率の理論の支持者として、I・J・グッド、バーナード・クープマン、ハワード・ライファ、ロバード・シュライファー、アラン・チューリングがいる。
1980年代になって、ベイズ統計学の手法の研究と応用は劇的な成長を遂げた。これは主として、計算問題の多くを解決するマルコフ連鎖モンテカルロ法の発見と、複雑で規格外に対する応用への関心の高まりが挙げられる。ベイズ統計学の伸長にもかかわらず、ほとんどの学部教育では依然頻度主義統計学に準拠している。それにもかかわらず、ベイズ統計学の手法は広く受け入れられ、用いられている。その例として、機械学習の分野がある。
日本においては、3世紀から4世紀(崇神天皇の時代)にかけて人口調査が行われたことが、『日本書紀』に記されている。大化の改新(645年)の頃になり班田収授法が発令、6年に一度全国的な戸籍調査が行われるようになった。この人口調査は体系的であり、約360年間続いた。その後は、豊臣秀吉が1592年(天正20年)に人掃令を発令し、全国的な戸籍調査を行った。これは、朝鮮出兵のための兵力把握のために、村ごとの家族構成などをまとめて提出させるための法令であった。さらにその後、江戸幕府第8代将軍徳川吉宗の時代では、キリシタンを取り締まるために全国人口調査が行われた。しかしこの調査では、武士など対象外の身分の人が多数存在したり、調査方法が統一されていなかったりと、正確なものではなかった。
明治時代になり、「国勢調査ニ関スル法律」が制定された。第1回目の国勢調査が行われたのは、日露戦争や第一次世界大戦の影響もありかなり遅れ、1920年(大正9年)に実施された。この後日本では、原則として5年に1度国勢調査が行われ、現在に至る。
ウィリアム・ゴセット(ペンネーム "Student")