統計学の歴史
1786年に、ウィリアム・プレイフェア(1759年 - 1823年)は統計グラフを導入した。彼は折れ線グラフ、棒グラフ、ヒストグラムを考案し、彼の経済学 ("Commercial and Political Atlas") の業務に組み込んだ。このことは、1795年に彼が円グラフを考案することにつながった。彼は英国の輸出入の進展を円グラフで表した。後者のチャートは、1801年に彼が著した "Statistical Breviary" の例で広く注目を集めた。
ラプラスは1787年の土星と木星の運動の研究において、1つの方程式のグループの異なる線型結合を使うことによってマイヤーの方法を一般化した。
1791年にジョン・シンクレアは、自身の『スコットランド統計研究』で、英語の 'statistics' という語を導入した。
1802年に、ラプラスはフランスの人口を2832万8612人と推定した。彼はこの数値を、前年の出生数と3つの値域の国勢調査のデータから計算した。これらの地域の国勢調査のデータからは、居住者が2,037,615人であり、出生数が71,866人であることが分かった。ラプラスは、これらの標本がフランスを代表していると仮定して、全人口を見積った。
18世紀までは、「統計」という語は、国家による人口や経済のデータの公的集計を指していた。少なくとも二千年の間、こういったデータは、主に課税や徴兵のための人的、物的資源の集計であった。19世紀初頭、集計が強化され、「統計」の意味は広がり、データの集計、要約、分析に関連する分野を含むようになった。今日、データが集計され、統計量が計算され、広く、政府、企業、大半の科学やスポーツ、さらには多くの娯楽で使用されている。電子計算機はより精巧な統計計算をもたらし、データが大きかったり多くても処理を十分に可能にした。1人のデータ分析者が、大きさが数十~数百のデータセットで、数百万の測定値を分析したい場合がある。これらは年月とともにコンピュータのはたらき(例えば証券取引所)や電算化されたセンサ、POSレジなどから登場するようになる。コンピュータは、統計量を正確で短時間に出力し、巨大な正方行列の逆行列を求めたり、数百の段階を反復して実行するなど、手作業ではけっしてできない、面倒な分析を可能にする。より高速のコンピューティングにより、統計家はコンピュータを集約して母集団内の全てを検索する方法を開発したり、大きさが1万個もの母集団の推測が理論だけでは難しいのを、ランダム化により推測可能にした。
数理統計学とは、数学において統計学で実際に使用される確率論と推計統計学を指す。しかし、統計学と確率論の連携は少し遅れて発展した。19世紀になると、統計学では確率論がますます使われるようになり、その初期の結果は、17世紀と18世紀の特に運が左右するゲーム(賭博)の分析で見出された。
ベイズ統計学の「ベイズ」とは、トーマス・ベイズ (1702-1761) を指し示す。ベイズは、事象列が確率収束しうることを示した。しかし、現在ベイズの定理と呼ばれているものを("principle VI" として)導入し、それを天体力学、医療統計学、信頼性、法学に適用したのはピエール=シモン・ラプラス (1749-1827) である。彼の "principle of insufficient reason"(等確率の原理)によると、事前分布の知識について不十分であるときは、ラプラスは一様な事前分布を用いた。ラプラスは哲学的な理由でなく単純な数学として事前分布に一様性を仮定した。ラプラスはまた、原始的な共役事前分布(英語版)とベルンシュテイン-フォン・ミーゼスの定理を導入した。これによると、観測回数が増加するにつれて、事後分布は最初は事前分布と最初は異なっていても、最終的には一致する。このラプラスの等確率の原理による、事前分布を採用した初期のベイズ推定は「逆確率(英語版)」と呼ばれた(なぜなら、これは観測から確率変数値へ、結果から原因へと、逆向きに推測するからである)。
1920年代以降、逆確率は、ロナルド・フィッシャー、イェジ・ネイマン、エゴン・ピアソンによって開発された一連の手法に大きく取って代わられた。彼らの手法は頻度主義統計学と呼ばれるようになった。フィッシャーはベイズの見解を否定し、「逆確率の理論は誤りに基づいており、完全に否定されるべきである」と記している。しかしながら、フィッシャーの事実に基づく確率へのアプローチがベイズの随筆に記されており、彼は晩年いたく敬意を表していた。フィッシャーは依然、ラプラスの確率に対する見解は "fallacious rubbish"(誤ったごみ)であると主張した。