統計学
一度信頼できる統計データが取れさえすれば統計学的分析は数学的に行えるが、信頼できる統計データの収集はとても難しい。統計学の源流は各国が人口その他を把握するために行った国勢調査に求められるが、古代・中世を通じほとんどの国家では中央権力の力が弱く、ローマ帝国で行われたセンサスや中国歴代王朝の人口調査等の例外はあるものの、特に大国においてこうした調査を行うことはほぼ不可能だった。
こうした調査が実行可能となるのは各国の中央政府の行政能力の向上した18世紀から19世紀初頭にかけてであり、この時期に初めて近代的な意味での統計学が成立することとなった。現代においても、たとえば行政能力の脆弱なブラックアフリカ諸国においては統計局の予算・人員の不足が深刻であり、統計データの不正確さが指摘されている。
また、統計を取る人の主義主張によって統計値が大きく異なることも多々あり、レーガン政権は当時アメリカにホームレスが30万人しかいないと主張したが、活動家たちはその10倍の300万人いると主張した。
例えば、質問の仕方一つで結果がガラリと変わってしまう。
確率論は、中等教育で「確率・統計」と一括りに呼ばれていたように、統計学と非常に深いかかわりがある。推計統計学ではデータ(標本)が母集団からランダムに取り出されるという前提に立っている。すなわち母集団を構成する要素はそれぞれ"出やすさ"をもっており、それに従ってランダムに取り出されるという立場である。"出やすさ"はまさしく(古典的な)確率であり、母集団はある確率分布に従っていると数学的に表現できる。標本に基づいた母集団確率分布のパラメータ推定(統計的推論)は推計統計学の花形であり、これらは確率論の用語や理論を用いて表現・研究されている。
x ∼ p t r u e ( x | θ ) {\displaystyle x\sim p_{true}(x|\theta )} : 標本 x は、パラメータ θ をもつ確率分布 ptrue に従う母集団からサンプリングされる。