统计学

總覽

很多人認為統計學是一種科學的數學分支，是關於收集、分析、解釋、陳述資料的科學。另一些人認為它是數學的一個分支，因為統計學是關於收集解釋資料的。由於它基於觀測、重視應用，統計學常被看作是一門獨特的數學科學，而不是一個數學分支。很多統計學都不是數學的：如確保所收集來的資料能得出有效的結論；將資料編碼、存檔以使得資訊得以儲存，可以在國際上進行比對；匯報結果、總結資料，以便統計員可以明白它們的意思；採取必要措施，保護資料來源物件的隱私。
統計學家通過專門的試驗設計和調查樣本來提升資料品質。統計學自身也為資料的機率模型提供了預測工具。統計學在其他學術科目上得到了廣泛的應用，如自然科學、社會科學、政府、商業等。統計顧問可以幫助沒有入戶調查經驗組織與公司進行問卷研究。
總結敘述收集來的資料被稱之為描述統計學。這在進行實驗研究資訊交流中十分有用。另外，從資料的分布上也可以得出觀測上的隨機性和不確定性。
將資料中的資料模型化，計算它的機率並且做出對於母群體的推論被稱之為推論統計學。推論是科學進步的重要因素，因為它可能從隨機變數中得出資料的結論。推論統計學將命題進行更深入的研究，將結果進行檢測。這些都是科學方式的一部分。描述統計學和對新資料的分析更傾向於提供更多的資訊，逼近命題所述的真理。
「應用統計學」包括描述統計學和推論統計學中的應用成分。理論統計學則注重統計推論背後的邏輯證明，以及數理統計學。數理統計學不但包括推導估測推論法的機率分布，還包括了計算統計和試驗設計。
統計學與機率論聯絡緊密，並常以後者為理論基礎。簡單地講，兩者不同點在於機率論從母群體中推導出樣本的機率。統計推論則正好相反——從小的樣本中得出大的母群體的資訊。

統計學的歷史

統計手法最早可以追溯至公元前5世紀。最早的統計著作來自公元9世紀的《密碼破譯》（Manuscript on Deciphering Cryptographic Messages）一書，由阿拉伯人肯迪編著。在書中，肯迪詳細記錄了如何使用統計資料和頻率分析進行密碼破譯。根據沙烏地阿拉伯工程師易卜拉欣·阿凱笛（Ibrahim Al-Kadi）的說法，統計學和密碼學分析便如此一同誕生了
佛羅倫斯銀行家、執政官喬瓦尼·維倫編訂了佛羅倫斯14世紀歷史書籍Nuova Cronica ,包括了如人口、法令、商貿、教育、宗教場所在內的統計資料，被譽之為歷史上統計學入門的第一本書。一些學者將1663年約翰·格蘭特根據死亡率統計表編訂出版的《自然與政治觀察》（Natural and Political Observations）一書定格為統計學的誕生。 
統計學的英語詞statistics是源於現代拉丁語statisticum collegium（國會）以及義大利語statista（國民或政治家）。德語Statistik，最早是由Gottfried Achenwall（1749）所使用，代表對國家的資料進行分析的學問，也就是「研究國家的科學」。在十九世紀統計學在廣泛的資料以及資料中探究其意義，並且由John Sinclair引進到英語世界。
統計學的初衷是作為政府（通常是中央政府）以及管理階層的工具。它大量透過國家以及國際統計服務蒐集國家以及本土的資料。另外依照各方面，普查則提供關母體的資訊。統計背後牽涉到更多數學導向的領域，如機率，或是從經驗科學（特別在天文學）中獲得的經驗證據設定估計參數。在今日的世界裡統計已經被使用在不僅僅是國家或政府的事務，更延伸到商業，自然以及社會科學，醫療等甚至更多方面。因為統計學擁有深厚的歷史以及廣泛的應用性，統計學通常不只被認為是數學所處理的物件，而是與數學本身的哲學定義與意義有密切的關聯。許多知名的大學擁有獨立的數理統計學系。統計學也在如心理學，教育學以及公共衛生學系中被視為是一門主科。
統計學的數學基礎建立在17世紀布萊茲·帕斯卡和皮埃爾·德·費馬發展的機率論上。機率論從研究機率得來。最小平方法由卡爾·弗里德里希·高斯於1794年第一次得出。現代電腦可以進行更大尺度的統計運算，生成了許多無法用人工計算的新公式。

實驗與觀察性研究

統計研究中的共同目標是分析因果關係，具體來講就是從預估資料變化中得出結論，或是研究自變數與應變數之間的關係。因果統計研究主要有兩種：實驗研究和觀察研究。在兩種研究中，自變數改變對應變數所造成的影響可以被觀測到。兩種實驗間的不同在於實驗時如何進行的。兩種實驗都很厲害。實驗研究包括將系統尺度進行研究、操縱系統、使用更多的尺度進行同樣的實驗來確定操作是否改變了尺度的值。與之相對的是觀察研究，觀察研究不包括實驗性操作。在此，資料被收集，預估資料與回覆資料間的相關係數被研究。

觀察研究

觀察研究的具體例子是研究吸菸與肺癌之間的相關係數。這種研究常用調查來收集所需資訊的觀測結果，並對其進行統計分析。在本案例中，研究人員會收集吸菸和不吸菸者的觀察資料，進行病例對照研究，然後觀察每組中肺癌患者的數量。

測量的尺度

根據Stevens（1951）對數字的尺度分類，統計學一共有四種測量的尺度或是四種測量的方式。這四種測量（名目、順序、等距、等比）在統計過程中各具有不等的實用性。等比尺度（Ratio measurements）擁有零值及資料間的距離是相等被定義的；等距尺度（Interval measurements）資料間的距離是相等被定義的，但是它的零值並非絕對的無，而是自行定義的（如智力或溫度的測量）；順序尺度（Ordinal measurements）的意義並非表現在其值而是在其順序之上；名目尺度（Nominal measurements）的測量值則不具量的意義。

零假設

對統計資訊的解釋時常涉及到構建零假設，在該假設中，所有因素對變數都不起任何作用。
對新手來說最佳的比喻就是法庭窘境了。零假設H₀認為被告是清白的，而備擇假設H₁則認為被告有罪。起訴是因為懷疑被告有罪。H₀（現狀）與H₁對立並且被認可，除非H₁被「超過合理質疑」的證據證偽。然而，「無法排除H₀」並不能代表被告清白，只是說證據無法將其定罪。所以，陪審團沒有必要在H₀「無法推翻」的情況下將其「接受」。當零假設無法被「證明」時，可以通過強度檢測判斷假設是否近似成立，即進行第二型錯誤檢測。

區間估算

許多時候研究只觀察母群體的樣本部分，所以結果並不能完全代表整個母群體。任何來自樣本的估算只能得到母群體的近似值。信賴區間是統計學家用來表述樣本結果離整個母群體真實數值之間的差距。這常被表述為95%信賴區間。形式上，數值為95%信賴區間意味著如果在同樣情況下重複樣本分析（這回生成不同的資料集），95%的區間會得出符合（母群體）情況的實際結果。這並不意味著真實數值的機率也在95%信賴區間之內。從頻率論的角度來說，這樣的說法毫無意義，因為真實數值不是一個隨機變數。真實數值要麼在，要麼不再給定的區間裡。然而，任何資料在被抽取樣本，設計信賴區間之前，將要被計算的區間確實有95%的機率能代表真實數值：在這一點上，區間的極限仍然是有待被觀測的隨機變數。利用貝葉斯統計信賴區間可以得出區間包涵真實數值的機率：這種方法對「機率」有另一種解釋，即貝葉斯機率。

顯著性差異

對於給出的問題，統計學很少回答簡單的是或否。它的解釋常常是以統計的顯著性差異出現，匯報可以將零假設精確證偽的機率值（這也被稱作是p值、假定值）。
顯著性差異並不一定代表所有的結果在現實世界裡都很顯著。例如對藥品的研究得出其具有統計的顯著性差異，但是實際上藥品可能毫無益處。這樣的藥品不會很有效地幫助病人康復。
由於假設檢驗中可能更加偏向於某一假設（如零假設），在大尺度研究中可能會對微小差異過度誇張，因此這中方法受到批評。顯著性差異所得出的重大差額並不一定在現實中有意義，但是我們仍舊可以據此設計出相應的實驗。
在報告假設是否被證偽時，一些方法不僅僅報告顯著性差異和p值。p值並不代表效應的尺度。更好更常用的方法使報告信賴區間。雖然該值是從相同的假設測試或p值計算過程中得出的，但是它對效應的尺度及其不確定性都給出了描述。

統計計算

電腦在20世紀後半葉的大量應用對統計科學產生了極大的影響。早期統計模型常常為迴歸線性模型，但強勁的電腦及其演算法導致非線性模型（如神經網路）和新式演算法（如廣義線性模式、等級線性模型、支援向量機）的大量應用。
電腦效能的增強使得需要大量計算的再取樣演算法成為時尚，如置換檢驗、自助法。Gibbs取樣法也使得貝葉斯模型更加可行。電腦革命使得統計在未來更加注重「實驗」和「經驗」。大量普通或專業的統計軟體現已面市。

濫用

統計資料時常被濫用，對結果的解釋時常有利於演講者。對統計的懷疑與誤導可被稱為：「世上有三種謊言：謊言，該死的謊言，統計數字」。許多對統計的濫用可能出於無意，也可能出於故意。《如何用統計來說謊》一書（How to Lie With Statistics）揭露了許多類似詭計，並在統計的應用與濫用中，回顧了許多案例中的統計方法（e.g. Warne, Lazo, Ramos, and Ritter（2012）。
預防統計濫用包括使用合適的圖表、規避偏差。當結論被輕率概化，超過了它所能代表的範圍時，濫用就出現了。這常常是因無意或故意忽視樣本偏差所導致的。 條形統計圖可能是最容易使用、最容易理解的圖表了，它可以用手或電腦繪製而成。不巧的是，許多人忽視其中的偏差、誤差，因為他們不留意。因此，雖然圖表品質低劣，但人們常常願意去相信。只有當樣本可以代表母群體時，統計結果才是可信、精確的。哈弗（Huff）稱：「樣本的可靠性可以被偏差破壞...給你自己點懷疑的空間吧。」