統計誤用

統計誤用是指統計學的爭論被斷言為謬誤。在一些情況，這些誤用是意外發生的。可是，在其他情況，這都是有目的的，而且會令使用統計誤用的人從中得到好處。當其統計原因涉及到錯誤或誤用，便構成了統計謬誤。

錯誤的統計會對知識的追求甚至現實生活帶來負面的影響。例如一個醫學上的謬誤會浪費人們數十年的時間，並會招致人命損失。

統計誤用容易發生，即使數學家和專業統計學家在仔細小心的狀況下也會被統計謬誤給整到，哪怕這些專家再小心翼翼、整到他們的謬誤再簡單也一樣；此外，已知有科學家因為缺乏對機率論的瞭解，對測試也沒有標準化之故，而被統計謬誤給整到的例子。

簡單的成因

許多統計謬誤因為以下原因而出現：

資料來自相關專家，而非統計學家，在這種狀況下，資料來源可能會包含對資料錯誤的研究方法或解釋。
資料源自統計學家，而非相關專家在這種狀況下，相關專家應當要知道比較的資料描述的是不同的東西。在法律定義或政治邊界變動時，數字會變，但事實不會變。
研究的物件缺乏良好的定義，或者研究物件的一些部分容易量化、另一些部分不容易量化，或者沒有已知的量化方式（也就所謂的麥納馬拉謬誤）。例子如下：
盡管智商可測得且是量化資料，但因為智慧是一個難以捉摸的概念之故，因此很難定義說智商到底測出了什麼。
出版影響也有類似的問題，學術文章和期刊常以「影響力」來衡量，而影響力以後來文章的引用數來衡量。數學家和統計學家總結說盡管相對客觀，但影響力不是一個非常有意義的量度。「僅僅依賴引用資料的做法，最好也只能對研究提供不完整且粗淺的瞭解─而這瞭解只能在其他的判斷下變得有意義。資料不是生來就比良好判斷還優越的。」
諸如「英語有多少單詞」這樣看似簡單的問題，馬上就會碰到古語形、前字尾、多定義單詞、不同的拼法、方言詞、異想天開的造詞、技術用語等各種問題。
資料來源品質不佳，成衣在此給了一個例子。人有各種不同的體型和大小，這表示說衣服大小必然是多向度的；然而除此之外，這問題在一些想不到的地方變得複雜，一些衣服只以尺寸出售，而不特別考慮體型；不同國家和成衣商用的尺寸有差異，且。因此盡管尺寸是數字化的，但只有在小心使用這些數字的狀況下才能做出最粗淺的統計分析。
大眾向媒體專業不足且各有不同的動機，如果事實不是那麼地具有新聞價值（而這可能需要誇大），那就可能不會受到報導；至於廣告的動機則更是各懷鬼胎。
《對犯罪資料的使用和誤用》（Uses and abuses of crime statistics）這篇來自澳洲的對犯罪統計的報告呈現了許多對統計資料的解讀和誤讀：「媒體對取得犯罪資訊的能力的增加，與其對犯罪報導的品質並未成正比，媒體對犯罪資料的濫用，已阻礙了對法律和秩序的理性辯論」；而媒體的濫用如次：選擇性引用資料、選擇性報導事實、誤導性評論、對事實的錯誤呈現與具誤導性的標題等。警察和政治人物也濫用統計資料。
「政治人物對統計資料的使用，就如醉鬼對路燈的使用一般，都是為了尋求支援而非光明。」（出自安德魯・朗格）─「我們從看到同樣資料的兩種方式中學到了什麼？我們學到了說左派或右派的宣傳家幾乎總是可以找到一個方法，使得經濟成長的資料看似支援自己的論點；而我們也學到說要對任何來自高度政治化來源資料的統計分析抱持懷疑態度。」英語「統計」一詞 statistics，源自為政府製造並為政府使用的資料，好的政府可能需要精確的資料，但民粹政府可能需要支援性的資料，而這兩者未必相同，而「政府對統計的使用和濫用，是一門古老的藝術。」

誤用的型別

2.1 去除不利資料

一間公司若要推廣中性（無用）或不良的產品，一個方法就是找到該產品有用或有益的「證據」，像例如說如果該產品真的是無用的，那麼在置信等級有 95% 的狀況下，40 個產品相關的研究資料便有可能是由 1 份指出產品是好的、1 份指出產品是不好的及 38 份不確定的研究（38 是 40 的 95%）所組成的。當研究報告越多時，這個策略便越有效。

組織是不會把他們的所有的研究都公開的，人們也常會引用與支援自身信念的資料，例如煙草公司會否認吸煙和癌症之間的關聯，而提倡禁煙組織和媒體則會嘗試著證明吸煙和多種病症是有關聯的，減肥藥物製造商也常用這個策略；同理，推動廢除死刑的個人或人權團體也會傾向採用死刑無助治安的資料，其他的個人或團體也常會傾向使用對自身論點有利的資料和研究。

另一個常見的技巧就是進行測試中有大量應變項（dependent variable）的研究。一個例子如次︰一個測試治療方法的效果的研究可以存活率、在醫院的平均日數、病人自報的疼痛程度等作為應變項，而在這種狀況下，最少一個變項會剛好與自變項（independent variable）發生關連的可能性便會增加，研究人員也可藉此得到想要的結果。

羅納德・愛爾默・費雪在他女士對茶的味覺的研究中提到了此問題（可見於他於 1935 年出版的《實驗設計》一書中），對於這重複的實驗，他說：「這明顯是不合理的，且在不考慮不成功的結果下，這可能會將我們的運算從基礎中奪走」

採櫻桃謬誤是與此相關的一個概念。

2.2 忽略重要特徵

多變數資料會有超過兩個向度，假若使用太少的向度（像例如只選取一個特徵且只做簡單線性回歸，而非做多重線性回歸）的話，就可能導致誤導性的結果，而這使得分析師容易受統計悖論或下述的某種假關係影響。

2.3 不恰當的問題

問題的用字能引導受訪者給予某一答案，問卷的結果因而能被操縱 (參見觀察者期望效應)。例如在有關戰爭的民意調查中，問題為︰

你支援美國的企圖能為其他國家帶來自由和民主嗎？* 你支援美國的無故軍事行動嗎？以上兩道問題雖然也有關戰爭的民意調查，但所得出的結果會有所不同。（參見預立論題）

另一做法是在問題前加上支援「理想答案」的資料。例如︰

已知稅項會增加中產家庭的負擔，你支援扣減所得稅嗎？* 在考慮國家的預算赤字和收入的迫切需求，你支援扣減所得稅嗎？在前者，有較多人會傾向回答「支援」。（參見誘導性提問）

2.4 輕率概化

輕率概化是當一個統計的的特定總體不能代表原本總體時發生的謬誤。

例如，假設在夏天時的蘋果 100% 也是紅色的。那麼，「所有蘋果都是紅色」的推斷便是過度類化，因為原本的統計只對那些在夏天的蘋果正確，而不能代表所有蘋果；或者看到已開發國家廢除死刑後的治安資料，就斷定死刑對治安沒有影響，但已開發國家廢除死刑後的狀況不能代表所有國家的狀況。

在現實生活中，禁止透過電話的政治民意調查可見到過度類化的謬誤。由於年青人只擁有一部手提電話，而非也擁有一部家用電話，這種年青人會被視為自由主意者，而沒有家用電話的年青人很大機會會被當作整體，這些民意調查便有效地使很多自由的選民排除在外。

因此，使用這種技巧的民意調查所檢驗的年青人的投票意願，是不能在沒有過度類化的情況下聲稱能代表所有年青人的真正投票意願，這是因為其使用的樣本不是整個總體的代表。

當資料在某個媒體經過非技術性的來源，過度類化便經常出現。

2.5 以偏概全 (抽樣偏差，biased samples)

科學家在過去以巨大的代價學到蒐集良好的實驗資料以做統計分析是困難的，像例如說安慰者效應常常會非常強大，一個例子是在一個實驗中，所有的受試者在接觸被貼上「毒藤」標籤的惰性物質之後，都起了皮疹，反倒那些接觸被貼上「無害」標籤的毒藤的人，只有少數人起來皮疹。研究者現在藉由雙盲隨機化比較實驗來應對此現象。比起分析本身，統計學家通常更擔心資料的真確性，而這反映在統計學當中一門被稱為「實驗設計」的研究當中。

做民調的人在過去也以巨大的代價學到蒐集良好的調查資料以做統計分析是困難的。一個潛在的例子是在資料收集上手機所產生的選擇效應（此事在本文「輕率概化」一節中也有談及），如果擁有傳統電話的年輕人並不能代表年輕人整體，那麼電話抽樣就會出現偏差。樣本觀察當中有許多陷阱，在實際執行時，要非常地小心；另外，在電話抽樣時，往往要打將近 3000 通電話，才能得到一千個樣本。因此對於母體的簡單隨機抽樣「並不簡單，也未必隨機」。

2.6 估計錯誤的誤報或誤解

如果一個研究小組希望知道 300 萬人對指定題目的看法，一一詢問是個不實際的做法。可是，如果這個小組隨意抽出 1000 人作樣本，這些人給予的回應便可代表那 300 萬人的意願。

這個置信區間可以被中心極限定理和其他數學的結果量化。它會被表達為一個在指定範圍的估計值 (較小組別的數字) 的真實結果 (較大組別) 的機率。這是經常被統計調查引用的「正或負」數。這個置信區間的機率部份不是常常被提起，即使有被提起，它也會被假設為像 95% 的標準數。

這兩個數字是有關的。如果一個問卷調查在 95% 的置信區間中，其估計誤差為 ±5%; 在 99% 的置信區間中，其估計誤差為 ±6.6%。當置信區間為 95% 時是 ±%，那置信區間為 99% 時，就會變為 ±%。

當估計錯誤越少時，便需要越大的樣本空間。像例如說置信區間為 95.4% 時，各種估計誤差所需要的調查人數如下︰

±1% 需要 10,000 人。
±2% 需要 2,500 人。
±3% 需要 1,111 人。
±4% 需要 625 人。
±5% 需要 400 人。
±10% 需要 100 人。
±20% 需要 25 人。
±25% 需要 16 人。
±50% 需要 4 人。

很多人採用了這些數字，因為忽略了置信區間而以為這是 100% 肯定真實結果，忘了這是存有估計誤差的，而這種看法在數學上是不正確的。

很多人可能不會發現說樣本空間的隨意性，是會造成十分重要的差異的。在日常的做法中，很多輿論調查也透過電話進行，而這種方法會在幾方面歪曲樣本空間，當中包括剔除了沒有電話的人、重覆計算了擁有多於一部電話的人等。非隨機抽樣會使估計誤差變得不可靠。

非隨機抽樣使估計變得不可靠的一個例子是 1936 年美國總統選舉前，《文學文摘》郵寄 1,000 萬份問卷予其讀者，回收 230 萬份。他們預測共和黨候選人阿爾夫・蘭登會在 531 張選舉人票中獲得 370 張選票並勝過民主黨候選人富蘭克林・德拉諾・羅斯福。

該次總統大選，阿爾夫・蘭登實際上只獲得 8 張選舉人票，而富蘭克林・德拉諾・羅斯福則在大選中大勝。一個說法認為，《文學文摘》的讀者比美國人口擁有更多共和黨人，故此他們更傾向於投票給阿爾夫・蘭登。《文學文摘》的民調樣本有明顯的偏差。

在另一方面，由於不是所有人的意見也問到或他們從來亦未被訪問，所以很多人都認為統計是不可靠的。不少人認為只透過調查數千人是不可能取得數百萬人的意見，這也是不準確的。一個有完美公正的抽樣和可信答案的調查在數學上被定義為誤差範圍，這是隻取決於調查的人數。

可是，問卷調查通常只有一個誤差範圍。當一小群人的結果被報告時，誤差範圍便會較大，但這可能不太清楚，例如，一個 1000 人的問卷調查可能會包含 100 位來自指定種族或經濟組別。聚焦組別得出的結果會比總體的不太可靠。如果整個樣本空間的誤差範圍是 4%，那麼一個分組的誤差範圍便會是大約 13%。

人口調查還會出現很多其他量度上的問題。以上提及的問題不只會發生在人口調查，還會發生在所有的統計實驗。

更多資料︰輿論調查、社會統計調查、偏差樣本

2.7 錯誤的因果關係

當一個統計測試展示 A 和 B 之間的關係時，通常也會有 5 種可能性︰

A 導致 B。
B 導致 A。
A 和 B 互相導致對方出現。
C 導致 A 和 B。
觀察得的關係純屬偶然。

第五個可能性可透過統計測試來量化，計算出來的機率與其可能發生的機會是一樣大的。事實上，變數之間是沒有關係的。可是，即使那個機率的可能性很少，其餘四個可能性仍有機會發生。

以下以現實中可能會碰到的狀況，來說明錯誤因果關係。如果今天有人說「在沙灘裡購買雪糕的人越多，那麼在沙灘裡遇溺的人就越多，因此購買雪糕導致更多人溺水」，那也不會有多少人認真考慮這說法，因為顯然地，就算在沙灘裡購買雪糕的人數是與在沙灘裡遇溺的人數有關的，也沒有人會斷言雪糕會導致遇溺，這是因為這兩件事情明顯地無關，而遇溺和購買雪糕清楚地與第三個因素，也就是沙灘上的人數有關；然而，這不表示類似的謬誤就不會出現，這個謬誤的一個例子，是證明接觸化學品會導致癌症。很多時候人們會把「購買雪糕的人數」用「接觸化學品 X 的人數」代替，以及把「溺水的人數」用「患上癌症的人數」代替。在這個情況，即使這樣做沒有真正的效果，那仍然有一個統計上的關聯。

例如，如果某一地方對化學品站是「危險」(即使它不危險) 的資產的看法減少，這會誘使更多低收入家庭搬到該地，即使那種化學品本身不危險亦然。如果低收入家庭較高收入家庭容易患上癌症 (這可能是基於更差膳食和醫療技術欠佳等原因)，然後患癌率上升的話，那這樣就會導致錯誤的結論。在一些證明電源線的 EMF (電磁場) 和癌症的關聯的研究中，這個情況真的發生了。

2.8 零假設的證明

2.9 深挖資料

深挖資料是對資料探勘的一種濫用。在深挖資料中，行為者在沒有預先對需要檢驗的假設做出決定的狀況下，檢視大筆的資料，以尋找關聯。由於在一般狀況下，要建立兩個變數間的關聯所需的置信區間通常是 95%（這表示觀察到的關係，有 95% 的可能性不是隨機的），因此在任意兩組隨機的變數間找到關聯的機率依舊有 5%。由於人們在深挖資料的時候，通常會檢視大筆且有多個變數的資料，進而會檢視更大量的變數對之故，因此在任何這類的研究中，幾乎都一定能找到統計上看起來相關但可疑的結果。

當注意的是，深挖資料是找到可能假說的有效方法，但由此方法找到的假說，必須以其他的資料來檢視，而不能用被用於深挖資料的原始資料來檢視；而深挖資料所造成的誤用，會在將發現的假說視為事實，而未做進一步確認的時候發生。

或曰：「你不能合理地用和指出某特定假說的資料相同的資料，來檢驗該項假說，對治此狀況的方法很明確，就是一旦你有了一個假說，就要為你現在認為存在的效應，特別設計一項研究。一旦測試的結果是統計相關的，你就有了確實的證據。」

2.10 資料操縱

資料操縱指的是選擇性使用資料（可參見發表偏差）或甚至捏造資料的作為。

選擇性使用資料的狀況很多，最常見的例子就是選擇那些模式符合研究者所偏好的假說的結果，而忽略掉其他那些和假說不合的結果。

一般而言，科學家會質疑不能被其他調查者重現的研究結果；然而，一些科學家會拒絕出版他們所用的資料和研究方法。

資料操縱是統計分析誠實性上一個非常嚴重的問題；不過離群值、資料缺失和非常態性都會對統計分析的真確性，造成負面的影響，在分析開始前，研究資料本身並對其確實存在的問題進行修補是合理的。或曰：「在任何分散的圖表上，都多少會有一些點，是偏離資料主體所形成的雲的。這些點應當被剔除，以清楚呈現因果關係。」

2.11 其他謬誤