เหตุผลวิบัติโดยอัตราพื้นฐาน

เหตุผลวิบัติโดยอัตราพื้นฐาน  หรือ การละเลยอัตราพื้นฐาน (base rate neglect) หรือ ความเอนเอียงโดยอัตราพื้นฐาน (base rate bias) เป็นเหตุผลวิบัติรูปนัย (formal fallacy) ชนิดหนึ่ง
ที่เมื่อมีการแสดงทั้งข้อมูลเกี่ยวกับอัตราพื้นฐานที่อยู่ในประเด็นแต่ว่าเป็นข้อมูลแบบทั่ว ๆ ไป และทั้งข้อมูลที่เฉพาะเจาะจงแต่กับบางกรณีเท่านั้น เรามักจะไม่สนใจข้อมูลทั่วไปแต่จะสนใจแต่ข้อมูลที่เฉพาะเจาะจงเท่านั้น ซึ่งนำไปสู่การประเมินผลที่มีความเอนเอียง
ปฏิทรรศน์ผลบวกลวง.
ตัวอย่างหนึ่งของการใช้เหตุผลวิบัติโดยอัตราพื้นฐานคือปฏิทรรศน์ผลบวกลวง  คือการที่ผลการตรวจโรคให้ผลบวกลวงมากกว่าผลบวกแท้ เกิดจากการพิจารณาประชากรที่มีความชุกของโรคต่ำมาก แม้นำการตรวจที่มีคุณสมบัติดีมาก (ให้โอกาสเกิดผลบวกลวงต่ำ) มาตรวจ ผลที่ออกมาก็จะยังมีผลบวกลวงเป็นสัดส่วนที่สูง (เพราะความชุกหรืออัตราพื้นฐานต่ำมาก)
 จอห์นเป็นชายที่ใส่เสื้อผ้าแฟชั่นกอทิก ไว้ผมดำยาว และชอบฟังดนตรีเดทเมทัล มีความเป็นไปได้เท่าไรที่เขาจะเป็นคริสต์ศาสนิกชน มีความเป็นไปได้เท่าไรที่เขาจะถือลัทธิซาตาน
ตัวอย่างที่ 1.
ถ้าถามคน (อย่างน้อยก็คนตะวันตก) ด้วยคำถามนี้ เขามักจะให้ค่าความน่าจะเป็นว่าจอห์นเป็นคริสต์ศาสนิกชนต่ำเกินไป และให้ค่าความน่าจะเป็นว่าเขาถือลัทธิซาตานสูงเกินไป 
นี่เป็นเพราะว่า บุคคลเหล่านั้นมองข้ามอัตราพื้นฐานของความเป็นคริสต์ศาสนิกชน (ซึ่งมี 2,000 ล้านคนในโลก) ที่สูงกว่าอัตราพื้นฐานของคนถือลัทธิซาตาน (ประมาณว่ามีอยู่หลายพันคน) มาก 
ดังนั้น ถึงแม้ว่า ลักษณะต่าง ๆ เช่นความนิยมชมชอบในแฟชั่นเป็นต้น อาจจะเป็นตัวชี้ที่เพิ่มความน่าจะเป็นว่าเป็นคนถือลัทธิซาตานเป็นสิบเท่า แต่ว่า ความน่าจะเป็นว่าจอห์นเป็นคริสต์ศาสนิกชนก็ยังสูงกว่ามาก
 เจ้าหน้าที่ตำรวจมีเครื่องวิเคราะห์ลมหายใจ (สำหรับตรวจจับคนเมา) ที่แสดงว่าเมาอย่างผิดพลาดใน 5% ของผู้ขับรถที่ไม่เมา แต่ว่า เครื่องวิเคราะห์ลมหายใจไม่เคยพลาดที่จะจับคนเมาจริง ๆ มีคนขับรถ 1 ใน 1,000 ที่ขับรถเมื่อเมา สมมุติว่า เจ้าหน้าที่หยุดรถโดยสุ่ม แล้วบังคับใช้เครื่องวิเคราะห์ลมหายใจกับคนขับ และเครื่องแสดงว่าคนขับเมา ถ้าสมมุติว่า เราไม่รู้ข้อมูลอย่างอื่นเลยเกี่ยวกับคนขับ มีความน่าจะเป็นสูงเท่าไรที่คนขับจะเมาจริง ๆ 
ตัวอย่างที่ 2.
คนเป็นจำนวนมากจะตอบว่า มีความน่าจะเป็นสูงถึง 95% แต่ว่าความน่าจะเป็นจริง ๆ อยู่ที่แค่ 2%
เพื่อที่จะหาคำตอบที่ถูกต้อง เราควรจะใช้ Bayes' theorem
จุดมุ่งหมายก็คือเพื่อที่จะหาค่าความน่าจะเป็นว่าคนขับเป็นคนเมาเมื่อเครื่องวิเคราะห์ลมหายใจแสดงว่าคนขับเมา เมื่อหยุดคนขับรถโดยสุ่ม ซึ่งสามารถเขียนได้ว่า
<math>p (drunk|D) = \frac{p (D | drunk)\, p (drunk)}{p (D)}</math>
ซึ่งเราได้ข้อมูลจากบทความตัวอย่างว่า
<math>p (drunk) = 0.001</math> คือค่าความน่าจะเป็นว่าคนขับเมา (คือ 1/1000)
<math>p (sober) = 0.999 </math> คือค่าความน่าจะเป็นว่าคนขับไม่เมา (คือ 999/1000)
<math>p (D|drunk) = 1.00 </math> คือความน่าจะเป็นว่าเครื่องวิเคราะห์จะแสดงว่าคนขับเมา ถ้าคนขับเมา
<math>p (D|sober) = 0.05</math> คือค่าความน่าจะเป็นว่าเครื่องวิเคราะห์จะแสดงว่าคนขับเมา ถ้าคนขับไม่เมา
ดังที่เราเห็นได้จากสูตร ถ้าเราต้องการคำตอบ เราจะต้องหาค่า p (D) คือค่าความน่าจะเป็นที่เครื่องวิเคราะห์จะแสดงว่าคนขับเมาเมื่อหยุดคนขับโดยสุ่มโดยที่ไม่รู้ว่าคนขับเมาหรือไม่เมา ซึ่งหาได้จากค่าที่บอกมาแล้วดังนี้
<math>p (D) = p (D | drunk)\,p (drunk)+p (D|sober)\,p (sober)</math>
ซึ่งได้
<math>p (D)=0.05095</math>
เมื่อใส่ค่านี้ลงในสูตรแรก ก็จะได้
<math>p (drunk|D) = 0.019627\cdot</math>
คำอธิบายที่อาจจะเห็นได้ง่ายกว่าอย่างหนึ่งก็คือ โดยเฉลี่ยแล้ว สำหรับคนขับทุก ๆ 1000 คนที่หยุดตรวจ
และดังนั้น ในบรรดาคน 1,000 คนที่เครื่องวิเคราห์ะบอกว่าเมาคือ 50.95 คน จะมีคนเมาจริง ๆ 1 คน และดังนั้นความน่าจะเป็นที่จะตรวจจับคนเมาโดยสุ่มได้จริง ๆ คือ <math>p (drunk|D) = 1/50.95 \approx 0.019627</math>
แต่ว่า ความถูกต้องของคำตอบนี้ขึ้นอยู่กับข้อสมมุติเบื้องต้นว่า เจ้าหน้าที่หยุดรถโดยสุ่มจริง ๆ ไม่ใช่เพราะขับรถไม่ดี
แต่ว่า ถ้าใช้การขับรถไม่ดี (หรือเหตุผลอย่างใดอย่างหนึ่งอื่น) เป็นเหตุผลในการหยุดรถ การคำนวณก็จะต้องรวมเอาค่าความน่าจะเป็นของคนเมาขับรถดีไม่ดี และคนไม่เมาขับรถดีไม่ดีเข้าไปด้วย
ตัวอย่าง 3.
ในเมืองที่มีคนอาศัยอยู่ 1 ล้านคน สมมุติว่ามีผู้ก่อการร้าย 100 คน และผู้ไม่ใช่ผู้ก่อการร้าย 999,900 คน
เพื่อให้ง่าย ๆ ให้สมมุติด้วยว่าคนที่มีอยู่ทั้งหมดในเมืองเป็นผู้อาศัยในเมือง
ดังนั้น อัตราพื้นฐานของความน่าจะเป็นที่จะหยุดผู้ก่อการร้ายเมื่อหยุดคนในเมืองโดยสุ่มก็คือ 0.0001 (.01%)
และอัตราพื้นฐานของความน่าจะเป็นที่จะหยุดผู้ไม่ใช่ผู้ก่อการร้ายก็คือ 0.9999 (99.99%)
เพื่อจะพยายามจับผู้ก่อการร้าย เทศบาลได้ติดตั้งระบบเตือนภัย 
ที่ใช้กล้องวงจรปิดพร้อมกับโปรแกรมคอมพิวเตอร์ที่สามารถรู้จำใบหน้าได้โดยอัตโนมัติ
โปรแกรมคอมพิวเตอร์มีอัตราความล้มเหลวที่ 1% คือ
สมมุติว่า ถ้ากล้องเจอบุคคลหนึ่งที่ทำให้เกิดการเตือนภัย
มีโอกาสเท่าไรที่คน ๆ นั้นจะเป็นผู้ก่อการร้าย
กล่าวอีกอย่างหนึ่งก็คือ อะไรเป็นค่า P (ก่อการร้าย | เตือนภัย) คือค่าความน่าจะเป็นว่าบุคคลนั้นเป็นผู้ก่อการร้ายเมื่อมีการเตือนภัย
ผู้ที่เกิดเหตุผลวิบัติโดยอัตราพื้นฐานจะอนุมานว่ามีโอกาส 99% ที่บุคคลนั้นจะเป็นผู้ก่อการร้าย
แม้ว่า ค่าอนุมานนั้นดูเหมือนจะมีเหตุผล แต่จริง ๆ แล้วเป็นเหตุผลที่ผิดพลาด และการคำนวณที่จะแสดงต่อไปจะชี้ว่า คน ๆ นั้นมีโอกาสเพียงเกือบ 1% เท่านั้นที่จะเป็นผู้ก่อการร้าย จะไม่ใกล้ 99% เลย
เหตุผลวิบัติเกิดขึ้นจากความสับสนเกี่ยวกับอัตราความล้มเหลวสองอย่าง
คือ "จำนวนการไม่เตือนภัยต่อผู้ก่อการร้าย 100 คน" (false negative) กับ "จำนวนผู้ไม่ใช่ผู้ก่อการร้ายต่อการเตือนภัย 100 ครั้ง" (false positive) เป็นค่าที่ไม่เกี่ยวข้องอะไรกันเลย
ค่าแรกไม่จำเป็นต้องเท่ากับค่าที่สอง ไม่จำเป็นที่จะต้องเกือบเท่ากันเลยด้วยซ้ำ
ลองพิจารณาอย่างนี้ว่า สมมุติว่า มีระบบเตือนภัยเช่นเดียวกันที่ติดตั้งในเมืองอีกเมืองหนึ่งที่ไม่มีผู้ก่อการร้ายอยู่เลย
และเหมือนกับในเมืองแรก มีการเตือนภัยทุก 1 ครั้งจาก 100 ครั้งที่พบผู้ไม่ใช่ผู้ก่อการร้าย
แต่ไม่เหมือนกับเมืองแรก จะไม่มีการเตือนภัยสำหรับผู้ก่อการร้ายเลย (เพราะไม่มีผู้ก่อการร้าย)
ดังนั้น 100% ของการเตือนภัยจะเป็นเพราะผู้ไม่ใช่ผู้ก่อการร้าย
ซึ่งก็คือ "จำนวนผู้ไม่ใช่ผู้ก่อการร้ายต่อการเตือนภัย 100 ครั้ง" สำหรับเมืองนี้จะเท่ากับ 100 ทั้ง ๆ ที่ P (ก่อการร้าย | เตือนภัย) = 0%
ซึ่งก็คือ มีโอกาส 0% ที่มีการตรวจจับเจอผู้ก่อการร้ายเมื่อเกิดการเตือนภัย
และสำหรับเมืองแรก ลองพิจารณาว่า ถ้าประชากร 1 ล้านคนทั้งหมดเดินผ่านกล้อง
ผู้ก่อการร้าย 99 คนจาก 100 คนจะทำให้เกิดสัญญาณเตือนภัย แต่ผู้ไม่ใช่ผู้ก่อการร้าย 9,999 จาก 999,900 คนก็จะทำให้เกิดการเตือนภัยเช่นเดียวกัน
ดังนั้น จะมีคนทั้งหมด 10,098 คนที่จะทำให้เกิดสัญญาณเตือนภัย โดยที่มี 99 คนเป็นผู้ก่อการร้าย
เพราะฉะนั้น ความน่าจะเป็นที่บุคคลที่ก่อให้เกิดสัญญาณเตือนภัยจะเป็นผู้ก่อการร้ายจริง ๆ เป็นเพียง 99 ใน 10,098 ซึ่งน้อยกว่า 1% และน้อยกว่าค่าที่เรา (ผู้ที่มีเหตุผลวิบัตินี้) เดาในเบื้องต้นที่ 99%
ความเห็นวิบัติโดยอัตราพื้นฐานทำให้เกิดการคลาดเคลื่อนอย่างไม่น่าเชื่อในตัวอย่างนี้เพราะว่า มีผู้ไม่ใช่ผู้ก่อการร้ายมากกว่าผู้ก่อการร้ายอย่างมหาศาล
ผลงานวิจัยทางจิตวิทยา.
งานทดลองต่าง ๆ พบว่า เราให้ความสำคัญกับข้อมูลเฉพาะมากกว่าข้อมูลทั่วไป ถ้ามีข้อมูลเฉพาะ
ในงานทดลองงานหนึ่งที่ให้นักศึกษาประเมินเกรดของนักศึกษาสมมุติ
พบว่า นักศึกษามักจะมองข้ามข้อมูลทางสถิติเกี่ยวกับการแจกแจงเกรด (grade distribution) ถ้ามีข้อมูลเฉพาะตัวเกี่ยวกับนักศึกษาสมมุติ
แม้ว่า ข้อมูลเฉพาะตัวนั้นอาจจะไม่มีความสำคัญอะไรเลยต่อการได้เกรดหนึ่ง ๆ 
มีการใช้ผลงานวิจัยนี้ในการอ้างว่า การสัมภาษณ์ผู้สมัครเป็นนักศึกษา (ในมหาวิทยาลัยของสหรัฐอเมริกา) ไม่จำเป็นในกระบวนการสอบรับนักศึกษา เพราะว่า ผู้สัมภาษณ์ไม่สามารถที่จะคัดเลือกผู้สมัครได้ดีกว่าค่าสถิติพื้นฐาน
นักจิตวิทยาชาวอเมริกันยุคต้น ๆ ที่ทำการศึกษาเช่นนี้คือ แดเนียล คาฮ์นะมัน และอะมอส ทเวอร์สกี้ ได้อธิบายปรากฏการณ์นี้ว่าเป็นการคิดหาคำตอบโดยใช้ฮิวริสติกโดยความเป็นตัวแทน
พวกเขาอ้างว่า มนุษย์ประเมินค่าความน่าจะเป็นหลายอย่าง หรือประเมินตัดสินเหตุและผล อาศัยว่าสิ่งหนึ่งมีความเป็นตัวแทน คือเหมือน กับอีกสิ่งหนึ่ง หรือกับประเภทหนึ่ง ๆ มากเท่าไร 
ดร. คาฮ์นะมันพิจารณาว่า การละเลยอัตราพื้นฐานเช่นนี้ เป็นรูปแบบหนึ่งของ extension neglect 
ส่วนนักจิตวิทยาริชาร์ด นิสเบ็ตต์ ที่มหาวิทยาลัยมิชิแกนเสนอว่า attribution bias เช่น fundamental attribution error เป็นรูปแบบอย่างหนึ่งของเหตุผลวิบัติโดยอัตราพื้นฐาน
คือ มนุษย์ไม่ใช้ข้อมูลที่ปรากฏโดยทั่วไป (คืออัตราพื้นฐาน) ว่าคนอื่น ๆ มีพฤติกรรมอย่างไรในสถานการณ์คล้าย ๆ กัน แต่กลับไปใช้ข้อมูลเฉพาะคือการแสดงเหตุโดยนิสัย (dispositional attribution) ซึ่งเป็นวิธีที่ง่ายกว่า
มีการถกเถียงอย่างพอสมควรในสาขาจิตวิทยาเกี่ยวกับสถานการณ์ที่เราจะให้ความสำคัญต่อข้อมูลอัตราพื้นฐาน 
นักวิจัยในเรื่องฮิวริสติกและความเอนเอียงได้เน้นหลักฐานการทดลองที่แสดงว่า เรามักจะละเลยอัตราพื้นฐานและทำการอนุมานที่คลาดเคลื่อนไปจากหลักเหตุผลของความน่าจะเป็นเช่น Bayes' theorem
ข้อสรุปจากแนวทางของงานวิจัยเหล่านี้ก็คือ กระบวนการความคิดเกี่ยวกับความน่าจะเป็นของมนุษย์มีข้อบกพร่องและเกิดความผิดพลาดได้ง่าย 
แต่ว่าก็มีนักวิจัยพวกอื่นที่เน้นความสัมพันธ์กันระหว่างกระบวนการทางประชานและรูปแบบของข้อมูล และเสนอว่า ข้อสรุปทั่วไปเช่นนี้ยังไม่สมควร เพราะว่าการแสดงปัญหาที่แสดงค่าทางสถิติเหล่านี้ โดยแสดงเป็นค่าอัตราส่วนตามธรรมชาติ แทนที่จะเป็นค่าเศษส่วนบรรทัดฐาน (เช่นค่าเปอร์เซ็นต์) หรือค่าความน่าจะเป็นมีเงื่อนไข จะทำให้มีโอกาสมากขึ้นที่จะแก้ปัญหาได้อย่างถูกต้อง
ลองมาพิจารณาปัญหาตัวอย่างที่ 2 อีกครั้งหนึ่ง สิ่งที่ต้องการจะอนุมานก็คือค่าความน่าจะเป็นที่คนขับรถที่หยุดโดยสุ่มจะเมาเหล้าถ้าเครื่องวิเคราะห์แสดงว่าเมา โดยรูปนัยแล้ว ค่าความน่าจะเป็นสามารถคำนวณได้โดยใช้ Bayes' theorem ดังที่แสดงไว้แล้ว แต่ว่า ก็ยังมีวิธีการแสดงข้อมูลที่เกี่ยวข้องกันในแบบอื่น ๆ ดังตัวอย่างดังต่อไปนี้ ซึ่งความจริงแล้วเป็นปัญหาเดียวกัน
 คนขับรถ 1 ใน 1000 เมาแล้วขับ เครื่องวิเคราะห์ลมหายใจไม่เคยพลาดในการตรวจจับคนที่เมาจริง ๆ แต่ว่าในบรรดาคนขับที่ไม่เมา 999 คน จะมี 50 คนที่เครื่องวิเคราะห์จะแสดงว่าเมาอย่างผิด ๆ ถ้าเจ้าหน้าที่ตำรวจหยุดรถโดยสุ่ม แล้วบังคับใช้เครื่องวิเคราะห์กับคนขับ ซึ่งแสดงว่าคนขับเมา เมื่อสมมุติว่าคุณไม่รู้อะไรเลยเกี่ยวกับคนขับ ความน่าจะเป็นว่าคนขับเมาจริง ๆ มีค่าเท่าไร 
ในรูปแบบการแสดงปัญหาเช่นนี้ ข้อมูลตัวเลขที่เกี่ยวข้องคือ "p" (เมา), "p" (เครื่องแสดงว่าเมา | เมา), และ "p" (เครื่องแสดงว่าเมา | ไม่เมา) เป็นการแสดงโดยอัตราส่วนที่มีตามธรรมชาติ
งานวิจัยโดยการทดลองพบว่า เราจะอนุมานใกล้เคียงกับกฎความน่าจะเป็นของ Bayes มากกว่าเมื่อแสดงปัญหาอย่างนี้ ซึ่งช่วยแก้ปัญหาการละเลยอัตราพื้นฐานทั้งในคนทั่วไป และทั้งในผู้ชำนาญการและนักวิชาการ 
และดังนั้น องค์กรต่าง ๆ รวมทั้งองค์กรความร่วมมือคอเครนแนะนำให้ใช้รูปแบบเช่นนี้ในการสื่อสารบทความสุขภาพที่มีการกล่าวถึงค่าสถิติ 
และการสอนให้คนแปลปัญหาที่ต้องใช้เหตุผลโดยกฎความน่าจะเป็นของ Bayes ให้เป็นปัญหาที่แสดงรูปแบบอัตราส่วนโดยธรรมชาติ เป็นวิธีการสอนที่ได้ผลดีกว่าสอนให้ใส่ตัวเลขค่าความน่าจะเป็น (หรืออัตราร้อยละ) เข้าไปใน Bayes' theorem 
นอกจากนั้นแล้ว ยังมีงานวิจัยที่แสดงด้วยว่า การแสดงอัตราส่วนโดยใช้ตัวแทนสัญลักษณ์ (เช่น แสดงรูปคนตามจำนวนประชากร) จะช่วยเราให้สามารถทำการอนุมานได้ดีขึ้น
ทำไมการแสดงปัญหาเป็นอัตราส่วนโดยธรรมชาติจึงช่วยแก้ปัญหา เหตุผลสำคัญอย่างหนึ่งก็คือเพราะช่วยทำการคำนวณให้ง่ายขึ้น ซึ่งสามารถเห็นได้ถ้าใช้วิธีการคำนวณค่าความน่าจะเป็นที่ต้องการคือ "p" (เมา|เมื่อเครื่องแสดงว่าเมา) หรือ "p" (drunk|D) 
<math>p (drunk| D) = \frac{N (drunk \cap D)}{N (D)} = \frac{1}{51} = 0.0196</math>
โดยมี "N" (drunk ∩ D) หรือ "N" (เมา ∩ เครื่องแสดงว่าเมา) หมายถึงจำนวนคนขับที่เมาด้วยและเครื่องแสดงว่าเมาด้วย
และ "N" (D) หรือ "N" (เครื่องแสดงว่าเมา) หมายถึงจำนวนคนขับทั้งหมดที่เครื่องจะแสดงว่าเมา
สูตรนี้เท่าเทียมกับสูตรที่แสดงในตัวอย่างที่ผ่านมาแล้ว ซึ่งเป็นไปตามกฎของทฤษฎีความน่าจะเป็น
ว่า "N" (drunk ∩ D) = "p" (D | drunk) × "p" (drunk) คือ "N" (เมา ∩ เครื่องบอกว่าเมา) = "p" (เครื่องบอกว่าเมา | เมา) × "p" (เมา)
ที่สำคัญก็คือว่า แม้ว่าจริง ๆ แล้วสูตรนี้จะเท่าเทียมกับสูตรที่เป็นไปตามกฎของ Bayes โดยรูปนัย แต่ว่า ตามความรู้สึกหรือตามความคิดแล้ว จะไม่เท่าเทียมกัน
การใช้อัตราส่วนโดยธรรมชาติทำการอนุมานให้ง่ายขึ้น เพราะว่า 
ถึงกระนั้น อย่าเข้าใจว่า รูปแบบอัตราส่วนทุก ๆ แบบจะช่วยในการคิดหาค่าความน่าจะเป็น 
คือ อัตราส่วน "โดยธรรมชาติ" จะหมายถึงข้อมูลที่มีรูปแบบเหมือนกับการชักข้อมูล/การหาข้อมูลโดยธรรมชาติจริง ๆ (เช่นตัวอย่างที่สองในแบบปัญหาที่พึ่งแสดง) ไม่ใช่ค่าอัตราส่วนที่ได้มีการทำให้เป็นบรรทัดฐาน (normalized)