Meta-analysis of stereotype threat on girls' math scores showing asymmetry typical of publication bias. From Flore, P. C. & Wicherts, J. M. (2015)
**ความเอนเอียงในการตีพิมพ์** (ผลงานวิจัย) (อังกฤษ: Publication bias) เป็นความเอนเอียง (bias) ในประเด็นว่า ผลงานวิจัยอะไรมีโอกาสมากกว่าที่จะได้รับการตีพิมพ์ ในบรรดางานทั้งหมดที่ได้ทำ
ความเอนเอียงโดยธรรมชาติแล้วไม่ได้เป็นปัญหาทั้งหมด ยกตัวอย่างเช่น ความเอนเอียงในการที่จะไม่ตีพิมพ์เรื่องไม่จริงเป็นความเอนเอียงที่พึงปรารถนา
แต่ความเอนเอียงที่เป็นปัญหาก็คือความโน้มน้าวที่นักวิจัย บรรณาธิการ และบริษัทผลิตยา
มักจะมีความประพฤติกับผลงานทดลองที่เป็น "**ผลบวก**" (คือ แสดงว่าประเด็นการทดลอง*มี*ความสัมพันธ์กับผลอย่างมีนัยสำคัญ) แตกต่างจากงานทดลองที่เป็น "**ผลลบ**" (null result หรือผลว่าง คือ ประเด็นการทดลอง*ไม่มี*ความสัมพันธ์กับผลอย่างมีนัยสำคัญ) หรือว่าไม่มีความชัดเจน
ซึ่งนำไปสู่ความเอนเอียงที่ทำให้เกิดความเข้าใจผิดในเรื่องนั้น ที่มีในบรรดางานที่ได้รับการตีพิมพ์ทั้งหมด

ความเอนเอียงนี้มักจะเป็นไปในทางการรายงานผลที่มีนัยสำคัญ
แม้ว่าจริง ๆ แล้วงานทดลองที่แสดงนัยสำคัญไม่ได้มีคุณภาพการออกแบบการทดลองที่ดีกว่างานทดลองที่แสดงผลว่าง 
คือ ได้เกิดการพบว่า ผลที่มีนัยสำคัญมีโอกาสที่จะได้รับการตีพิมพ์มากกว่าผลที่แสดงผลว่างมากกว่าถึง 3 เท่า 
และก็มีการพบด้วยว่า เหตุผลสามัญที่สุดของการไม่ตีพิมพ์ผลงานก็คือผู้ทำงานวิจัยปฏิเสธที่จะเสนอผลงานเพื่อพิมพ์
(เพราะว่า ผู้ทำงานวิจัยหมดความสนใจในประเด็นนั้น หรือว่าคิดว่า ผู้อื่นจะไม่สนใจในผลว่าง หรือเหตุผลอื่น ๆ)
ซึ่งเป็นข้อมูลที่แสดงถึงบทบาทของนักวิจัยในปรากฏการณ์ความเอนเอียงในการตีพิมพ์นี้

เพื่อที่จะพยายามลดปัญหานี้ วารสารแพทย์ที่สำคัญบางวารสารเริ่มมีการกำหนดให้ลงทะเบียนงานทดลองก่อนที่จะเริ่มทำเพื่อว่า ผลที่ไม่แสดงความสัมพันธ์ของประเด็นงานวิจัยกับผลจะไม่ถูกกักไว้ไม่ให้พิมพ์
มีองค์กรการลงทะเบียนเช่นนี้หลายองค์กร แต่นักวิจัยมักจะไม่รู้จัก
นอกจากนั้นแล้ว ความพยายามที่ผ่านมาที่จะระบุหางานทดลองที่ไม่ได้รับการพิมพ์ปรากฏว่า เป็นเรื่องที่ยากและมักจะไม่เพียงพอ
อีกกลยุทธ์หนึ่งที่เสนอโดยผู้ทำการวิเคราะห์งานวิจัยต่าง ๆ ก็คือให้ระวังการใช้ผลงานทดลองทางคลินิกที่ไม่ใช่แบบสุ่ม (non-randomised) และมีตัวอย่างทางสถิติน้อย เพราะว่า เป็นงานที่มีความเสี่ยงสูงต่อข้อผิดพลาดและความเอนเอียง

นิยาม
-----

ตามบทความที่พิมพ์บทหนึ่ง

> ความเอนเอียงในการพิมพ์เกิดขึ้น เมื่อการพิมพ์ผลงานวิจัยขึ้นอยู่กับลักษณะและทิศทางของผล
> 
> 

"**ความเอนเอียงในผลเชิงบวก**" (Positive results bias) เป็นความเอนเอียงในการตีพิมพ์อย่างหนึ่ง ซึ่งเกิดขึ้นเมื่อผู้ทำงานวิจัยมักจะเสนอ หรือบรรณาธิการมักจะรับ ผลเชิงบวกมากกว่าผลว่าง (คือผลที่แสดงว่าไม่มีความสัมพันธ์หรือไม่ชัดเจน)
คำที่ใช้อีกคำหนึ่งคือ "**ปรากฏการณ์ลิ้นชักเก็บเอกสาร**" (file drawer effect) หมายถึงความโน้มน้าวที่ผู้ทำงานจะไม่ตีพิมพ์ผลงานที่แสดงผลลบหรือไม่ชัดเจน (คือเก็บไว้เฉย ๆ)

ส่วน "**ความเอนเอียงในการรายงานผล**" (outcome reporting bias) เกิดขึ้นเมื่อมีการวัดผลหลายอย่างในการทดลอง
แต่มีการรายงานถึงผลโดยเลือกขึ้นอยู่กับการแสดงนัยสำคัญหรือทิศทางของผลนั้น
มีคำบัญญัติภาษาอังกฤษที่สัมพันธ์กันก็คือ HARKing (**H**ypothesizing [การตั้งสมมติฐาน] **A**fter [หลังจาก] **R**esults [ผล] are **K**nown [ปรากฏแล้ว] ซึ่งเป็นกระบวนการทางวิทยาศาสตร์ที่ไม่รัดกุมยกเว้นในบางกรณีที่เลี่ยงไม่ได้)

ปรากฏการณ์ลิ้นชักเก็บเอกสาร
---------------------------

ปรากฏการณ์ลิ้นชักเก็บเอกสาร (file drawer effect) หรือปัญหาลิ้นชักเก็บเอกสาร ก็คือว่า อาจมีงานวิจัยต่าง ๆ เกี่ยวกับประเด็นหนึ่ง ๆ 
ที่ทำแล้วแต่ไม่มีการรายงาน
และงานที่ทำแล้วไม่ได้รายงานรวม ๆ กันแล้วอาจจะแสดงผลที่แตกต่างจากงานที่มีการรายงาน
กรณีแบบสุด ๆ อย่างหนึ่งก็คือกรณีที่สมมติฐานว่าง (null hypothesis) ของประเด็นที่ศึกษาเป็นความจริง
ซึ่งก็คือความสัมพันธ์ (ระหว่างประเด็นที่ศึกษากับผลที่ต้องการ) ไม่มีจริง ๆ 
แต่ว่า งานวิจัย 5% ที่แสดงผลมีนัยสำคัญโดยเป็นความบังเอิญทางสถิติกลับเกิดการตีพิมพ์
ในขณะที่งานวิจัย 95% ที่แสดงผลว่างกลับถูกเก็บไว้ในลิ้นชักเอกสารของนักวิจัย
แม้แต่การมีผลงานวิจัยในลิ้นชักเพียงแค่จำนวนน้อยก็สามารถที่จะมีผลเป็นความเอนเอียงโดยนัยสำคัญ 
คำว่า "file drawer problem" (ปัญหาลิ้นชักเก็บเอกสาร) เป็นคำที่บัญญัติขึ้นโดยนักจิตวิทยารอเบิรต์ โรเซ็นธัล ในปี ค.ศ. 1979

ผลของความเอนเอียงต่องานวิเคราะห์งานวิจัย
----------------------------------------

ผลของความเอนเอียงนี้ก็คือว่า งานที่มีการตีพิมพ์อาจจะไม่เป็นตัวแทนที่ดีของงานวิจัยทั้งหมดที่ได้กระทำ
และความเอนเอียงนี้อาจทำงานวิเคราะห์งานวิจัย (meta-analysis) และงาน systematic review 
ที่วิเคราะห์ผลงานวิจัยจำนวนมากให้ผิดเพี้ยน
ซึ่งเป็นวิธีสองอย่างที่การแพทย์อาศัยหลักฐาน (evidence-based medicine) เป็นต้นใช้ในการแสดงเหตุผลเพิ่มขึ้นเรื่อย ๆ
ปัญหานี้อาจมีนัยสำคัญโดยเฉพาะเมื่องานวิจัยได้รับทุนจากองค์กรที่ต้องการได้ผลที่เป็นบวกเพราะเหตุผลประโยชน์ทางการเงินและเหตุสนับสนุนคตินิยม

จริงอย่างนั้น งานวิจัยในปี ค.ศ. 2013 แสดงว่า ผลงานทดลองทางคลินิกที่แสดงผลมีนัยสำคัญทางสถิติของวิธีการรักษาที่เป็นประเด็น และผลงานวิจัยโดยสังเกตการณ์ที่แสดงผลที่อาจมีนัยสำคัญทางสถิติ
มีความน่าจะเป็นที่จะรับรวมเข้าในงานวิเคราะห์งานวิจัย (meta-analyse) ที่พิมพ์ในวารสารการแพทย์ทั่วไปที่สำคัญ สูงกว่างานวิจัยที่แสดงผลเป็นอื่น ๆ

ดังนั้น ผู้ที่ทำงานวิเคราะห์งานวิจัยและงาน systematic reviewต้องออกแบบวิธีเลือกงานวิจัยที่จะรวมเข้าในการวิเคราะห์โดยเผื่อความเอนเอียงเช่นนี้
วิธีหนึ่งที่ใช้ในการลดระดับความเอนเอียงนี้ก็คือ ต้องตรวจหาผลงานวิจัยที่ไม่ได้รับการพิมพ์อย่างถี่ถ้วน
และใช้เทคนิคการวิเคราะห์ เช่น Begg's funnel plot หรือ Egger's plot เพื่อแสดงค่าของความเอนเอียงในการตีพิมพ์ที่อาจจะมี
การทดสอบความเอนเอียงแบบนี้ตั้งอยู่บนทฤษฎีว่า งานวิจัยที่มีตัวอย่างทางสถิติน้อย (และมี variance คือค่าแปรปรวนสูง) จะเสี่ยงต่อควาเอนเอียงนี้
ในขณะที่งานวิจัยที่มีตัวอย่างมากจะไม่สามารถหลีกเลี่ยงการรับรู้โดยสาธารณชนและมีโอกาสสูงที่จะได้รับตีพิมพ์ไม่ว่าผลจะมีนัยสำคัญหรือไม่
และดังนั้น เมื่อวาดกราฟใช้ค่าประเมินทั่วไปร่วมกับค่าแปรปรวน (variance ซึ่งแสดงขนาดตัวอย่าง) มักจะเป็นรูปกรวยที่สมดุลเมื่อไม่มีความเอนเอียงนี้
ในขณะที่รูปกรวยที่ไม่สมดุล อาจจะแสดงความมีอยู่ของความเอนเอียงในการตีพิมพ์

และโดยขยายเทคนิค funnel plot ดังที่กล่าวในวรรคที่แล้ว มีการเสนอวิธี "trim and fill" เพื่อใช้ในการอนุมานว่า มีงานวิจัยที่ไม่ได้รับการพิมพ์ซ่อนเร้นอยู่ดังที่กำหนดได้โดยใช้ funnel plot แล้วแก้ค่าวิเคราะห์งานวิจัยให้ถูกต้อง โดยประเมินค่าที่มาจากงานวิจัยที่ไม่ได้รับการพิมพ์ เพื่อจะได้ค่าประเมินที่ไม่มีความเอนเอียง

นอกจากนั้นแล้วยังมีแบบเลือกงานวิจัย (selection model) ต่าง ๆ ซึ่งสามารถใช้ประเมินฟังก์ชันที่บอกความน่าจะเป็นที่งานวิจัยหนึ่ง ๆ จะได้รับเลือกให้อยู่ในงานวิเคราะห์งานวิจัย (meta-analysis) ตามระดับผลต่าง ๆ กัน 
แบบการเลือกงานวิจัยยังสามารถใช้เป็นวิธีวิเคราะห์งานวิจัยเมื่อมีความเอนเอียงในการตีพิมพ์

อย่างไรก็ดี เนื่องจากว่าวิธีตรวจสอบความเอนเอียงในการตีพิมพ์ทั้งหมดมีกำลังต่ำ (low power) และอาศัยข้อสันนิษฐานที่มีกำลังแต่ตรวจสอบไม่ได้ ผลลบที่ได้จากการตรวจสอบไม่ได้ยืนยันความถูกต้องของค่าสรุปต่าง ๆ จากงานวิเคราะห์งานวิจัย

ตัวอย่างต่าง ๆ
--------------

ยาแก้ซึมเศร้า Reboxetine เป็นตัวอย่างของความเอนเอียงของการทดลองทางคลินิก
ยานี้ได้รับอนุมัติว่าได้ผลในการรักษาความซึมเศร้าในประเทศยุโรปหลายประเทศรวมทั้งประเทศอังกฤษในปี ค.ศ. 2001 
ต่อมาในปี ค.ศ. 2010 จึงมีการพบโดยงานวิเคราะห์งานวิจัยว่า ยานี้จริง ๆ ไม่ได้ผล แต่ดูเหมือนได้ผลเพราะเหตุแห่งความเอนเอียงในการตีพิมพ์ในการทดลองเบื้องต้นที่พิมพ์โดยบริษัทผลิตยาไฟเซอร์
ต่อมาในปี ค.ศ. 2011 งานวิเคราะห์งานวิจัยของข้อมูลเดิมกลับพบข้อบกพร่องในงานวิเคราะห์งานวิจัยในปี ค.ศ. 2010 และเสนอว่า ยาได้ผลสำหรับกรณีซึมเศร้าที่รุนแรง
เหตุการณ์นี้แสดงให้เห็นว่า ไม่ว่า Reboxetine จะมีผลหรือไม่มีก็ตาม แต่ว่า ผลการทดลองดั้งเดิมของไฟเซอร์แสดงความเอนเอียงในการตีพิมพ์ที่ชัดเจน
(ดูตัวอย่างอื่น ๆ เกี่ยวกับยาที่ให้โดยเบ็น โกลแด็กเกอร์
และปีเตอร์ วิล์มเฮิร์สต)

ในสังคมศาสตร์ งานวิจัยหนึ่งตรวจสอบงานวิจัยเกี่ยวกับความสัมพันธ์ระหว่างการทำประโยชน์ให้กับสังคมกับผลกำไรของบริษัทต่าง ๆ แล้วพบว่า "ในวารสารทางเศรษฐกิจ การเงิน และการบัญชี ค่าสหสัมพันธ์โดยเฉลี่ย (ที่แสดงความสัมพันธ์ระหว่างการทำประโยชน์ให้กับสังคมกับผลกำไรของบริษัท) มีค่าแค่ครึ่งหนึ่งของค่าที่พบในวารสารเกี่ยวกับการบริหารปัญหาสังคม จริยธรรมธุรกิจ หรือธุรกิจและสังคม" คือ วารสารเกี่ยวกับปัญหาสังคมและศีลธรรมทางธุรกิจแสดงว่า บริษัทยิ่งได้กำไรเท่าไรก็ทำประโยชน์ให้กับสังคมมากเท่านั้น ในระดับที่ต่ำกว่าวารสารธุรกิจโดยทั่ว ๆ ไป (ซึ่งอาจจะแสดงถึงการมีความเอนเอียงในการตีพิมพ์)

งานวิจัยเกี่ยวกับเรื่องเหนือธรรมชาติ (paranormal) มักจะได้คำวิจารณ์ว่ามีความเอนเอียงในการตีพิมพ์ 
ตัวอย่างหนึ่งในปี ค.ศ. 2011 ก็คือบทความโดยแดริว เบอร์น ซึ่งแสดงหลักฐานเกี่ยวกับการเห็นอนาคตในระยะสั้น
แต่ว่า ผลลบของนักวิจัยที่พยายามทำซ้ำงานทดลองนี้กลับไม่ได้รับพิมพ์ในวารสารที่พิมพ์ผลงานวิจัยดั้งเดิมที่แสดงผลบวก

งานวิจัยหนึ่ง 
เปรียบเทียบงานวิจัยของจีนและที่ไม่ใช่ของจีนเกี่ยวกับความสัมพันธ์ระหว่างยีนและโรค
แล้วพบว่า "งานวิจัยของจีนโดยทั่ว ๆ ไปรายงานความสัมพันธ์ระหว่างยีนกับโรคในระดับที่สูงกว่า และผลที่มีนัยสำคัญทางสถิติบ่อยครั้งกว่า" 
คำอธิบายผลนี้อย่างหนึ่งก็คือความเอนเอียงในการตีพิมพ์

ระดับความเสี่ยง
---------------

ตาม ศ. John Ioannidis ผลงานวิจัยโดยทั่ว ๆ ไป มีโอกาสที่จะไม่เป็นจริงถ้ามีเหตุต่าง ๆ เหล่านี้ คือ

1. มีงานวิจัยที่ทำในภาคสนามน้อยกว่า
2. ขนาด (หรือระดับ) ผลที่ได้มีน้อยกว่า
3. ความสัมพันธ์ที่สามารถทดสอบได้มีเป็นจำนวนมากและมีการเลือกความสัมพันธุ์ที่จะตรวจสอบล่วงหน้าน้อย
4. มีความยืดหยุ่นในระดับสูงของการออกแบบ คำนิยาม ผล และวิธีการวิเคราะห์
5. มีผลประโยชน์ทางการเงินและในเรื่องอื่น ๆ เข้ามาเกี่ยวข้อง
6. มีทีมต่าง ๆ ในวงการวิทยาศาสตร์นั้น ๆ ที่กำลังเสาะหาผลที่มีนัยสำคัญมากกว่า

ศ. Ioannidis ยืนยันว่า "ผลงานวิจัยที่พิมพ์บ่อยครั้งอาจจะเป็นเพียงแค่ค่าวัดที่แม่นยำของความคิดเอนเอียงที่มีอยู่ทั่วไป"

การแก้ไข
--------

วิธีแก้ไขที่ ศ. Ioannidis เสนอรวมทั้ง

1. งานวิจัยที่ใช้เทคนิคที่มีประสิทธิภาพดีกว่า รวมทั้ง
	* งานวิเคราะห์งานวิจัย (meta-analysis) ที่มีระดับความเอนเอียงต่ำ
	* งานวิจัยมีตัวอย่างทางสถิติมากที่สามารถจะแสดงผลที่ชัดเจน ใช้เพื่อทดสอบไอเดียสำคัญทั่วไปด้วย
2. มาตรฐานงายวิจัยที่สูงขึ้นรวมทั้ง
	* การลงทะเบียนวิธีการทดลองล่วงหน้าสำหรับงานทดลองแบบสุ่ม
	* การลงทะเบียนข้อมูลที่เก็บมาจากภาคสนาม หรือการแบ่งใช้ข้อมูลที่เก็บผ่านระบบเครือข่าย (ในงานภาคสนามบางอย่างที่นักวิจัยต้องการจะสร้างสมมติฐานอาศัยข้อมูลที่เก็บ)
	* โดยทำตามแบบงานทดลองแบบสุ่มมีกลุ่มควบคุม (randomized controlled trial) คือให้มีหลักในการออกแบบและทำตามกฎระเบียบวิธีการทดลอง (ที่ได้ออกแบบไว้ล่วงหน้า)
3. พิจารณาก่อนที่จะทำการทดลองว่า โอกาสมีเท่าไรในการได้ผลบวกหรือผลลบเกี่ยวกับความสัมพันธ์ที่เป็นประเด็น
	* ให้ประเมินความน่าจะเป็นของ false positive report (ผลที่แสดงว่าบวกโดยไม่ตรงกับความจริง) อย่างมีหลักเกณฑ์ โดยอาศัยพลังทางสถิติของวิธีการทดลอง
	* ให้ทำซ้ำการทดลอง (ถ้าถูกต้องตามจรรยาบรรณ) เพื่อเช็คผลการทดลองที่เป็นแบบฉบับ (คือมีผู้ให้ความสนใจหรือเป็นที่เชื่อถือมาก) โดยทำงานวิจัยที่มีตัวอย่างทางสถิติมาก ออกแบบให้มีความเอนเอียงน้อยที่สุด

การลงทะเบียนงานทดลอง
--------------------

ในเดือนกันยายน ปี ค.ศ. 2004 บรรณาธิการของวารสารการแพทย์สำคัญ ๆ (รวมทั้ง*วารสารการแพทย์นิวอิงแลนด์*, *The Lancet*, *Annals of Internal Medicine* และ *Journal of the American Medical Association*)
ได้ประกาศว่า จะไม่พิมพ์ผลงานวิจัยเกี่ยวกับยาที่สนับสนุนโดยบริษัทผลิตยา
ยกเว้นถ้างานวิจัยมีการลงทะเบียนกับฐานข้อมูลสาธารณะตั้งแต่ต้น 
นอกจากนั้นแล้ว วารสารบางวารสารเช่น *Trials* ยังสนับสนุนนักวิจัยให้พิมพ์วิธีการทดลอง (study protocol) ในวารสาร

ดูเพิ่ม
-------

* ความเอนเอียงเพื่อยืนยัน

เชิงอรรถและอ้างอิง
------------------

1. ↑  Flore P. C.; Wicherts J. M. (2015). "Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis". *J Sch Psychol*. **53** (1): 25–44. doi:10.1016/j.jsp.2014.10.002. PMID 25636259.
2. ↑  PMID 20181324 (PMID 20181324)  
Citation will be completed automatically in a few minutes. 
Jump the queue or expand by hand
3. 1 2 3  Easterbrook, P. J.; Berlin, J. A.; Gopalan, R.; Matthews, D. R. (1991). "Publication bias in clinical research". *Lancet*. **337** (8746): 867–872. doi:10.1016/0140-6736(91)90201-Y. PMID 1672966.
4. ↑  Dickersin, K.; Chan, S.; Chalmers, T. C. (1987). "Publication bias and clinical trials". *Controlled Clinical Trials*. **8** (4): 343–353. doi:10.1016/0197-2456(87)90155-3.
5. ↑  K. Dickersin (March 1990). "The existence of publication bias and risk factors for its occurrence". *JAMA*. **263** (10): 1385–1359. doi:10.1001/jama.263.10.1385. PMID 2406472.
6. ↑  D.L. Sackett (1979). "Bias in analytic research". *Journal of Chronic Diseases*. **32** (1–2): 51–63. doi:10.1016/0021-9681(79)90012-2. PMID 447779.
7. 1 2  Robert Rosenthal (May 1979). "The file drawer problem and tolerance for null results". *Psychological Bulletin*. **86** (3): 638–641. doi:10.1037/0033-2909.86.3.638.
8. ↑  เป็นการเล่นคำของศัพท์ว่า hark ซึ่งแปลว่า ให้ความใส่ใจอย่างใกล้ชิด
9. ↑  N.L. Kerr (1998). "HARKing: Hypothesizing After the Results are Known". *Personality and Social Psychology Review*. **2** (3): 196–217. doi:10.1207/s15327957pspr0203\_4. PMID 15647155. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2012-02-04. สืบค้นเมื่อ 2014-09-09.
10. ↑  Jeffrey D. Scargle (2000). "Publication bias: the "file-drawer problem" in scientific inference" (PDF). *Journal of Scientific Exploration*. **14** (2): 94–106. คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2015-01-22. สืบค้นเมื่อ 2014-09-09.
11. 1 2  **systematic review** เป็นงานปริทัศน์เอกสารที่ตีพิมพ์เกี่ยวกับประเด็นปัญหางานวิจัยหนึ่ง ๆ ที่พยายามที่จะระบุ ประเมิน เลือก และสังเคราะห์หลักฐานงานวิจัยมีคุณภาพสูงที่เกี่ยวข้องกับประเด็นปัญหานั้น ๆ systematic review ของการวิจัยเชิงทดลองแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trial) เป็นสิ่งที่ขาดไม่ได้ในการแพทย์อาศัยหลักฐาน (evidence-based medicine) จาก "What is EBM?". Centre for Evidence Based Medicine. 2009-11-20. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2011-04-06. สืบค้นเมื่อ 2011-06-17.
12. ↑  Kicinski, Michal (November 2013). "Publication bias in recent meta-analyses" (PDF). PLOS ONE. สืบค้นเมื่อ 22 สิงหาคม 2557. `{{cite web}}`: ตรวจสอบค่าวันที่ใน: `|accessdate=` (help)CS1 maint: date and year (ลิงก์)
13. ↑  Sutton AJ, Song F, Gilbody SM, Abrams KR (2000) Modelling publication bias in meta-analysis: a review. Stat Methods Med Res 9:421-445.
14. ↑  Goldacre 2012. sfn error: no target: CITEREFGoldacre2012 (help)
15. ↑  Wilmshurst 2007. sfn error: no target: CITEREFWilmshurst2007 (help)
16. ↑  Marc Orlitzky. "Institutional Logics in the Study of Organizations: The Social Construction of the Relationship between Corporate Social and Financial Performance" (PDF). คลังข้อมูลเก่าเก็บจากแหล่งเดิม (PDF)เมื่อ 2017-10-19. สืบค้นเมื่อ 2014-09-09.
17. ↑  "Backwards step on looking into the future". The Guardian. 23 April 2011.
18. ↑  Zhenglun Pan, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, John P.A. Ioannidis, "Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature". *PLoS Medicine*, **2** (12) :e334, 2005 December.
19. ↑  Jin Ling Tang, "Selection Bias in Meta-Analyses of Gene-Disease Associations", *PLoS Medicine*, **2** (12) :e409, 2005 December.
20. ↑  Ioannidis J (2005). "Why most published research findings are false". *PLoS Med*. **2** (8): e124. doi:10.1371/journal.pmed.0020124. PMC 1182327. PMID 16060722.
21. ↑  Wacholder, S.; Chanock, S; Garcia-Closas, M; El Ghormli, L; Rothman, N (March 2004). "Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies". *JNCI*. **96** (6): 434–42. doi:10.1093/jnci/djh075. PMID 15026468.
22. ↑  The Washington Post (2004-09-10). "Medical journal editors take hard line on drug research". smh.com.au. สืบค้นเมื่อ 2008-02-03.
23. ↑  "Instructions for Trials authors — Study protocol". 2009-02-15.

แหล่งข้อมูลอื่น
---------------

* Lehrer, Jonah (December 13, 2010). "The Truth Wears Off". *The New Yorker* (ภาษาอังกฤษ). สืบค้นเมื่อ 2020-01-30.
* Register of clinical trials conducted in the US and around the world, maintained by the National Library of Medicine, Bethesda
* Skeptic's Dictionary: positive outcome bias.
* Skeptic's Dictionary: file-drawer effect.
* Journal of Negative Results in Biomedicine
* The All Results Journals
* Journal of Articles in Support of the Null Hypothesis
* Psychfiledrawer.org: Archive for replication attempts in experimental psychology เก็บถาวร 2021-02-04 ที่ เวย์แบ็กแมชชีน