การวิเคราะห์อภิมาน

การวิเคราะห์อภิมาน  ()
หมายถึงวิธีการทางสถิติที่ใช้เพื่อเปรียบเทียบและรวบรวมข้อมูลจากงานวิจัยต่าง ๆ กัน
โดยมีจุดมุ่งหมายเพื่อกำหนดสิ่งที่พบเหมือน ๆ กัน  สิ่งที่ต่างกัน  และความสัมพันธ์ที่น่าสนใจอื่น ๆ ที่อาจปรากฏด้วยการศึกษางานวิจัยหลาย ๆ งาน
Meta-analysis สามารถพิจารณาได้ว่าเป็นการ "ทำการศึกษาเกี่ยวกับการศึกษาอื่นที่ทำมาแล้ว"
โดยแบบที่ง่ายที่สุด Meta-analysis จะทำโดยกำหนดการวัดค่าทางสถิติที่เหมือนกันในงานวิจัยหลาย ๆ งาน
เช่น ขนาดผล (effect size) หรือ p-value แล้วสร้างค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ของการวัดค่าที่เหมือนกัน
โดยน้ำหนักที่ให้มักจะขึ้นอยู่กับขนาดตัวอย่าง (sample size) ของแต่ละงานวิจัย  แต่ก็สามารถขึ้นอยู่กับองค์ประกอบอย่างอื่น ๆ เช่นคุณภาพของงานศึกษาด้วย

แรงจูงใจที่จะทำงานศึกษาแบบ meta-analysis ก็เพื่อรวมข้อมูลเพื่อจะเพิ่มกำลังทางสถิติ (statistical power) ของค่าที่สนใจ
เมื่อเปรียบเทียบกับเพียงใช้ค่าวัดจากงานศึกษาเดียว
ในการทำงานศึกษาเช่นนี้  นักวิจัยต้องเลือกองค์ประกอบหลายอย่างที่อาจมีอิทธิพลต่อผลงาน
รวมทั้งวิธีการสืบหางานวิจัย  การเลือกงานวิจัยตามกฏเกณฑ์ที่เป็นกลาง  การแก้ปัญหาเมื่อมีข้อมูลไม่ครบ  การวิเคราะห์ข้อมูลที่ได้  และการแก้ปัญหาหรือไม่แก้ปัญหาความเอนเอียงในการตีพิมพ์ 

การศึกษาแบบ Meta-analysis มักจะเป็นส่วนสำคัญของงานปริทัศน์แบบทั้งระบบ (systematic review) แต่ไม่เสมอไป
ยกตัวอย่างเช่น  อาจจะมีการทำงานแบบ Meta-analysis โดยใช้ผลงานการทดลองทางคลินิก (clinical trial) เกี่ยวกับการรักษาทางแพทย์อย่างหนึ่ง
เพื่อที่จะได้ความเข้าใจที่ดีขึ้นว่าการรักษาได้ผลแค่ไหน

เมื่อใช้ศัพท์ต่าง ๆ ที่กำหนดโดยองค์กร Cochrane Collaboration คำว่า meta-analysis ก็จะหมายถึงวิธีทางสถิติที่ใช้ในการประมวลหลักฐาน
โดยไม่รวมเอาการประมวลข้อมูลรูปแบบอื่น ๆ เช่น research synthesis (แปลว่า  การสังเคราะห์งานวิจัย) หรือ evidence synthesis (แปลว่า  การสังเคราะห์หลักฐาน) ที่ใช้ประมวลข้อมูลจากงานศึกษาเชิงคุณภาพ (qualitative studies)
ซึ่งใช้ในงานปริทัศน์แบบทั้งระบบ

ประวัติ
งานศึกษาแบบ Meta-analysis ที่เก่าแก่ที่สุดเกิดขึ้นเมื่อคริสต์ทศวรรษที่ 12 ในประเทศจีน
เมื่อนักปราชญ์จู ซี (朱熹, ค.ศ. 1130~1200) สร้างหลักปรัชญาโดยรวบรวมข้อมูลจากงานหนังสือต่าง ๆ  จู ซี เรียกวิธีการศึกษาของตนว่า "ทฤษฏีกฏเกณฑ์ทั้งระบบ" (, )
ส่วนในประวัติชาวตะวันตก  รากฐานของ meta-analysis เริ่มมาจากการศึกษาทางดาราศาสตร์ในคริสต์ศตวรรษที่ 17
แต่การประมวลผลการทดลองทางคลินิกด้วย meta-analysis เป็นครั้งแรก  เกิดขึ้นเมื่อปี ค.ศ. 1904 เผยแพร่ในวารสารแพทย์อังกฤษ (British Medical Journal)  ซึ่งแสดงประสิทธิภาพของวัคซีนไข้รากสาดน้อย ทำโดยนักสถิติชาวอังกฤษคาร์ล เพียร์สัน  
ส่วนงาน meta-analysis ที่รวบรวมงานศึกษาที่มีแนวคิดเดียวกันทั้งหมดเกี่ยวกับประเด็นวิจัยเดียวกัน  แต่ทำโดยนักวิจัยกลุ่มต่าง ๆ กัน
เป็นหนังสือที่ตีพิมพ์ในปี ค.ศ. 1940 ชื่อว่า Extrasensory Perception After Sixty Years (ประสาทที่ 6 หลังจากผ่านมา 60 ปี)
โดยนักจิตวิทยาของมหาวิทยาลัยดุ๊กคือ ดร. โจเซ็ฟ แพร็ตต์ และคณะ
เป็นงานปริทัศน์รวบรวมผลงานวิจัย 145 ผลงานในเรื่อง ESP (การรับรู้นอกประสาทสัมผัส) ที่พิมพ์ในระหว่างปี ค.ศ. 1882-1939 เป็นงานปริทัศน์ที่มีการประเมินระดับอิทธิพลของงานศึกษาที่ไม่ได้เผยแพร่ (คือประเมินอิทธิพลของความเอนเอียงในการตีพิมพ์)

ข้อดี 
โดยแนวคิดแล้ว  งานศึกษาแบบ meta-analysis ใช้วิธีทางสถิติเพื่อประมวลผลข้อมูลจากงานศึกษาหลาย ๆ งานเพื่อ
 เพิ่มกำลังสถิติของข้อมูลที่มีอยู่ทั้งหมด  เทียบกับข้อมูลที่มีในงานเดียว
 เพิ่มความแม่นยำของการประเมินขนาดของผล (size of the effect) 
 และ/หรือ มีการตัดสินเรื่องที่ไม่ชัดเจนที่ข้อมูลไม่ลงรอยกันในงานต่าง ๆ กัน

โดยพื้นฐานแล้ว  งานศึกษาเช่นนี้ให้ผลเป็นค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ซึ่งมีข้อดีหลายอย่าง คือ
ผลที่ได้สามารถใช้วางนัยทั่วไปกับประชากรกลุ่มใหญ่ยิ่งขึ้นได้
เพิ่มความเที่ยงตรงและความแม่นยำของผลที่ได้เนื่องจากมีข้อมูลมากกว่า  ซึ่งเพิ่มกำลังทางสถิติในการตรวจจับผลที่เป็นประเด็นศึกษา
ความไม่ตรงกันของผลในงานต่าง ๆ กันสามารถกำหนดค่าแล้วนำไปวิเคราะห์ได้  เช่นอาจมีการวินิจฉัยความไม่ตรงกันว่า  เป็นความเคลื่อนคลาดจากการเลือกตัวอย่าง (sampling error) หรือเป็นความต่างกันขององค์ประกอบอื่น ๆ ในงานวิจัย
การตรวจสอบสมมติฐานสามารถทำได้ใช้ค่าประเมินที่รวมผล
สามารถเพิ่มตัวแปร Moderator เพื่ออธิบายความแตกต่างกันระหว่างงานวิจัย
สามารถตรวจสอบว่ามีความเอนเอียงในการตีพิมพ์ในงานวิจัยเกี่ยวกับประเด็นนี้หรือไม่

ปัญหาที่อาจเกิดขึ้น
งานศึกษา meta-analysis ที่ใช้งานวิจัยหลายงานที่มีขนาดตัวอย่างน้อย  ไม่สามารถพยากรณ์ผลงานวิจัยงานเดียวที่มีขนาดตัวอย่างมากได้   
นักวิชาการบางท่านแย้งว่า  จุดอ่อนของวิธีการศึกษาเช่นนี้ก็คือ  ไม่สามารถจะควบคุมความเอนเอียงต่าง ๆ ที่มาจากงานที่ใช้เป็นข้อมูลได้  คืองาน meta-analysis ที่มีการออกแบบดี  แต่ใช้ข้อมูลจากงานวิจัยที่มีการออกแบบที่ไม่ดี  ก็ยังจะคงให้ผลเป็นค่าต่าง ๆ ทางสถิติที่ไม่ดี  
ดังนั้น  ควรจะใช้งานวิจัยที่มีระเบียบวิธี (methodology) ที่ดีเท่านั้น  ซึ่งเป็นกฎปฏิบัติที่เรียกว่า  "best evidence synthesis" (แปลว่า  การสังเคราะห์ผลโดยใช้หลักฐานที่ดีที่สุด)
ส่วนนักวิชาการท่านอื่นคิดว่าสามารถรวมงานวิจัยที่ออกแบบไม่ค่อยดีได้  โดยเพิ่มตัวแปร (study-level predictor) ที่บ่งถึงคุณภาพระเบียบวิธีของผลงาน  เพื่อที่จะตรวจสอบคุณภาพของผลงานเทียบกับระดับของผลที่เป็นประเด็นวิจัยได้ 
แต่ก็มีนักวิชาการท่านอื่นที่แย้งว่า  วิธีที่ดีกว่าก็คือให้เก็บรักษาข้อมูลของความแปรปรวน (variance) ของตัวอย่างการศึกษาไว้  และให้ใช้ข้อมูลงานวิจัยที่มีอยู่ให้มากที่สุด  เพราะว่า  กฎเกณฑ์ที่คัดสรรงานวิจัยโดยคุณภาพระเบียบวิธี  จะทำให้เกิดความไม่เป็นกลาง  (subjectivity)  เป็นการทำเหตุผลที่จะศึกษาโดยวิธีนี้ให้เป็นโมฆะ

ความเอนเอียงในการตีพิมพ์ 

ปัญหาอีกอย่างหนึ่งที่อาจจะมีก็คือการใช้ข้อมูลที่มีการตีพิมพ์
ซึ่งอาจจะทำให้แสดงผลที่เกินความจริงเพราะเหตุแห่งความเอนเอียงในการตีพิมพ์  เพราะว่า  งานวิจัยหลายงานได้พบว่า  งานวิจัยที่แสดงผลเปล่า (หรือผลลบ) มีโอกาสน้อยกว่าที่จะรับเผยแพร่
ยกตัวอย่างเช่น  นักวิจัยอาจจะไม่ได้สืบหาผลงานที่เป็นวิทยานิพนธ์  หรืองานที่ไม่ได้รับการเผยแพร่
นี่เป็นปัญหาที่แก้ได้ยาก  เพราะไม่มีใครรู้ว่า  มีผลงานกี่งานที่ไม่ได้รายงาน

ความเอนเอียงในการตีพิมพ์เช่นนี้มีผลเป็นขนาดผล  (ที่เป็นประเด็นวิจัย)  ที่ไม่ตรงกับความจริง  ทำให้เกิดเหตุผลวิบัติประเภท base rate fallacy
ที่นัยสำคัญของงานที่เกิดการตีพิมพ์เกินความจริง  เพราะว่างานอื่น ๆ (ที่ไม่แสดงนัยสำคัญ) ผู้วิจัยไม่ส่งเพื่อพิมพ์  หรือวารสารปฏิเสธที่จะพิมพ์
ปัญหาเช่นนี้ต้องมีการพิจารณาอย่างถี่ถ้วนเมื่อแปลผลที่เกิดจาก meta-analysis

การแจกแจงของขนาดผล (distribution of effect sizes) สามารถเห็นได้ด้วยการวาด funnel plot ซึ่งเป็นแผนภาพกระจายของขนาดตัวอย่าง (sample size) และขนาดผล (effect size)
คือจริง ๆ แล้ว  ในขนาดผลบางอย่าง  ตัวอย่างยิ่งมีน้อยเท่าใด  ความน่าจะเป็นก็จะสูงขึ้นเท่านั้นในการพบขนาดผลนั้น
ในขณะเดียวกัน  ขนาดผลยิ่งสูงขึ้นเท่าไร  ความน่าจะเป็นที่งานที่มีตัวอย่างมากจะแสดงผลที่ระดับนั้นโดยสุ่มก็เป็นไปได้น้อยลงเท่านั้น
ถ้ามีงานที่แสดงผลเปล่าที่ไม่ได้พิมพ์เป็นจำนวนมาก  งานที่แสดงผลบวกที่เหลือจะทำให้เกิด funnel plot ที่ขนาดผลจะมีลักษณะเป็นสัดส่วนผกผันกับขนาดตัวอย่าง
กล่าวโดยอีกนัยก็คือ  ขนาดผลยิ่งสูงขึ้นเท่าไร  ขนาดตัวอย่างก็น้อยลงเท่านั้น
ดังนั้นส่วนหนึ่งของผลที่แสดงนัยสำคัญนั้น  จะเป็นค่าที่เกิดขึ้นโดยสุ่มและไม่มีความสมดุลใน plot เพราะงานวิจัยแสดงผลลบไม่ได้รับการพิมพ์
โดยเปรียบเทียบกัน  ถ้างานวิจัยโดยมาก (ทั้งผลบวกผลลบผลเปล่า) ได้รับการพิมพ์  ขนาดผลที่แสดงจะไม่มีอิทธิพลจากขนาดตัวอย่าง  และ funnel plot จะออกมาสมดุล
ดังนั้น  ถ้าไม่มีความเอนเอียงในการตีพิมพ์  ก็จะไม่มีความสัมพันธ์กันระหว่างขนาดตัวอย่างและขนาดผล 
ดังนั้น  ความสัมพันธ์เชิงลบระหว่างขนาดตัวอย่างและขนาดผลจึงบอกเป็นนัยว่า  งานศึกษาที่พบนัยสำคัญในผล  มีการตีพิมพ์มากกว่า
มีวิธีการหลายอย่างที่สามารถใช้แก้ปัญหาความเอนเอียงในการตีพิมพ์
เช่นการตัดข้อมูลออกแต่จะต้องเดาว่า  ควรจะตัดออกที่จุดไหน

วิธีการตรวจจับความเอนเอียงในการตีพิมพ์เป็นเรื่องที่ยังไม่มีที่ยุติ  เพราะมักจะมีกำลังทางสถิติต่ำในการตรวจจับ  และสามารถแม้จะให้ผลบวกที่ไม่เป็นจริงในบางกรณี  
ยกตัวอย่างเช่น  ในงานที่มีขนาดผลต่ำ  ถ้ามีความแตกต่างกันในระเบียบวิธีระหว่างงานที่มีขนาดตัวอย่างน้อยและงานที่มีขนาดตัวอย่างมาก
อาจทำให้เกิดความแตกต่างกันของขนาดผลที่ดูเหมือนจะเป็นความเอนเอียงในการตีพิมพ์  

นอกจากนั้นแล้วยังมีวิธี "Tandem Method" ที่ใช้ในการวิเคราะห์หาความเอนเอียงในการตีพิมพ์  และสามารถลดระดับผลบวกที่ไม่จริง 
เป็นวิธีที่มี 3 ขั้นตอน

อย่างไรก็ดี  มีการเสนอว่า 25% ของผลงาน meta-analysis ที่เกี่ยวกับจิตวิทยา  อาจจะมีความเอนเอียงในการตีพิมพ์  
แต่ว่า  เนื่องจากว่าวิธีการตรวจจับมีกำลังต่ำ  ดังนั้น  การประเมินระดับความเอนเอียงในการตีพิมพ์อาจจะต่ำเกินไปจากความเป็นจริง

การอภิปรายเรื่องความเอนเอียงในการตีพิมพ์  มักจะพุ่งความสนใจไปในเรื่องข้อปฏิบัติในการตีพิมพ์ที่เน้นงานที่พบผลที่มีนัยสำคัญทางสถิติ
แต่ว่า  จริง ๆ แล้ว  แม้นักวิจัยเองก็มีพฤติกรรมที่เป็นปัญหาบางอย่าง  เช่นการเปลี่ยนรูปแบบทางสถิติของงานวิจัยไปเรื่อย ๆ จนกระทั่งพบผลที่มีนัยสำคัญ  เพื่อที่จะสนับสนุนสมมติฐานของตน  
และเพราะว่า  พฤติกรรมที่เป็นปัญหาเช่นนี้จะไม่ปรากฏว่ามีความสัมพันธ์กับขนาดตัวอย่าง
ดังนั้น  ปัญหาเช่นนี้จะไม่ปรากฏให้เห็นใน funnel plot และอาจจะไม่สามารถตรวจจับได้โดยใช้วิธีอื่น ๆ ที่ใช้ตรวจจับความเอนเอียงในการตีพิมพ์

นอกจากนั้นแล้ว  ยังมีปัญหาที่เป็นจุดอ่อนอื่น ๆ รวมทั้ง Simpson's paradox (คืองานวิจัยมีขนาดตัวอย่างน้อยสองงานอาจจะชี้ผลไปทางหนึ่ง  ในขณะที่งานรวมข้อมูลอาจจะชี้ไปอีกทางหนึ่ง)  และความไม่เป็นกลาง (subjectivity) ในวิธีการประมวลค่าของผล  หรือในการตัดสินว่างานวิจัยงานไหนควรจะได้รับเลือก

ความเอนเอียงโดยแผนงานเงื่อนงำ
ปัญหาที่หนักที่สุดของ meta-analysis มักจะเกิดขึ้นเมื่อผู้ทำงานมีแรงจูงใจทางเศรษฐกิจ  ทางสังคม  หรือทางการเมือง  เช่นมีความต้องการที่จะสนับสนุนหรือคัดค้านการออกกฎหมาย
ผู้ทำงานที่มีแรงจูงใจเช่นนี้มีโอกาสมากกว่าที่จะใช้ meta-analysis อย่างผิด ๆ เพราะความเอนเอียงส่วนตัว
ยกตัวอย่างเช่น  งานวิจัยที่แสดงผลสอดคล้องกับความต้องการของผู้ทำงาน Meta analysis  มีโอกาสที่จะรับเลือกใช้ข้อมูล (ในการประมวลผล) ในขณะที่งานที่ไม่มีความสอดคล้อง  อาจจะไม่ได้รับความสนใจหรืออาจจะกำหนดว่า  ไม่น่าเชื่อถือ  
ยิ่งไปกว่านั้น  งานวิจัยที่แสดงผลสอดคล้องเองอาจจะมีความเอนเอียงอยู่แล้ว  หรือผู้ทำงานของงานวิจัยนั้นเองอาจจะได้รับผลประโยชน์ในการแสดงผลที่สนับสนุนจุดมุ่งหมายทางการเมือง  ทางสังคม  หรือทางเศรษฐกิจ
โดยใช้วิธีเลือกข้อมูลส่วนน้อยกว่าแต่สนับสนุนผลที่ต้องการ  และไม่เลือกเอาข้อมูลที่ครอบคลุมกว่าแต่ไม่สนับสนุน
อิทธิพลของความเอนเอียงเหล่านี้ต่อผลงาน meta-analysis เป็นไปได้เพราะว่า  ระเบียบวิธีในการทำงาน meta-analysis สามารถยืดหยุ่นได้

ในปี ค.ศ. 2011 มีงานวิจัยหนึ่งที่มุ่งจะเปิดเผยการขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน meta-analysis ทางการแพทย์  งานวิจัยทำการปริทัศน์งาน meta-analysis ต่าง ๆ 29 งาน  แล้วพบว่า  การขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน  แทบไม่มีการเปิดเผยโดยประการทั้งปวง
งาน 29 งานนี้รวม
 11 งานจากวารสารการแพทย์ทั่วไป
 15 งานจากวารสารการแพทย์เฉพาะทาง
 3 งานจากฐานข้อมูล Cochrane Database of Systematic Reviews
งาน 29 งานนี้ประมวลข้อมูลจากงานวิจัยแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials) 509 งาน
จากงานเหล่านี้ 318 งานรายงานแหล่งทุนการวิจัย  โดยที่ 219 งาน (69%) รับทุนมาจากอุตสาหกรรมและธุรกิจ
จากงาน 509 งาน  132 งานรายงานการขัดกันแห่งผลประโยชน์ของผู้ทำ  โดยมี 91 งาน (69%) ที่เปิดเผยว่า  ผู้ทำงานหนึ่งหรือมากกว่าหนึ่ง  มีผลประโยชน์ทางการเงินร่วมกับอุตสาหกรรมและธุรกิจ
แต่ว่า  ข้อมูลเช่นนี้  แทบไม่เคยเปิดเผยในงาน meta-analysis เลย
คือ  จากงาน 29 งาน  มีเพียงแค่ 2 (7%) ที่แสดงแหล่งทุนการวิจัย  และไม่มีการรายงานผลประโยชน์ทางการเงินของผู้ทำงานวิจัยเลย
ผู้ทำงานปริทัศน์นี้สรุปว่า

ขั้นตอนการทำงาน meta-analysis 
 กำหนดประเด็นปัญหา
 สืบหางานวิจัย
 สร้างกฏเกณฑ์ในการเลือกและทำการเลือกงานวิจัย เป็นต้นว่า
เลือกระดับคุณภาพ  เช่น  ต้องเป็นการทดลองทางคลินิกที่สุ่ม (randomized) และบอด (blinded)
เลือกงานที่มีเป้าหมายชัดเจน  เช่น  การรักษาโรคมะเร็งเต้านม
ตัดสินใจว่า  จะรวมเอางานวิจัยที่ไม่ได้ตีพิมพ์เพื่อหลีกเลี่ยงความเอนเอียงในการตีพิมพ์หรือไม่
 ตัดสินใจว่า  จะเอาตัวแปรตาม  (dependent variable) หรือข้อมูลรวม (summary measure) อะไรบ้าง  ตัวอย่างเช่น
 ผลต่าง (Differences)
 มัชฌิม
 การเลือก meta-regression ที่ใช้เป็นแบบจำลองทางสถิติ  เช่น  Simple regression, fixed-effect meta regression, และ random-effect meta regression
meta-regression เป็นเทคนิคที่ใช้ในงาน meta-analysis เพื่อตรวจสอบอิทธิพลของตัวแปร moderator ต่อขนาดผลที่เป็นประเด็นวิจัยโดยใช้เทคนิคทาง regression ต่าง ๆ
meta-regression นั้นมีประสิทธิภาพสำหรับงานนี้มากกว่าเทคนิค regression ธรรมดาทั่ว ๆ ไป

ส่วนมาตรฐานของรูปแบบการรายงาน  ให้ดูรายละเอียดในเอกสาร Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA แปลว่า  รายการข้อมูลที่ควรรายงานในงานปริทัศน์แบบทั้งระบบและ meta-analysis)

วิธีการต่าง ๆ และข้อสมมุติของ Meta-analysis

การประยุกต์ใช้ในวิทยาศาสตร์

ดูเพิ่ม
 การวิจัยขั้นทุติยภูมิ
 การปริทัศน์เป็นระบบ

เชิงอรรถและอ้างอิง

Cooper, H. & Hedges, L.V. (1994). The Handbook of Research Synthesis. New York: Russell Sage.
Cornell, J. E. & Mulrow, C. D. (1999). Meta-analysis. In: H. J. Adèr & G. J. Mellenbergh (Eds). Research Methodology in the social, behavioral and life sciences (pp. 285-323). London: Sage.

Sutton, A.J., Jones, D.R., Abrams, K.R., Sheldon, T.A., & Song, F. (2000). Methods for Meta-analysis in Medical Research. London: John Wiley. ISBN 0-471-49066-0
Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.1 [updated September 2008]. The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org

ข้อมูลอื่น
. Explores two contrasting views: does meta-analysis provide "objective, quantitative methods for combining evidence from separate but similar studies" or merely "statistical tricks which make unjustified assumptions in producing oversimplified generalisations out of a complex of disparate studies"?
 Wilson, D. B., & Lipsey, M. W. (2001). Practical meta-analysis. Thousand Oaks: Sage publications. ISBN 0-7619-2168-0
 O'Rourke, K. (2007) Just the history from the combining of information: investigating and synthesizing what is possibly common in clinical observations or studies via likelihood.  Oxford: University of Oxford, Department of Statistics. Gives technical background material and details on the "An historical perspective on meta-analysis" paper cited in the references.
 Owen, A. B. (2009). "Karl Pearson's meta-analysis revisited". Annals of Statistics, 37 (6B), 3867-3892. Supplementary report. 
 Ellis, Paul D. (2010). The Essential Guide to Effect Sizes: An Introduction to Statistical Power, Meta-Analysis and the Interpretation of Research Results. United Kingdom: Cambridge University Press. ISBN 0-521-14246-6
 Bonett, D. G. and Price, R. M. (2013). Meta-analysis methods for risk differences. British Journal of Mathematical and Statistical Psychology. doi: 10.1111/bmsp.12024
 Bonett, D.G. (2012). Replication-extension studies, Current Directions in Psychology, 21, 409-412.
 Bonett, D.G. (2010). Varying coefficient meta-analysis methods for alpha reliability, Psychological Methods, 15, 368-385.
 Bonett, D.G. (2009). Meta-analytic interval estimation for standardized and unstandardized mean differences, Psychological Methods, 14, 225-238.
 Bonett, D.G. (2008). Meta-analytic interval estimation for bivariate correlations, Psychological Methods, 13, 173-189.

 Cochrane Handbook for Systematic Reviews of Interventions
 Effect Size and Meta-Analysis  (ERIC Digest)
 Meta-Analysis at 25 (Gene V Glass)
 Meta-Analysis in Educational Research  (ERIC Digest)
 Meta-Analysis: Methods of Accumulating Results Across Research Domains  (article by Larry Lyons)
 Meta-analysis  (Psychwiki.com article)
 EffectSizeFAQ.com
 Meta-Analysis in Economics (Reading list)
 Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) Statement, "an evidence-based minimum set of items for reporting in systematic reviews and meta-analyses."
 Meta-analysis glossary

ซอฟต์แวร์
 MetaXL software page
 Effect Size Calculators  Calculate d and r from a variety of statistics.
 ClinTools (commercial)
 Comprehensive Meta-Analysis (commercial)
 MIX 2.0 Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions).
 What meta-analysis features are available in Stata? (free add-ons to commercial package)
 The Meta-Analysis Calculator  free on-line tool for conducting a meta-analysis
 Metastat (Free)
 METAINTER meta-analysis for multiple regression models in genome-wide association studies
 OpenMetaAnalyst  Free, open source, cross-platform (Mac and Windows) software for meta-analysis.
 ProMeta Professional software for meta-analysis developed in Java (commercial)
Revman  A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane Collaboration
Metafor-project A free software package to conduct meta-analyses in R.
Calculation of fixed and random effects in R  source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity.
Macros in SPSS  Free Macros to conduct meta-analyses in SPSS.
compute.es: Compute Effect Sizes  (R package).
Graphical User Interface for Conducting Meta-Analyses in R User friendly graphical user interface package to conduct meta-analysis in R (Free).

วิธีการวิจัย
วิธีวิทยาทางสังคมศาสตร์
จิตวิทยาการศึกษา
วิธีการประเมิน
การปฏิบัติอิงหลักฐาน
สถิติการแพทย์
การปริทัศน์เป็นระบบ