การวิเคราะห์อภิมาน
การวิเคราะห์อภิมาน[1][2] (English: meta-analysis) หมายถึงวิธีการทางสถิติที่ใช้เพื่อเปรียบเทียบและรวบรวมข้อมูลจากงานวิจัยต่าง ๆ กัน โดยมีจุดมุ่งหมายเพื่อกำหนดสิ่งที่พบเหมือน ๆ กัน สิ่งที่ต่างกัน และความสัมพันธ์ที่น่าสนใจอื่น ๆ ที่อาจปรากฏด้วยการศึกษางานวิจัยหลาย ๆ งาน[3] Meta-analysis สามารถพิจารณาได้ว่าเป็นการ "ทำการศึกษาเกี่ยวกับการศึกษาอื่นที่ทำมาแล้ว" โดยแบบที่ง่ายที่สุด Meta-analysis จะทำโดยกำหนดการวัดค่าทางสถิติที่เหมือนกันในงานวิจัยหลาย ๆ งาน เช่น ขนาดผล (effect size) หรือ p-value แล้วสร้างค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ของการวัดค่าที่เหมือนกัน โดยน้ำหนักที่ให้มักจะขึ้นอยู่กับขนาดตัวอย่าง (sample size) ของแต่ละงานวิจัย แต่ก็สามารถขึ้นอยู่กับองค์ประกอบอย่างอื่น ๆ เช่นคุณภาพของงานศึกษาด้วย
แรงจูงใจที่จะทำงานศึกษาแบบ meta-analysis ก็เพื่อรวมข้อมูลเพื่อจะเพิ่มกำลังทางสถิติ (statistical power) ของค่าที่สนใจ เมื่อเปรียบเทียบกับเพียงใช้ค่าวัดจากงานศึกษาเดียว ในการทำงานศึกษาเช่นนี้ นักวิจัยต้องเลือกองค์ประกอบหลายอย่างที่อาจมีอิทธิพลต่อผลงาน รวมทั้งวิธีการสืบหางานวิจัย การเลือกงานวิจัยตามกฏเกณฑ์ที่เป็นกลาง การแก้ปัญหาเมื่อมีข้อมูลไม่ครบ การวิเคราะห์ข้อมูลที่ได้ และการแก้ปัญหาหรือไม่แก้ปัญหาความเอนเอียงในการตีพิมพ์[4]
การศึกษาแบบ Meta-analysis มักจะเป็นส่วนสำคัญของงานปริทัศน์แบบทั้งระบบ (systematic review) แต่ไม่เสมอไป ยกตัวอย่างเช่น อาจจะมีการทำงานแบบ Meta-analysis โดยใช้ผลงานการทดลองทางคลินิก (clinical trial) เกี่ยวกับการรักษาทางแพทย์อย่างหนึ่ง เพื่อที่จะได้ความเข้าใจที่ดีขึ้นว่าการรักษาได้ผลแค่ไหน
เมื่อใช้ศัพท์ต่าง ๆ ที่กำหนดโดยองค์กร Cochrane Collaboration[5] คำว่า meta-analysis ก็จะหมายถึงวิธีทางสถิติที่ใช้ในการประมวลหลักฐาน โดยไม่รวมเอาการประมวลข้อมูลรูปแบบอื่น ๆ เช่น research synthesis (แปลว่า การสังเคราะห์งานวิจัย) หรือ evidence synthesis (แปลว่า การสังเคราะห์หลักฐาน) ที่ใช้ประมวลข้อมูลจากงานศึกษาเชิงคุณภาพ (qualitative studies) ซึ่งใช้ในงานปริทัศน์แบบทั้งระบบ
งานศึกษาแบบ Meta-analysis ที่เก่าแก่ที่สุดเกิดขึ้นเมื่อคริสต์ทศวรรษที่ 12 ในประเทศจีน เมื่อนักปราชญ์จู ซี (朱熹, ค.ศ. 1130~1200) สร้างหลักปรัชญาโดยรวบรวมข้อมูลจากงานหนังสือต่าง ๆ จู ซี เรียกวิธีการศึกษาของตนว่า "ทฤษฏีกฏเกณฑ์ทั้งระบบ" (English: Theory of Systematic Rule, Chinese:道統論) ส่วนในประวัติชาวตะวันตก รากฐานของ meta-analysis เริ่มมาจากการศึกษาทางดาราศาสตร์ในคริสต์ศตวรรษที่ 17 แต่การประมวลผลการทดลองทางคลินิกด้วย meta-analysis เป็นครั้งแรก เกิดขึ้นเมื่อปี ค.ศ. 1904 เผยแพร่ในวารสารแพทย์อังกฤษ (British Medical Journal) ซึ่งแสดงประสิทธิภาพของวัคซีนไข้รากสาดน้อย ทำโดยนักสถิติชาวอังกฤษคาร์ล เพียร์สัน[6][7] ส่วนงาน meta-analysis ที่รวบรวมงานศึกษาที่มีแนวคิดเดียวกันทั้งหมดเกี่ยวกับประเด็นวิจัยเดียวกัน แต่ทำโดยนักวิจัยกลุ่มต่าง ๆ กัน เป็นหนังสือที่ตีพิมพ์ในปี ค.ศ. 1940 ชื่อว่า Extrasensory Perception After Sixty Years (ประสาทที่ 6 หลังจากผ่านมา 60 ปี) โดยนักจิตวิทยาของมหาวิทยาลัยดุ๊กคือ ดร. โจเซ็ฟ แพร็ตต์ และคณะ[8] เป็นงานปริทัศน์รวบรวมผลงานวิจัย 145 ผลงานในเรื่อง ESP (การรับรู้นอกประสาทสัมผัส) ที่พิมพ์ในระหว่างปี ค.ศ. 1882-1939 เป็นงานปริทัศน์ที่มีการประเมินระดับอิทธิพลของงานศึกษาที่ไม่ได้เผยแพร่ (คือประเมินอิทธิพลของความเอนเอียงในการตีพิมพ์)
โดยแนวคิดแล้ว งานศึกษาแบบ meta-analysis ใช้วิธีทางสถิติเพื่อประมวลผลข้อมูลจากงานศึกษาหลาย ๆ งานเพื่อ
เพิ่มกำลังสถิติของข้อมูลที่มีอยู่ทั้งหมด เทียบกับข้อมูลที่มีในงานเดียว เพิ่มความแม่นยำของการประเมินขนาดของผล (size of the effect) และ/หรือ มีการตัดสินเรื่องที่ไม่ชัดเจนที่ข้อมูลไม่ลงรอยกันในงานต่าง ๆ กัน
โดยพื้นฐานแล้ว งานศึกษาเช่นนี้ให้ผลเป็นค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ซึ่งมีข้อดีหลายอย่าง คือ
ผลที่ได้สามารถใช้วางนัยทั่วไปกับประชากรกลุ่มใหญ่ยิ่งขึ้นได้ เพิ่มความเที่ยงตรงและความแม่นยำของผลที่ได้เนื่องจากมีข้อมูลมากกว่า ซึ่งเพิ่มกำลังทางสถิติในการตรวจจับผลที่เป็นประเด็นศึกษา ความไม่ตรงกันของผลในงานต่าง ๆ กันสามารถกำหนดค่าแล้วนำไปวิเคราะห์ได้ เช่นอาจมีการวินิจฉัยความไม่ตรงกันว่า เป็นความเคลื่อนคลาดจากการเลือกตัวอย่าง (sampling error) หรือเป็นความต่างกันขององค์ประกอบอื่น ๆ ในงานวิจัย การตรวจสอบสมมติฐานสามารถทำได้ใช้ค่าประเมินที่รวมผล สามารถเพิ่มตัวแปร Moderator[9] เพื่ออธิบายความแตกต่างกันระหว่างงานวิจัย สามารถตรวจสอบว่ามีความเอนเอียงในการตีพิมพ์ในงานวิจัยเกี่ยวกับประเด็นนี้หรือไม่
งานศึกษา meta-analysis ที่ใช้งานวิจัยหลายงานที่มีขนาดตัวอย่างน้อย ไม่สามารถพยากรณ์ผลงานวิจัยงานเดียวที่มีขนาดตัวอย่างมากได้[10] นักวิชาการบางท่านแย้งว่า จุดอ่อนของวิธีการศึกษาเช่นนี้ก็คือ ไม่สามารถจะควบคุมความเอนเอียงต่าง ๆ ที่มาจากงานที่ใช้เป็นข้อมูลได้ คืองาน meta-analysis ที่มีการออกแบบดี แต่ใช้ข้อมูลจากงานวิจัยที่มีการออกแบบที่ไม่ดี ก็ยังจะคงให้ผลเป็นค่าต่าง ๆ ทางสถิติที่ไม่ดี[11] ดังนั้น ควรจะใช้งานวิจัยที่มีระเบียบวิธี (methodology) ที่ดีเท่านั้น ซึ่งเป็นกฎปฏิบัติที่เรียกว่า "best evidence synthesis" (แปลว่า การสังเคราะห์ผลโดยใช้หลักฐานที่ดีที่สุด) ส่วนนักวิชาการท่านอื่นคิดว่าสามารถรวมงานวิจัยที่ออกแบบไม่ค่อยดีได้ โดยเพิ่มตัวแปร (study-level predictor) ที่บ่งถึงคุณภาพระเบียบวิธีของผลงาน เพื่อที่จะตรวจสอบคุณภาพของผลงานเทียบกับระดับของผลที่เป็นประเด็นวิจัยได้[12] แต่ก็มีนักวิชาการท่านอื่นที่แย้งว่า วิธีที่ดีกว่าก็คือให้เก็บรักษาข้อมูลของความแปรปรวน (variance) ของตัวอย่างการศึกษาไว้ และให้ใช้ข้อมูลงานวิจัยที่มีอยู่ให้มากที่สุด เพราะว่า กฎเกณฑ์ที่คัดสรรงานวิจัยโดยคุณภาพระเบียบวิธี จะทำให้เกิดความไม่เป็นกลาง (subjectivity) เป็นการทำเหตุผลที่จะศึกษาโดยวิธีนี้ให้เป็นโมฆะ[13]
ปัญหาอีกอย่างหนึ่งที่อาจจะมีก็คือการใช้ข้อมูลที่มีการตีพิมพ์ ซึ่งอาจจะทำให้แสดงผลที่เกินความจริงเพราะเหตุแห่งความเอนเอียงในการตีพิมพ์ เพราะว่า งานวิจัยหลายงานได้พบว่า งานวิจัยที่แสดงผลเปล่า (หรือผลลบ) มีโอกาสน้อยกว่าที่จะรับเผยแพร่ ยกตัวอย่างเช่น นักวิจัยอาจจะไม่ได้สืบหาผลงานที่เป็นวิทยานิพนธ์ หรืองานที่ไม่ได้รับการเผยแพร่ นี่เป็นปัญหาที่แก้ได้ยาก เพราะไม่มีใครรู้ว่า มีผลงานกี่งานที่ไม่ได้รายงาน[14]
ความเอนเอียงในการตีพิมพ์เช่นนี้มีผลเป็นขนาดผล (ที่เป็นประเด็นวิจัย) ที่ไม่ตรงกับความจริง ทำให้เกิดเหตุผลวิบัติประเภท base rate fallacy ที่นัยสำคัญของงานที่เกิดการตีพิมพ์เกินความจริง เพราะว่างานอื่น ๆ (ที่ไม่แสดงนัยสำคัญ) ผู้วิจัยไม่ส่งเพื่อพิมพ์ หรือวารสารปฏิเสธที่จะพิมพ์ ปัญหาเช่นนี้ต้องมีการพิจารณาอย่างถี่ถ้วนเมื่อแปลผลที่เกิดจาก meta-analysis[14][15]
การแจกแจงของขนาดผล (distribution of effect sizes) สามารถเห็นได้ด้วยการวาด funnel plot ซึ่งเป็นแผนภาพกระจายของขนาดตัวอย่าง (sample size) และขนาดผล (effect size) คือจริง ๆ แล้ว ในขนาดผลบางอย่าง ตัวอย่างยิ่งมีน้อยเท่าใด ความน่าจะเป็นก็จะสูงขึ้นเท่านั้นในการพบขนาดผลนั้น ในขณะเดียวกัน ขนาดผลยิ่งสูงขึ้นเท่าไร ความน่าจะเป็นที่งานที่มีตัวอย่างมากจะแสดงผลที่ระดับนั้นโดยสุ่มก็เป็นไปได้น้อยลงเท่านั้น ถ้ามีงานที่แสดงผลเปล่าที่ไม่ได้พิมพ์เป็นจำนวนมาก งานที่แสดงผลบวกที่เหลือจะทำให้เกิด funnel plot ที่ขนาดผลจะมีลักษณะเป็นสัดส่วนผกผันกับขนาดตัวอย่าง กล่าวโดยอีกนัยก็คือ ขนาดผลยิ่งสูงขึ้นเท่าไร ขนาดตัวอย่างก็น้อยลงเท่านั้น ดังนั้นส่วนหนึ่งของผลที่แสดงนัยสำคัญนั้น จะเป็นค่าที่เกิดขึ้นโดยสุ่มและไม่มีความสมดุลใน plot เพราะงานวิจัยแสดงผลลบไม่ได้รับการพิมพ์ โดยเปรียบเทียบกัน ถ้างานวิจัยโดยมาก (ทั้งผลบวกผลลบผลเปล่า) ได้รับการพิมพ์ ขนาดผลที่แสดงจะไม่มีอิทธิพลจากขนาดตัวอย่าง และ funnel plot จะออกมาสมดุล ดังนั้น ถ้าไม่มีความเอนเอียงในการตีพิมพ์ ก็จะไม่มีความสัมพันธ์กันระหว่างขนาดตัวอย่างและขนาดผล[16] ดังนั้น ความสัมพันธ์เชิงลบระหว่างขนาดตัวอย่างและขนาดผลจึงบอกเป็นนัยว่า งานศึกษาที่พบนัยสำคัญในผล มีการตีพิมพ์มากกว่า มีวิธีการหลายอย่างที่สามารถใช้แก้ปัญหาความเอนเอียงในการตีพิมพ์ เช่นการตัดข้อมูลออกแต่จะต้องเดาว่า ควรจะตัดออกที่จุดไหน
วิธีการตรวจจับความเอนเอียงในการตีพิมพ์เป็นเรื่องที่ยังไม่มีที่ยุติ เพราะมักจะมีกำลังทางสถิติต่ำในการตรวจจับ และสามารถแม้จะให้ผลบวกที่ไม่เป็นจริงในบางกรณี[17] ยกตัวอย่างเช่น ในงานที่มีขนาดผลต่ำ ถ้ามีความแตกต่างกันในระเบียบวิธีระหว่างงานที่มีขนาดตัวอย่างน้อยและงานที่มีขนาดตัวอย่างมาก อาจทำให้เกิดความแตกต่างกันของขนาดผลที่ดูเหมือนจะเป็นความเอนเอียงในการตีพิมพ์
นอกจากนั้นแล้วยังมีวิธี "Tandem Method" ที่ใช้ในการวิเคราะห์หาความเอนเอียงในการตีพิมพ์ และสามารถลดระดับผลบวกที่ไม่จริง[18] เป็นวิธีที่มี 3 ขั้นตอน อย่างไรก็ดี มีการเสนอว่า 25% ของผลงาน meta-analysis ที่เกี่ยวกับจิตวิทยา อาจจะมีความเอนเอียงในการตีพิมพ์[18] แต่ว่า เนื่องจากว่าวิธีการตรวจจับมีกำลังต่ำ ดังนั้น การประเมินระดับความเอนเอียงในการตีพิมพ์อาจจะต่ำเกินไปจากความเป็นจริง
การอภิปรายเรื่องความเอนเอียงในการตีพิมพ์ มักจะพุ่งความสนใจไปในเรื่องข้อปฏิบัติในการตีพิมพ์ที่เน้นงานที่พบผลที่มีนัยสำคัญทางสถิติ แต่ว่า จริง ๆ แล้ว แม้นักวิจัยเองก็มีพฤติกรรมที่เป็นปัญหาบางอย่าง เช่นการเปลี่ยนรูปแบบทางสถิติของงานวิจัยไปเรื่อย ๆ จนกระทั่งพบผลที่มีนัยสำคัญ เพื่อที่จะสนับสนุนสมมติฐานของตน[19][20] และเพราะว่า พฤติกรรมที่เป็นปัญหาเช่นนี้จะไม่ปรากฏว่ามีความสัมพันธ์กับขนาดตัวอย่าง ดังนั้น ปัญหาเช่นนี้จะไม่ปรากฏให้เห็นใน funnel plot และอาจจะไม่สามารถตรวจจับได้โดยใช้วิธีอื่น ๆ ที่ใช้ตรวจจับความเอนเอียงในการตีพิมพ์
นอกจากนั้นแล้ว ยังมีปัญหาที่เป็นจุดอ่อนอื่น ๆ รวมทั้ง Simpson's paradox (คืองานวิจัยมีขนาดตัวอย่างน้อยสองงานอาจจะชี้ผลไปทางหนึ่ง ในขณะที่งานรวมข้อมูลอาจจะชี้ไปอีกทางหนึ่ง) และความไม่เป็นกลาง (subjectivity) ในวิธีการประมวลค่าของผล หรือในการตัดสินว่างานวิจัยงานไหนควรจะได้รับเลือก[21]
ปัญหาที่หนักที่สุดของ meta-analysis มักจะเกิดขึ้นเมื่อผู้ทำงานมีแรงจูงใจทางเศรษฐกิจ ทางสังคม หรือทางการเมือง เช่นมีความต้องการที่จะสนับสนุนหรือคัดค้านการออกกฎหมาย ผู้ทำงานที่มีแรงจูงใจเช่นนี้มีโอกาสมากกว่าที่จะใช้ meta-analysis อย่างผิด ๆ เพราะความเอนเอียงส่วนตัว ยกตัวอย่างเช่น งานวิจัยที่แสดงผลสอดคล้องกับความต้องการของผู้ทำงาน Meta analysis มีโอกาสที่จะรับเลือกใช้ข้อมูล (ในการประมวลผล) ในขณะที่งานที่ไม่มีความสอดคล้อง อาจจะไม่ได้รับความสนใจหรืออาจจะกำหนดว่า ไม่น่าเชื่อถือ ยิ่งไปกว่านั้น งานวิจัยที่แสดงผลสอดคล้องเองอาจจะมีความเอนเอียงอยู่แล้ว หรือผู้ทำงานของงานวิจัยนั้นเองอาจจะได้รับผลประโยชน์ในการแสดงผลที่สนับสนุนจุดมุ่งหมายทางการเมือง ทางสังคม หรือทางเศรษฐกิจ โดยใช้วิธีเลือกข้อมูลส่วนน้อยกว่าแต่สนับสนุนผลที่ต้องการ และไม่เลือกเอาข้อมูลที่ครอบคลุมกว่าแต่ไม่สนับสนุน อิทธิพลของความเอนเอียงเหล่านี้ต่อผลงาน meta-analysis เป็นไปได้เพราะว่า ระเบียบวิธีในการทำงาน meta-analysis สามารถยืดหยุ่นได้[21]
ในปี ค.ศ. 2011 มีงานวิจัยหนึ่งที่มุ่งจะเปิดเผยการขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน meta-analysis ทางการแพทย์ งานวิจัยทำการปริทัศน์งาน meta-analysis ต่าง ๆ 29 งาน แล้วพบว่า การขัดกันแห่งผลประโยชน์ของงานวิจัยที่ได้รับเลือกเพื่อใช้ในงาน แทบไม่มีการเปิดเผยโดยประการทั้งปวง งาน 29 งานนี้รวม
11 งานจากวารสารการแพทย์ทั่วไป 15 งานจากวารสารการแพทย์เฉพาะทาง 3 งานจากฐานข้อมูล Cochrane Database of Systematic Reviews
งาน 29 งานนี้ประมวลข้อมูลจากงานวิจัยแบบสุ่มและมีกลุ่มควบคุม (randomized controlled trials) 509 งาน จากงานเหล่านี้ 318 งานรายงานแหล่งทุนการวิจัย โดยที่ 219 งาน (69%) รับทุนมาจากอุตสาหกรรมและธุรกิจ จากงาน 509 งาน 132 งานรายงานการขัดกันแห่งผลประโยชน์ของผู้ทำ โดยมี 91 งาน (69%) ที่เปิดเผยว่า ผู้ทำงานหนึ่งหรือมากกว่าหนึ่ง มีผลประโยชน์ทางการเงินร่วมกับอุตสาหกรรมและธุรกิจ แต่ว่า ข้อมูลเช่นนี้ แทบไม่เคยเปิดเผยในงาน meta-analysis เลย คือ จากงาน 29 งาน มีเพียงแค่ 2 (7%) ที่แสดงแหล่งทุนการวิจัย และไม่มีการรายงานผลประโยชน์ทางการเงินของผู้ทำงานวิจัยเลย ผู้ทำงานปริทัศน์นี้สรุปว่า
เพราะไม่มีการชี้แจงความขัดกันแห่งผลประโยชน์ เนื่องจากได้รับเงินทุนหรือมีผลประโยชน์ทางการเงินร่วมกับอุตสาหกรรมและธุรกิจ สำหรับงานวิจัยแบบสุ่มและมีกลุ่มควบคุมที่รวมอยู่ใน meta-analysis
(ดังนั้น) ความเข้าใจและการประเมินหลักฐานที่ได้มาจาก meta-analysis อาจจะมีความบิดเบือน[22]
กำหนดประเด็นปัญหา สืบหางานวิจัย สร้างกฏเกณฑ์ในการเลือกและทำการเลือกงานวิจัย เป็นต้นว่า เลือกระดับคุณภาพ เช่น ต้องเป็นการทดลองทางคลินิกที่สุ่ม (randomized) และบอด (blinded) เลือกงานที่มีเป้าหมายชัดเจน เช่น การรักษาโรคมะเร็งเต้านม ตัดสินใจว่า จะรวมเอางานวิจัยที่ไม่ได้ตีพิมพ์เพื่อหลีกเลี่ยงความเอนเอียงในการตีพิมพ์หรือไม่ ตัดสินใจว่า จะเอาตัวแปรตาม (dependent variable) หรือข้อมูลรวม (summary measure) อะไรบ้าง ตัวอย่างเช่น ผลต่าง (Differences) มัชฌิม การเลือก meta-regression ที่ใช้เป็นแบบจำลองทางสถิติ เช่น Simple regression, fixed-effect meta regression, และ random-effect meta regression
meta-regression เป็นเทคนิคที่ใช้ในงาน meta-analysis เพื่อตรวจสอบอิทธิพลของตัวแปร moderator ต่อขนาดผลที่เป็นประเด็นวิจัยโดยใช้เทคนิคทาง regression ต่าง ๆ meta-regression นั้นมีประสิทธิภาพสำหรับงานนี้มากกว่าเทคนิค regression ธรรมดาทั่ว ๆ ไป
ส่วนมาตรฐานของรูปแบบการรายงาน ให้ดูรายละเอียดในเอกสาร Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA แปลว่า รายการข้อมูลที่ควรรายงานในงานปริทัศน์แบบทั้งระบบและ meta-analysis)[23]
การวิจัยขั้นทุติยภูมิ การปริทัศน์เป็นระบบ
Cooper, H. & Hedges, L.V. (1994). The Handbook of Research Synthesis. New York: Russell Sage. Cornell, J. E. & Mulrow, C. D. (1999). Meta-analysis. In: H. J. Adèr & G. J. Mellenbergh (Eds). Research Methodology in the social, behavioral and life sciences (pp.285-323). London: Sage. Sutton, A.J., Jones, D.R., Abrams, K.R., Sheldon, T.A., & Song, F. (2000). Methods for Meta-analysis in Medical Research. London: John Wiley. ISBN 0-471-49066-0 Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.1 [updated September 2008]. The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org
. Explores two contrasting views: does meta-analysis provide "objective, quantitative methods for combining evidence from separate but similar studies" or merely "statistical tricks which make unjustified assumptions in producing oversimplified generalisations out of a complex of disparate studies"? Wilson, D. B., & Lipsey, M. W. (2001). Practical meta-analysis. Thousand Oaks: Sage publications. ISBN 0-7619-2168-0 O'Rourke, K. (2007) Oxford: University of Oxford, Department of Statistics. Gives technical background material and details on the "An historical perspective on meta-analysis" paper cited in the references. Owen, A. B. (2009). Annals of Statistics, 37 (6B), 3867-3892. Ellis, Paul D. (2010). The Essential Guide to Effect Sizes: An Introduction to Statistical Power, Meta-Analysis and the Interpretation of Research Results. United Kingdom: Cambridge University Press. ISBN 0-521-14246-6 Bonett, D. G. and Price, R. M. (2013). Meta-analysis methods for risk differences. British Journal of Mathematical and Statistical Psychology. doi: 10.1111/bmsp.12024 Bonett, D.G. (2012). Replication-extension studies, Current Directions in Psychology, 21, 409-412. Bonett, D.G. (2010). Varying coefficient meta-analysis methods for alpha reliability, Psychological Methods, 15, 368-385. Bonett, D.G. (2009). Meta-analytic interval estimation for standardized and unstandardized mean differences, Psychological Methods, 14, 225-238. Bonett, D.G. (2008). Meta-analytic interval estimation for bivariate correlations, Psychological Methods, 13, 173-189.
(ERIC Digest) (ERIC Digest) (article by Larry Lyons) (Psychwiki.com article) , "an evidence-based minimum set of items for reporting in systematic reviews and meta-analyses."
Calculate d and r from a variety of statistics. (commercial) (commercial) Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions). ? (free add-ons to commercial package) free on-line tool for conducting a meta-analysis (Free) meta-analysis for multiple regression models in genome-wide association studies Free, open source, cross-platform (Mac and Windows) software for meta-analysis. Professional software for meta-analysis developed in Java (commercial) A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane Collaboration A free software package to conduct meta-analyses in R. source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity. Free Macros to conduct meta-analyses in SPSS. (R package). User friendly graphical user interface package to conduct meta-analysis in R (Free).
หมวดหมู่:วิธีการวิจัย หมวดหมู่:วิธีวิทยาทางสังคมศาสตร์ หมวดหมู่:จิตวิทยาการศึกษา หมวดหมู่:วิธีการประเมิน หมวดหมู่:การปฏิบัติอิงหลักฐาน หมวดหมู่:สถิติการแพทย์ หมวดหมู่:การปริทัศน์เป็นระบบ