ปรากฏการณ์แม็คเกอร์ก
ปรากฏการณ์แม็คเกอร์ก (English: McGurk effect) เป็นปรากฏการณ์หลอกการรับรู้คำพูด ที่แสดง (คือเกิดจาก) การทำงานร่วมกันระหว่างการได้ยินและการเห็นในการรับรู้คำพูด การรับรู้คำพูดที่ผิดไปจากเสียงที่ได้ยินเกิดขึ้นเมื่อมีการจับคู่เสียงของคำพูดพยางค์หนึ่ง กับการเห็นการออกเสียงคำพูดอีกพยางค์หนึ่ง ซึ่งก่อให้เกิดการรับรู้เสียงเป็นพยางค์ที่สาม[1] คือ ข้อมูลทางตาจากการเห็นอีกคนหนึ่งพูด เปลี่ยนแปลงการรับรู้เสียงที่ได้ยินของเรา[2]
แต่ว่า บุคคลที่คุ้นเคยกับการดูภาพยนตร์ที่มีการพากย์เสียงทับ อาจจะไม่ค่อยประสบกับปรากฏการณ์แม็คเกอร์กมากนัก เพราะว่าพวกเขาคุ้นเคยกับการไม่ใส่ใจข้อมูลที่ได้จากการเห็นปากของ "ผู้พูด"[3] ถ้าเราได้รับข้อมูลคุณภาพไม่ดีจากเสียง แต่ได้ข้อมูลคุณภาพดีจากการเห็น ก็จะทำให้มีโอกาสมากขึ้นที่จะประสบกับปรากฏการณ์นี้[4] ความสามารถในการประสานข้อมูลทางหูและทางตาเข้าด้วยกัน อาจจะมีผลให้เกิดปรากฏการณ์นี้ เพราะว่า บุคคลที่มีระบบประสานข้อมูลทางความรู้สึกที่ดี ประสบกับปรากฏการณ์นี้บ่อยครั้งกว่า[2] นอกจากนั้นแล้ว บุคคลต่าง ๆ กันก็ยังประสบกับปรากฏการณ์นี้ต่าง ๆ กัน ขึ้นอยู่กับองค์ประกอบหลายอย่างรวมทั้งความเสียหายหรือโรคในสมอง
ปรากฏการณ์แม็คเกอร์กบางครั้งเรียกว่า ปรากฏการณ์แม็คเกอร์-แม็คโดนัลด์ (McGurk-MacDonald effect) เพราะแฮร์รี แม็คเกอร์ก และจอห์น แม็คโดนัลด์ ได้พรรณนาถึงปรากฏการณ์นี้เป็นครั้งแรกในปี ค.ศ. 1976 ในผลงานวิจัยมีชื่อว่า "การได้ยินปาก และการเห็นเสียง (Hearing Lips and Seeing Voices) "[5] ปรากฏการณ์นี้ค้นพบโดยบังเอิญ เมื่อแม็คเกอร์กและผู้ช่วยงานวิจัยของเขาคือแม็คโดนัลด์ ขอให้ช่างเทคนิคช่วยอัดเสียงทับวิดีโอโดยใช้เสียงพยางค์ที่ต่างจากคำที่พูดในวิดีโอ โดยเป็นงานวิจัยเพื่อค้นคว้าการรับรู้ภาษาของเด็กทารกในระดับพัฒนาการต่าง ๆ แต่เมื่อเล่นวิดีโอนั้น นักวิจัยทั้งสองกลับรับรู้เสียงของพยางค์ที่สาม ที่ไม่ใช่เสียงของพยางค์ที่ใช้อัดทับ หรือของพยางค์ที่พูดในวิดีโอ[6]
ปรากฏการณ์นี้ประสบได้เมื่อวิดีโอมีรูปที่กล่าวเสียงของพยางค์หนึ่ง แล้วอัดทับเสียงด้วยเสียงจากอีกพยางค์หนึ่ง บ่อยครั้ง พยางค์ที่ผู้ดูวิดีโอรับรู้กลับเป็นพยางค์ที่สามที่มีเสียงคล้ายกับพยางค์สองพยางค์แรก ยกตัวอย่างเช่น ถ้าใช้เสียงอัดทับว่า บา-บา (/ba-ba/) ในวิดีโอที่มีการกล่าวว่า กา-กา (/ga-ga/) เสียงที่รับรู้กลับเป็น ดา-ดา (/da-da/) แม็คเกอร์กและแม็คโดนัลด์ตอนแรกเชื่อว่า นี้เป็นผลเกิดจากคุณสมบัติเกี่ยวกับเสียงพูดและการเห็นการเปล่งเสียงของอักษร บ (/b/) และอักษร ก (/g/) ที่คล้ายกัน[7] มีการรับรู้ที่ผิดไปจากความจริง 2 แบบที่เกิดขึ้นจากตัวกระตุ้นทางตาและทางหูที่ไม่คล้องจองกัน คือ<b data-parsoid='{"dsr":[3880,3921,3,3]}'>แบบหลอมรวมกัน (English: fusion) เช่นเสียง 'บา' มีรูปพูดว่า 'กา' ทำให้รับรู้ว่า 'ดา') และ<b data-parsoid='{"dsr":[3980,4026,3,3]}'>แบบผสมผสานกัน (English: combination) เช่นเสียง 'กา' และรูปพูดว่า 'บา' ทำให้รับรู้ว่า 'บะกา')[8] เพราะว่า ข้อมูลจากตาและจากหูขัดแย้งกัน การรับรู้ที่ผิดไปจากความจริงนี้จึงเป็นผลงานของสมองที่ทำการแปลข้อมูลที่ได้รับด้วยการเดาที่ดีที่สุด[9] แต่ในกรณีนี้ ข้อมูลทางตามีอิทธิพลมากกว่าข้อมูลเสียงในการประมวลผลในสมอง ดังนั้นจึงก่อให้เกิดการหลอมรวมกันและการผสมผสานกันของข้อมูลจากประสาททั้งสองทาง[9]
การเห็นเป็นทางประสาทที่สำคัญที่สุดในมนุษย์[2] และการรับรู้คำพูดต้องอาศัยทางประสาทหลายทาง (multimodal) โดยเฉพาะคือ จากการได้ยินและจากการเห็น ปรากฏการณ์แม็คเกอร์กเกิดขึ้นในการประมวลผลโดยพยางค์ เพราะว่า การประสานกันระหว่างข้อมูลทางหูและข้อมูลทางตาเกิดขึ้นในขั้นต้น ๆ ของการรับรู้คำพูด[7][10] ปรากฏการณ์นี้มีกำลังมาก ถึงแม้ว่าบุคคลจะทราบถึงปรากฏการณ์นี้ แต่ก็ยังประสบกับปรากฏการณ์นี้อยู่ คือความรู้เกี่ยวกับปรากฏการณ์ไม่มีผลอะไรต่อการรับรู้ นี้ต่างจากเทคนิคการหลอกการรับรู้ประเภทอื่น ๆ ซึ่งจะไม่มีผลอะไรเมื่อบุคคลทราบถึงเทคนิคนั้นแล้ว แม้นักวิจัยบางพวกที่ได้ทำการค้นคว้าวิจัยประสบการณ์นี้มามากว่า 20 ปี ก็ยังประสบกับปรากฏการณ์นี้แม้จะรู้ดีว่าอะไรจริง ๆ เกิดขึ้นอยู่[8][11]
คนโดยมากมีความสามารถจำกัดในการที่จะรับรู้คำพูดโดยอาศัยตาเพียงทางเดียว ยกเว้นบุคคลที่สามารถอ่านคำพูดจากปากได้[2] แต่ปรากฏการณ์ที่เกิดขึ้นบ่อย ๆ ก็คือความสามารถในการเข้าใจคำพูดในระดับที่เพิ่มขึ้นในสิ่งแวดล้อมที่มีเสียงอึกทึก โดยอาศัยการเห็นท่าทางของผู้พูด[2] นอกจากนั้นแล้ว การเห็นการเปล่งเสียงยังสามารถเปลี่ยนการรับรู้เสียงแม้ที่ชัดเจนดี เมื่อการเปล่งเสียงที่เห็นนั้นแตกต่างจากคำพูดที่ได้ยิน[2] โดยปกติแล้ว เราเข้าใจการรับรู้คำพูดว่า เป็นการประมวลผลทางการได้ยิน[2] แต่ความหลงผิดที่ประสบในปรากฏการณ์นี้เกิดขึ้นอย่างรวดเร็ว โดยอัตโนมัติ และไม่ได้อยู่ใต้อำนาจจิตใจโดยมาก[11] ดังนั้นจึงเห็นได้ว่า การรับรู้คำพูดนั้น ไม่ใช่อาศัยการได้ยินเพียงเท่านั้น[11] แต่ต้องอาศัยทางประสาทหลายทางที่ทำงานร่วม ๆ กันรวมทั้งการเห็น การถูกต้องสัมผัส (ใบหน้าที่กำลังพูด) และการได้ยิน สมองบ่อยครั้งไม่มีความตระหนักถึงทางประสาทของข้อมูลที่รับรู้[11] ดังนั้น สมองจึงไม่สามารถแยกแยะว่าคำพูดที่รับรู้นั้น มาจากการได้ยินหรือการเห็น[11]
นอกจากงานวิจัยที่กล่าวถึงไปแล้ว ยังมีการศึกษาปรากฏการณ์นี้ในการให้การของพยานด้วย แวร์แฮ็มและไรท์ทำงานวิจัยในปี ค.ศ. 2005 ที่แสดงว่า ข้อมูลทางตาที่ไม่คล้องจองกับเสียงที่พูดสามารถเปลี่ยนการรับรู้คำพูดที่ได้ยิน จึงบอกเป็นนัยว่า ประสบการณ์นี้อาจจะมีอิทธิพลต่อการรับรู้คำพูดในชีวิตประจำวัน และไม่ใช่โดยเพียงพยางค์ที่ได้ยินอย่างเดียวเท่านั้น แต่สามารถเป็นได้โดยทั้งคำ[7][12] และมีผลต่อการปฏิสัมพันธ์กับผู้อื่นที่เราไม่ตระหนักรู้
งานวิจัยเกี่ยวกับปรากฏการณ์นี้สามารถให้ข้อมูลไม่ใช่ในเรื่องทฤษฎีเพียงอย่างเดียวเท่านั้น แต่ยังสามารถให้ความรู้เกี่ยวกับการเยียวยาและวินิจฉัยโรคที่เกี่ยวข้องกับปัญหาการประสานข้อมูลทางตาและทางหูเพื่อรับรู้คำพูด[13]
ซีกสมอง (cerebral hemisphere) ทั้งสองข้างมีส่วนร่วมให้เกิดปรากฏการณ์แม็คเกิร์ก[14] คือมีการทำงานร่วมกันเพื่อประสานข้อมูลเกี่ยวกับคำพูดจากการเห็นและการได้ยิน การตอบสนองในสมองที่ประกอบพร้อมกับปรากฏการณ์นี้มักเกิดขึ้นในบุคคลถนัดมือขวา โดยที่สมองซีกขวาประมวลผลเกี่ยวกับใบหน้า และสมองซีกซ้ายประมวลผลเกี่ยวกับคำพูด[14] ในบุคคลที่ได้รับการตัด corpus callosum[15] (Corpus callostomy) ออก ปรากฏการณ์นี้ก็จะยังคงมีอยู่แต่เกิดขึ้นช้ากว่าคนปกติ[14] ในบุคคลที่มีรอยโรคในสมองซีกซ้าย (คือมีความเสียหายในการประมวลผลเกี่ยวกับเสียง) การเห็นบ่อยครั้งเป็นส่วนสำคัญในวิธีการรักษาด้วยการบำบัดวจีเภท (speech therapy) และการบำบัดภาษา (language therapy)[13] ดังนั้น ผู้มีรอยโรคในสมองซีกซ้าย จึงประสบกับปรากฏการณ์แม็คเกิร์กในระดับที่สูงกว่ากลุ่มควบคุมผู้เป็นปกติ[13] คือ ข้อมูลจากการเห็นมีอิทธิพลสำคัญในการรับรู้คำพูด[13] แต่ว่า ถ้าสมองซีกซ้ายมีความเสียหาย ที่มีผลเป็นความบกพร่องในการรับรู้คำพูดทางตาแบบเป็นช่วง ๆ คนไข้ก็จะมีประสบการณ์นี้ในระดับที่ลดน้อยลงไป[16]
ส่วนในบุคคลที่มีความเสียหายในสมองซีกขวา ก็จะมีความเสียหายในทั้งการเห็นอย่างเดียวด้วย และทั้งการประสานข้อมูลระหว่างการเห็นและการได้ยินด้วย แต่ว่าก็ยังมีการประสานข้อมูลทั้งสองทางเพียงพอที่จะก่อให้เกิดปรากฏการณ์แม็คเกิร์ก[16] การประสานข้อมูลอย่างนี้เกิดขึ้นในกรณีที่ใช้ตัวกระตุ้นทางตาเพื่อเพิ่มความสามารถในการรู้คำพูด เมื่อเสียงทางหูได้ยินได้แต่ไม่ชัดเจนเท่านั้น[16] ดังนั้น ผู้มีความเสียหายในสมองซีกขวายังประสบกับปรากฏการณ์นี้อยู่ แต่ว่าในระดับที่ไม่เท่ากับบุคคลปกติอื่น
เด็กผู้มีภาวะเสียการอ่านรู้ความ (Dyslexia) ประสบกับปรากฏการณ์นี้น้อยกว่าเมื่อเทียบกับเด็กปกติที่มีอายุเท่ากัน แต่เท่ากันเมื่อเทียบกับเด็กที่มีความสามารถในการอ่านเสมอกันและมีอายุเท่ากัน[17] เด็กผู้มีภาวะนี้ต่างจากเด็กปกติโดยปรากฏการณ์แบบผสมผสานกันเท่านั้น แต่ไม่ต่างโดยแบบหลอมรวมกัน[17] ระดับปรากฏการณ์ที่ต่ำกว่าปกติ อาจเป็นเพราะเด็กผู้มีภาวะนี้มีความยากลำบากในการรับรู้และการสร้างพยัญชนะควบกล้ำ[18][17] ดังนั้น ปรากฏการณ์แบบผสมผสานกันซึ่งอาศัยพยัญชนะควบกล้ำ จึงอยู่ในระดับที่ต่ำกว่าปกติ
เด็กที่มีภาวะ specific language impairment[19] มีปรากฏการณ์นี้ในระดับที่ต่ำกว่าเด็กปกติทั่วไป[20] เพราะเด็กภาวะนี้ใช้ข้อมูลทางตาเพื่อการรับรู้คำพูดที่น้อยกว่า หรือว่ามีความใส่ใจในระดับที่ลดลงต่อท่าทีการออกเสียงของคนพูด และไม่มีปัญหาอะไรในการรับรู้คำพูดโดยใช้เสียงอย่างเดียว[20]
เด็กโรคกลุ่มออทิซึมสเปกตรัม[21] มีปรากฏการณ์แม็คเกอร์กที่น้อยลงไปอย่างชัดเจนเทียบกับเด็กปกติ[22] แต่ว่า ถ้าตัวกระตุ้นไม่ใช่มนุษย์ (ตัวอย่างเช่น ให้ดูลูกเทนนิสที่กำลังเด้งโดยใช้เสียงของลูกวอลเลย์บอลที่กำลังเด้ง) ก็จะมีปรากฏการณ์นี้ในระดับที่เท่ากันกับเด็กปกติ[22] เด็กเล็กที่มีภาวะนี้ มีระดับปรากฏการณ์นี้ที่น้อยลงมาก แต่ว่า ระดับปรากฏการณ์นี้เพิ่มขึ้นเรื่อย ๆ เมื่อเจริญวัยขึ้น เมื่อโตแล้ว ระดับปรากฏการณ์นี้ก็จะใกล้กับคนปกติโดยทั่วไป[23]
ผู้ใหญ่ที่มีความพิการในการเรียนภาษา มีปรากฏการณ์นี้ในระดับที่น้อยกว่าคนอื่น ๆ[24] คือ การเห็นไม่มีอิทธิพลต่อการรับรู้ภาษาเท่ากับคนอื่น ๆ โดยมาก[24] ดังนั้น บุคคลที่มีระดับทักษะทางภาษาต่ำ ก็จะมีระดับปรากฏการณ์นี้ที่น้อยลงไปเช่นกัน และเหตุสำหรับบุคคลพวกนี้อาจจะเป็นเพราะการทำงานที่ไม่ประสานกันระหว่างเขตด้านหน้าและด้านหลังของสมอง หรือระหว่างสมองซีกซ้ายและสมองซีกขวา[24]
คนไข้โรคอัลไซเมอร์มีปรากฏการณ์นี้น้อยกว่าบุคคลปกติ[25] บ่อยครั้ง ขนาดที่ลดลงของ corpus callosum[15] ทำให้ขาดการเชื่อมต่อระหว่างซีกสมอง ตัวกระตุ้นทางตาจึงมีอิทธิพลน้อยลงสำหรับคนไข้พวกนี้ ซึ่งเป็นเหตุให้ประสบปรากฏการณ์นี้น้อยลง[25]
คนไข้โรคจิตเภทประสบกับปรากฏการณ์นี้ในระดับที่น้อยลงจากบุคคลปกติ แต่ว่า ไม่ต่างกันอย่างสำคัญ[26] โรคจิตเภททำการพัฒนาการของระบบประสานงานระหว่างการเห็นและการได้ยินให้ช้าลง และขัดขวางการพัฒนาการอย่างเต็มที่ของระบบ แต่ว่า ผลเสียหายของการขัดขวางการพัฒนาการกลับไม่ปรากฏ[26] อย่างไรก็ดี คนไข้โรคจิตเภทมีแนวโน้มที่สูงกว่า ที่จะอาศัยข้อมูลที่ได้ยินมากกว่าที่ได้เห็นเพื่อการรับรู้คำพูด[26]
คนไข้ภาวะเสียการสื่อความ (aphasia) มีการรับรู้คำพูดที่แย่ลงในทุกกรณี คือในการรับรู้ทางตาอย่างเดียว ทางหูอย่างเดียว หรือทางตาพร้อมกับทางหู ดังนั้น จึงมีปรากฏการณ์นี้ในระดับที่ลดลง[27] แต่ว่า คนไข้ภาวะนี้มีการรับรู้ที่แย่ที่สุดในกรณีการรับรู้คำพูดทางตาอย่างเดียว ซึ่งแสดงว่า คนไข้อาศัยตัวกระตุ้นทางหูเพื่อการรับรู้คำพูดในระดับที่สูงกว่า[27]
มีการทดลองแล้วทั้งในคนที่หูไม่ดีและคนที่ผ่านการฝัง cochlear implant บุคคลทั้งสองเหล่านี้มักอาศัยข้อมูลทางตามากกว่าข้อมูลทางหู[28] เมื่อเทียบกับคนปกติแล้ว ไม่มีความแตกต่างในเรื่องปรากฏการณ์นี้ในบุคคลเหล่านี้ ยกเว้นในกรณีที่คำพูดมีมากกว่าหนึ่งพยางค์[28] บุคคลที่มี cochlear implant มีการตอบสนองเหมือนกับคนปกติเมื่อพยางค์มีเสียงริมฝีปาก (โอษฐชะ มี บ, ป เป็นต้น) อัดทับลงในภาพกล่าวพยางค์เสียงเพดานอ่อน (velar มี ก, ง เป็นต้น)[28] แต่ว่า ในกรณีที่เสียงพยางเสียงฟัน (ทันตชะ มี ฟ เป็นต้น) อัดทับลงในภาพกล่าวพยางค์เสียงริมฝีปาก การตอบสนองก็จะต่างกันมาก สรุปก็คือ บุคคลที่มี cochlear implant หรือมีหูไม่ดี ก็ยังประสบปรากฏการณ์นี้อยู่ แต่ก็จะมีความแตกต่างจากบุคคลปกติทั่วไป
ความแตกต่างกันของสระประเภทต่าง ๆ ลดระดับปรากฏการณ์แบบหลอมรวมกันอย่างสำคัญ[29] คือ เสียงสระ /a/ (อะ, อา) อัดทับในภาพที่กล่าวสระ /i/ (อิ) มีความคล้องจองกันมากกว่า เมื่อเปรียบเทียบกับนัยตรงกันข้าม[29] ซึ่งอาจเป็นเพราะว่าสระ /a/ สามารถกล่าวได้โดยวิธีการออกเสียงต่าง ๆ มากกว่าสระ /i/[29] ดังนั้น เสียงอัดทับและรูปการออกเสียงสระ /i/ ที่ไม่คล้องจองกันจึงเห็นได้ง่ายกว่า[29]
ส่วนในกรณีที่เสียงอัดทับและรูปออกเสียงมีสระเดียวกัน เสียงสระ /i/ ก่อให้เกิดปรากฏการณ์ในระดับที่สูงที่สุด สระ /a/ ให้เกิดปรากฏการณ์ในระดับกลาง ๆ และสระ /u/ เกือบไม่ให้เกิดปรากฏการณ์นี้เลย[30]Walker, S., Bruce, V. & O’malley, C. (1995). Facial identity and facial speech processing: Familiar faces and voices in the McGurk effect. Perception & Psychophysics, 57(8), 1124-1133</ref>
ปรากฏการณ์แม็คเกอร์กเกิดขึ้นในระดับที่สูงกว่าเมื่อด้านขวาของปากสามารถมองเห็นได้[31] เรามักจะได้ข้อมูลทางตาจากปากด้านขวาของคนพูดมากกว่าจากปากด้านซ้าย หรือแม้แต่จากปากทั้งหมด[31] นี้เป็นเพราะการใส่ใจของซีกสมองดังที่กล่าวไว้แล้ว
ปรากฏการณ์แม็ค์เกอร์กเป็นไปในระดับที่น้อยกว่าเมื่อมีตัวกวนสมาธิทางตาที่คนฟังเข้าไปใส่ใจ[32] การใส่ใจทางตาไปทางอื่นลดระดับการรับรู้คำพูดจากทางหูและทางตา สิ่งทำให้เกิดความวอกแวกทางตาอีกอย่างหนึ่งก็คือการเคลื่อนไหวของคนพูด ปรากฏการณ์นี้เป็นไปในระดับที่สูงกว่าถ้าคนพูดมีหน้าและศีรษะที่อยู่นิ่ง ๆ คือไม่มีการเคลื่อนไหว[33]
ผู้หญิงมีปรากฏการณ์นี้ในระดับที่สูงกว่า คือ ได้รับอิทธิพลทางตาในการรับรู้คำพูดมากกว่าผู้ชายถ้ามีตัวกระตุ้นทางตาที่มีอยู่เพียงช่วงสั้น ๆ แต่ไม่มีความแตกต่างกันสำหรับตัวกระตุ้นทางตาที่มีอยู่โดยปกติ[33]
อีกประเด็นหนึ่งที่น่าสนใจเกี่ยวกับความแตกต่างของเพศชายหญิง ก็คือใบหน้าและเสียงของผู้ชายโดยความเป็นตัวกระตุ้น เปรียบเทียบกับใบหน้าและเสียงของผู้หญิงโดยความเป็นตัวกระตุ้น ปรากฏว่าไม่มีความแตกต่างในระดับการเกิดขึ้นของปรากฏการณ์นี้[34] และถ้าภาพใบหน้าของผู้ชายมีการอัดเสียงทับด้วยเสียงของผู้หญิง หรือโดยนัยตรงกันข้าม ก็ยังไม่มีความแตกต่างกันในระดับการเกิดขึ้นของปรากฏการณ์นี้[34] คือ การรู้ว่าเสียงที่ได้ยินไม่ใช่เสียงของคนที่พูดอยู่ในภาพ และเสียงนั้นเป็นเสียงของเพศตรงกันข้าม ก็ยังไม่ลดระดับหรือกำจัดปรากฏการณ์แม็คเกอร์ก[11]
ผู้ฟังที่มีความคุ้นเคยกับใบหน้าของผู้พูดมีปรากฏการณ์นี้เกิดขึ้นในระดับที่น้อยกว่าใบหน้าที่ไม่คุ้นเคย[2][30] แต่กลับไม่มีความแตกต่างโดยความคุ้นเคยของเสียง[30]
เนื้อความหรือจุดมุ่งหมายที่คล้องจองกันมีผลอย่างสำคัญในปรากฏการณ์นี้[35] ปรากฏการณ์นี้ปรากฏชัดเจนและบ่อยครั้งในเหตุการณ์ที่มีความคล้องจองกันในความหมาย มากกว่าในเหตุการณ์ที่ไม่มีความคล้องจองกัน[35] ถ้าผู้ฟังคาดว่าผู้พูดควรมีลักษณะอย่างนี้ทางตาหรือทางหู โดยอาศัยเนื้อความของเรื่องที่พูด ปรากฏการณ์แม็คเกิร์กก็จะปรากฏในระดับที่เพิ่มขึ้น[35]
ปรากฏการณ์นี้พบแม้ในกรณีที่ผู้ฟังเองเป็นผู้พูดด้วย[36] เมื่อดูตัวเองในกระจกเงาแล้วทำท่าพูดในขณะที่ฟังเสียงอื่น ปรากฏการณ์แม็คเกิร์กที่ชัดเจนก็ยังเกิดขึ้น[36]
ในอีกกรณีหนึ่งที่ผู้ฟังกล่าวคำพูดแบบเบา ๆ ในขณะที่ดูคนอื่นกล่าวคำพูดมีท่าทางที่ไม่เหมือนคำพูดของผู้ฟัง ปรากฏการณ์นี้ก็ยังมีอยู่ แม้ว่าจะอยู่ในระดับที่อ่อน[36]
ความเป็นไปพร้อม ๆ กันโดยสอดคล้องเวลากันของภาพพูดและเสียงพูด ไม่เป็นส่วนสำคัญเพื่อที่จะให้เกิดปรากฏการณ์นี้[37] คือ ผู้ฟังยังได้รับอิทธิพลจากเสียงแม้ว่าอาจจะเล่นหลังภาพ (คือช้ากว่าภาพ) เป็นระยะเวลา 180 มิลลิวินาที (เป็นขีดที่ถ้าช้ากว่านี้ ปรากฏการณ์นี้จะเริ่มลดถอยไป)[37] แต่ว่า ถ้าเสียงนำหน้ารูปภาพ ปรากฏการณ์นี้ลดระดับเร็วกว่ากรณีที่เสียงมาหลังภาพ[37] คือ ถ้าจะลดปรากฏการณ์นี้ในระดับที่สำคัญ เสียงต้องมาก่อนภาพ 60 มิลลิวินาที หรือตามหลังภาพ 240 มิลลิวินาที[2]
ปรากฏการณ์นี้ลดระดับลงเมื่อความใส่ใจเป็นไปในการงานเกี่ยวข้องกับการสัมผัส[38] การรับรู้สัมผัสเป็นการรับรู้ความรู้สึกอีกอย่างหนึ่งเหมือนกับการเห็นและการได้ยิน ดังนั้น เมื่อเพิ่มความสนใจให้กับความสัมผัส ก็จะลดความสนใจให้กับการได้ยินและการเห็น
ไม่มีความจำเป็นที่ตาจะต้องเพ่งดูจุด ๆ หนึ่งเพียงแค่จุดเดียวเพื่อจะประสานข้อมูลทางหูและทางตาเพื่อรับรู้คำพูด[39] ไม่มีความแตกต่างกันเมื่อผู้ฟังพุ่งความสนใจไปในส่วนอื่นของหน้าผู้พูด[39] แต่ว่า ปรากฏการณ์นี้จะไม่มีเลยถ้าผู้ฟังพุ่งความสนใจไปในที่อื่นนอกจากใบหน้าของผู้พูด[2] เพื่อที่จะให้ปรากฏการณ์นี้ลดไปเหมือนกับไม่มีเลย การเพ่งดูของผู้ฟังต้องย้ายไปจากปากของผู้พูดไปอย่างน้อย 60 ดีกรี[39]
คนทุกภาษาต้องอาศัยข้อมูลทางตาไม่มากก็น้อยในการรับรู้คำพูด แต่ว่า ระดับของปรากฏการณ์นี้เป็นไปต่างกันในภาษาที่ต่าง ๆ กัน ผู้ฟังภาษาดัตช์[40] ภาษาอังกฤษ ภาษาสเปน ภาษาเยอรมัน และภาษาอิตาลีมีปรากฏการณ์แม็คเกอร์กที่ชัดเจน แต่ว่าปรากฏในระดับที่อ่อนกว่าในผู้ฟังภาษาญี่ปุ่นและภาษาจีน[41]
งานวิจัยระหว่างภาษามักจะทำการเปรียบเทียบระหว่างภาษาอังกฤษและภาษาญี่ปุ่น และมีปรากฏการณ์นี้ในระดับที่ต่ำกว่าในผู้ฟังภาษาญี่ปุ่น[40][42][43][44][45][46] วัฒนธรรมชาวญี่ปุ่นที่เลี่ยงการจ้องหน้าจ้องตาอาจมีผลในปรากฏการณ์นี้ นอกจากนั้นแล้ว การใช้เสียงสูงเสียงต่ำ (วรรณยุกต์) และโครงสร้างเกี่ยวกับพยางค์ของภาษา ก็อาจจะมีผลด้วยเช่นกัน[40] นี้อาจเป็นเหตุผลที่ผู้ฟังภาษาจีนรับอิทธิผลจากการเห็นน้อย เหมือนกับผู้ฟังภาษาญี่ปุ่น คือประสบปรากฏการณ์นี้น้อยกว่าผู้ฟังภาษาอังกฤษ[40] งานวิจัยหลายงานได้แสดงว่า ผู้ฟังภาษาญี่ปุ่นไม่ได้รับอิทธิพลทางตาในการประสบปรากฏการณ์นี้ ในระดับที่เพิ่มขึ้นในช่วงพัฒนาการหลังจากวัย 6 ปี ไม่เหมือนกับเด็กผู้ฟังภาษาอังกฤษ[42][43] ผู้ฟังภาษาญี่ปุ่นสามารถบ่งชี้ว่า มีความขัดแย้งกันระหว่างตัวกระตุ้นทางหูและทางตาได้ดีกว่าผู้ฟังภาษาอังกฤษ[40][43] นี่อาจจะมีส่วนเกี่ยวข้องกับความที่ภาษาญี่ปุ่นไม่มีพยัญชนะควบกล้ำ[40][44]
อย่างไรก็ดี ในที่มีเสียงอึกทึกที่ทำให้คำพูดไม่สามารถเข้าใจได้ ทุกชาติทุกษาล้วนแต่ต้องอาศัยข้อมูลทางตา ดังนั้น จึงล้วนแต่ประสบกับปรากฏการณ์แม็คเกอร์ก[40][44] ทฤษฎีนี้เป็นจริงกับทุกภาษาที่มีการตรวจสอบแล้ว[11]
โดยวัดระดับความใส่ใจต่อตัวกระตุ้นทางหูและทางตา ก็จะสามารถทดสอบการตอบสนองพร้อมกับปรากฏการณ์แม็คเกิร์กของทารกได้[2][11][47][48][49] ตั้งแต่อายุไม่กี่นาทีจนกระทั่งถึง 2-3 วัน ทารกสามารถเลียนแบบการเคลื่อนไหวทางใบหน้าของผู้ใหญ่ และภายในไม่กี่อาทิตย์ ก็จะสามารถรรู้จักการเคลื่อนไหวทางปากและเสียงพูด[50] เมื่อถึงช่วงนี้ การประสานข้อมูลทางหูและทางตาอาจจะเกิดขึ้น แต่จะไม่มีความคล่องแคล่ว[50] หลักฐานที่แสดงปรากฏการณ์แม็คเกิร์กสามารถเริ่มเห็นได้เมื่อทารกถึงวัย 4 เดือน[47][48] แต่ถึงกระนั้น หลักฐานสามารถพบได้มากกว่าในทารกวัย 5 เดือน[2][11][49][51] โดยสร้างความความเคยชินให้กับทารกต่อตัวกระตุ้นบางอย่าง แล้วก็เปลี่ยนตัวกระตุ้นไปเป็นอย่างอื่น (หรือเปลี่ยนเป็นบางส่วนเช่น จากเสียง บา โดยมีภาพออกเสียงว่า วา ไปเป็นเสียง ดา มีภาพออกเสียงว่า วา) การตอบสนองของทารกที่แสดงปรากฏการณ์แม็คเกิร์กก็จะปรากฏอย่างชัดเจน[11][49] ระดับของปรากฏการณ์นี้มีการพัฒนาอย่างมีแบบแผนที่เพิ่มขึ้นเรื่อย ๆ ในวัยเด็กและแม้กระทั่งเมื่อถึงความเป็นผู้ใหญ่[48][49]
Wright, Daniel and Wareham, Gary (2005); "Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene," Legal and Criminological Psychology, Vol 10(1), pp.103-108.
ที่นาที 0.32 แสดงการออกเสียง "บา" โดยมีเสียงออกมาว่า "บา" (เสียงกับภาพ<i data-parsoid='{"dsr":[30876,30891,2,2]}'>คล้องจองกัน) ที่นาที 0.51 แสดงการออกเสียง "ฟา" โดยมีเสียงออกมาว่า "บา" (เสียงกับภาพ<i data-parsoid='{"dsr":[30964,30982,2,2]}'>ไม่คล้องจองกัน) ถ้าผู้ฟังประสบกับปรากฏการณ์แม็คเกอร์ก ก็จะรับรู้เสียงพยางค์ว่า "ฟา" ส่วนที่นาที 1.17 มีเสียงออกมาว่า "บา" แสดงการออกเสียงว่า "ฟา" ทางด้านซ้าย และแสดงการออกเสียงว่า "บา" ทางด้านขวา ให้ตั้งสมาธิที่ภาพด้านซ้ายก่อน แล้วให้สังเกตว่าได้ยินเสียงอะไร แล้วตั้งสมาธิในภาพด้านขวา แล้วสังเกตว่าได้ยินเสียงอะไร เสียงที่อัดทับไว้จริง ๆ แล้ว เป็นเสียง "บา" ทั้งหมด a write up of the McGurk effect by Paul Boersma of University of Amsterdam. PDF available from academic webpage of author.
หมวดหมู่:การรับรู้