McGurk etkisi

McGurk etkisi, işitme ve görme duyuları arasındaki etkileşimin konuşma algısı üzerindeki etkisini gösteren algısal bir olgudur. Buna göre, bir sesin işitsel bileşeni ile başka bir sesin görsel bileşeninin eşleşmesi, farklı üçüncü bir sesin algılanmasına neden olur. Konuşan kişiden gelen görsel bilgi (dudak hareketleri), sesin duyuluş biçimini etkiler. Bu durum, dublaj yapılmış filmlere alışkın insanlar üzerinde çok etkili değildir. Çünkü dublaj oyuncuların dudak hareketlerini, yani görsel bilgiyi, önemsiz sayarak izleyicinin işitsel bilgiye odaklanmasını sağlar. Eğer kişi düşük ses kaliteli işitsel bir bilgiyle, yüksek görüntü kaliteli görsel bir bilgiye aynı anda maruz kalırsa McGurk etkisi yaşamaya daha yatkındır. Ayrıca görsel ve işitsel bilgiyi sentezleme kabiliyeti de kişilerin McGurk etkisi yaşayıp yaşamayacağı konusunda belirleyicidir. Duyusal sentez beceresi yüksek olan kişilerde bu etkinin görülme ihtimali oldukça yüksektir. Bunların dışında insanlar beyin hasarı ve birtakım rahatsızlıkları da içine alan birçok faktöre bağlı olarak bu etkiyi farklı şekillerde tecrübe ederler.

McGurk etkisinden ilk kez 1976 yılında Herry McGurk ve John MacDonald tarafından yazılan "Hearing Lips and Seeing Voices" (Dudakları Duymak ve Sesleri Görmek) adlı makalede bahsedilmiştir. Bu etki McGurk ve asistanı MacDonald, çocukların farklı gelişim evrelerinde dili nasıl algıladıklarına dair bir çalışma yaparken, bir videonun içinde konuşulandan farklı bir fonemle dublajlanması ile şans eseri keşfedilmiştir. Video geri sarıldığında, her iki araştırmacı da ağızdan çıkan veya dublajlanandansa üçüncü bir farklı fonem duydular.

Görsel ve işitsel bilgilerden farklı olarak algılanan bu üçüncü ses, ara ses olarak tanımlanır. Örneğin, konuşmacının görsel olarak yani dudak hareketleriyle ‘ga-ga’ hecelerini söylediği ama hoparlörden ‘ba-ba’ sesinin geldiği bir video izlendiğinde deneğin algıladığı ses ‘da-da’ olur. McGurk ve MacDonald bunun ‘b’ ve ‘g’ seslerinin ortak, işitsel ve görsel özelliklerinden kaynaklandığına inanmıştır. ‘ba’ işitseli ile ‘ga’ görselinin füzyonu sonucunda oluşan ‘da’ sesi ve ‘ga’ işitseli ile ‘ba’ görselinin kombinasyonu sonucunda oluşan ‘bga’ sesi birbiri ile alakasız görsel-işitsel uyaranlara yanıt olarak gözlemlenen iki çeşit yanılsamadır. Bu durum, beynin gelen bilgiler hakkında en iyi tahminle bir bilinçlilik durumu sağlama çabası olarak açıklanır. Gözden ve kulaktan gelen bilgilerin birbiri ile çelişmesi durumunda, görsel bilgiler beyin üzerinde daha büyük bir etkiye sahiptir ve bu etki sonucunda füzyon ve kombinasyon yanıtları oluşturulur. McGurk etkisi şu şekilde özetlenebilir: Bakarsan ‘da’, bakmazsan ‘ba’ olur.

Görme, insanlar için temel (birincil) bir duyu iken, konuşma algısı birden fazla duyudan gelen, özellikle duyma ve görme duyularından gelen, bilgileri içeren çok yönlü bir algılamadır. McGurk etkisi fonetik işlem sırasında ortaya çıkar çünkü işitsel ve görsel bilginin birleşmesi, konuşmayı algılama sürecinin başında gerçekleşir. McGurk etkisi bir kişinin algısı üzerinde küçük bir etkiye sahip gibi görünen fakat oldukça güçlü bir etkidir. Bu durum bir kez fark edildikten sonra ortadan kalkan bazı optik yanılsamalardan farklıdır. Üzerinde yirmi yılı aşkın süredir çalışma yapan insanlar dahi bu etkinin gerçekleştiğinin farkında olduğunu bile bile McGurk etkisini tecrübe edebilirler. Yalnızca konuşma-okuma durumundan, söylenenlerin çoğunu tanımlayabilen insanlar haricinde, çoğu insan sadece görsel sinyallerden gelen konuşmayı ayırt etmede oldukça sınırlı bir kapasiteye sahiptir. Gürültülü bir ortamda, görsel konuşmanın işitsel konuşmanın anlaşılabilirliğini arttırma gibi bir kabiliyeti vardır. Görsel ve işitsel bilgi uyumsuz bir şekilde eşleştirildiğinde, görülen konuşma iyi duyulabilir seslerin algılanmasını dahi değiştirebilir. Normalde konuşma algısı işitsel bir süreç gibi düşünülür fakat bilgi kullanımımız anlık, otomatik ve büyük ölçüde bilinçsizdir. Dolasıyla doğru olarak kabul edilen şeylerin aksine konuşma sadece bizim duyduğumuz bir şey değildir. Konuşma bütün seslerin beraber çalışmasıyla algılanır (görme, dokunma ve yüz hareketini dinleme). Beyin algıladığının farklı duyusal katkılarının genellikle farkında değildir. Dolasıyla beynin konuşmayı tanımlaması gerektiğinde, gelen bilgiyi duyduğunu mu yoksa gördüğünü mü ayırt edemez.

McGurk etkisi tanık ifadeleri ile ilgili olarak da incelenmiştir. Wareham ve Wright’ın 2005'teki çalışmasına göre, tutarsız görsel bilgi, konuşulan telaffuzun algısını değiştirebilir; bu da aslında McGurk etkisinin günlük hayata birçok tesirinin var olduğunu gösterir. Hecelerle sınırı değildir; sözcüklerin tamamında da gerçekleşebilir ve insanlar farkında olmadan, günlük etkileşimlerini etkileyebilir. Bu alandaki araştırmalar sadece teorik sorular hakkında bilgi sunmaz. Ayrıca konuşma parçalrın görsel ve sessel bütünleşmesiyle alakalı sorunları olan kişiler için tanı ve tedavi çıkarımları da sağlar.

Her iki beyin yarım küresi de McGurk etkisi ile ilgilidir. Görsel veya işitsel olarak algılanan konuşma bilgilerini bütünleştirmek için ikisi birlikte çalışır. Yüzleri, sağ ve kelimeleri, sol yarım küre sayesinde algılayan sağlak bireylerin McGurk tepkisi vermesi daha olasıdır. Kallozotomi yapılmış, yani iki yarım küreyi birbirine bağlayan korpus kallozumu kesilmiş insanlarda da McGurk etkisi görülmektedir. Fakat bu ihtimal oldukça düşüktür. Beyninin sol yarım küresinde doku bozulması yaşayan insanlarda görsel özellikler, konuşma ve dil tedavisi için önemli bir rol oynamaktadır. Bu kişiler, normal kimselere oranla daha fazla McGurk etkisi göstermektedir. Görsel bilgiler, bu bireylerin konuşma algısını önemli ölçüde etkilemektedir. Eğer sol yarım küredeki hasar, görsellerin konuşma algısını etkilediği bölümdeyse, bu kişiler McGurk illüzyonuna karşı olan hassasiyetlerini kaybederler. Sağ yarım küresi zarar görmüş insanlar, her ne kadar McGurk etkisini göstermek için hala bilgileri bütünleştirebiliyor olsalar da, bu kişilerin hem yalnız görsel hem de görsel ve işitsel bütünleştirme görevlerinde bir bozulma gerçekleşir. İşitsel mesaj içerik açısından noksan fakat iyi işitilebilir olduğunda, görsel uyarıcı yalnızca performansı güçlendirmek için kullanıldığı takdirde bütünleştirme görülür. Ayrıca, McGurk etkisi, beyninin sağ yarım küresi zarar görmüş insanlarda da normal gruplar kadar etkili değildir.

Disleksik, yani okuma güçlüğü çeken bireyler kendileriyle aynı kronolojik yaştaki normal grup bireylere göre daha az McGurk etkisi gösterirler. Fakat genç bireylerle yaşlı bireyler grup olarak karşılaştırıldıklarında eş miktarda etki göstermişlerdir. Disleksik bireyler füzyon cevaplarda farklılık göstermezken özellikle kombinasyon cevaplarda farklılık sergilerle. McGurk etkisinin az olması, disleksisi olan bireylerin ünsüz harfleri üretme ve algılamada yaşadığı zorluklardan kaynaklanıyor olabilir.

Özel dil bozukluğu olan çocuklar normale göre belirgin bir şekilde daha az McGurk etkisi sergiler. Bu çocuklar konuşma algısında daha az görsel bilgi kullanırlar veya mafsallı jestlere karşı daha az dikkate sahiptirler fakat yalnızca işitsel olan belirtilere karşı herhangi bir algılama bozuklukları yoktur.

Otistik spektrum bozukluğu olan çocuklar diğerlerine göre belirgin bir şekilde daha az McGurk etkisi yaşarlar. Eğer insan olmayan bir uyarıcıyla karşı karşıya kalırlarsa (örneğin zıplayan bir tenis topunun görüntüsü ile zıplayan bir plaj topunun sesi), bu durumda otistik spektrum bozukluğu olmayan çocuklarla benzer ölçüde McGurk etkisi sergilerler. Daha küçük yaşta olan otistik spektrum bozukluğu olan çocuklar McGurk etkisini daha çok yaşarlar ve bu etki yaşın ilerlemesiyle birlikte azalır. Yani onlar büyüdükçe gösterdikleri McGurk etkisi otistik spektrum bozukluğu olmayan çocuklara daha da yaklaşır. Aynı zamanda otistik spektrum bozukluğu olan çocuklarda McGurk etkisinin daha az olmasının, konuşmanın görsel ve işitsel entegrasyonundaki problemlerden değil, görsel ve işitsel bileşenlerin her ikisini de tanımlamadaki bozukluktan kaynaklı olduğu fikri orataya komuştur.

Dil öğrenme yetersizliği olan yetişkinler, diğer yetişkinlere göre çok daha az McGurk etkisi gösterir. Bu kişiler görsel bilgiden diğer insanlar kadar etkilenmezler. Bu yüzden zayıf dil becerisi olan kişiler daha az McGurk etkisi göstermiş olacaktr. Bu popülasyonda etkinin düşük olmasının bir nedeni de, beynin ön-arka bölgelerindeki veya sağ-sol loblarındaki aktivitelerin uyuşmazlığı olabilir.

Alzheimer hastaları, diğer insanlara göre daha az McGurk etkisi gösterirler. Küçülmüş bir korpus kallozum, sık sık loblar arasında bir bağlantı kopukluğu gösterebilir. Alzheimer hastalarındaki görsel uyarıcının daha az etkilenmesi daha az McGurk etkisi göstermelerinin bir diğer sebebidir.

McGurk etkisi şizofren bireylerde normal bireylerde olduğu kadar belirgin değildir. Ayrıca yetişkinlerde de önemli ölçüde bir farklılık göstermez. Şizofreni görsel-işitsel bütünleştirmenin gelişimini yavaşlatır ve gelişimin en üst noktaya ulaşmasına izin vermez. Fakat herhangi bir alçalma gözlenmez. Konuşmaları algılarken, şizofrenlerin görsel ipuçlarından çok işitsel ipuçlarına güvenmeleri daha muhtemeldir.

Söz yitimi hastalığı olan insanlar tüm koşullarda bozulmuş bir konuşma algısı gösterir (sadece görsel, sadece işitsel ve işitsel-görsel) ve dolayısıyla bu kişilerde küçük bir McGurk etkisi gözlemlenmiştir. Söz yitimi hastaları en çok sadece görsel uyarıcı durumunda zorlanır; bu durum onların konuşma algısında işitsel uyarıcıları daha çok kullandıklarını gösterir.

Sesli harf kategorisindeki uyuşmazlık füzyon yanıtları için McGurk etkisinin büyüklüğünü önemli ölçüde azaltmıştır. /a/ harfi olarak işitilen sembollerin görsel olarak /i/ harfi gibi telaffuz edilmesinin bu durumun tam tersine göre daha uyumlu olduğu görülmüştür. Bu sonuç, /a/ sesinin geniş bir söyleyiş yelpazesine sahip olması ve bu yelpazenin /i/ sesi için daha sınırlı olmasından kaynaklanabilir, böylece katılımcıların uyarıcılar arasındaki uyuşmazlıkları tespit etmesi daha kolay hale gelir. /i/ harfinin içeriği en güçlü etkiyi sağlarken /a/ orta derecede bir etki sağlamış ve /u/ neredeyse hiçbir etkiye sahip olmamıştır.

McGurk etkisi ağızın sağ tarafı görünür olduğunda daha güçlüdür. İnsanlar konuşmacının ağzının sağ tarafından sol tarafa ve tüm ağza kıyasla daha çok görsel bilgi alma eğilimindedirler. Bu yukarıda yarım küre bölümünde ele alınan yarım küresel dikkat faktörleriyle ilişkilidir.

Dinleyicinin baktığı görsel bir dikkat dağıtıcı mevcut olduğunda McGurk etkisi daha zayıftır. Görsel dikkat işitsel-görsel konuşma algısını hafifleştirir. Dikkat dağılmasının başka bir şekli de konuşmacının hareketidir. Eğer konuşmacının yüzü/kafası hareketsizse güçlü bir McGurk etkisi ortaya çıkar.

McGurk etkisi konuşmanın olmadığı bir ortamda da olabilir. Fonolojik anlam McGurk etkisinin ortaya çıkması için gerekli bir koşul değildir fakat o, etkinin gücünü arttırır.

Kadınlar erkeklerden daha güçlü bir McGurk etkisi gösterir. Kısa süreli görsel bir uyarıcıda, görselin işitsel konuşma üzerindeki etkisi kadınlarda erkeklerden önemli ölçüde daha fazladır ama tam bir uyarıcıda bu fark belirgin değildir. Cinsiyete ilişkin başka bir durum da uyarıcı olarak erkek yüzleri ve sesleri ile kadın yüzleri ve seslerinin karşılaştırılması meselesidir. Ancak bu iki durumda da McGurk etkisinin gücünde bir farklılık yoktur. Eğer bir erkek yüzüne bir kadın sesiyle dublaj yapılırsa veya tam tersi durumda,  McGurk etkisinin gücünde yine de bir farklılık yoktur. Duyulan sesin görülen yüzden gelmediğini bilmek -cinsiyetler farklı olsa bile- McGurk etkisini ortadan kaldırmaz.

Konuşmacıların yüzlerine aşina olanlar McGurk etkisine karşı konuşmacıların yüzlerine aşina olmayanlara göre daha az hassastır.  Bunun yanı sıra ses aşinalığına ilişkin bir farklılık yoktur.

Anlamsal örtüşme McGurk yanılsaması üzerinde dikkate değer bir etkiye sahip olmuştur. Etki anlamsal olarak örtüşmeyen koşullara kıyasla anlamsal olarak örtüşen koşullarda daha sık deneyimlenir ve daha net olarak değerlendirilir. Bir kişi belli bir görsel veya işitsel görünümü ona zemin hazırlayan anlamsal bilgiyi baz alarak beklediğinde McGurk etkisi büyük ölçüde artmıştır.

McGurk etkisi dinleyici ayrıca konuşmacı veya sesi üreten kişi olduğunda da gözlemlenebilir. Kendinize aynada bakarken ve görsel uyarıcıları, başka bir işitsel uyarıcıyı dinlerken telaffuz edince güçlü bir McGurk etkisi gözlenebilir. Dinleyicinin işitsel uyarıcıyı, başka bir kişi çelişen görsel el, kol hakareti yaparken yumuşak bir şekilde söylediği koşulda da McGurk etkisi güçsüz olmasına rağmen görülebilir.

Geçici eşzamanlılık McGurk etkisinin mevcut olması için gerekli değildir. Katılımcılar işitsel uyarıcılar görsel uyarıcıları 180 milisaniye(McGurk etkisinin zayıflamaya başladığı nokta) geciktirdiğinde bile işitsel uyarıcılar tarafından güçlü bir şekilde etkilenmişlerdir. İşitsel uyarıcılar görsel uyarıcılardan önce geldiğinde eşzamanlılığın olmayışı durumunda daha az dayanma payı vardı. McGurk etkisini büyük ölçüde güçsüzleştirmek için işitsel uyarıcıların görsel uyarıcılardan 60 milisaniye daha önce gelmesi veya görsel uyarıcıları 240 milisaniye geciktirmesi gerekmiştir.

McGurk etkisine göre dikkat, dokunsal bir faaliyete bölündüğünde büyük ölçüde azalır. Dokunma, görme ve işitme gibi duyusal bir algıdır. Dolayısıyla dokunmaya verilen dikkatin artması işitsel ve görsel duyulara olan dikkati azaltır.

Gözler konuşma algısındaki işitsel ve görsel bilgiyi birleştirmek için sabitlenmeye ihtiyaç duymazlar. Ayrıca McGurk etkisinde dinleyiciler, konuşmacının yüzünde odaklanma yerine göre bir farklılık gözlenmemektedir. Dinleyici konuşmacının yüzünden başka bir yere odaklandığında da bu etki ortaya çıkmaz.  Bu etkinin anlamsız olması için, dinleyicilerin bakışı konuşmacının ağzından en az 60 derece sapmalıdır.

Farklı dile sahip insanlar konuşma algısındaki görsel bilginin doğruluğuna inanırlar. Fakat McGurk etkisi dilden dile farklılık göstermektedir. Felemenkçe, İngilizce, İspanyolca, Almanca ve İtalyanca gibi dillerde McGurk etkisi daha güçlüyken; Japonca ve Çincede daha zayıf bir etkiye sahiptir. McGurk etkisiyle ilgili araştırmalar daha çok İngilizce ve Japonca dilleri arasında yürütülmüştür. Buna göre McGurk etkisi Japon dinleyicilerde İngilizce dinleyicilere oranla daha azdır. . Japonlarda göz kontağının kültürel olarak daha çok pratik edilmesi McGurk etkisi üzerinde bir etkiye sahip olabilir. Aynı zamanda Japoncanın dilsel ve hecesel yapısının da bir etkisi olabilir. Japonlar gibi aynı zamanda Çinli dinleyiciler de görsel ipuçlarına daha az duyarlıdır ve Çinli dinleyiciler İngiliz dinleyicilere göre daha düşük bir etkiye sahiptirler. Çalışmalara göre Japon çocukların altı yaşından sonra görsel etkiye karşı gelişimlerinde herhangi bir artış gözlenmezken İngiliz çocuklarda bu artış gözlenir. Ayrıca, Japonlar İngiliz dinleyicilere göre görsel ve işitsel uyarıcılardaki uyuşmazlığı daha iyi ayırt edebilirler. Bunun altındaki sebep Japoncada ünsüz harf kümesinin olmayışıdır. Konuşmanın anlaşılamayacak kadar gürültülü olduğu bir ortamda McGurk etkisi insanlara eşit bir şekilde uygulandığında, farklı dillere sahip olan insanlar görsel uyarıcılara başvururlar.  Bu durumda farklı dillerdeki konuşmayı algılayan kişilerde McGurk etkisinin görüldüğü ölçülmüştür.

Deneyler duyma güçlüğü çeken bireylerde ve koklear implanta sahip olan kişilerde de yürütülmüştür. Bu bireyler konuşmadaki görsel bilgiyi işitsel bilgiye göre kullanmaya daha çok meyillidir. Normal duyuya sahip bireylere göre hece sayısı birden fazla olmadıkça bu etki bir farklılık göstermemektedir. McGurk etkisine baktığımızda, işitsel çift dudaksıl ünsüzler (b, m ve p gibi) görsel damaksıl ünsüzlere (k ve g gibi) dublaj edildiğinde koklear implant kullanıcıları ve normal duyuya sahip bireyler aynı cevabı ürettiler. Fakat işitsel dişsil ünsüzler (t, d, n ve l gibi) görsel çift dudaksıl ünsüzlere (b, m ve p gibi) dublaj edildiğinde cevaplar oldukça farklılık gösterdi. İşitme bozukluğu olan bireyler ve koklear implant kullanan bireylerde McGurk etkisi gözlemlense de bazı açılardan birbirinden farklılık gösterir.

Bebeklerin görsel-işitsel uyarıcılara olan dikkatini ölçerek, McGurk etkisiyle tutarlı olan tepkiler bulunabilir.  Dakikalar önce doğmuş bebeklerden tutun da birkaç günlük bebeklere kadar, yetişkinlerin yüz ifadeleri bebekler tarafından taklit edilebilir. Doğumdan sonraki haftalarda bebekler dudak hareketlerini ve konuşmadaki sesleri ayırt edebilir. Bu noktada, işitsel ve görsel bütünleştirme olabilir fakat bu uzman bir seviyede değildir. McGurk etkisinin ilk belirtisi dört aylık bebeklerde gözlemlense de  beş aylık bebeklerde bu belirtiler daha fazladır.  Uyarıcıya alışma sürecinin ardından uyarıcı değişimindeki (-ba sesi/-va görüntüsü ile -da sesi/-va görüntüsü) tepkiler McGurk etkisinin açık bir göstergesidir. McGurk etkisinin gücü çocukluktan yetişkinliğe doğru artış gösteren gelişimsel bir özelliktir.