Duygu içerikli işitsel uyaranların görsel bellek performansı ve karar verme süreçleri üzerine etkisi
The effect of affective auditory stimuli on visual memory performance and decision making processes
Yazar: SUAT MERVE MAVRAL
Danışman: DR. ÖĞR. ÜYESİ SİMGE ŞİŞMAN BAL
İstanbul Üniversitesi / Sosyal Bilimler Enstitüsü / Psikoloji Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Psikoloji = Psychology
Dizin: Bellek = Memory ; Duygusal içerikli işitsel uyaran = Emotional auditory stimulus ; Duygusal uyaran = Affective stimulus ; Görsel bellek = Visual memory ; Karar verme = Decision making ; Karar verme süreci = Decision making process

Özet:
Bu çalışmanın amacı, duygunun net olarak belirlenemediği nötr insan yüz uyaranları ile üç farklı duygu değerliğini (negatif, pozitif ve nötr) içeren işitsel uyaranları farklı modalitelerden olmak üzere eş zamanlı olarak sunulduğunda, verilen farklı yönergelere bağlı olarak görsel bellek ve karar verme süreçleri üzerindeki etkilerin araştırılmasıdır.

Çalışmanın örneklemini araştırmanın dahil etme, dışlama kriterlerine uygun olarak belirlenmiş olan gönüllü olarak katılmayı kabul eden yaşları 18-27 arasında değişen 65 (53 kadın, 12 erkek) üniversite öğrencisi oluşturmaktadır. Çalışmanın deney aşamasına geçilmeden önce karıştırıcı değişkenler olma ihtimali sebebiyle katılımcılara klinik, kişilik ölçümleri ve duygu tanıma, empati düzeyi ile ilgili çeşitli ölçekler uygulanmış olup katılımcıların bilişsel süreçlerini kontrol etmek amacıyla da kapsamlı bir nöropsikolojik test bataryası uygulanmıştır.  

Katılımcılara deney aşamasında, nötr yüz uyaranları ile duygu içerikli işitsel uyaranlar eş zamanlı olarak farklı yönergeler ile sunulmaktadır. Nötr duygu değerliğine sahip yüz uyaranları ile negatif, pozitif veya nötr duygu değerliklerine sahip işitsel uyaranlar eş zamanlı olarak sunulduğunda, farklı yönerge grupları (yönlendirici yönerge alan grup/yönlendirici yönerge almayan grup) arasında ve işitsel uyaranların duygu değerliğine bağlı olarak katılımcıların duygu değerlendirme ve karar verme performansları ile görsel bellek performanslarının etkilenmesi beklenmektedir. Bu kapsamda deney aşaması, 2 (yönerge türü; yönlendirici yönerge almak, yönlendirici yönerge almamak) x 3 (işitsel uyaranın duygu değerliği; pozitif, negatif, nötr) karma faktöriyel desen olacak şekilde oluşturulmuştur. Çalışmada yer alan katılımcı grupları, 32 kişi (26 kadın, 6 erkek) yönlendirici yönerge alacak ve 33 kişi (27 kadın, 6 erkek) yönlendirici yönerge almayacak şekilde, yönerge türüne göre farklı iki gruptan birine random olarak atanmıştır. Yönerge türü bağımsız değişkeni gruplar arası desen, işitsel uyaranın duygu değerliği bağımsız değişkeni ise grup içi desen olarak oluşturulmuştur. Yönlendirici yönerge alan grupta bulunan katılımcılara, işitsel odaklı ve görsel odaklı olarak verilen yönergeler dengelenerek sunulmaktadır. 

Yönlendirici yönerge grubunda bulunan katılımcılardan, sunumun yarısında duydukları işitsel uyaranlara odaklanarak duygu değerlendirmesi yapmaları istenirken sunumun diğer yarısında ekranda gördükleri nötr yüz uyaranlarına odaklanarak duygu değerlendirmesi yapmaları istenmektedir. Bu nedenle yönlendirici yönerge alan katılımcıların cevaplarının daha detaylı olarak incelenebilmesi amacıyla, ek olarak 3 (yönerge türü; görsel odaklı yönerge almak/işitsel odaklı yönerge almak/yönlendirici yönerge almamak) x 3 (işitsel uyaranın duygu değerliği; pozitif, negatif, nötr) karma faktöriyel desen analizi de yürütülmüştür. Çalışmada kullanılan uyaranlar ile ilgili verilen yönergelere bağlı olarak, hedef uyaranlara ilişkin yapılan duygu değerlendirme ve karar verme görevi, görsel bellek görevi tanıma performansı ve eminlik değerlendirmeleri ile tüm görevlerin tepki süreleri analiz edilmiştir. Çalışmada yönerge türünün temel etkisini, işitsel uyaranın duygu değerliğinin temel etkisini ve bu iki bağımsız değişkenin etkileşim etkisini incelemek amacıyla son faktörü tekrarlı ölçümler deseninde yürütülen, karma 2x3 ve 3x3 ANOVA analizleri kullanılmıştır. 

Çalışmada elde edilen analiz sonuçlarına göre, işitsel uyaranın duygu değerliğinden bağımsız olarak yönerge türünün temel etkisi 2x3 karma faktöriyel desende anlamlı bulunmazken, 3x3 karma faktöriyel desende ise, farklı yönerge manipülasyonlarının katılımcıların uyaranlara yönelik dikkatlerini etkileyerek duygu değerlendirme ve görsel bellek görevleri ile tepki süreleri üzerinde anlamlı bir temel etkinin bulunduğunu göstermektedir. Görsel odaklı yönerge alan gruptaki katılımcıların, yönlendirme doğrultusunda görsel bellek performanslarının daha iyi olduğu görülürken, duygu değerlendirme performanslarında tepki sürelerinin yavaşladığı bulunmuştur. 

Yönerge türünden bağımsız olarak işitsel uyaranın duygu değerliğiyle uyumlu olacak şekilde duygu değerlendirme ve karar verme performanslarının etkilendiği görülmektedir. İşitsel uyaranın duygu değerliğinin, nötr yüz uyaranlarının algısı üzerinde bir bağlam etkisi oluşturduğu saptanmıştır. Katılımcıların, aldıkları yönerge türünden bağımsız olarak duydukları işitsel uyaranın duygu içeriğiyle uyumlu olacak şekilde duygu değerlendirmesi yaptıkları tespit edilmiştir. Negatif işitsel uyaranların, nötr yüz uyaranları için duygu değerlendirme tepki sürelerini hızlandırdığı, kolaylaştırıcı bir etki yarattığı görülürken karar verme cevapları için tepki sürelerini yavaşlatarak ketleyici bir etki yarattığı görülmektedir. Negatif işitsel uyaranların, görsel bellek görevinde tanıma performansı ve eminlik değerlendirmelerinin düşmesine ve bu görevlere ilişkin tepki sürelerinin uzamasına neden olduğu saptanmıştır. 

Yönerge türü ve işitsel uyaranın duygu değerliğinin etkileşim etkilerine bakıldığında ise, her iki karma faktöriyel desen analizinde de özellikle negatif işitsel duygu değerliği ve yönerge türü kapsamında anlamlı etkileşim etkilerinin olduğu gözlemlenmiştir. Yönlendirici yönerge verilmeyen grubun, bir modaliteden gelen uyaran belirsiz olduğunda diğer modaliteden gelen emosyonel bilgiden daha fazla yararlandığı tespit edilmiştir. 

Elde edilen bulgular, yönerge türünden bağımsız olarak, işitsel uyaranların duygu değerliğinin duygu değerlendirme ve karar verme görevi üzerinde etkili bir bağlam yaratarak cevapları etkilediğini göstermektedir. Bulgular özellikle negatif duygu içeren uyaranların duygu değerlendirme tepki süreleri üzerinde avantajlı bir etki yarattığına ancak karar verme tepki süreleri ile görsel bellek performansı üzerinde ise bozucu bir etkiye neden olduğuna işaret etmektedir. Yönerge manipülasyonunun detaylı incelendiği analizlerde, katılımcıların uyaranlara yönelik dikkatlerinin yönergenin türüne göre etkilediği ve görevlerde farklı modaliteden gelen uyaranların algı ve dikkat sürecini değiştirerek performanslarını etkilediği tespit edilmiştir.  Genel olarak çalışma bulguları, nötr yüz uyaranlarının eş zamanlı olarak işitsel modaliteden sunulan pozitif, negatif ve nötr duygu içerikli uyaranlarla verildiğinde katılımcıların uyaranlarla ilgili duygu değerlendirme ve karar verme süreçleri üzerine etki edebileceği ve bu etkinin hemen sonrasında yapılan görsel bellek görevi performanslarına da yansıyabileceğini göstermesi açısından önemlidir.

Abstract:
The study aims to investigate the effects of different instructions on visual memory and decision-making processes when neutral human facial stimuli where emotion cannot be clearly determined and auditory stimuli containing three different emotional valences (negative, positive, and neutral) are presented simultaneously from different modalities.

The sample of the study consisted of 65 (53 female, 12 male) university students aged between 18-27, who were determined in accordance with the inclusion and exclusion criteria of the study, and who agreed to participate voluntarily. Before the experimental phase of the study, due to the possibility of confounding variables, clinical, personality measurements and various scales related to emotion recognition and empathy level were applied to the participants, and a comprehensive neuropsychological test battery was applied to control the cognitive processes of the participants.

During the experimental phase, neutral facial stimuli and emotional auditory stimuli are simultaneously presented to the participants with different instructions. When facial stimuli with neutral emotional valence and auditory stimuli with negative, positive, or neutral emotional valence are presented simultaneously, it is expected that the participants' emotional evaluation and decision-making performances and visual memory performances will be affected between different instruction groups (the group that received directive instruction / the group that did not receive instructional instruction)  and depending on the emotional valence of the auditory stimuli. In this context, the experimental phase was created as 2 (instruction type; receiving directive instruction, not receiving directive instruction) x 3 (emotional valence of auditory stimulus; positive, negative, neutral) mixed factorial design. The participant groups in the study were randomly assigned to one of two groups according to the type of instruction, with 32 individuals (26 females, 6 males) receiving directive instructions and 33 persons (27 females, 6 males) not receiving directive instructions. Instruction type independent variables were formed as between-group design and auditory stimulus emotional valence independent variable as within-group design.  Auditory-focused and visual-focused instructions are balanced and presented to the participants in the group that received the directive instruction.

Participants in the directive instruction group are asked to evaluate their emotions by focusing on the auditory stimuli they hear in half of the presentation and by focusing on the neutral face stimuli they see on the screen in the other half of the presentation. For this reason, in order to examine the answers of the participants who received directive instruction in more detail, an additional 3 (instruction type; receiving visual-oriented instruction / receiving auditory-oriented instruction / not receiving directive instruction) x 3 (emotional valence of the auditory stimulus; positive, negative, neutral) mixed factorial design analysis was also carried out. Depending on the instructions given about the stimuli used in the study, the emotion evaluation and decision-making task regarding the target stimuli, visual memory task recognition performance and certainty evaluations, and the reaction times of all tasks were analyzed. In the study, mixed 2x3 and 3x3 ANOVA analyzes were used in order to examine the main effect of the instruction type, the main effect of the emotional valence of the auditory stimulus, and the interaction effect of these two independent variables.

According to the results of the analysis obtained in the study, the main effect of the instruction type was not found to be significant in the 2x3 mixed factorial design, independent of the emotional valence of the auditory stimulus, whereas in the 3x3 mixed factorial design, it shows that different instructional manipulations have a significant basic effect on emotion evaluation and visual memory tasks and reaction times by affecting the attention of participants towards stimuli. While it was observed that the visual memory performances of the participants in the group who received the visual-oriented instruction were better in the direction of the instruction, the reaction times were found to be slower in the emotion evaluation performances.

Results show that emotional evaluation and decision-making performances are affected in accordance with the emotional valence of the auditory stimulus, regardless of the instruction type. It has been determined that the emotional valence of the auditory stimulus has a context effect on the perception of neutral face stimuli. It was determined that the participants, regardless of the type of instruction they received, evaluated their emotions in a way that was compatible with the emotional content of the auditory stimulus they heard. It is seen that negative auditory stimuli accelerate the emotion evaluation reaction times for neutral face stimuli, creating a facilitating effect while slowing down the reaction times for decision-making responses and creating an inhibitory effect. It has been determined that negative auditory stimuli cause a decrease in recognition performance and certainty assessments in visual memory tasks and a longer reaction time for these tasks.

When the interaction effects of the instruction type and emotional valence of the auditory stimulus were examined, it was observed that there were significant interaction effects in both mixed factorial design analyses, especially in the context of analyses negative auditory affect valence and instruction type. It was determined that the group that was not given a directive instruction benefited more from the emotional information from the other modality when the stimulus from one modality was unclear.
	
The findings show that, regardless of the instruction type, the emotional valence of auditory stimuli affects the responses by creating an effective context on the emotion evaluation and decision-making task. Findings indicate that stimuli containing negative emotions have an advantageous effect on emotion evaluation reaction times, but have a disruptive effect on decision-making reaction times and visual memory performance. In the analyzes in which instruction manipulation was examined in detail, it was determined that participants' attention to stimuli was affected according to the type of instruction, and stimuli from different modalities in tasks affected their performance by changing the perception and attention process. In general, the study findings are important in terms of showing that when neutral face stimuli are given simultaneously with positive, negative, and neutral emotional stimuli presented from the auditory modality, it can affect the emotional evaluation and decision-making processes of the participants and this effect can also be reflected in the visual memory task performances performed immediately after the stimulus.