title: Methodological issues concercing Emotional-Intelligence-Tests
title: Methodische Fragen bei der Erfassung von Emotionaler Intelligenz
Creators: name: Plücken, Tonja
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: methodische Fragen
response format
methodological issues
Leistungstest
Psychologie
Emotionale Intelligenz
Antwortformat
Auswertung
presentation mode
Präsentationsmodus

description: The construct of emotional
      intelligence, defined as the ability to perceive, to use, to
      understand and to regulate emotional information (Mayer &amp;
      Salovey, 1997; Mayer, Caruso, &amp; Salovey, 2000), has now
      been lively and controversially discussed for more than 25
      years. Despite extensive research, different questions about
      conceptualization, measurement and validation can only be
      inconclusively or insufficiently answered. Research questions
      of this doctoral thesis are therefore: 1. What happens when a
      test of emotional intelligence is evaluated with different
      scorings? Which scoring is to be recommended? 2. How does a
      different response format (“Ticking“ vs. “Allocating“)
      influence results of an emotional-intelligence-test, the
      ViTEIP-V2 (Videobasierter Test zur Erfassung der Emotionalen
      Intelligenz im Pflegeberuf)? 3. Is a video-based presentation
      appropriate for the ViTEIP-V2? In the first study, data of
      N=113 mostly student participants were collected. In the
      second study, two samples of N=138 and N=122 were recruited
      from seven nurse's training schools. All participants
      completed the two performance tests of emotional intelligence
      ViTEIP-V2 and TEMINT (Schmidt-Atzert &amp; Bühner, 2002) and
      further tests. After data evaluation, the author recommends
      utilization of so-called target-based scorings. Target-based
      scorings involve a comparison of the participants’ answers
      and the answer of the target-person who provided information
      on the situation. Beyond fundamental critical objections
      referring consensus-scorings (using majority view to generate
      the correct response-option), higher variance and reliability
      as well as slightly better validity favor the use of
      target-based scorings. Three newly developed target-based
      scorings were able to reduce influence of an existing
      participant’s response bias. Use of response profiles as
      scoring method significantly reduced bias. Due to low
      reliability of this scoring, the profile evaluation is only
      conditionally recommended. The parameter “Discriminability
      index“, deriving from signal detection theory, was used
      within the scope of a second scoring. It enabled a
      predominantly bias-free data collection. Splitting items into
      two parameters “Emotional Sensitivity“ (dealing with existing
      emotions) and “Emotional Specificity“ (dealing with absent
      emotions) led to the preferred scoring technique for
      ViTEIP-V2 and TEMINT. Effects on participants’ answering
      strategies were minimized and interpretation of correlations
      concerning validity was much better with two parameters
      compared to one single parameter. Independent of the
      scorings, some questions regarding validity of ViTEIP-V2 and
      TEMINT remain unanswered. Change of the response format from
      “Ticking“ to “Allocating“ had an influence on subjects’
      responses. A high demanding character of “Allocating“
      compared to “Ticking“ led to an increased use of the
      answering option “no emotion”. As actual performance
      capabilities were distorted, the usage of “Allocating“ is not
      recommended. In this study, expected benefits of a
      video-based version compared to a text-based version of
      ViTEIP were not supported. If there are no advantages of a
      video-based test, the author suggests careful consideration
      of the efforts that the development and administration of
      such tests require. By analyzing methodical questions and
      developing new scorings, the present work contributes to
      improve measurement of emotional intelligence. Particularly
      regarding results on the differentiation between “Emotional
      Sensitivity” and “Emotional Specificity” challenges the
      assumption of an unidimensional and homogenous construct of
      emotional intelligence. Further research is suggested, as
      existing data does not allow systematic analysis of scoring,
      response format and presentation mode within one sample. To
      generate future studies in a way where a possible complex
      relationship of all three factors can be simultaneously
      analyzed is recommended.
description: Über das Konstrukt Emotionale
      Intelligenz, verstanden als die Fähigkeit emotionale
      Informationen wahrzunehmen, zu nutzen, zu verstehen und zu
      regulieren (Mayer &amp; Salovey, 1997; Mayer, Caruso, &amp;
      Salovey, 2000), wird in der psychologischen
      Forschungsgemeinde seit nunmehr gut 25 Jahren rege und
      kontrovers diskutiert. Trotz großer Forschungsbemühungen
      können nach wie vor verschiedene Fragen zu Konzeption,
      Messung und Validierung nicht eindeutig oder nur unzureichend
      beantwortet werden. Die Forschungsfragen der vorliegenden
      Dissertation lauten daher: 1. Was passiert, wenn ein
      Emotionale-Intelligenz-Test mit unterschiedlichen Scorings
      ausgewertet wird und welche Scorings sind für die Anwendung
      zu empfehlen? 2. Inwiefern wirkt sich ein geändertes
      Antwortformat („Ankreuzen“ vs. „Zuordnen“) auf Ergebnisse
      eines Emotionale-Intelligenz-Tests, dem Videobasierten Test
      zur Erfassung der Emotionalen Intelligenz im Pflegeberuf
      (ViTEIP-V2), aus? 3. Ist ein videobasierter
      Präsentationsmodus für den ViTEIP-V2 geeignet? In die erste
      Untersuchung flossen die Daten von N=113 überwiegend
      studentischen Teilnehmern ein. An der zweiten Untersuchung
      beteiligten sich insgesamt sieben Altenhilfe- und
      Krankenpflegeschulen, woraus sich zwei Stichproben mit N=138
      und N=122 generierten. Alle Teilnehmer bearbeiteten die
      beiden Leistungstests zur Erfassung von Emotionaler
      Intelligenz ViTEIP-V2 und TEMINT (Schmidt-Atzert &amp;
      Bühner, 2002) sowie weitere Verfahren. Aus der vorliegenden
      Arbeit ergibt sich die Empfehlung, auf sogenannte
      targetbasierte Scorings zurückzugreifen, bei denen die
      Auswertung über einen Vergleich zwischen der Antwort der
      Probanden und den situationsgebenden Originalpersonen
      (Target) erfolgt. Neben grundlegenden kritischen Einwänden
      bezüglich des Konsensscorings (d.h Verwendung der
      Mehrheitsmeinung zur Bestimmung der korrekten Antwort),
      sprechen eine höhere Varianz und Reliabilität sowie etwas
      deutlichere Validitätsbelege für den Einsatz von
      Targetscorings. Die Auswirkungen, die sich durch auf Seiten
      der Probanden auftretende Antworttendenzen (Bias) ergaben,
      konnten durch drei neu entwickelte targetbasierte
      Scoringprozeduren nivelliert werden. Mit der Auswertung über
      Antwortprofile im Kontext der Profilauswertung wurde der
      Einfluss des Bias auf das Testergebnisses deutlich reduziert;
      aufgrund geringer Reliabilitäten ist ein Einsatz dieses
      Scorings nur bedingt zu empfehlen. Der für den zweiten
      Scoringansatz aus der Signalentdeckungstheorie entliehene
      Kennwert „Detektionsleistung“ ermöglichte eine überwiegend
      biasfreie Leistungserfassung. Für die Auswertung des
      ViTEIP-V2 und TEMINT zu präferieren ist aus Sicht der Autorin
      jedoch ein Scoring, bei dem eine Aufteilung der Items zu den
      zwei Kennwerten „Emotionale Sensitivität“ (Umgang mit
      vorhandenen Emotionen) und „Emotionale Spezifität“ (Umgang
      mit nicht vorhandenen Emotionen) erfolgte. Mit dieser
      Auswertung wurden die Effekte, die sich aus den spezifischen
      Ankreuzverhalten der Probanden ergaben, deutlich minimiert;
      die generellen Korrelationsmuster zur Validität konnten zudem
      mittels der Aufteilung in zwei Kennwerte besser erklärt
      werden als mit nur einem Kennwert. Einige Fragen bezüglich
      der Validität von ViTEIP-V2 und TEMINT blieben, unabhängig
      vom eingesetzten Scoring, offen. Eine Veränderung des
      Antwortformates beeinflusste die Probanden deutlich in ihrem
      Antwortverhalten. Der hohe Aufforderungscharakter bezüglich
      der Nutzung der Antwortkategorie „Emotion nicht vorhanden“,
      den das Antwortformat „Zuordnen“ im Vergleich zu „Ankreuzen“
      auf die Probanden hatte, verzerrte die Abbildung der
      tatsächlichen Leistungsfähigkeit. Von einer Verwendung des
      Formats „Zuordnen“ wird daher abgeraten. Die Vorteile, die
      verschiedene Autoren im Einsatz von videobasierten im
      Vergleich zu textbasierten Tests sehen, bestätigten sich in
      dieser Arbeit für den ViTEIP nicht. Aus Sicht der Autorin
      gilt es daher sorgfältig abzuwägen, ob sich der Aufwand
      lohnt, den die Entwicklung und der Einsatz von videobasierten
      Verfahren erfordern, wenn sich keine Vorteile für diesen
      Präsentationsmodus ergeben. Die vorliegende Arbeit trägt
      durch die Untersuchung methodischer Fragen und der
      Entwicklung neuer Scorings dazu bei, die Erfassung des
      Konstrukts Emotionale Intelligenz zu verbessern. Die
      Ergebnisse bezüglich der Unterscheidung in „Emotionale
      Sensitivität“ und „Emotionale Spezifität“ stellen die
      Annahme, bei Emotionaler Intelligenz handele es sich um ein
      eindimensionales und homogenes Konstrukt, in Frage und regen
      zu weiteren Forschungen an. Da nicht auszuschließen ist, dass
      die methodischen Aspekte Scoring, Antwortformat und
      Präsentationsmodus in einem komplexeren Zusammenhang stehen
      als aus den vorliegenden Datensätzen berechnet werden konnte,
      bietet es sich an, zukünftige Untersuchungen so zu
      konzipieren, dass alle drei Faktoren systematisch innerhalb
      einer Stichprobe analysiert werden können.