title: Social desirability in survey research: Can the list experiment provide the truth?
title: Soziale Erwünschtheit in der Umfrageforschung: Kann das Listenexperiment die Wahrheit offenbaren?
Creators: name: Gosen, Stefanie
Publisher: name: Philipps-Universität Marburg
Year: 2014
Subjects: Umfrageforschung
social desirability
Listenexperiment
indirect survey methods
sensitive Fragen
list experiment
sensitive questions
Psychologie
soziale Erwünschtheit
survey research
indirekte Surveymethoden

description: The phenomenon of social
      desirability response bias in survey research has been
      discussed in social psychology and social science for many
      years. Distortions often occur when a question or a topic of
      interest is ‘sensitive’ (Lee, 1993), meaning that it has a
      potentially embarrassing, threatening or stigmatizing
      character (Dalton, Wimbush, &amp; Daily, 1994). In order to
      avoid socially desirable responses in self-reports, indirect
      survey methods were applied. These techniques should
      guarantee the respondents’ anonymity and thus receive more
      valid self-reports (Tourangeau &amp; Yan, 2007). One of the
      methods that is supposed to achieve this goal is the list
      experiment. In general, the list experiment is able to create
      an estimate of the proportion of people who agree to a
      sensitive item. In order to determine the social desirability
      bias, the estimation of the list experiment is then compared
      to direct self-report questions. If there is a social
      desirability bias, the estimate of the list experiment should
      be higher than the direct self-report question. However, the
      literature does not provide a consistent picture of the
      functionality of the list experiment. Furthermore, a few
      published studies show complications with data collection and
      the results of the list experiment (Biemer et al., 2005). The
      reasons for these inconsistencies are often not apparent.
      Therefore, the aim of this dissertation was to make proper
      propositions about its validity, consistency, and to find
      specific factors that determine its ineffectiveness. The
      dissertation consists of two manuscripts that both evaluate
      the validity of the list experiment. Manuscript #1 was able
      to prove the inconsistency of the list experiment in the
      field of prejudice research on the basis of three different
      studies including two different survey modes and a panel
      dataset. In Study 1 (N=229, representative), the list
      experiment provided results in the expected direction and
      produced a higher estimate than the direct self-report
      question. Study 2, (modified repetition, N=445,
      representative), did not show a significant difference within
      the two conditions of the list experiment, and the direct
      self-report item yielded a higher approval rate than the list
      experiment. In order to test the validity and to find factors
      that explain the failure of the list experiment, Study 3
      (N=1,569, non-representative) compared three different list
      experiments to each other. The three list experiments
      provided inconsistent results once again. Furthermore, it
      could be found a factor that explain the inconsistent
      results. The essential question was whether the increase on
      mean level occurs simply because of the higher number of
      items in the test condition. Hence, four nonsensitive items
      were compared to five nonsensitive items. The analysis
      revealed a significant mean difference between the condition
      with four and the condition with five nonsensitive items.
      This result implies enormous consequences for the validity of
      the list experiment itself because the increase of the mean
      in the test condition depends not only on the content of the
      particular items but also on the number of items. An
      additional test-retest panel analysis revealed that
      respondents give a more stable answer over time when the
      baseline condition includes only four nonsensitive items.
      Manuscript #2 was able to find various factors that can
      partly explain the inconsistent results of the list
      experiment. Study 1 used cognitive interviews (N=7) to
      demonstrate that the list experiment was predominantly
      understood by the respondents, and that the sensitive item
      was only partially perceived as such. In Study 2
      (experimental online study, N=1,878) it was tested whether
      the sensitive item influenced the agreement to the
      nonsensitive items (item difficulty). It was found that the
      approval rate to the nonsensitive items increases when a
      sensitive item is included. For the list experiment, this
      result means that the mean level in the test condition
      increases due to a shift in item difficulty and not due to
      the content of the sensitive item, as the list experiment
      presupposes. In Study 3 (replication of Study 2, N=948) the
      hypotheses were tested again in a slightly varied design.
      Here, the first hypothesis was confirmed with exclusively
      nonsensitive items. Study 3 could corroborate the hypothesis
      that the procedure to indicate the number of yes answers is
      distorted in general. This finding implies that within the
      list experiment the indication of the number of items is
      biased in the baseline and also in the test condition. In sum
      the results of the two Manuscripts indicate that list
      experiment is unable to obtain valid and consistent results.
      The results of this dissertation suggest that in the process
      of answering a list experiment factors arise that cause
      distortions and affect the overall functioning of the list
      experiment. In total, three moderating factors were found
      that occurred independently of one another or
      together.
description: Das Phänomen der sozial
      erwünschten Antwortverzerrung in Umfrageerhebungen wird in
      Sozialpsychologie und Sozialwissenschaften seit vielen Jahren
      diskutiert. Die Verzerrungen treten häufig dann auf, wenn
      eine Frage ‚sensitiv‘ ist (Lee, 1993) und dementsprechend
      einen potentiell beschämenden, belastenden oder
      stigmatisierenden Charakter haben (Dalton, Wimbush, &amp;
      Daily, 1994). Um sozial erwünschtes Antworten bei
      Selbstauskünften zu vermeiden, werden häufig indirekte
      Befragungsmethoden eingesetzt. Das Listenexperiment, eine
      indirekte Befragungsmethode, garantiert dem Befragten ein
      gewisses Maß an Anonymität und kann auf aggregierter Ebene
      eine Schätzung des Anteils der Befragten, welche dem
      sensitiven Item zugestimmt haben, vornehmen. Durch die
      gegebene Anonymität sollte das Listenexperiment eine höhere
      Schätzung des Anteils der Befragten erhalten als die direkte
      Befragung. Die Literatur liefert im Allgemeinen kein
      einheitliches Bild zur Funktionalität des Listenexperimentes.
      Außerdem zeigen sich in wenigen veröffentlichten Studien
      Probleme bei der Erhebung (Biemer et al., 2005). Häufig sind
      die Ursachen des Scheiterns nicht ersichtlich. Aus diesem
      Grund bestand das Ziel dieser Arbeit darin, geeignete
      Aussagen über Validität und Konsistenz des Listenexperimentes
      zu treffen und Faktoren zu finden, welche die inkonsistente
      Ergebnislage erklären. Die Dissertation besteht aus zwei
      Manuskripten, die jeweils die zentrale Forschungsfrage der
      Validität beinhalten. In Manuskript #1 konnte auf der Basis
      von drei verschiedenen Studien, inklusive zwei
      unterschiedlicher Erhebungsmodi und einer Panelanalyse die
      Inkonsistenz des Listenexperimentes demonstriert werden. In
      Studie 1 (N=229, repräsentativ) lieferte das Listenexperiment
      zunächst theoriekonforme Ergebnisse und wies eine höhere
      Schätzung als die direkte Befragung auf. Studie 2
      (modifizierte Wiederholung von Studie 1, N=445,
      repräsentativ) konnte keine signifikante Mittelwertdifferenz
      innerhalb des Listenexperimentes feststellen und die direkte
      Befragung erzielte eine wesentlich höhere Zustimmungsrate als
      das Listenexperiment. Um die Validität zu prüfen, wie auch
      Faktoren zu finden, welche das Scheitern des
      Listenexperimentes bedingen, wurden in Studie 3 (N=1.569,
      nicht repräsentativ) drei unterschiedliche Listenexperimente
      miteinander verglichen. Die drei Listenexperimente lieferten
      ein weiteres Mal inkonsistente Ergebnisse. Mittels des
      dritten Listenexperimentes konnte ein Faktor gefunden werden,
      welcher die inkonsistenten Ergebnisse erklärt. Die
      wesentliche Frage war, ob der Anstieg im Mittelwert auf der
      höheren Itemanzahl in der Experimentalgruppe beruht. Hierfür
      wurden im Listenexperiment vier nicht sensitive Items gegen
      fünf nicht sensitive Items getestet. Die Analyse zeigte eine
      signifikante Differenz zwischen den beiden Bedingung mit
      ausschließlich nicht sensitiven Items. Dieses Ergebnis
      impliziert schwerwiegende Konsequenzen für die Validität des
      Listenexperimentes, da die höhere Anzahl an Items einen
      höheren Mittelwert provoziert und nicht allein der Inhalt des
      sensitiven Items für den Mittelwertanstieg verantwortlich
      ist. Weiterhin ergab eine Test-Retest Panelanalyse, dass die
      Befragten über die Zeit konstanter antworten, wenn sich in
      der Kontrollbedingung lediglich vier nicht sensitive Items
      befinden. Manuskript #2 war in der Lage weitere Faktoren
      aufzuzeigen, auf denen zum Teil die inkonsistenten Ergebnisse
      des Listenexperimentes beruhen. In Studie 1 wurde mittels
      kognitiver Interviews (N=7) demonstriert, dass das
      Listenexperiment überwiegend verstanden und das sensitive
      Item nur zum Teil von den Befragten wahrgenommen wurde. In
      Studie 2 (experimentelle Onlinestudie, N=1.878) wurde
      getestet, ob das sensitive Item das Zustimmungsverhalten zu
      den nicht sensitiven Items beeinflusst (Itemschwierigkeit).
      Es zeigte sich, dass die Zustimmungsrate der nicht sensitiven
      Items steigt, wenn das sensitive Item hinzugefügt wurde. Für
      das Listenexperiment bedeutet dies, dass der erhöhte
      Mittelwert in der Experimentalgruppe, durch die Verschiebung
      der Itemschwierigkeit und nicht durch die vermehrte
      Zustimmung zum sensitiven Item entsteht. In Studie 3
      (Replikation Studie 2; N=948) wurden die Hypothesen in einem
      leicht variierten Design erneut getestet. Dabei konnte die
      erste Hypothese in einer Bedingung mit ausschließlich nicht
      sensitiven bestätigt werden. Desweiteren konnte bestätigt
      werden, dass die Angabe der Anzahl der Items, denen
      zugestimmt wird, im Allgemeinen verzerrt ist. Innerhalb des
      Listenexperimentes bedeutet eine solche Abweichung, dass die
      Werte in Experimental- und Kontrollbedingung mitunter durch
      die Angabe der Anzahl der Items verzerrt sind.
      Zusammenfassend deuten die Ergebnisse der zwei Manuskripte
      darauf hin, dass das Listenexperiment nicht in der Lage ist
      valide und konsistente Ergebnisse zu erzielen. Insgesamt
      wurden drei moderierende Faktoren gefunden, welche unabhängig
      voneinander oder gemeinsam auftreten.