title: The electrophysiological reality of parafoveal processing: On the validity of language-related ERPs in natural reading
title: Die elektrophysiologische Realität parafovealer Verarbeitung: Zur Validität von sprachrelatierten EKPs während des natürlichen Lesens
Creators: name: Kretzschmar, Franziska
Publisher: name: Philipps-Universität Marburg
Year: 2011
Subjects: Antonyme
Ereigniskorreliertes Potenzial
Sprache, Linguistik
Psycholinguistik
Satzverstehen
Neurolinguistik
P300
Sprachverarbeitung
Blickbewegung
Leseverstehen
EKPs
language processing
eye movements
N400
ERPs

description: Die Frage, wie das Gehirn Sprache
      in Echtzeit verarbeitet, ist zentral in der Psycholinguistik.
      Zur Beantwortung dieser Frage müssen die Unterschiede
      zwischen der auditiven und visuellen Sprachverarbeitung
      berücksichtigt werden. Die vorliegende Dissertation
      untersucht, inwieweit Ereignis-korrelierte Potentiale (EKPs)
      im menschlichen Elektroenzephalogram (EEG) während des
      Satzverstehens mit unterschiedlichen Präsentationsmethoden
      interagieren. Hierfür wurden die auditive Präsentationsart
      und die rapid serial visual presentation (RSVP; schnelle
      serielle Einzelwortpräsentation in der visuellen Modalität)
      um die Aufzeichnung von Blickbewegungen (eye tracking) beim
      Lesen ergänzt. Insbesondere ging es dabei um das bekannte
      zeitliche Paradox, dass Blickbewegungseffekte der
      Sprachverarbeitung deutlich früher auftreten als
      entsprechende EKP-Effekte. Die Dissertation untersuchte
      dieses zeitliche Paradox, indem EKPs während des natürlichen
      Lesens ganzer Sätze gemessen wurden. Im Gegensatz zur RSVP-
      und auditiven Präsentation erlaubt das natürliche Lesen eine
      parafoveale Vorschau (Rayner 1998). Dadurch verarbeitet das
      Gehirn bereits Informationen über Wörter, bevor die Augen
      diese zum ersten Mal direkt fixieren (foveale Fixation). Wenn
      in Beispielsatz (1) das Wort Gegenteil fixiert wird,
      verarbeitet das Gehirn auch gleichzeitig Informationen über
      die noch nicht fixierten Wörter von und weiß. (1) Schwarz ist
      das Gegenteil von weiß. (2) Schwarz [...] blau. (3) Schwarz
      [...] nett. Solche Vorschau-Informationen scheinen vor allem
      orthographische Wortforminformationen, weniger aber
      Informationen zur Wortbedeutung zu enthalten (Starr &amp;
      Inhoff 2004; White 2008). Während bei auditiver und durch
      RSVP induzierter visueller Wahrnehmung Wortform und
      -bedeutung nahezu zeitgleich verarbeitet werden, erlaubt die
      parafoveale Vorschau beim natürlichen Lesen, dass Wortformen
      zeitlich vor der Wortbedeutung erkannt werden können. Damit
      geht auch die schnellere Informationsverarbeitung beim Lesen
      einher. Durch die Verknüpfung der Blickbewegungs- mit der
      EEG-Methode konnte in der vorliegenden Arbeit erstmals der
      Einfluss der parafovealen Vorschau auf EKP-Korrelate des
      Satzverstehens systematisch untersucht werden. Die
      ProbandInnen lasen Sätze wie (1)-(3), in denen zwei Adjektive
      entweder ein Antonympaar bildeten (1), keine Antonyme, aber
      semantisch relatiert waren (2) oder in denen die Adjektive
      kein Antonympaar und auch nicht semantisch relatiert waren
      (3). Die EKPs wurden ermittelt für die letzte Fixation vor
      dem Zielwort, die die parafoveale Verarbeitung desselben
      anzeigt, und die erste direkte Fixation auf dem Zielwort
      (satzfinal in 1-3). Anschließend wurden zwei
      Vergleichsexperimente mit auditiver und RSVP-Präsentation
      durchgeführt. Die parafoveale Vorschau führte beim
      natürlichen Lesen zu anderen EKP-Ergebnissen im Vergleich zur
      auditiven und RSVP-Methode. In letzteren entstand die für das
      zweite Antonymwort typische P300-Komponente (Kutas &amp;
      Iragui 1998; Roehm et al. 2007), die jedoch beim natürlichen
      Lesen an keiner Fixationsposition repliziert werden konnte.
      Andererseits ermöglichte es hier die zeitliche Trennung von
      parafovealer und fovealer Verarbeitung, einzelne Teilprozesse
      der Worterkennung genauer als mit den anderen
      Präsentationsarten zu bestimmen. Z.B. zeigte die letzte
      Fixation vor dem kritischen Wort eine reduzierte
      N400-Komponente für Antonyme (1) und relatierte
      Nicht-Antonyme (2) (im Vergleich zu 3), was auf einen
      parafovealen Vorteil aufgrund einer automatischen
      Voraktivierung von erwarteten und zu ihnen relatierten
      Wortformen zurückgeht. Mit der ersten Fixation (d.h. foveal)
      erzeugten alle Nicht-Antonyme (2,3) eine größere N400 (im
      Vergleich zu 1), da sie im Satzkontext unerwartet und
      implausibel sind. Diese Unterscheidung zwischen
      Voraktivierung von Wortformen und der kontextuellen Passung
      von Wortbedeutungen ist in den anderen beiden
      Präsentationsarten durch die zeitgleiche Verarbeitung von
      Wortform und -bedeutung nicht möglich. Schließlich fiel auf,
      dass der parafoveale N400-Effekt im Gegensatz zum fovealen
      N400-Effekt nicht durch Änderungen der Fixationsdauer
      begleitet wurde und dass auch in der kombinierten
      EEG-Blickbewegungsmessung die Blickbewegungseffekte zeitlich
      vor den EKP-Effekten auftraten. Diese zentralen Befunde
      konnten in zwei weiteren kombinierten
      EEG-Blickbewegungsexperimenten weiter gestützt werden.
      Zusammenfassend zeigen die Ergebnisse aller Experimente
      Folgendes: Bisherige Befunde zur sprachlich bedingten
      N400-Komponente aus auditiven und RSVP-Studien lassen sich
      replizieren, aber durch Eigenheiten der Lesemodalität auch
      qualitativ differenzieren. Trotzdem sich die gemessenen
      behavioralen und neuronalen Effekte qualitativ ähneln, muss
      sich nicht jeder neuronale Effekt in den Blickbewegungen
      niederschlagen. Schließlich konnte auch die kombinierte
      EEG-Blickbewegungsmethode das beschriebene zeitliche Paradox
      nicht auflösen.
description: A central question in
      psycholinguistics is how the human brain processes language
      in real time. To answer this question, the differences
      between auditory and visual processing have to be considered.
      The present dissertation examines the extent to which
      event-related potentials (ERPs) in the human
      electroencephalogram (EEG) interact with different modes of
      presentation during sentence comprehension. Besides the two
      classical modalities, auditory and rapid serial visual
      presentation (RSVP), the monitoring of readers’ eye movements
      was chosen as a new mode of presentation. Here, the temporal
      paradox between neuronal ERP effects and behavioral effects
      in the eye movement record were of particular interest.
      Specifically, by concurrently measuring ERPs and eye
      movements in natural reading, the dissertation aimed to shed
      light on the counterintuitive fact that difficulties in
      sentence comprehension arise earlier in eye movement measures
      than in the corresponding neuronal ERP effects. In contrast
      to RSVP and the auditory modality, reading offers a
      parafoveal preview of upcoming words (Rayner 1998), which
      enables the brain to process information of words before
      these are fixated for the first time (in foveal vision). When
      the word Gegenteil in example (1) below is fixated and
      processed, the brain concurrently processes some information
      of the upcoming parafoveal words von and weiß. (1) Schwarz
      ist das Gegenteil von weiß. (2) Schwarz […] blau. (3) Schwarz
      […] nett. The parafoveal preview mostly provides orthographic
      (word form) information, while semantic information is not
      conveyed (Inhoff &amp; Starr 2004; White 2008). Whereas word
      form and lexical meaning are processed simultaneously with
      RSVP and auditory presentation, the parafoveal preview in
      natural reading allows for a temporal decoupling such that
      word forms are processed before meaning. This is one reason
      for the faster information uptake in reading. The present
      dissertation is the first to systematically investigate the
      influence of the parafoveal preview in sentence processing.
      Participants read sentences such as in (1)-(3), in which two
      adjectives were either antonyms (1), semantically related
      non-antonyms (2), or semantically unrelated non-antonyms (3).
      ERPs were computed for the last fixation before the target
      word (the sentence-final word in 1-3), which was assumed to
      capture parafoveal processing, and for the first fixation on
      the target, that should reflect foveal processing. The
      results were compared to two experiments using identical
      stimuli with auditory and RSVP presentation, and the
      parafoveal preview clearly led to different ERP results.
      While the RSVP and auditory presentations replicated the
      finding of a P300 to the second antonym in (1) (Kutas &amp;
      Iragui 1998; Roehm et al. 2007), there was no P300 in
      response to antonyms at any fixation position in natural
      reading. However, the dissociation of parafoveal and foveal
      processing in reading also made it possible to disentangle
      different processes underlying the N400. There was a reduced
      parafoveal N400 for (1,2) compared with (3), which could be
      attributed to the preactivation of the word forms of the
      expected antonyms and of semantically related non-antonyms.
      In foveal vision, all non-antonyms (2,3) showed an enhanced
      N400 compared with (1) because they were unexpected and
      implausible in the sentence context. This dissociation
      between the preactivation of a word-form and the contextual
      fit of a word’s meaning is impossible with the other two
      modes of presentation, because orthographic and semantic
      information become available almost at the same time and are
      thus processed simultaneously. Furthermore, the parafoveal
      N400 effect was not accompanied by changes in the duration of
      the corresponding fixation, whereas the foveal N400 was.
      Similarly, with the concurrent measurement of ERPs and eye
      movements, the temporal paradox described above remained, as
      effects in the eye movement record preceded the neuronal ERP
      effects. Further support for these central findings came from
      two additional experiments that investigated different
      stimuli with concurrent ERP-eye tracking measures.
      Altogether, the experiments revealed that the previous
      findings on the language-related N400 can be replicated with
      natural reading, but they can also be differentiated
      qualitatively by virtue of the characteristics of natural
      reading. Although the behavioral and neuronal effects
      mirrored one another, not every neuronal effect necessarily
      translates into a behavioral output. Finally, even concurrent
      ERP-eye tracking measures cannot resolve the temporal
      paradox.