title: Neural processing of continuous temporal information: visual and visuomotor systems
Creators: name: Schwenk, Jakob
Publisher: name: Philipps-Universität Marburg
Year: 2021
Subjects: Visuelles System
Neural Processing
Neuronale Verarbeitung
Life sciences
Biowissenschaften, Biologie
Temporal Information
Visual System
Zeitliche Information
Visuomotorik
Visuomotor System

description: Our visual environment is highly dynamic, comprising changes in different parameters at multiple timescales in parallel. These changes inform us about the identities and movements of external objects, and at the same time depend on our own behavior. For us to efficiently interact with the environment, we therefore rely on visual representations that are as accurate as possible while also separating between different sources of information in the temporal domain. In my thesis, I studied the processing of continuous temporal information in the primate visual system. To this end, I used behavioral and electrophysiological measurements from human subjects, as well as neural recordings in two different primate animal models. The thesis comprises five experimental studies. In these, I investigated how temporal information is extracted from visual input, and how its neural representation depends on and enables motor behavior. The order of studies broadly follows the visual processing hierarchy, from representations of low-level information at early (studies I &amp; II) and intermediate visual areas (III), to the processing of high-level information in visuomotor control (IV &amp; V). In the first two studies, I investigated the response of primary visual cortex (area V1) to continuous random luminance sequences. The response properties of neurons in area V1 have long been described by an approximately linear impulse response, that is stable in the temporal domain even during continuous stimulation. Yet, recent human EEG studies showed that, when stimulated with broadband luminance sequences, area V1 selects a distinct temporal frequency (alpha, at approx. 10 Hz) from the input and propagates its information across cortical space in the form of a traveling wave (the “perceptual echo”; VanRullen and MacDonald, 2012; Lozano-Soldevilla and VanRullen, 2019). This non-linear response has been suggested to play a functional role in the active sampling of visual information, based on evidence from the human EEG. However, it had not been investigated how it is generated on a neural level, and a description of intracortical responses to the same stimulation in the animal model has been lacking. In the first study, I combined EEG recordings in human observers with two established behavioral paradigms to study if and how the echo response is modulated by shifts in the cortical excitation/inhibition balance. I could show that the echo response is enhanced when the excitatory gain to area V1 is increased globally, but not when this modulation is limited to the input from one eye. This suggests that the echo is a cortically distributed response associated with excitatory neural states, dissociating it from spontaneous alpha oscillations which depend rather on inhibitory feedback loops (Hindriks and van Putten, 2013). In my second study, I investigated the neural responses in primary visual cortex to the same broadband luminance stimulation. Using the marmoset monkey as an animal model, I showed that - unexpectedly - the local representations in area V1 are already highly selective for distinct frequency bands, comprising an alpha-band component that possibly represents a functional homologue of the human echo response. A comparison between responses from the anesthetized and the awake preparation showed that the frequency-selectivity is a signature of active visual processing, suggesting top-down modulatory signals as the driving mechanism. Together, my findings from the first two studies show that primary visual cortex actively extracts temporal information from continuous input at distinct frequencies, at the expense of information in other bands. The second study provides first, tentative evidence in the search for a neural correlate of the perceptual echo response. One of the challenges the visual system is faced with in maintaining accurate temporal representations is that the incoming visual input changes drastically every time we move our eyes. Previous investigations have identified distinct neural mechanisms that modulate responses around the time of saccadic eye-movements to counterbalance this instability. These modulations also affect the temporal domain of visual processing, as demonstrated by changes in neural response latencies (Reppas et al., 2002; Ibbotson et al., 2006) and illusory distortions of perceived time (Yarrow et al., 2001; Morrone et al., 2005; Knöll et al., 2013). Yet, substantial differences between areas as well as diverging perceptual effects have been difficult to reconcile thus far. To broaden our understanding of the neural signature of perisaccadic modulations of temporal encoding, in the third study I compared temporal information processing between fixation and perisaccadic time-windows in the ventral stream area V4 of macaque monkeys. By analyzing multi-unit responses to random sequential luminance stimulation I found that representations remained stable in temporal and spatial domains across saccades. However, the ratio of response amplitudes within a sequence was modulated by a global perisaccadic activity increase, in a way that could account for known perceptual effects. This finding newly introduces amplitude modulations as a neural correlate of perisaccadic distortions in the perception of time. The observation of stable representations in space and time contrasts with previously described perisaccadic spatial modulations in area V4 (Tolias et al., 2001). In light of evidence from other studies, we proposed that this disparity may partly reflect differences in processing between sequential and isolated visual stimulation. Taken together, the third study provided new insights on how temporal information processing is modulated by eye-movements, adding first findings for area V4 to existing evidence from other areas. The first three studies all considered temporal information contained in low-level visual features, such as luminance or contrast. Yet, in our natural visual input, changes in these features over time are often also linked to movements of objects or the environment relative to the observer. Using retinal velocity patterns (optic flow) as a cue, our visual system infers information about the body’s own movement in space from this input. Accordingly, early behavioral studies have demonstrated that humans, in stable stance, respond to visually simulated self-motion with compensatory postural adjustments (Lee, 1980). The final two studies in this thesis investigated how these responses are coupled to the temporal structure of self-motion information in the continuous visuomotor control of balance. The fourth study used measurements from a force-platform to characterize postural responses of human subjects to a visual environment that oscillated along the anterior-posterior axis, simulated in virtual reality. By applying an analysis procedure that was originally established in human EEG studies, we were able to show that postural responses coupled to the visual stimulus with high consistency. This coupling remained stable even for high temporal frequency (1.2 Hz) of the motion stimulus, suggesting that previous studies showing a selectivity for lower frequencies were biased by biomechanical constraints of the body through their analysis of response amplitude instead of phase. The fifth study extended this paradigm further by additional measurements from video-based full body tracking, in order to determine how the different body joints contribute to the observed postural responses. The findings revealed that the body’s balance control strategy depends greatly on the temporal frequency of the visual input. For higher frequencies, coupling was increasingly centered around the hip joint, matching model predictions by previous studies. Lastly, following up on the results from these two studies, we established a novel stimulation paradigm designed to provide a generalized mapping of visually evoked postural responses in the temporal domain. Applying the same approach as in the first two studies of this thesis, we used responses to broadband random self-motion sequences to investigate how the coupling behavior depended on temporal frequencies. The results revealed highly idiosyncratic response profiles for different subjects, possibly reflecting interindividual differences in visuomotor abilities as well as anthropometric factors. The frequency distributions of coupling surprisingly extended also towards very high frequencies (&gt; 2 Hz). These components likely reflect a third, reflexive strategy that may be controlled by different motor pathways. Taken together, these findings show that the visuomotor system uses the temporal structure of self-motion information for the control of balance during standing, selecting different frequency bands for distinct motor outputs. In conclusion, with this thesis I have investigated how the visual system extracts and processes temporal information from continuous input. My findings from different subsystems of the visual hierarchy show that neural representations of temporal information are functionally specialized through their selectivity for distinct frequency bands. In the primate animal model, I identified possible neural correlates of this frequency selection and characterized their dynamics during active visual behavior. Future research could make use of these as measures by which to distinguish functionally between different sensory systems, as well as between individuals, e.g., for clinical applications.
description: Unsere visuelle Umgebung ist dynamisch und umfasst, parallel, Änderungen verschiedener Parameter auf mehreren zeitlichen Skalen. Diese Änderungen geben uns Aufschluss über die Identität von Objekten sowie deren Bewegungen im Raum, werden gleichzeitig aber auch von unserem eigenen Verhalten bestimmt. Um uns eine effiziente Interaktion mit der Umgebung zu ermöglichen, benötigen wir daher visuelle Repräsentationen, die so präzise wie möglich sind, und dabei auch die Trennung verschiedener Informationsquellen in der zeitlichen Dimension ermöglichen. In meiner Arbeit habe ich die Verarbeitung von kontinuierlicher zeitlicher Information im visuellen System von Primaten untersucht. Dafür habe ich Verhaltens- und elektrophysiologische Messungen an humanen Versuchspersonen, sowie neuronale Messungen in zwei verschiedenen Primaten-Tiermodellen durchgeführt. Die Arbeit umfasst fünf experimentelle Studien. In diesen habe ich im Einzelnen untersucht, wie zeitliche Information aus visuellem Input extrahiert wird und wie dessen neuronale Repräsentation von motorischem Verhalten abhängt und dieses steuert. Die Reihenfolge der Studien folgt vereinfacht der Hierarchie der visuellen Verarbeitung im Gehirn, von Repräsentationen simpler Information in frühen (Studien I &amp; II) und mittleren kortikalen Arealen des visuellen Systems (III), hin zur Verarbeitung komplexerer Information im visuomotorischen System (IV &amp; V). In den ersten beiden Studien untersuchte ich die neuronalen Antworten des primären visuellen Kortex (Areal V1) auf kontinuierliche, zufällige Luminanz-Sequenzen. Die Antworteigenschaften von V1-Neuronen wurden lange durch eine näherungsweise lineare Impulsantwort beschrieben, die auch für kontinuierliche Stimulation über die Zeit stabil ist. Aktuelle humane EEG Studien haben jedoch gezeigt, dass V1 als Antwort auf Stimulation mit Sequenzen im Breitband-Frequenzbereich eine bestimmte zeitliche Frequenz (Alpha, ca. 10 Hz) selektiert und diese Information in Form von fortschreitenden Wellen über den Kortex propagiert (das “perzeptuelle Echo”; VanRullen and MacDonald, 2012; Lozano-Soldevilla and VanRullen, 2019). Ausgehend von Evidenz aus humanen EEG-Studien wird vermutet, dass diese nichtlineare Antwort eine Funktion im sampling (dem zeitlichen Abtasten) visueller Information einnimmt. Ihre Entstehung auf neuronaler Ebene, ebenso wie die intrakortikalen Antworten auf die gleiche Stimulation im Tiermodell, sind jedoch noch nicht beschrieben worden. In der ersten Studie kombinierte ich EEG-Messungen an humanen Versuchspersonen mit zwei etablierten behavioralen Paradigmen, um zu untersuchen, wie die Echo-Antwort durch Veränderungen der kortikalen Balance zwischen Exzitation und Inhibition moduliert wird. Ich konnte zeigen, dass die Antwort nach einer globalen Verstärkung der exzitatorischen Inputs erhöht ist. Dieser Effekt trat jedoch nicht auf, wenn die Modulation auf den Input eines Auges begrenzt war. Dies deutete darauf hin, dass das Echo eine globale Antwort darstellt, die an exzitatorische neuronale Aktivität gekoppelt ist. Dies unterscheidet es von spontanen Alpha-Oszillationen, die von inhibitorischen Mechanismen abhängen (Hindriks and van Putten, 2013). In meiner zweiten Studie untersuchte ich die neuronalen Antworten auf die gleiche Stimulation im primären visuellen Kortex im Primatenmodell (Weißbüschelaffe). Experimentell konnte ich zeigen, dass die lokalen Antworten in V1 bereits stark selektiv für einzelne Frequenzbänder sind und dabei auch eine Komponente im Alpha-Band beinhalten, die ein funktionales Homolog der humanen Echo Antwort darstellen könnte. Ein Vergleich der Antworten zwischen anästhesierten und wachen Tieren zeigte, dass die Frequenzselektivität ein Merkmal der aktiven visuellen Verarbeitung ist, was auf Modulation aus höheren Arealen (top-down) hinweist. Zusammengenommen zeigten die Ergebnisse der ersten beiden Studien, dass der primäre visuelle Kortex aktiv zeitliche Information in bestimmten Frequenzbändern aus kontinuierlichem Input herausfiltert und dabei die Information anderer Frequenzen abschwächt. Die zweite Studie lieferte zudem erste Hinweise auf ein neuronales Korrelat der perzeptuellen Echos. Die präzise Repräsentation zeitlicher Information im visuellen System wird u.a. dadurch erschwert, dass sich der visuelle Input bei jeder Augenbewegung drastisch verändert. Vergangene Studien haben verschiedene Mechanismen identifiziert, die diese Instabilität durch Modulation neuronaler Antworten im Zeitfenster um sakkadische Augenbewegung herum kompensieren. Diese Modulationen betreffen auch die zeitliche Dimension der visuellen Verarbeitung, wie aus Veränderungen neuronaler Antwortlatenzen (Reppas et al., 2002; Ibbotson et al., 2006) und illusorischen Verzerrungen der Zeitwahrnehmung (Yarrow et al., 2001; Morrone et al., 2005; Knöll et al., 2013) hervorgeht. Unterschiede der Verarbeitung zwischen Hirnarealen sowie gegenläufige Wahrnehmungseffekte haben eine kohärente Interpretation bislang jedoch erschwert. Mit dem Ziel, unser Verständnis perisakkadischer zeitlicher Modulationen über das visuelle System hinweg auszuweiten, untersuchte ich in der dritten Studie im Areal V4 des ventralen Pfads des Makaken, ob und ggf. wie sich die Verarbeitung zeitlicher Information zwischen Fixation und perisakkadischen Zeitfenstern verändert. Meine Analyse von neuronalen Antworten auf sequenzielle Luminanzkontrast-Stimulation ergab, dass die Repräsentationen in Bezug auf zeitliche und räumliche Antworteigenschaften stabil blieben. Dabei wurde jedoch das Verhältnis der Antwort-Amplituden innerhalb einer Sequenz durch eine unselektive Erhöhung der Aktivität in perisakkadischen Zeitfenstern moduliert. Dies könnte auf Amplitudenmodulation als ein neuronales Korrelat sakkadischer Wahrnehmungsverzerrungen hindeuten. Der Befund stabiler raum-zeitlicher Repräsentationen steht im Kontrast zu zuvor beschriebenen perisakkadischen Modulationen räumlicher Antworteigenschaften in V4 (Tolias et al., 2001). Im Kontext der Ergebnisse anderer Studien kann vermutet werden, dass dies durch Unterschiede in der Verarbeitung zwischen sequenzieller und isolierter visueller Stimulation zu erklären ist. Zusammengenommen konnte die dritte Studie neue Hinweise darauf bieten, wie zeitliche Informationsverarbeitung von Augenbewegungen moduliert wird, und die vorhandene Literatur um erste Ergebnisse aus dem Areal V4 erweitern. Die ersten drei Studien beschäftigten sich mit zeitlicher Information, die in basalen visuellen Parametern enthalten ist, wie z.B. Luminanz oder Kontrast. In unserem natürlichen Umfeld sind zeitliche Änderungen dieser Parameter jedoch häufig an Bewegungen einzelner Objekte oder der gesamten Umgebung relativ zum Betrachter gekoppelt. Optische Flussfelder auf der Retina ermöglichen es dem visuellen System, aus diesem Input Informationen über die Bewegung des eigenen Körpers zu gewinnen. Bereits frühe Studien haben gezeigt, dass Menschen im Stand auf visuell simulierte Eigenbewegung mit posturalen Korrekturbewegungen reagieren (Lee, 1980). Die abschließenden zwei Studien dieser Arbeit untersuchten, wie diese Reaktionen in der visuomotorischen Kontrolle der Balance an die zeitliche Struktur der wahrgenommenen Eigenbewegung gekoppelt sind. Die vierte Studie verwendete Messungen mit einer Kraftmessplatte und Virtual Reality, um die posturalen Antworten von Versuchspersonen auf visuell simulierte, sinusförmige Eigenbewegung in anterior-posteriorer Richtung zu beschreiben. Durch die Anwendung etablierter Analysemethoden aus humanen EEG-Studien konnten wir zeigen, dass die Antworten mit hoher Konsistenz an den Stimulus koppelten und dass diese Kopplung auch für hohe zeitliche Stimulus-Frequenzen (1.2 Hz) stabil blieb. Dies deutet darauf hin, dass Befunde vergangener Studien, die eine Selektivität für niedrige Frequenzen gezeigt hatten, durch die Analyse der Antwort-Amplitude statt deren Phase durch biomechanische Eigenschaften verzerrt waren. Die fünfte Studie erweiterte dieses Paradigma zusätzlich um ein video-basiertes Ganz-Körper-Tracking mit dem Ziel, die Anteile einzelner Körperpartien an der gesamten Antwort zu bestimmen. Die Ergebnisse zeigten, dass die Balance-Strategie des Körpers stark von der zeitlichen Frequenz des visuellen Inputs abhängt. Für höhere Frequenzen verlagerte sich die Kopplung zunehmend auf das Hüftgelenk. Dieser Befund bestätigt die Modellvorhersagen früherer Studien. Aufbauend auf den Ergebnissen dieser zwei Studien etablierten wir zusätzlich ein neues Paradigma, das eine generalisierte Beschreibung der zeitlichen Eigenschaften visuell-evozierter posturaler Antworten ermöglichen sollte. Basierend auf dem gleichen Prinzip wie in den ersten zwei Studien dieser Arbeit verwendeten wir zufällige Eigenbewegungs-Sequenzen im Breitband-Frequenzbereich, um die Abhängigkeit des Kopplungsverhaltens von der zeitlichen Frequenz zu untersuchen. Die Ergebnisse zeigten stark idiosynkratische Muster in den posturalen Antworten der einzelnen Versuchspersonen. Diese könnten sowohl auf interindividuelle Unterschiede in den visuomotorischen Fähigkeiten als auch anthropometrische Faktoren zurückzuführen sein. Die Frequenzverteilungen der Kopplung zeigten überraschend starke Anteile in sehr hohen Frequenzen (&gt; 2 Hz), die vermutlich eine dritte, reflexive Strategie unter Kontrolle anderer motorischer Pfade repräsentieren. Diese Ergebnisse zeigen, dass das visuomotorische System die zeitliche Struktur von Eigenbewegung für die Kontrolle der Balance im Stand verwendet, und dabei bestimmte Frequenzbänder für unterschiedliche motorische Muster selektiert. Zusammenfassend habe ich in meiner Arbeit untersucht, wie das visuelle System zeitliche Information aus kontinuierlichem Input extrahiert und verarbeitet. Meine Befunde aus unterschiedlichen Sub-Systemen der visuellen Hierarchie zeigen, dass die neuronale Repräsentation zeitlicher Information durch ihre Selektivität für bestimmte Frequenzbänder funktionell spezialisiert sind. Im Primaten-Tiermodell konnte ich mögliche neuronale Korrelate dieser Frequenzselektivität identifizieren und ihre Dynamik während aktiven visuellen Verhaltens beschreiben. Diese könnten in zukünftigen Studien verwendet werden um unterschiedliche sensorische Systeme funktional voneinander zu trennen, sowie als Marker für die neuronale Verarbeitung einzelner Individuen in klinischen Anwendungen.