Sufficient encoding of dynamical systems
Creators: name: Creutzig, Felix
Publisher: name: Humboldt-Universität zu Berlin, Mathematisch-Naturwissenschaftliche Fakultät I
Year: 2008
Subjects: subject: Auditorisches System
subject: Insekt
subject: Informationstheorie
subject: vorhersagende Information
subject: Auditory System
subject: Insect
subject: Information Theory
subject: Predictive Information
subject: 570 Biowissenschaften, Biologie
subject: 32 Biologie
subject: WW 1660

description: Diese Doktorarbeit besteht aus zwei Teilen. In dem ersten Teil der Doktorarbeit behandele ich die Kodierung von Kommunikationssignalen in einem burstenden Interneuron im auditorischen System des Grashuepfers Chorthippus biguttulus. Mit der Anzahl der Aktionspotentialen im Burst wird eine zeitliche Komponente der Kommunikationssignale - die Pausendauer - wiedergegeben. Ein Modell basierend auf schneller Exzitation und langsamer Inhibition kann diese spezielle Kodierung erklaeren. Ich zeige, dass eine zeitliche Integration der Aktionspotentiale dieses burstenden Interneurons dazu genutzt werden kann, die Signale zeitskaleninvariant zu dekodieren. Dieser Mechanismus kann in ein umfassenderes Modell eingebaut werden, dass die Verhaltensantwort des Grashuepfers auf Kommunikationssignale widerspiegelt. Im zweiten Teil der Doktorarbeit benutze ich Konzepte aus der Informationstheorie und der Theorie linearer dynamisches Systeme, um den Begriff der ''vorhersagenden Information'' zu operationalisieren. Im einfachen Fall der informations-theoretisch optimalen Vorhersage des naechsten Zeitschrittes, erhalte ich Eigenvektoren, die denjenigen eines anderen etablierten Algorithmuses, der sogenannten ''Slow Feature Analysis'', entsprechen. Im allgemeinen Fall optimiere ich die vorhersagenden Information, die die Vergangenheit des Inputs eines dynamischen Systems ueber die Zukunft des Outputs enthaelt. Dabei gelange ich zu einer informations-theoretisch optimalen Charakterisierung eines reduzierten Systems, die auf den Eigenvektoren der konditionalen Kovarianzmatrix zwischen Inputvergangenheit und Outputzukunft basiert.
description: This thesis consists of two parts. In the first part, I investigate the coding of communication signal in a bursting interneuron in the auditory system of the grasshopper Chorthippus biguttulus. The intra-burst spike count codes one temporal feature of the communication signal - pause duration. I show that this code can be understood by a model of parallel fast excitation and slow inhibition. Furthermore, temporal integration of the spike train of this bursting interneuron results in a desirable time-scale invariant read-out of the communication signal. This mechanism can be integrated into a more comprehensive model that can explain behavioural response of grasshoppers. In the second part of this thesis, I combine concepts from information theory and linear system theory to operationalize the notion of ''predictive information''. In the simple case of predicting the next time-step of a signal in an information-theoretic optimal sense, I obtain a description by eigenvectors that are identical to another established algorith, the so-called ''Slow Feature Analysis''. In the general case I optimize a dynamical system such that the predictive information in the input past about the output future is optimalle compressed into the state space. Thereby, I obtain an information-theoretically optimal characterization of reduced system, based on the eigenvectors of the conditional covariance matrix between input past and output future.