title: Gradient-based learning and regularization in spiking neurons
Creators: name: Wunderlich, Timo
Publisher: name: Technische Universität Berlin
Year: 2024
Subjects: subject: 500 Naturwissenschaften und Mathematik::500 Naturwissenschaften::500 Naturwissenschaften und Mathematik
subject: plasticity
subject: spiking neurons
subject: learning
subject: gradient-based learning
subject: regularization

description: How do biological neurons learn to reliably respond to stimuli based on few examples while encoding information using discrete spikes? Here, we approach this question using a spiking neuron model, the leaky integrate-and-fire neuron, and gradient-based learning. We use a recent theoretical advance, the spike-threshold surface, to implement regularization that enables neurons to learn from few examples and to be robust to noise. Our analytical results show that the robustness to threshold noise is fundamentally limited in the leaky integrate-and-fire neuron and that robustness can be improved using an inhibitory-excitatory-inhibitory synaptic weight pattern, akin to feed-forward inhibition observed in biological neurons. We show that biologically plausible input noise, specifically random spike deletion and spike time jitter, can be compensated by a systematic increase of synaptic weights. To enable neurons to detect recurring features, we define a regularization term that forces neurons to fire at times where input patterns are sufficiently similar. Neurons following this learning rule discover recurring spike patterns based on a single repetition embedded in an unsegmented stream of spikes and by only receiving feedback about the number of contained features (i.e., no timing information). Importantly, a single repetition embedded in a Poissonian spike train is sufficient for detection. In addition, we validate our results using two real-world datasets: First, we use the TIDIGITS dataset to show that neurons can learn to detect recurring digits in single, unsegmented sequences of spoken digits. Second, we use in-vivo recordings of spike trains obtained in mice watching a repeating natural movie. When using recordings from thalamus and cortex, neurons discover periodically recurring spike input as well as non-periodic but repeating spike patterns. To connect our results to biological learning, we compute average gradient kernels that use relative spike timing and post-synaptic depolarization to approximate gradients. The resulting learning rule matches the performance of gradient-based learning and provides a novel interpretation for voltage-dependent plasticity in terms of maximizing noise robustness and enabling feature detection. Finally, we consider multi-layer spiking networks and show that event-based backpropagation can be used to retain the sparsity of spike-based communication during gradient computation. We apply the resulting event-based algorithm to two-layer spiking networks and the MNIST handwritten digit dataset as well as synthetic data. In addition, we describe a proof-of-concept implementation on the SpiNNaker2 neuromorphic platform.
description: Wie lernen biologische Neuronen, zuverlässig auf Reize zu reagieren und von wenigen Beispielen zu lernen, während sie Informationen mit diskreten Spikes kodieren? Hier nähern wir uns dieser Frage mit Hilfe eines spikenden Neuronenmodells, dem Leaky Integrate-and-Fire-Neuron, und gradienten-basiertem Lernen. Wir verwenden einen Fortschritt aus der Theorie des neuronalen Lernens, das spike-threshold surface, um Regularisierung zu implementieren, die es den Neuronen ermöglicht, mit wenigen Beispielen zu lernen und robust gegenüber Rauschen zu sein. Unsere analytischen Ergebnisse zeigen, dass die Robustheit gegenüber Schwellenwertrauschen in einem Leaky Integrate-and-Fire-Neuron grundsätzlich begrenzt ist und dass die Robustheit durch ein inhibitorisch-exzitatorisch-inhibitorisches synaptisches Gewichtsmuster verbessert werden kann, welches der in biologischen Neuronen beobachteten Feed-Forward-Inhibition ähnelt. Wir zeigen, dass biologisch plausibles Rauschen im empfangenen Spikemuster, insbesondere zufällige Spike-Löschung und Spike-Zeit-Rauschen, durch eine systematische Erhöhung der synaptischen Gewichte kompensiert werden kann. Um die Neuronen in die Lage zu versetzen, wiederkehrende Muster zu erkennen, definieren wir einen Regularisierungsterm, der die Neuronen dazu zwingt, zu Zeiten zu feuern, in denen die Eingangsmuster ausreichend ähnlich sind. Neuronen, die dieser Lernregel folgen, entdecken wiederkehrende Spike-Muster auf der Grundlage einer einzelnen Wiederholung, die in einen unsegmentierten Strom von Spikes eingebettet ist, und indem sie nur eine Information über die Anzahl der enthaltenen Muster erhalten (d.h., keine Zeitinformationen). Bemerkenswert ist, dass eine einzige Wiederholung, eingebettet in einen Poisson'schen Spike-Train, für die Erkennung ausreicht. Darüber hinaus validieren wir unsere Ergebnisse anhand von zwei Datensätzen: Erstens verwenden wir den TIDIGITS-Datensatz, um zu zeigen, dass Neuronen lernen können, wiederkehrende Ziffern in einzelnen, nicht segmentierten Sequenzen gesprochener Ziffern zu erkennen. Zweitens verwenden wir in-vivo-Aufnahmen von Spikemustern, die in Mäusen aufgenommen wurden, die einen sich wiederholenden Film ansehen. Bei der Verwendung von Aufnahmen aus dem Thalamus und Kortex entdecken die Neuronen sowohl periodisch wiederkehrende Spikemuster als auch nicht-periodische, aber sich wiederholende Spikemuster. Um unsere Ergebnisse mit biologischem Lernen in Verbindung zu bringen, berechnen wir durchschnittliche Gradientenkerne, die das relative Spike-Timing und die postsynaptische Depolarisation zur Approximation der Gradienten verwenden. Die sich daraus ergebende Lernregel reproduziert die Leistung des gradientenbasierten Lernens und bietet eine neuartige Interpretation der spannungsabhängigen Plastizität im Hinblick auf die Maximierung der Rauschrobustheit und die Ermöglichung der Merkmalserkennung. Schließlich betrachten wir mehrschichtige Netzwerke mit spikenden Neuronen und zeigen, dass event-basierte Backpropagation verwendet werden kann, um die Sparsamkeit der Spike-basierten Kommunikation während der Gradientenberechnung beizubehalten. Wir wenden den resultierenden event-basierten Algorithmus auf zweischichtige Spiking-Netzwerke und den MNIST-Datensatz handgeschriebener Ziffern sowie auf synthetische Daten an. Darüber hinaus beschreiben wir eine Proof-of-Concept-Implementierung auf der neuromorphen Plattform SpiNNaker2.