A theory of inference and learning in cortex with spiking neurons and dendritic error computation

by Fabian Mikulasch
Doctoral thesis
Date of Examination:2023-10-16
Date of issue:2023-11-03
Advisor:Prof. Dr. Viola Priesemann
Referee:Prof. Dr. Alexander Ecker
Referee:Prof. Dr. Siegrid Löwel
Referee:Prof. Dr. Theo Geisel
Referee:Prof. Dr. Fred Wolf
Referee:Dr. Andreas Neef
Persistent Address: http://dx.doi.org/10.53846/goediss-10168

 

 

Files in this item

Name:PhD_Thesis.pdf
Size:11.8Mb
Format:PDF

The following license files are associated with this item:

Abstract

English

How the cortex performs its intricate computations, and how it adapts to the world around it, is one of the central mysteries in neuroscience. It is a longstanding belief that one of the main aims of the brain, and especially the cortex, is to infer the states of the world, such as the presence of objects, that underlie the sensory observations an animal makes. Currently the most discussed theory that formalizes this idea and proposes a biological implementation is classical hierarchical Predictive Coding (hPC), which hypothesizes the existence of dedicated ’error neurons’ in cortex that signal errors of the internal model. While this theory has inspired much research, it is not clear how one of its central elements—the proposed learning algorithm—can be implemented with spiking neurons, which questions its biological plausibility. In this thesis we propose an alternative theory of learning and inference with spiking neurons, where errors are computed in neural dendrites, and synaptic connections are learned with biologically plausible voltage-dependent plasticity rules. We first build on existing work of inference and learning in spiking neural networks, and show how dendritic error computation can overcome an unsolved problem for learning in these networks. Specifically, when neural activity in the network is correlated, previously assumed Hebbian-like learning leads to pathological network activity, which learning with dendritic errors prevents. We then combine this model with other theories of learning in cortex to a theory of hierarchical inference with spiking neurons, and show that this theory is isomorphic to classical hPC while overcoming its biological implausibility. Last, we employ our framework to explain how ’mismatch responses’, i.e., neural responses that signal the mismatch between an internal model and observations, emerge from inference and learning in cortex. Together, this work proposes a comprehensive theory of learning, inference and their signatures in cortex, and provides a range of readily testable predictions.
Keywords: Hierarchical Inference; Voltage-dependent plasticity; Mismatch responses; Predictive processing; Dendritic computation

German

Wie der Cortex seine komplexen Berechnungen durchführt und sich an die Welt um ihn herum anpasst, ist eines der zentralen Rätsel in der Neurowissenschaft. Seit langem wird vermutet, dass eines der Hauptziele des Gehirns, insbesondere des Cortex, darin besteht, den Zustand der Welt, wie zum Beispiel das Vorhandensein von Objekten, der den sensorischen Beobachtungen eines Tieres zugrunde liegt, zu erschließen. Derzeit ist die am meisten diskutierte Theorie, die diese Idee formalisiert und eine biologische Umsetzung vorschlägt, die klassische hierarchische Prädiktive Kodierung (hPC), die die Existenz dedizierter ”Fehlerneuronen” im Cortex postuliert, die Fehler des internen Modells signalisieren. Obwohl diese Theorie viel Forschung inspiriert hat ist nicht klar wie eines ihrer zentralen Elemente - der vorgeschlagene Lernalgorithmus - mit Spiking-Neuronen implementiert werden kann, was ihre biologische Plausibilität in Frage stellt. In der vorliegenden Arbeit schlagen wir eine alternative Theorie des Lernens und der Inferenz mit Spiking-Neuronen vor, bei der Fehler in den neuronalen Dendriten berechnet werden und synaptische Verbindungen mit biologisch plausiblen spannungsabhängigen Plastizitätsregeln erlernt werden. Wir bauen zunächst auf bestehenden Arbeiten zur Inferenz und zum Lernen in Spiking-Neuronennetzen auf und zeigen, wie die Fehlerberechnung in den Dendriten ein ungelöstes Problem des Lernens in diesen Netzwerken lösen kann. Genauer führt die zuvor angenommene Hebb’sche Lernregel zu pathologischer Netzwerkaktivität, wenn die neuronale Aktivität im Netzwerk korreliert ist, was durch das Lernen mit dendritischen Fehlern verhindert wird. Im Anschluss kombinieren wir dieses Modell mit anderen Theorien des Lernens im Cortex zu einer Theorie hierarchischer Inferenz mit Spiking-Neuronen und zeigen, dass diese Theorie isomorph zur klassischen hPC ist aber die biologische Unplausibilität ihrer Lernregeln überwindet. Schließlich nutzen wir unser Framework, um zu erklären, wie ”Mismatch-Responses”, d.h., neuronale Aktivität, die den Unterschied zwischen einem internen Modell und Beobachtungen signalisiert, als Folge der Inferenz und dem Lernen im Cortex entstehen. Zusammenfassend schlägt diese Arbeit eine umfassende Theorie des Lernens, der Inferenz und ihrer Signaturen im Cortex vor und liefert eine Reihe von direkt testbaren Vorhersagen.
 
Statistik