Mathematical Description of Differential Hebbian Plasticity and its Relation to Reinforcement Learning
Mathematische Beschreibung Hebb'scher Plastizität und deren Beziehung zu Bestärkendem Lernen
von Christoph Markus Kolodziejski
Datum der mündl. Prüfung:2009-02-13
Erschienen:2009-11-18
Betreuer:Prof. Dr. Theo Geisel
Gutachter:Prof. Dr. Florentin Wörgötter
Gutachter:Prof. Dr. Reiner Kree
Gutachter:Prof. Dr. Werner Lauterborn
Dateien
Name:kolodziejski.pdf
Size:2.45Mb
Format:PDF
Description:Dissertation
Zusammenfassung
Englisch
The human brain consists of more than a billion nerve cells, the neurons, each having several thousand connections, the synapses. These connections are not fixed but change all the time. In order to describe synaptic plasticity, different mathematical rules have been proposed most of which follow Hebb"s postulate. Donald Hebb suggested in 1949 that synapses only change if pre-synaptic activity, i.e. the activity of a synapse that converges to the neuron, and post-synaptic activity, i.e. activity of the neuron itself, correlate with each other. A general descriptive framework, however, is yet missing for this influential class of plasticity rules. In addition, the description of the dynamics of the synaptic connections under Hebbian plasticity is limited either to the plasticity of only one synapse or to simple, stationary activity patterns. In spite of this, Hebbian plasticity has been applied to different fields, for instance to classical conditioning. However, the extension to operant conditioning and to the closely related reinforcement learning is problematic. So far reinforcement learning can not be implemented directly at a neuron as the plasticity of converging synapses depends on information that needs to be computed by many neurons. In this thesis we describe the plasticity of a single plastic synapse by introducing a new theoretical framework for its analysis based on their auto- and cross-correlation terms. With this framework we are able to compare and draw conclusions about the stability of several different rules. This makes it also possible to specifically construct Hebbian plasticity rules for various systems. For instance, an additional plasticity modulating factor is sufficient to eliminate the auto-correlation contribution. Along these lines we also generalize two already existing models, a fact which leads to a novel so-called Variable Output Trace (VOT) plasticity rule that will be of further importance. In a next step we extend our analysis to many plastic synapses where we develop a complete analytical solution which characterizes the dynamics of synaptic connections even for non-stationary activity. This allows us to predict the synaptic development of symmetrical differential Hebbian plasticity. In the last part of this thesis, we present a general setup with which any Hebbian plasticity rule with a negative auto-correlation can be used to emulate temporal difference learning, a widely used reinforcement learning algorithm. Specifically we use differential Hebbian plasticity with a modulating factor and the VOT plasticity rule developed in the first part to prove their asymptotic equivalence to temporal difference learning and additionally investigate the practicability of these realizations. With the results developed in this thesis, it is possible to relate different Hebbian rules and their properties to each other. It is also possible for the first time to calculate plasticity analytically for many synapses with continuously changing activity. This is of relevance for all behaving systems (machines, animals) whose interaction with their environment leads to widely varying neural activation.
Keywords: Theoretical Neuroscience; Plasticity; Hebbian Plasticity; Spike-Timing-Dependent Plasticity; Reinforcement Learning; Temporal Difference Learning
Weitere Sprachen
Das menschliche Gehirn besteht aus
mehreren Millionen Nervenzellen. Jedes dieser Neuronen besitzt
Tausende von Verbindungen, den Synapsen, die nicht starr sind,
sondern sich beständig ändern. Um diese synaptische Plastizität zu
beschreiben, wurden verschiedene mathematische Regeln aufgestellt,
die überwiegend dem Postulat von Hebb folgen. Donald Hebb schlug
1949 vor, dass sich Synapsen nur dann ändern, wenn die
präsynaptische Aktivität, d.h. die Aktivität der Synapse, welche
zum Neuron hinführt, und die postsynaptische Aktivität, d.h. die
Aktivität des Neurons selber, zusammenfallen. Eine allgemeine
mathematische Beschreibung dieser einflussreichen Klasse von
Plastizitätsregeln fehlt jedoch noch. Vorhandene Beschreibungen der
Dynamik synaptischer Verbindungen unter Hebb"scher Plastizität
beschränken sich auf entweder eine einzelne Synapse oder sehr
einfache, stationäre Aktivitätsmuster. Trotzdem findet die
Hebb"sche Plastiziät in verschiedenen Gebieten Anwendung, zum
Beispiel in der klassischen Konditionierung. Bereits die
Erweiterung zu operanter Konditionierung, als auch zu dem nahe
verwandten bestärkenden Lernen, birgt jedoch Probleme. Bis jetzt
konnte bestärkendes Lernen noch nicht lokal im künstlichen Neuron
implementiert werden, da die Plastizität von verbundenen Synapsen
von Faktoren abhängt, die wiederum von der Aktivität nicht lokaler
Neuronen abhängig sind. In dieser Dissertation wird die Plastizität
von einzelnen Synapsen anhand eines neuen, auf Auto- und
Kreuzkorrelationstermen basierenden theoretischen Rahmens
beschrieben und analysiert. Hierdurch können verschiedene Regeln
verglichen und somit auf deren Stabilität geschlossen werden. Dies
ermöglicht gezielt Hebb"sche Plastizitätsregeln für verschiedenste
Systeme zu konstruieren. Zum Beispiel reicht ein zusätzlicher, die
Plastizität modulierender Faktor aus, um die Autokorrelation zu
beseitigen. Weiterhin werden zwei bereits existierende Modelle
generalisiert, was zu einer neuen, so genannten Variable Output
Trace (VOT) Plastizitätsregel führt, welche später noch praktische
Verwendung findet. Im nächsten Schritt wird diese Analyse so
erweitert, dass die Plastiziät vieler Synapsen gleichzeitig
berechnet werden kann. Mit dieser vollständigen analytischen Lösung
kann die Dynamik von synaptischen Verbindungen sogar für
nichtstationäre Aktivitäten charakterisiert werden. So kann unter
anderem die synaptische Entwicklung symmetrischer differentieller
Hebb"scher Plastizität vorhergesagt werden. Im letzten Abschnitt
dieser Dissertation wird ein allgemeiner, aber einfacher Aufbau
eines kleinen Netzwerks vorgestellt. Mit diesem Aufbau kann jede
Hebb"sche Plastizitätsregel mit einer negativen Autokorrelation
benutzt werden, um Temporal Difference Lernen, ein weit
verbreiteter Algorithmus des bestärkenden Lernens, zu emulieren.
Speziell wurde hier differentielle Hebb"sche Plastizität mit einem
modulierenden Faktor und die VOT Plastizität, welche im ersten Teil
entwickelt wurde, benutzt, um die assymptotische Gleichwertigkeit
zum Temporal Difference Lernen zu beweisen. Im gleichen Zuge wurde
auch die Praktikabilität dieser Realisierung untersucht. Die im
Rahmen dieser Dissertation entwickelten Ergebnisse erlauben nun
verschiedene Hebb"sche Regeln und ihre Eigenschaften miteinander zu
vergleichen. Weiterhin ist es jetzt zum ersten mal möglich, die
Plastizität vieler Synapsen mit sich kontinuierlich verändernden
Aktivitäten gleichzeitig analytisch zu berechnen. Dies ist von
Bedeutung für alle Verhalten zeigenden Systeme (Maschinen, Tiere),
deren Interaktion mit der Umwelt zu stark variierender neuronaler
Aktivität führt.
Schlagwörter: Theoretische Neurowissenschaft; Plastizität; Hebb'sche Plastizität