Mathematical Description of Differential Hebbian Plasticity and its Relation to Reinforcement Learning

Abstract

Das menschliche Gehirn besteht aus mehreren Millionen Nervenzellen. Jedes dieser Neuronen besitzt Tausende von Verbindungen, den Synapsen, die nicht starr sind, sondern sich beständig ändern. Um diese synaptische Plastizität zu beschreiben, wurden verschiedene mathematische Regeln aufgestellt, die überwiegend dem Postulat von Hebb folgen. Donald Hebb schlug 1949 vor, dass sich Synapsen nur dann ändern, wenn die präsynaptische Aktivität, d.h. die Aktivität der Synapse, welche zum Neuron hinführt, und die postsynaptische Aktivität, d.h. die Aktivität des Neurons selber, zusammenfallen. Eine allgemeine mathematische Beschreibung dieser einflussreichen Klasse von Plastizitätsregeln fehlt jedoch noch. Vorhandene Beschreibungen der Dynamik synaptischer Verbindungen unter Hebb"scher Plastizität beschränken sich auf entweder eine einzelne Synapse oder sehr einfache, stationäre Aktivitätsmuster. Trotzdem findet die Hebb"sche Plastiziät in verschiedenen Gebieten Anwendung, zum Beispiel in der klassischen Konditionierung. Bereits die Erweiterung zu operanter Konditionierung, als auch zu dem nahe verwandten bestärkenden Lernen, birgt jedoch Probleme. Bis jetzt konnte bestärkendes Lernen noch nicht lokal im künstlichen Neuron implementiert werden, da die Plastizität von verbundenen Synapsen von Faktoren abhängt, die wiederum von der Aktivität nicht lokaler Neuronen abhängig sind. In dieser Dissertation wird die Plastizität von einzelnen Synapsen anhand eines neuen, auf Auto- und Kreuzkorrelationstermen basierenden theoretischen Rahmens beschrieben und analysiert. Hierdurch können verschiedene Regeln verglichen und somit auf deren Stabilität geschlossen werden. Dies ermöglicht gezielt Hebb"sche Plastizitätsregeln für verschiedenste Systeme zu konstruieren. Zum Beispiel reicht ein zusätzlicher, die Plastizität modulierender Faktor aus, um die Autokorrelation zu beseitigen. Weiterhin werden zwei bereits existierende Modelle generalisiert, was zu einer neuen, so genannten Variable Output Trace (VOT) Plastizitätsregel führt, welche später noch praktische Verwendung findet. Im nächsten Schritt wird diese Analyse so erweitert, dass die Plastiziät vieler Synapsen gleichzeitig berechnet werden kann. Mit dieser vollständigen analytischen Lösung kann die Dynamik von synaptischen Verbindungen sogar für nichtstationäre Aktivitäten charakterisiert werden. So kann unter anderem die synaptische Entwicklung symmetrischer differentieller Hebb"scher Plastizität vorhergesagt werden. Im letzten Abschnitt dieser Dissertation wird ein allgemeiner, aber einfacher Aufbau eines kleinen Netzwerks vorgestellt. Mit diesem Aufbau kann jede Hebb"sche Plastizitätsregel mit einer negativen Autokorrelation benutzt werden, um Temporal Difference Lernen, ein weit verbreiteter Algorithmus des bestärkenden Lernens, zu emulieren. Speziell wurde hier differentielle Hebb"sche Plastizität mit einem modulierenden Faktor und die VOT Plastizität, welche im ersten Teil entwickelt wurde, benutzt, um die assymptotische Gleichwertigkeit zum Temporal Difference Lernen zu beweisen. Im gleichen Zuge wurde auch die Praktikabilität dieser Realisierung untersucht. Die im Rahmen dieser Dissertation entwickelten Ergebnisse erlauben nun verschiedene Hebb"sche Regeln und ihre Eigenschaften miteinander zu vergleichen. Weiterhin ist es jetzt zum ersten mal möglich, die Plastizität vieler Synapsen mit sich kontinuierlich verändernden Aktivitäten gleichzeitig analytisch zu berechnen. Dies ist von Bedeutung für alle Verhalten zeigenden Systeme (Maschinen, Tiere), deren Interaktion mit der Umwelt zu stark variierender neuronaler Aktivität führt.