Modelling closed-loop receptive fields: On the formation and utility of receptive fields in closed-loop behavioural systems

Abstract

Bei höher entwickelten Tieren nimmt die Komplexität der visuellen rezeptiven Felder mit dem hierarchischen Aufbau von den visuellen Eingangsarealen zu den höheren Hirnarealen in dem Maße zu, dass visuelle Reize in den höheren Hirnarealen einen indirekteren Einfluss als in den Eingangsarealen ausüben. Von diesen Arealen aus gibt das System diese Aktivität dann wieder über weitere Stufen an die Endeffektoren (Muskeln) weiter. Neuere Erkenntnisse zeigen jedoch, dass bei einfacheren Tieren, beispielsweise Fliegen, ein Motorneuron über ein visuelles rezeptives Feld verfügen kann (Krapp und Huston, 2005) und das Motorneuron dadurch entsprechende sensorische Merkmale aufweisen kann. Solche rezeptiven Felder beeinflussen das Verhalten in direkter Weise, indem diese Neuronen ohne Zwischenschritte direkt die Wahrnehmungs-Handlungs-Schleife schließen und Feedback über die Umwelt wieder an die Sensoren geben. Im ersten Teil dieser Doktorarbeit werden wir aufzeigen, dass es möglich ist, solche direkt gekoppelten Sensor-Motor-Felder in einfachen Verhaltenssystemen mit Hilfe eines auf Korrelationen basiertem Temporal-Sequence-Learning-Algorithmus zu entwickeln. Das Hauptziel besteht darin aufzuzeigen, dass Lernen stabiles Verhalten generiert und dass die erzeugten rezeptiven Felder sich ebenfalls stabilisieren, wenn das neuerlernte Verhalten erfolgreich ist. Die Entwicklung von stabilen neuronalen Eigenschaften als auch von stabilem Verhalten ist schwierig, da die Konvergenz von funktionalen Neuronen­eigenschaften und vom Verhalten gleichzeitig sichergestellt werden muss. Diese Arbeit stellt einen ersten Versuch dar, dieses Problem mit Hilfe eines einfachen Robotorsystems zu lösen. Dieser Teil der Arbeit wird mit der Frage geschlossen, wie eine indirekte Sensor-Motor-Kopplung, wie sie bei höher entwickelten Tieren vorkommt, aufgebaut werden kann. Durch die Nutzung von einfachen hintereinander­geschalteten Lernstrukturen werden wir aufzeigen, dass damit ähnliche Ergebnisse erzielt werden können; selbst für die sekundären rezeptiven Felder, die indirekte visuelle Reize erhalten. Im zweiten Teil dieser Doktorarbeit werden wir verschiedene Agenten quantitativ analysieren, die sich mit dem im ersten Teil vorgestelltem Temporal-Sequence-Learning-Algorithmus an die Umwelt anpassen. Hierbei werden wir versuchen folgende Frage zu beantworten: Wie können wir vorhersagen, welcher der gegebenen Agenten sich am besten für ein bestimmtes Szenario (Umwelt) eignet? Direkt gekoppelte Umwelt-Agent-Systeme in ihrem Verhalten zu verstehen, stellt kein triviales Problem dar, vor allem wenn sich diese Systeme im Lernprozess verändern. Geschlossene Regelschleifen, wie das Umwelt-Agent-System, wurden in der Informationstheorie bereits in den 50er Jahren beschrieben, dennoch gab es nur wenige Versuche Lernen mitzuberücksichtigen, wobei meist der Informationsgehalt der Eingangsgrößen gemessen wurde. Zur Beantwortung der oben genannten Frage werden wir mit Hilfe von Energie- und Entropiemessungen simulierte Agenten untersuchen und deren Entwicklung im Lernprozess beobachten. So kann nachgewiesen werden, dass es in genau definierten Szenarien lernende Agenten gibt, die in Bezug auf ihren Aufbau und ihr Anpassungsvermögen optimale Eigenschaften aufweisen. Darüber hinaus werden wir aufzeigen, dass es im Rahmen von vergleichsweise einfachen Fällen analytische Lösungsmöglichkeiten für die zeitliche Entwicklung solcher Agenten gibt. In den ersten beiden Teilen der Arbeit werden Agenten mit unimodalem sensorischen Eingang analysiert (visuell oder somatosensorisch). Im dritten und letzten Teil dieser Arbeit wird untersucht, inwieweit der Einsatz von multimodalen Sensoren die Entwicklung der rezeptiven Felder und des Verhaltens beeinflusst. Dieser Ansatz geht auf Experimente mit Nagetieren zurück, in denen nachgewiesen werden konnte, dass, obwohl visuelle Reize für die Entstehung von hippocampischen Ortszellen ( place cells ) und der räumlichen Orientierung eine wichtige Rolle spielen, Ratten sich auch auf olfaktorische, auditive und somatosensorische Reize sowie solche aus ihrer Eigenbewegung stützen können. In dieser Doktorarbeit wird erstmalig ein Modell einer Ortszelle vorgestellt, in dem visuelle und olfaktorische Reize zur Herausbildung eines Ortsfeldes kombiniert werden. Dies wird durch ein einfaches Feed-Forward-Netzwerk und einem Winner-Takes-All-Lernmechanismus realisiert. Eine Orientierungsaufgabe wird mit Hilfe der vorgestellten Orientierungsmechanismen, basierend auf geruchliche Eigenmarkierungen, die mit einem Q-Lernalgorithmus kombiniert werden, gelöst. Wir zeigen, dass olfaktorische Reize eine wichtige Rolle bei der Bildung von Ortsfeldern darstellen und weisen nach, dass eine Kombination von visuellen und olfaktorischen Reizen, die mit einer gemischten Orientierungsstrategie einhergeht, zu einer Verbesserung der zielgerichteten Orientierung führt.