• Deutsch
    • English
  • English 
    • Deutsch
    • English
  • Login
Item View 
  •   Home
  • Naturwissenschaften, Mathematik und Informatik
  • Fakultät für Physik (inkl. GAUSS)
  • Item View
  •   Home
  • Naturwissenschaften, Mathematik und Informatik
  • Fakultät für Physik (inkl. GAUSS)
  • Item View
JavaScript is disabled for your browser. Some features of this site may not work without it.

Modelling closed-loop receptive fields: On the formation and utility of receptive fields in closed-loop behavioural systems

Entwicklung rezeptiver Felder in autonom handelnden, rückgekoppelten Systemen

by Tomas Kulvicius
Doctoral thesis
Date of Examination:2010-04-20
Date of issue:2010-05-28
Advisor:Prof. Dr. Florentin Wörgötter
Referee:Prof. Dr. Florentin Wörgötter
Referee:Dr. Bernd Porr
crossref-logoPersistent Address: http://dx.doi.org/10.53846/goediss-2791

 

 

Files in this item

Name:kulvicius.pdf
Size:6.00Mb
Format:PDF
Description:Dissertation
ViewOpen

The following license files are associated with this item:


Abstract

English

In higher animals an increasingly complex hierarchy of visual receptive fields exists from early to higher visual areas, where visual input becomes more and more indirect. From there on the system propagates its activity again via many stages to the end-effectors (muscles). On the other hand, recently it has been pointed out that in simple animals like flies a motor neuron can have a visual receptive field (Krapp und Huston, 2005), hence a motor neuron can have a sensor property. Such receptive fields directly generate behaviour. Thus, these neurons close - without intermediate stages - directly the perception-action loop and create feedback to the sensors again. In the first part of this thesis we will show that it is possible to develop such directly coupled sensor-motor receptive fields in simple behavioural systems by ways of a correlation based temporal sequence learning algorithm. The main goal is to demonstrate that learning generates stable behaviour and that the resulting receptive fields are also stable as soon as the newly learned behaviour is successful. The development of both, stable neuronal properties and stable behaviour, represents a difficult problem because convergence of functional neuronal properties and of behaviour has to be guaranteed at the same time. This work is a first attempt towards a solution of this problem shown by a simple robot system. This part of the thesis is concluded by starting to address the question how indirect sensor-motor coupling, like in higher animals, can be established. By implementing simple chained learning architectures, we will demonstrate that similar results can also be obtained, even for secondary receptive fields, which receive indirect visual input. In the second part of this thesis we will quantitatively analyse closed-loop learning systems which perform temporal sequence learning as presented in the first part. Here we try to answer the following question: How can we predict which system from a given class would be the best for a particular scenario? Understanding closed-loop behavioural systems is a non-trivial problem, especially when they change during learning. Descriptions of closed loop systems in terms of information theory date back to the 50s, however, there have been only a few attempts which take into account learning, mostly measuring information of inputs. To address the question stated above, we will investigate simulated agents by using energy and entropy measures and looking at their development during learning. This way we can show that within well specified scenarios there are indeed learning agents which are optimal with respect to their structure and adaptive properties. We will also show that analytical solutions can be found for the temporal development of such agents for relatively simple cases. In first two parts we analyse systems which use uni-modal sensory input (visual or somatosensory). In the third and the last part of this thesis we will investigate how multi-modal sensor integration influences development of the receptive fields and behavioural performance. This is motivated by experiments with rodents which demonstrate that although visual cues play an important role in the formation of hippocampal place cells and spatial navigation, rats also can rely on olfactory, auditory, somatosensory and self-motion cues. Here, for the first time we present a place cell model where we combine visual with olfactory cues in order to form place fields. This is realised by using a simple feed-forward network and a winner-takes-all learning mechanism. We solve a goal navigation task by using proposed navigation mechanism based on self-marking by odour patches combined with a Q-learning algorithm. We show that olfactory cues play an important role in the formation of the place fields and demonstrate that a combination of visual and olfactory cues together with a mixed navigation strategy improves goal directed navigation.
Keywords: Computational Neuroscience; Closed-Loop Learning Systems; Sensorimotor Loop; Visual Receptive Fields; Temporal Sequence Learning; Driving Robot; Entropy; Input/Output Ratio; Energy; Optimal Agents; Place Fields; Place Field Remapping; Q-learning; Self-marking; Goal Directed Navigation

Other Languages

Bei höher entwickelten Tieren nimmt die Komplexität der visuellen rezeptiven Felder mit dem hierarchischen Aufbau von den visuellen Eingangsarealen zu den höheren Hirnarealen in dem Maße zu, dass visuelle Reize in den höheren Hirnarealen einen indirekteren Einfluss als in den Eingangsarealen ausüben. Von diesen Arealen aus gibt das System diese Aktivität dann wieder über weitere Stufen an die Endeffektoren (Muskeln) weiter. Neuere Erkenntnisse zeigen jedoch, dass bei einfacheren Tieren, beispielsweise Fliegen, ein Motorneuron über ein visuelles rezeptives Feld verfügen kann (Krapp und Huston, 2005) und das Motorneuron dadurch entsprechende sensorische Merkmale aufweisen kann. Solche rezeptiven Felder beeinflussen das Verhalten in direkter Weise, indem diese Neuronen ohne Zwischenschritte direkt die Wahrnehmungs-Handlungs-Schleife schließen und Feedback über die Umwelt wieder an die Sensoren geben. Im ersten Teil dieser Doktorarbeit werden wir aufzeigen, dass es möglich ist, solche direkt gekoppelten Sensor-Motor-Felder in einfachen Verhaltenssystemen mit Hilfe eines auf Korrelationen basiertem Temporal-Sequence-Learning-Algorithmus zu entwickeln. Das Hauptziel besteht darin aufzuzeigen, dass Lernen stabiles Verhalten generiert und dass die erzeugten rezeptiven Felder sich ebenfalls stabilisieren, wenn das neuerlernte Verhalten erfolgreich ist. Die Entwicklung von stabilen neuronalen Eigenschaften als auch von stabilem Verhalten ist schwierig, da die Konvergenz von funktionalen Neuronen­eigenschaften und vom Verhalten gleichzeitig sichergestellt werden muss. Diese Arbeit stellt einen ersten Versuch dar, dieses Problem mit Hilfe eines einfachen Robotorsystems zu lösen. Dieser Teil der Arbeit wird mit der Frage geschlossen, wie eine indirekte Sensor-Motor-Kopplung, wie sie bei höher entwickelten Tieren vorkommt, aufgebaut werden kann. Durch die Nutzung von einfachen hintereinander­geschalteten Lernstrukturen werden wir aufzeigen, dass damit ähnliche Ergebnisse erzielt werden können; selbst für die sekundären rezeptiven Felder, die indirekte visuelle Reize erhalten. Im zweiten Teil dieser Doktorarbeit werden wir verschiedene Agenten quantitativ analysieren, die sich mit dem im ersten Teil vorgestelltem Temporal-Sequence-Learning-Algorithmus an die Umwelt anpassen. Hierbei werden wir versuchen folgende Frage zu beantworten: Wie können wir vorhersagen, welcher der gegebenen Agenten sich am besten für ein bestimmtes Szenario (Umwelt) eignet? Direkt gekoppelte Umwelt-Agent-Systeme in ihrem Verhalten zu verstehen, stellt kein triviales Problem dar, vor allem wenn sich diese Systeme im Lernprozess verändern. Geschlossene Regelschleifen, wie das Umwelt-Agent-System, wurden in der Informationstheorie bereits in den 50er Jahren beschrieben, dennoch gab es nur wenige Versuche Lernen mitzuberücksichtigen, wobei meist der Informationsgehalt der Eingangsgrößen gemessen wurde. Zur Beantwortung der oben genannten Frage werden wir mit Hilfe von Energie- und Entropiemessungen simulierte Agenten untersuchen und deren Entwicklung im Lernprozess beobachten. So kann nachgewiesen werden, dass es in genau definierten Szenarien lernende Agenten gibt, die in Bezug auf ihren Aufbau und ihr Anpassungsvermögen optimale Eigenschaften aufweisen. Darüber hinaus werden wir aufzeigen, dass es im Rahmen von vergleichsweise einfachen Fällen analytische Lösungsmöglichkeiten für die zeitliche Entwicklung solcher Agenten gibt. In den ersten beiden Teilen der Arbeit werden Agenten mit unimodalem sensorischen Eingang analysiert (visuell oder somatosensorisch). Im dritten und letzten Teil dieser Arbeit wird untersucht, inwieweit der Einsatz von multimodalen Sensoren die Entwicklung der rezeptiven Felder und des Verhaltens beeinflusst. Dieser Ansatz geht auf Experimente mit Nagetieren zurück, in denen nachgewiesen werden konnte, dass, obwohl visuelle Reize für die Entstehung von hippocampischen Ortszellen ( place cells ) und der räumlichen Orientierung eine wichtige Rolle spielen, Ratten sich auch auf olfaktorische, auditive und somatosensorische Reize sowie solche aus ihrer Eigenbewegung stützen können. In dieser Doktorarbeit wird erstmalig ein Modell einer Ortszelle vorgestellt, in dem visuelle und olfaktorische Reize zur Herausbildung eines Ortsfeldes kombiniert werden. Dies wird durch ein einfaches Feed-Forward-Netzwerk und einem Winner-Takes-All-Lernmechanismus realisiert. Eine Orientierungsaufgabe wird mit Hilfe der vorgestellten Orientierungsmechanismen, basierend auf geruchliche Eigenmarkierungen, die mit einem Q-Lernalgorithmus kombiniert werden, gelöst. Wir zeigen, dass olfaktorische Reize eine wichtige Rolle bei der Bildung von Ortsfeldern darstellen und weisen nach, dass eine Kombination von visuellen und olfaktorischen Reizen, die mit einer gemischten Orientierungsstrategie einhergeht, zu einer Verbesserung der zielgerichteten Orientierung führt.
Schlagwörter: Computational Neuroscience; Rückgekoppelte Systeme; Wahrnehmungs-Handlungs-Schleife; Visuelle Rezeptive Felder; Temporal-Sequence-Learning-Algorithmus; Autonom Fahrender Roboter; Entropie; Energie; Eingang/Ausgangs-Verhältnis; Optimale Agenten; Ortsfelder; Q-Lernalgorithmus; Eigenmarkierung; Zielgerichtete Orientierung
 

Statistik

Publish here

Browse

All of eDissFaculties & ProgramsIssue DateAuthorAdvisor & RefereeAdvisorRefereeTitlesTypeThis FacultyIssue DateAuthorAdvisor & RefereeAdvisorRefereeTitlesType

Help & Info

Publishing on eDissPDF GuideTerms of ContractFAQ

Contact Us | Impressum | Cookie Consents | Data Protection Information
eDiss Office - SUB Göttingen (Central Library)
Platz der Göttinger Sieben 1
Mo - Fr 10:00 – 12:00 h


Tel.: +49 (0)551 39-27809 (general inquiries)
Tel.: +49 (0)551 39-28655 (open access/parallel publications)
ediss_AT_sub.uni-goettingen.de
[Please replace "_AT_" with the "@" sign when using our email adresses.]
Göttingen State and University Library | Göttingen University
Medicine Library (Doctoral candidates of medicine only)
Robert-Koch-Str. 40
Mon – Fri 8:00 – 24:00 h
Sat - Sun 8:00 – 22:00 h
Holidays 10:00 – 20:00 h
Tel.: +49 551 39-8395 (general inquiries)
Tel.: +49 (0)551 39-28655 (open access/parallel publications)
bbmed_AT_sub.uni-goettingen.de
[Please replace "_AT_" with the "@" sign when using our email adresses.]