dc.contributor.advisor | Wörgötter, Florentin Prof. Dr. | de |
dc.contributor.author | Kulvicius, Tomas | de |
dc.date.accessioned | 2010-05-28T12:11:14Z | de |
dc.date.accessioned | 2013-01-18T13:36:30Z | de |
dc.date.available | 2013-01-30T23:51:09Z | de |
dc.date.issued | 2010-05-28 | de |
dc.identifier.uri | http://hdl.handle.net/11858/00-1735-0000-0006-B68A-F | de |
dc.identifier.uri | http://dx.doi.org/10.53846/goediss-2791 | |
dc.description.abstract | Bei höher entwickelten Tieren nimmt die Komplexität
der visuellen rezeptiven Felder mit dem hierarchischen
Aufbau von den visuellen Eingangsarealen zu den höheren
Hirnarealen in dem Maße zu, dass visuelle Reize in den
höheren Hirnarealen einen indirekteren Einfluss als in
den Eingangsarealen ausüben. Von diesen Arealen aus
gibt das System diese Aktivität dann wieder über
weitere Stufen an die Endeffektoren (Muskeln) weiter.
Neuere Erkenntnisse zeigen jedoch, dass bei einfacheren
Tieren, beispielsweise Fliegen, ein Motorneuron über
ein visuelles rezeptives Feld verfügen kann (Krapp und
Huston, 2005) und das Motorneuron dadurch entsprechende
sensorische Merkmale aufweisen kann. Solche rezeptiven
Felder beeinflussen das Verhalten in direkter Weise,
indem diese Neuronen ohne Zwischenschritte direkt
die Wahrnehmungs-Handlungs-Schleife schließen und
Feedback über die Umwelt wieder an die Sensoren geben.
Im ersten Teil dieser Doktorarbeit werden wir
aufzeigen, dass es möglich ist, solche direkt
gekoppelten Sensor-Motor-Felder in einfachen
Verhaltenssystemen mit Hilfe eines auf Korrelationen
basiertem Temporal-Sequence-Learning-Algorithmus zu
entwickeln. Das Hauptziel besteht darin aufzuzeigen,
dass Lernen stabiles Verhalten generiert und dass die
erzeugten rezeptiven Felder sich ebenfalls
stabilisieren, wenn das neuerlernte Verhalten
erfolgreich ist. Die Entwicklung von stabilen
neuronalen Eigenschaften als auch von stabilem
Verhalten ist schwierig, da die Konvergenz von
funktionalen Neuroneneigenschaften und vom Verhalten
gleichzeitig sichergestellt werden muss. Diese Arbeit
stellt einen ersten Versuch dar, dieses Problem mit
Hilfe eines einfachen Robotorsystems zu lösen. Dieser
Teil der Arbeit wird mit der Frage geschlossen, wie
eine indirekte Sensor-Motor-Kopplung, wie sie bei höher
entwickelten Tieren vorkommt, aufgebaut werden kann.
Durch die Nutzung von einfachen
hintereinandergeschalteten Lernstrukturen werden wir
aufzeigen, dass damit ähnliche Ergebnisse erzielt
werden können; selbst für die sekundären rezeptiven
Felder, die indirekte visuelle Reize erhalten. Im
zweiten Teil dieser Doktorarbeit werden wir
verschiedene Agenten quantitativ analysieren, die sich
mit dem im ersten Teil vorgestelltem
Temporal-Sequence-Learning-Algorithmus an die Umwelt
anpassen. Hierbei werden wir versuchen folgende Frage
zu beantworten: Wie können wir vorhersagen, welcher der
gegebenen Agenten sich am besten für ein bestimmtes
Szenario (Umwelt) eignet? Direkt gekoppelte
Umwelt-Agent-Systeme in ihrem Verhalten zu verstehen,
stellt kein triviales Problem dar, vor allem wenn sich
diese Systeme im Lernprozess verändern. Geschlossene
Regelschleifen, wie das Umwelt-Agent-System, wurden in
der Informationstheorie bereits in den 50er Jahren
beschrieben, dennoch gab es nur wenige Versuche Lernen
mitzuberücksichtigen, wobei meist der
Informationsgehalt der Eingangsgrößen gemessen wurde.
Zur Beantwortung der oben genannten Frage werden wir
mit Hilfe von Energie- und Entropiemessungen simulierte
Agenten untersuchen und deren Entwicklung im
Lernprozess beobachten. So kann nachgewiesen werden,
dass es in genau definierten Szenarien lernende Agenten
gibt, die in Bezug auf ihren Aufbau und ihr
Anpassungsvermögen optimale Eigenschaften aufweisen.
Darüber hinaus werden wir aufzeigen, dass es im Rahmen
von vergleichsweise einfachen Fällen analytische
Lösungsmöglichkeiten für die zeitliche Entwicklung
solcher Agenten gibt. In den ersten beiden Teilen der
Arbeit werden Agenten mit unimodalem sensorischen
Eingang analysiert (visuell oder somatosensorisch). Im
dritten und letzten Teil dieser Arbeit wird untersucht,
inwieweit der Einsatz von multimodalen Sensoren die
Entwicklung der rezeptiven Felder und des Verhaltens
beeinflusst. Dieser Ansatz geht auf Experimente mit
Nagetieren zurück, in denen nachgewiesen werden konnte,
dass, obwohl visuelle Reize für die Entstehung von
hippocampischen Ortszellen ( place cells ) und der
räumlichen Orientierung eine wichtige Rolle spielen,
Ratten sich auch auf olfaktorische, auditive und
somatosensorische Reize sowie solche aus ihrer
Eigenbewegung stützen können. In dieser Doktorarbeit
wird erstmalig ein Modell einer Ortszelle vorgestellt,
in dem visuelle und olfaktorische Reize zur
Herausbildung eines Ortsfeldes kombiniert werden. Dies
wird durch ein einfaches Feed-Forward-Netzwerk und
einem Winner-Takes-All-Lernmechanismus realisiert. Eine
Orientierungsaufgabe wird mit Hilfe der vorgestellten
Orientierungsmechanismen, basierend auf geruchliche
Eigenmarkierungen, die mit einem Q-Lernalgorithmus
kombiniert werden, gelöst. Wir zeigen, dass
olfaktorische Reize eine wichtige Rolle bei der Bildung
von Ortsfeldern darstellen und weisen nach, dass eine
Kombination von visuellen und olfaktorischen Reizen,
die mit einer gemischten Orientierungsstrategie
einhergeht, zu einer Verbesserung der zielgerichteten
Orientierung führt. | de |
dc.format.mimetype | application/pdf | de |
dc.language.iso | eng | de |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/ | de |
dc.title | Modelling closed-loop receptive fields: On the formation and utility of receptive fields in closed-loop behavioural systems | de |
dc.type | doctoralThesis | de |
dc.title.translated | Entwicklung rezeptiver Felder in autonom handelnden, rückgekoppelten Systemen | de |
dc.contributor.referee | Wörgötter, Florentin Prof. Dr. | de |
dc.date.examination | 2010-04-20 | de |
dc.subject.dnb | 500 Naturwissenschaften allgemein | de |
dc.description.abstracteng | In higher animals an increasingly complex hierarchy
of visual receptive fields exists from early to higher
visual areas, where visual input becomes more and more
indirect. From there on the system propagates its
activity again via many stages to the end-effectors
(muscles). On the other hand, recently it has been
pointed out that in simple animals like flies a motor
neuron can have a visual receptive field (Krapp und
Huston, 2005), hence a motor neuron can have a sensor
property. Such receptive fields directly generate
behaviour. Thus, these neurons close - without
intermediate stages - directly the perception-action
loop and create feedback to the sensors again. In the
first part of this thesis we will show that it is
possible to develop such directly coupled sensor-motor
receptive fields in simple behavioural systems by ways
of a correlation based temporal sequence learning
algorithm. The main goal is to demonstrate that
learning generates stable behaviour and that the
resulting receptive fields are also stable as soon as
the newly learned behaviour is successful. The
development of both, stable neuronal properties and
stable behaviour, represents a difficult problem
because convergence of functional neuronal properties
and of behaviour has to be guaranteed at the same time.
This work is a first attempt towards a solution of this
problem shown by a simple robot system. This part of
the thesis is concluded by starting to address the
question how indirect sensor-motor coupling, like in
higher animals, can be established. By implementing
simple chained learning architectures, we will
demonstrate that similar results can also be obtained,
even for secondary receptive fields, which receive
indirect visual input. In the second part of this
thesis we will quantitatively analyse closed-loop
learning systems which perform temporal sequence
learning as presented in the first part. Here we try to
answer the following question: How can we predict which
system from a given class would be the best for a
particular scenario? Understanding closed-loop
behavioural systems is a non-trivial problem,
especially when they change during learning.
Descriptions of closed loop systems in terms of
information theory date back to the 50s, however, there
have been only a few attempts which take into account
learning, mostly measuring information of inputs. To
address the question stated above, we will investigate
simulated agents by using energy and entropy measures
and looking at their development during learning. This
way we can show that within well specified scenarios
there are indeed learning agents which are optimal with
respect to their structure and adaptive properties. We
will also show that analytical solutions can be found
for the temporal development of such agents for
relatively simple cases. In first two parts we analyse
systems which use uni-modal sensory input (visual or
somatosensory). In the third and the last part of this
thesis we will investigate how multi-modal sensor
integration influences development of the receptive
fields and behavioural performance. This is motivated
by experiments with rodents which demonstrate that
although visual cues play an important role in the
formation of hippocampal place cells and spatial
navigation, rats also can rely on olfactory, auditory,
somatosensory and self-motion cues. Here, for the first
time we present a place cell model where we combine
visual with olfactory cues in order to form place
fields. This is realised by using a simple feed-forward
network and a winner-takes-all learning mechanism. We
solve a goal navigation task by using proposed
navigation mechanism based on self-marking by odour
patches combined with a Q-learning algorithm. We show
that olfactory cues play an important role in the
formation of the place fields and demonstrate that a
combination of visual and olfactory cues together with
a mixed navigation strategy improves goal directed
navigation. | de |
dc.contributor.coReferee | Porr, Bernd Dr. | de |
dc.subject.topic | Mathematics and Computer Science | de |
dc.subject.ger | Computational Neuroscience | de |
dc.subject.ger | Rückgekoppelte Systeme | de |
dc.subject.ger | Wahrnehmungs-Handlungs-Schleife | de |
dc.subject.ger | Visuelle Rezeptive Felder | de |
dc.subject.ger | Temporal-Sequence-Learning-Algorithmus | de |
dc.subject.ger | Autonom Fahrender Roboter | de |
dc.subject.ger | Entropie | de |
dc.subject.ger | Energie | de |
dc.subject.ger | Eingang/Ausgangs-Verhältnis | de |
dc.subject.ger | Optimale Agenten | de |
dc.subject.ger | Ortsfelder | de |
dc.subject.ger | Q-Lernalgorithmus | de |
dc.subject.ger | Eigenmarkierung | de |
dc.subject.ger | Zielgerichtete Orientierung | de |
dc.subject.eng | Computational Neuroscience | de |
dc.subject.eng | Closed-Loop Learning Systems | de |
dc.subject.eng | Sensorimotor Loop | de |
dc.subject.eng | Visual Receptive Fields | de |
dc.subject.eng | Temporal Sequence Learning | de |
dc.subject.eng | Driving Robot | de |
dc.subject.eng | Entropy | de |
dc.subject.eng | Input/Output Ratio | de |
dc.subject.eng | Energy | de |
dc.subject.eng | Optimal Agents | de |
dc.subject.eng | Place Fields | de |
dc.subject.eng | Place Field Remapping | de |
dc.subject.eng | Q-learning | de |
dc.subject.eng | Self-marking | de |
dc.subject.eng | Goal Directed Navigation | de |
dc.subject.bk | 30.03 | de |
dc.identifier.urn | urn:nbn:de:gbv:7-webdoc-2478-0 | de |
dc.identifier.purl | webdoc-2478 | de |
dc.affiliation.institute | Fakultät für Physik | de |
dc.subject.gokfull | RA 000: Allgemeine Naturwissenschaften | de |
dc.subject.gokfull | RBS 400: Mathematische Methoden in den Naturwissenschaften | de |
dc.identifier.ppn | 632108568 | de |