Goal-Oriented Control of Self-Organizing Behavior in Autonomous Robots
Zielgerichtete Steuerung von selbstorganisiertem Verhalten in autonomen Robotern
by Georg Martius
Date of Examination:2009-09-07
Date of issue:2010-05-18
Advisor:Dr. Michael J. Herrmann
Referee:Prof. Dr. Theo Geisel
Referee:Prof. Dr. Ralf Der
Files in this item
Name:martius.pdf
Size:14.0Mb
Format:PDF
Description:Dissertation
Abstract
English
We study adaptive control algorithms within a dynamical systems approach for autonomous robots that cause the self-organization of coordinated behaviors without specific goals or particular information about the physical body. A self-exploration is achieved that causes different body- and environment-related behaviors to emerge and to change during the learning process. We propose several methods to guide the self-organization towards specific behaviors, which is particularly useful in high-dimensional systems. An unsupervised extraction of behavioral primitives is achieved with a set of competing neural networks, where each network develops to a controller for one behavior. Finally we combine classical reinforcement learning with the behavioral primitives to obtain goal-oriented behaviors. The algorithms are verified with realistically simulated robots using our own simulator LpzRobots, which is briefly described.
Keywords: machine learning; developmental robotics; guided self-organization; homeokinesis; autonomous robots
Other Languages
Diese Arbeit erforscht adaptive Algorithmen zur Steuerung von autonomen Roboter bei denen sich koordiniertes Verhalten ohne konkrete Ziele oder Informationen über die Hardware von selbst organisiert. Die sensomotorische Schleife wird als dynamisches System betrachtet. Durch Selbstorganisation entstehen verschiedene Verhalten, die zum jeweiligen Körper und zur Umgebung passen. Während des Lernprozesses wechseln sich diese von selbst ab. Es werden mehrere Methoden vorgeschlagen um den Selbsorganizationsprozess so zu leiten, dass gewünschte Verhalten entstehen. Durch konkurrierendes Lernen Neuronaler Netze gelingt die automatische Aufteilung des Verhaltenraumes, so dass ein Repertoire an Verhaltensprimitiven erworben wird. In Kombination mit Reinforcement Lernen werden dann zielgerichtete Aufgaben gelöst. Die Algorithmen und Methoden werden experimentell durch eine Vielzahl simulierter Roboter verifiziert. Dafür wurde ein eigener Simulator entwickelt, welcher kurz beschrieben wird.
Schlagwörter: machinelles Lernen; selbstlernende Roboter; Selbstorganisation; Homöokinesis; autonome Roboter