Bayes Filters with Improved Measurements for Visual Object Tracking
Bayes Filter mit verbesserter Messung für das Tracken visueller Objekte
von Guoliang Liu
Datum der mündl. Prüfung:2012-03-20
Erschienen:2012-03-22
Betreuer:Prof. Dr. Florentin Wörgötter
Gutachter:Prof. Dr. Florentin Wörgötter
Gutachter:Prof. Dr. Dieter Hogrefe
Dateien
Name:liu.pdf
Size:1.95Mb
Format:PDF
Description:Dissertation
Zusammenfassung
Englisch
Visual object tracking uses cameras to track target objects in the environment, which has many applications nowadays, such as intelligent surveillance, medical care, intelligent transportation and human-machine interaction. However, it is still a challenging task because of background noises, occlusions, illumination changes and fast motion. The goal of this dissertation is to improve measurements in Bayesian filtering frameworks for visual object tracking as follows:First, we combine multiple visual cues to improve the measurement for lane tracking. The lane is modeled by a linear-parabolic shape, which is a trade-off between accuracy of the fit and robustness with respect to image artifacts. In contrast to previous methods for linear-parabolic lane tracking, we use not only the color and edge information, but also the gradient orientation as visual cues. The lane tracking becomes a statistical reference problem when these local visual cues are available. The probabilistic distribution of lane parameters are estimated from the visual cues by multiple kernel density estimation, which is proved to be very robust to the image noise. Furthermore we use this probabilistic distribution function as the measurement model of the partitioned particle filter to update lane parameters. The experiments show that our novel lane tracking framework has its strength in a new combination and improvement of various advanced methods.Second, we use color invariant histograms to improve the measurement for rigid object tracking. Color histograms have become popular and important descriptors for object tracking, due to their simplicity, effectiveness and efficiency. However, they suffer from illumination changes, e.g., the RGB color histogram is the most prevalently used histogram, but it has no invariance properties to illumination changes. This paper addresses this problem by: a) studying the invariance properties and the distinctiveness of color histograms; b) evaluating the color histograms on large benchmark datasets; c) studying the effects of the kernel mask which adds the spatial information to the color histogram; d) investigating three state-of-the-art object tracking algorithms for evaluations: the integral histogram based exhaustive search, the kernel based mean shift and the particle filter. The results reveal that color histograms which have invariance properties can improve the performance of object tracking. If no prior knowledge about the environment of the dataset is available, the HSV, Spherical and nRGB histograms are recommended.Third, we employ multiple sensors to improve the measurement for moving object tracking. Tracking systems can be more accurate, complete and robust by using fused information from multiple sensors. Therefore, we develop a new filter called central difference information filter (CDIF) for nonlinear estimation and sensor fusion, which has fewer predefined parameters as compared to the unscented information filter (UIF) which was introduced in the literature recently. In addition, we introduce the square-root extensions of the CDIF and UIF to improve the numerical stability, e.g., improved numerical accuracy, double order precision and preservation of symmetry.In summary, we have proposed three methods to improve the measurement for robust object tracking, i.e., multiple visual cues combination, color invariant histograms and multiple sensor fusion. We believe that the new ideas and theoretical insights presented in this thesis, will open new ways of research for future algorithms and applications.
Keywords: Computer Vision; Bayes Filters; Object Tracking; Information Filter; Lane Tracking; Sensor Fusion; Color Invariant Histogram; Square-Root Filter; Square-Root Central Difference Information Filter
Weitere Sprachen
Das Verfolgen (Tracking) visueller Objekte erfolgt durch Kameras und hat vielfältige Einsatzmöglichkeiten. Jedoch stellen Hintergrundrauschen, Verdeckungen, sich ändernde Beleuchtungen und schnelle Objektbewegungen große Herausforderung dar. Das Ziel dieser Dissertation ist, den Messprozess in Bayes-basierten Filtern für das Tracken visueller Objekte in folgender Art und Weise zu verbessern: Erstens: Wir kombinieren mehrere visuelle Hinweise (visual cues), um Messungen für das Tracking von Straßen zu verbessern. Die Straße wird mittels eines linear-parabolischen Modells beschrieben, welches einen Kompromiss zwischen Akkuratheit der Beschreibung und Robustheit des Modells mit Hinblick auf Bildartefakte darstellt. Im Gegensatz zu vorherigen Methoden für linear-parabolisches StraßenTracking benutzen wir nicht nur Farb- und Kanteninformationen, sondern auch Gradienteninformation als visuelle Hinweise. Sind diese lokalen visuellen Hinweise vorhanden, wird das StraßenTracking zu einem statistischen Referenzproblem. Die Wahrscheinlichkeitsverteilungen der Straßenparameter werden aus den visuellen Hinweisen durch Multiple Kernel Density Estimation, welches erwiesenermaßen sehr robust gegenüber Bildrauschen ist, geschätzt. Des weiteren benutzen wir diese Wahrscheinlichkeitsverteilungsfunktion als Messmodell für den Partitioned Particle Filter, um die Straßenparameter zu aktualisieren. Die Experimente zeigen, daß unsere neue Methode für das StraßenTracking seine Stärke in der neuen Kombination und Verbesserung verschiedener, fortgeschrittener Methoden hat.Zweitens: Wir benutzen farbinvariante Histogramme, um den Messprozess für das Tracking starrer Objekte zu verbessern. Aufgrund ihrer Einfachheit, Effektivität und Effizienz sind Farbhistogramme als Deskriptoren für das Tracking von Objekte sehr beliebt und wichtig geworden. Jedoch sind sie bei Änderung der Umgebungsbeleuchtung problembehaftet. In diesem Artikel untersuchen wir dieses Problem indem wir a) die Invarianzeigenschaften und die Unterscheidungskraft von Farbhistogrammen betrachten; b) Farbhistogramme auf großen Test-Datenmengen testen; c) den Effekt von Kernelmasken, welche dem Farbhistogramm räumliche Informationen hinzufügen, untersuchen; und d) drei aktuelle Objekttracker-Algorithmen für die Evaluierung betrachten: Die Integralhistogramm-basierte erschöpfende Suche, den Kernel basierten Mean-Shift Algorithmus und den Partikel Filter. Die Resultate zeigen, dass Farbhistogramme mit Invarianzeigenschaften die Performanz von Objekttrackern verbessern können. Ist kein anderes Wissen über die Umgebung des Datensatzes verfügbar, so werden HSV, Spherical und nRGB Histogramme empfohlen.Drittens: Wir benutzen multiple Sensoren um die Messung für das Tracking bewegter Objekte zu verbessern. Trackersystem können akkurater, kompletter und robuster sein, wenn Informationen verschiedener Sensoren vereint werden. Daher entwickeln wir einen neuen Filter, den central difference information filter (CDIF), für nichtlineare Schätzung und Sensorfusion. Dieser hat weniger vordefinierte Parameter im Vergleich zum unscented information filter (UIF), welcher aus der Literatur bekannt ist. Zusätzlich führen wir die Quadratwurzel-Erweiterung des CDIFs und UIFs ein, um die numerische Stabilität zu verbessern.Zusammenfassend haben wir drei Methoden für die Verbesserung des Messprozesses für robustes ObjektTracking vorgestellt, nämlich die Kombination mehrerer visueller Hinweise, farbinvariante Histogramme und multiple Sensorfusion. Wir glauben, daß die neuen Ideen und theoretischen Erkenntnisse, die in dieser Dissertation präsentiert werden, neue Wege für die Erforschung für zukünftige Algorithmen und Anwendungen eröffnen werden.
Schlagwörter: Maschinelles Sehen; Bayes Filter; Objekt Tracking; Information Filter; Straßen Tracking; Sensorfusion; farbinvariante Histogramme; Quadratwurzel Filter; Square-Root Central Difference Information Filter