On some special-purpose hidden Markov models
Einige Erweiterungen von Hidden Markov Modellen für spezielle Zwecke
by Roland Langrock
Date of Examination:2011-04-28
Date of issue:2011-05-11
Advisor:Prof. Dr. Walter Zucchini
Referee:Prof. Dr. Walter Zucchini
Referee:Prof. Dr. Iain L. MacDonald
Referee:Prof. Dr. Tatyana Krivobokova
Files in this item
Name:langrock.pdf
Size:1.56Mb
Format:PDF
Description:Dissertation
Abstract
English
Hidden Markov models (HMMs) provide flexible devices for modelling time series of observations that depend on underlying serially correlated states. They constitute a specific class of dependent mixtures that have proved useful in many application fields. This thesis exploits the flexible mathematical structure of HMMs to develop three types of special-purpose HMMs, i.e. HMMs that differ from the standard setting and that are designed to address special demands. The first main part of the thesis considers HMMs whose matrix of state transition probabilities is structured such that it allows for arbitrary state dwell-time distributions while preserving the Markov property of the latent process. Such HMMs represent a convenient tool for approximating more flexible, but also more complicated hidden semi Markov models (HSMMs). They require fewer assumptions and enable the fitting of stationary HSMMs. Several applications illustrate the feasibility of the proposed method. In the second main part of the thesis it is shown that general-type state-space models (SSMs) can be approximated arbitrarily accurately by suitably defined HMMs. The proposed approximation method, based on HMMs, has the important advantage that it is easy to implement. Unlike the case of SSMs, where the likelihood is given by a multiple integral which cannot be evaluated directly, the likelihood of the proposed model is easy to compute; numerical maximization thus is feasible. That makes it possible to experiment with variations of models with relatively little programming effort. This is illustrated by a substantial investigation of several new variations of the well-known stochastic volatility model that were applied to series of daily returns. With reference to the recent financial crisis it is shown that a moderate increase in the flexibility, particularly of the log-volatility process, appears to enhance the model's ability to cope with extreme fluctuations of returns. Several other applications illustrate the ease with which the method can be applied to several types of SSMs. The final part of the thesis considers the modelling of sleep EEG signals via HMMs. The proposed method is applied to populations of sleep EEG time series related to well-matched subjects with and without sleep disordered breathing. The analysis confirms results from studies on sleep stage time series obtained by labour-intensive visual classification.
Keywords: Hidden Markov Modell; Zustandsraummodell; Hidden Semi-Markov Modell; Stochastische Volatilität; Markovkette; Zeitreihe
Other Languages
Hidden Markov Modelle (HMMs) ermöglichen eine
flexible Modellierung von Zeitreihen, bei denen die
Beobachtungen von zugrunde liegenden seriell
korrelierten Zuständen abhängen. Sie bilden eine Klasse
von abhängigen Mischmodellen, welche sich in vielen
Anwendungsbereichen als nützlich herausgestellt haben.
Diese Arbeit macht sich die flexible mathematische
Struktur von HMMs zu Nutze, um drei Erweiterungen von
HMMs zu entwickeln. Diese HMMs unterscheiden sich von
den Standardmodellen und dienen speziellen Zwecken. Der
erste Hauptteil der Arbeit betrachtet HMMs, deren
Matrix der Zustandsübergangswahrscheinlichkeiten derart
strukturiert ist, dass beliebige Verteilungen für die
Verweildauer in den einzelnen Zuständen angepasst
werden können. Dabei bleibt die Markov-Eigenschaft des
zugrunde liegenden Prozesses erhalten. Solche HMMs
eignen sich zur Approximation von hidden semi-Markov
Modellen (HSMMs), welche flexibler, aber auch
komplizierter als HMMs sind. Sie vermeiden die
Notwendigkeit von vereinfachenden Annahmen und
ermöglichen insbesondere die Anpassung von stationären
HSMMs. Mehrere Anwendungsbeispiele veranschaulichen die
Praktikabilität der vorgeschlagenen Methode. Im zweiten
Hauptteil der Arbeit wird gezeigt, dass allgemein
formulierte Zustandsraummodelle (SSMs) beliebig exakt
durch in geeigneter Weise definierte HMMs approximiert
werden können. Ein entscheidender Vorteil der auf HMMs
basierenden Approximationsmethode ist, dass sie einfach
zu implementieren ist. Im Gegensatz zur
Likelihoodfunktion von SSMs, welche durch ein
mehrfaches, nicht direkt berechenbares Integral gegeben
ist, ist jene der vorgeschlagenen Modelle einfach zu
berechnen; dies ermöglicht ihre numerische Maximierung.
Durch den relativ geringen Programmieraufwand wird das
Experimentieren mit Variationen von SSMs praktikabel.
Dies wird illustriert durch eine umfangreiche Analyse
einiger neuer Variationen von stochastischen
Volatilitätsmodellen, welche an Rendite-Zeitreihen
angepasst werden. Mit Bezug zur jüngsten Finanzkrise
wird gezeigt, dass eine moderate Anhebung der
Flexibilität, insbesondere des
Log-Volatilitätsprozesses, die Fähigkeit der Modelle,
extremen Schwankungen der Rendite gerecht zu werden, zu
verbessern scheint. Einige andere Anwendungsbeispiele
veranschaulichen die Leichtigkeit mit der die Methode
bei vielfältigen Typen von SSMs angewandt werden kann.
Im letzten Teil der Arbeit werden während des Schlafs
erfasste EEG-Signale mithilfe von HMMs modelliert. Die
vorgeschlagene Methode wird auf mehrere EEG-Signale,
welche zu genau aneinander angepasste Individuen mit
bzw. ohne Schlafapnoe gehören, angewandt. Die
Untersuchung bestätigt Ergebnisse von Arbeiten, die auf
aufwändiger visueller Klassifizierung von
Schlafzuständen basieren.
Schlagwörter: Hidden Markov Model; State-Space Model; Hidden Semi-Markov Model; Stochastic Volatility; Markov chain; Time Series