Estimating and evaluating mixed and semiparametric models with statistical and deep learning methods

by René-Marcel Kruse
Doctoral thesis
Date of Examination:2023-07-04
Date of issue:2023-09-11
Advisor:Prof. Dr. Thomas Kneib
Referee:Prof. Dr. Benjamin Säfken
Referee:Prof. Dr. Elisabeth Bergherr
Persistent Address: http://dx.doi.org/10.53846/goediss-10089

 

 

Files in this item

Name:kruse_rene_dissertation.pdf
Size:2.17Mb
Format:PDF

The following license files are associated with this item:

Abstract

English

Semiparametric models are well-established, versatile and effective statistical models for analysing complex data by combining both parametric and non-parametric components and are used in a wide range of applications and fields. Meanwhile, deep learning models are a type of machine learning model designed to identify and represent intricate patterns and relationships in data, which are gaining popularity due to their impressive performance in various applications, including analysing structured tabular data and, in contrast to statistical models, unstructured data such as images, text, and sound recordings. However, the complexity of these models can make them challenging to understand and interpret, limiting their transparency and interpretability. The purpose of this thesis is twofold. Firstly, develop more efficient model selection and evaluation methods that can handle model uncertainty for semiparametric and deep learning models. Secondly, to merge traditional statistical methods with machine and deep learning concepts, combining their strengths to mitigate their weaknesses. Based on Stein's unbiased risk estimate, part one of this thesis introduces a criterion for determining squared loss optimal weights for model averaging of (conditional) linear mixed models. Furthermore, the complicated underlying optimisation of the presented criterion is discussed, and a possible solution via a specifically customised algorithm based on the augmented Lagrangian is introduced. An essential part of model evaluation and selection in statistics is model complexity, often measured in degrees of freedom. In the second part of this thesis, three different methods for measuring model complexity based on the concept of covariance penalties associated with degrees of freedom are presented and ultimately compared and analysed using different simulations. The third and final section of the thesis introduces a new type of neural additive models for location, scale, and shape by combining the GAMLSS distribution regression framework with neural network techniques and principles. This approach differs from previous deep learning methods as it can model the entire response distribution rather than just the mean response. The effectiveness of this method is evaluated using simulated and real data and compared against established statistical and deep learning methodologies.
Keywords: Machine Learning; Computational Statistics; Deep Learning; Optimization; Neural Networks; Prediction; Model Complexity; Semiparametric Regression

German

Semiparametrische Modelle sind bewährte, vielseitige und effiziente statistische Modelle für die Analyse komplexer Daten, die parametrische und nichtparametrische Komponenten kombinieren und in einer Vielzahl von Anwendungen und Bereichen eingesetzt werden. Deep Learning Modelle sind eine Art Machine Learning-Modelle, die darauf ausgelegt sind, komplexe Muster und Beziehungen in Daten zu erkennen und darzustellen. Sie erfreuen sich aufgrund ihrer beeindruckenden Leistungsfähigkeit in verschiedenen Anwendungen immer größerer Beliebtheit, z.B. bei der Analyse von strukturierten Tabellendaten oder, im Gegensatz zu statistischen Modellen, von unstrukturierten Daten wie Bildern, Text und Ton. Die Komplexität dieser Modelle führt jedoch dazu, dass sie schwer zu verstehen und nachzuvollziehen sind, was ihre Transparenz und Interpretierbarkeit einschränkt. In dieser Arbeit werden zwei Ziele verfolgt. Erstens sollen effizientere Methoden zur Modellauswahl und -bewertung entwickelt werden, die mit Modellunsicherheiten sowohl bei statistischen als auch bei Deep Learning Modellen umgehen können. Zweitens sollen traditionelle statistische Methoden mit Konzepten des Machine Lernens und des Deep Learning zusammengeführt werden, um die jeweiligen Schwächen eines Ansatzes durch die Stärken des anderen zu kompensierten. Basierend auf Stein's Unbiased Risk Estimate wird im ersten Teil dieser Arbeit ein Kriterium zur Bestimmung der optimalen Gewichte für das Model Averaging von (konditionalen) linearen gemischten Modellen eingeführt. Darüber hinaus wird die komplizierte zugrundeliegende Optimierung des vorgestellten Kriteriums diskutiert und eine mögliche Lösung durch einen speziell angepassten Algorithmus auf der Basis des augmented Lagrangian vorgestellt. Ein wesentlicher Bestandteil der Modellauswahl- und bewertung in der Statistik ist die Modellkomplexität, die oft in Freiheitsgraden gemessen wird. Im zweiten Teil dieser Arbeit werden drei verschiedene Methoden zur Messung der Modellkomplexität auf der Grundlage des Konzepts der mit Freiheitsgraden verbundenen Covariance Penalties vorgestellt und schließlich anhand verschiedener Simulationen verglichen und analysiert. Im dritten und letzten Teil der Arbeit wird die neue Klasse der Neural Additive Models for Location, Scale and Shape vorgestellt, dafür wird der GAMLSS-Modellansatz mit Techniken und Prinzipien neuronaler Netze kombiniert. Dieser Ansatz unterscheidet sich von anderen Deep Learning-Methoden, da er die gesamte Response-Verteilung und nicht nur die mean Prediction modellieren kann. Die Wirksamkeit dieser Methode wird anhand von simulierten und realen Daten bewertet und mit etablierten statistischen und Deep Learning-Methoden verglichen.
 
Statistik