| dc.contributor.advisor | Bergherr, Elisabeth Prof. Dr. | |
| dc.contributor.author | Zhang, Boyao | |
| dc.date.accessioned | 2023-03-31T11:17:19Z | |
| dc.date.available | 2023-04-07T00:50:26Z | |
| dc.date.issued | 2023-03-31 | |
| dc.identifier.uri | http://resolver.sub.uni-goettingen.de/purl?ediss-11858/14606 | |
| dc.identifier.uri | http://dx.doi.org/10.53846/goediss-9815 | |
| dc.format.extent | XXX Seiten | de |
| dc.language.iso | eng | de |
| dc.rights.uri | http://creativecommons.org/licenses/by/4.0/ | |
| dc.subject.ddc | 330 | de |
| dc.title | Extending the Boosting Framework based on Bayesian Methodology | de |
| dc.type | doctoralThesis | de |
| dc.contributor.referee | Bergherr, Elisabeth Prof. Dr. | |
| dc.date.examination | 2023-01-24 | de |
| dc.description.abstractger | Die aus dem maschinellen Lernen hervorgegangene statistische Boostingtechnik ist zu einer weit verbreiteten Methode zur Schätzung statistischer Modelle geworden. Als eine der erfolgreichsten Varianten wird das komponentenweise Gradientenboosting von immer mehr Statistikern favorisiert, da das iteratives Verfahren nicht nur eine intuitive Variablenauswahl in der Analyse von hochdimensionalen Datensätzen ermöglicht, sondern auch zusätzliche Flexibilität bietet, um verschiedene Arten von additiven Regressionstermen zu schätzen. Da Boostingmodelle nur Punktschätzer liefern, lassen sich in der Regel keine Aussage über das Fehlerrisiko oder Vorhersage treffen, was jedoch die Grundlage vieler statistischer Analysen ist.
Als eine der wichtigsten konventionellen statistischen Theorien bewahrt die bayesianische Methodik die Fähigkeit, Unsicherheit zu quantifizieren. Aufgrund ihrer einzigartigen a priori Philosophie ist die Methodik in den letzten Jahrzehnten immens gewachsen und hat viele neue Modellarten hervorgebracht. Allerdings fehlt es oft an präzisen und eindeutigen Vorgaben für die Variablenauswahl, was wiederum der Vorteil des Boostings ist.
Diese Dissertation schlägt eine bayesianische Boostingtheorie vor, die die bayesianische Inferenz in den Rahmen von Boostingtechniken integriert. Das komponentenweise Boosting ermöglicht die hochdimensionalen und flexiblen Analysen von Basis-Lernern, da additive Terme einzeln aktualisiert werden. Zusätzlich behält jeder durch die bayesianische Inferenz abgeleitete Basis-Lerner weitere bayesianische Eigenschaften wie zum Beispiel die Prioritheorie und die glaubwürdige Unsicherheitsquantifizierung. Das vorgeschlagene bayesianische Boostingverfahren kombiniert also die Stärken und überwindet die Schwächen der beiden Ansätze.
Diese Arbeit löst zunächst das Problem unausgeglichener Aktualisierungen von Prädiktoren in verallgemeinerten additiven Modellen für Lage-, Skalen- und Formparameter (GAMLSS), die mit Hilfe des Gradientenboosting geschätzt werden, indem eine adaptive Schrittlänge eingeführt wird. Dann wird durch die Implementierung von bayesianischen Lernern im Rahmen des Gradientenboosting für lineare gemischte Modelle (LMM) die Validität der Kombination von bayesianischen und Boosting-Konzepten vorläufig verifiziert. Das vollständige bayesianische Boosting-Framework wird schließlich präsentiert, indem es auf eine verallgemeinerte Modellfamilie angewendet wird, nämlich auf strukturierte additive Regressionsmodelle (STAR).
Insgesamt ist das vorgeschlagene bayesianische Boosting nicht nur die erste systematische Studie zur Verschmelzung von bayesianischer Inferenz und Boostingtechniken, sondern auch ein Versuch, maschinelles Lernen und Statistik auf einer tieferen Ebene zu integrieren. | de |
| dc.description.abstracteng | The boosting technique emerged from machine learning has become a widely used method to estimate statistical models. As one of the most successful variants, componentwise gradient boosting has been favored by more and more statisticians since its iterative procedure not only provides intuitive variable selection in high-dimensional analysis, but also supplies additional flexibility to estimate various types of additive regression terms. But its dogmatic estimates, i.e., its direct and unquestionable estimation conclusion, do not deliver any information about the error risk of estimation and prediction, which, however, is the basis for many statistical analyses.
As one of the most essential conventional statistical theories, Bayesian methodology maintains the ability to quantify uncertainty. Due to its unique prior philosophy, it has grown immensely in the past decades and has led to the development of innumerable new models. However, it often fails to give precise and unambiguous guidelines for the variable selection, which in turn is the advantage of boosting.
This thesis proposes a Bayesian-based boosting theory, which integrates Bayesian inference in the boosting framework. Componentwise boosting guarantees the high-dimensional analysis and the flexibility of base-learners since additive terms are updated individually. Furthermore, each base-learner inferred by Bayesian inference also preserves additional Bayesian properties such as the prior and the credible-based uncertainty quantification. The proposed Bayesian-based boosting method combines the strengths of the two approaches and overcomes the weaknesses of both.
This thesis firstly solves the problem of imbalanced updates of predictors in generalized additive models for location, scale and shape (GAMLSS) estimated using gradient boosting by introducing the adaptive step-length. Then, through the implementation of Bayesian learners in the gradient boosting framework for linear mixed models (LMM), the validity of the combination of Bayesian and boosting concepts is preliminarily verified. The complete Bayesian-based boosting framework is eventually presented by applying it to a generalized model family, namely structured additive regression (STAR) models.
Overall, the proposed Bayesian-based boosting is not only the first systematic study of the fusion of Bayesian inference and boosting techniques, but also an attempt to integrate machine learning and statistics at a deeper level. | de |
| dc.contributor.coReferee | Kneib, Thomas Prof. Dr. | |
| dc.contributor.thirdReferee | Hepp, Tobias Dr. | |
| dc.subject.eng | Boosting | de |
| dc.subject.eng | Bayesian methodology | de |
| dc.subject.eng | High-dimension | de |
| dc.subject.eng | Uncertainty | de |
| dc.subject.eng | Variable selection | de |
| dc.subject.eng | Step-length | de |
| dc.identifier.urn | urn:nbn:de:gbv:7-ediss-14606-3 | |
| dc.affiliation.institute | Wirtschaftswissenschaftliche Fakultät | de |
| dc.subject.gokfull | Wirtschaftswissenschaften (PPN621567140) | de |
| dc.description.embargoed | 2023-04-07 | de |
| dc.identifier.ppn | 184101091X | |
| dc.identifier.orcid | 0000-0001-9161-921X | de |
| dc.notes.confirmationsent | Confirmation sent 2023-03-31T11:45:01 | de |