Zur Kurzanzeige

Estimating and Correcting the Effects of Model Selection Uncertainty

dc.contributor.advisorZucchini, Walter Prof. Dr.de
dc.contributor.authorNguefack Tsague, Georges Lucioni Edisonde
dc.date.accessioned2013-01-31T08:20:46Zde
dc.date.available2013-01-31T08:20:46Zde
dc.date.issued2006-04-07de
dc.identifier.urihttp://hdl.handle.net/11858/00-1735-0000-000D-F274-8de
dc.identifier.urihttp://dx.doi.org/10.53846/goediss-3679
dc.description.abstractDie meisten statistischen Analysen werden in Unkenntnis des wahren Modells durchgeführt, d.h. dass das Modell, das die Daten erzeugte, unbekannt ist und die Daten zunächst dafür verwendet werden, mit Hilfe eines Modellauswahlkriteriums ein Modell aus einer Menge plausibler Modelle auszuwählen. Gewöhnlich werden die Daten dann verwendet, um Schlüsse über einige Variablen zu ziehen. Dabei wird die Modellunsicherheit, also die Tatsache, dass der Modellauswahlschritt mit den gleichen Daten durchgeführt wurde, ignoriert, obwohl man weiß, dass dies zu ungültigen Schlussfolgerungen führt. Die vorliegende Arbeit untersucht einige Aspekte des Problems sowohl aus bayesianischer als auch aus frequentistischer Sicht und macht neue Vorschläge, wie mit dem Problem umgegangen werden kann. Wir untersuchen bayesianische Modellmittelung (Bayesian model averaging =BMA) und zeigen, dass dessen frequentistisches Abschneiden nicht immer wohldefiniert ist, denn in einigen Fällen ist es unklar, ob BMA wirklich bayesianisch ist. Wir illustrieren diesen Punkt mit einer „vollständigen bayesianische Modellmittelung“, die anwendbar ist, wenn die interessierende Größe parametrisch ist. Wir stellen ein System vor, das die Komplexität von Schätzern nach der Modellauswahl aufdeckt („post-model-selection Schätzer“) und untersuchen ihre Eigenschaften im Kontext der linearen Regression für eine Vielzahl an Modellauswahlprozeduren. Wir zeigen, dass kein Modellauswahlkriterium gleichmäßig besser ist als alle anderen, im Sinne der Risikofunktion. Schlüsselzutaten des Problems werden identifiziert und verwendet, um zu zeigen, dass selbst konsistente Modellauswahlkriterien das Problem der Modellauswahlunsicherheit nicht lösen. Wir argumentieren außerdem, dass das Bedingen der Analyse auf die Teilmenge des Stichprobenraumes, die zu einem bestimmten Modell führte, unvollständig ist. Wir betrachten das Problem aus frequentistischer Sicht. Obwohl Modellmittelung und Modellauswahl normalerweise als zwei getrennte Herangehensweisen betrachtet werden, schlagen wir vor, das zweite als Spezialfall der Modellmittelung zu betrachten, in welcher die (zufälligen) Gewichte den Wert 1 für das ausgewählte Modell annehmen und 0 für alle anderen. Aus dieser Perspektive, und da die optimalen Gewichte in der Praxis nicht bestimmt werden können, kann nicht erwartet werden, dass eine der zwei Methoden die andere konsistent übertrifft. Es führt uns dazu, alternative Gewichte für die Mittelung vorzuschlagen, die dazu gedacht sind, die post-model-selection Schätzung zu verbessern. Die Innovation besteht darin, die Modellauswahlprozedur bei der Bestimmung der Gewichte zu berücksichtigen. Wir vergleichen die verschiedenen Methoden für einige einfache Fälle (lineare Regression und Häufigkeitsschätzung). Wir zeigen, dass Bootstrapverfahren keine guten Schätzer für die Eigenschaften der post-model-selection Schätzer liefern. Zurückkehrend zur bayesianischen Sicht zeigen wir auf, dass, solange die Analyse bedingt auf die Daten stattfindet, Modellauswahlunsicherheit kein Problem ist, nur die Unsicherheit des Modells an sich. Wenn jemand allerdings an den frequentistischen Eigenschaften der bayesianischen post-model-selection Schätzern interessiert ist, ist die Situation analog zu der in der frequentistischen Analyse. Hier schlagen wir wieder eine Alternative zur gewöhnlichen BMA vor, in der die Gewichte von den Auswahlkriterien des Modells abhängen und somit die Auswahlprozedur berücksichtigen. Wir zeigen außerdem, dass die Eigenschaften von Modellmittelung und post-model-selection Schätzern nur unter einem angenommenen wahren Modell hergeleitet werden können. Unter einer solchen Annahme würde man allerdings einfach das wahre Modell nehmen, ohne Modellwahl oder Modellmittelung anzuwenden. Dieser Zirkelschluss macht es so schwierig, mit dem Problem umzugehen. Traditionelle explorative frequentistische Datenanalyse und Aufstellung eines Modells kann als eine informelle Modellwahl betrachtet werden, in welcher die genaue Modellauswahlprozedur schwierig zu rekonstruieren ist, was es besonders schwierig macht, gültige Schlussfolgerungen zu ziehen. Ohne die Debatte über Vor- und Nachteile der bayesianischen und frequentistischen Methoden zu führen, möchten wir betonen, dass bayesianische Methoden vorzuziehen sind, um Modellauswahlunsicherheit zu vermeiden, solange die frequentistischen Eigenschaften des resultierenden Schätzers nicht von Interesse sind.de
dc.format.mimetypeapplication/pdfde
dc.language.isoengde
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/de
dc.titleEstimating and Correcting the Effects of Model Selection Uncertaintyde
dc.typedoctoralThesisde
dc.title.translatedEstimating and Correcting the Effects of Model Selection Uncertaintyde
dc.contributor.refereeZucchini, Walter Prof. Dr.de
dc.date.examination2006-02-03de
dc.subject.dnb310 Statistikde
dc.subject.gokLCB 020de
dc.description.abstractengMost applied statistical analyses are carried out under model uncertainty, meaning that the model which generated the observations is unknown, and so the data are first used to select one of a set of plausible models by means of some selection criterion. Generally the data are then used to make inferences about some quantity of interest, ignoring model selection uncertainty, i.e. the fact that the selection step was carried out using the same data, and despite the known fact that this leads to invalid inferences. This thesis investigates several issues relating to this problem from both the Bayesian and the frequentist points of view, and offers new suggestions for dealing with it. We examine Bayesian model averaging (BMA) and point out that its frequentist performance is not always well-defined because, in some cases, it is unclear whether BMA methodology is truly Bayesian. We illustrate the point with a "fully Bayesian model averaging" that is applicable when the quantity of interest is parametric. We give a framework that reveals the complexity of estimators constructed after model selection (post-model-selection estimators) and study their properties in the context of linear regression for a variety of selection procedures. We show that no single model selection criterion dominates all the others in terms of the risk function. Key ingredients of the problem are identified and used to show that even consistent selection criteria do not solve the model selection uncertainty problem. We also argue that conditioning the analysis on the subset of the sample space that led to a particular model being selected is incomplete. We consider the problem in the frequentist framework. Although model averaging and model selection are usually regarded as two quite distinct approaches, we propose viewing the latter as a special case of model averaging, in which the (random) weights take on the value 1 for the selected model, and 0 to all the others. From this point of view, and since optimal weights cannot be determined in practice, neither of the above approaches can be expected to consistently outperform the other. It also leads us to propose alternative weights for the averaging that are designed to improve on post-model-selection estimation. The key point is to take account of the selection procedure in determining the weights. We compare the different methods for some simple cases (linear regression and estimation of proportions). We illustrate that bootstrap does not provide good estimators of the properties of post-model-selection estimators. Returning to the Bayesian approach we point out that, as long as the analysis is conditional on data, model selection uncertainty is not an issue, only model uncertainty matters. However, if one is interested in assessing the frequentist properties of Bayesian post-model-selection estimators, the situation is analogous to that encountered in the frequentist analysis. Here too we propose an alternative to standard BMA, namely one in which the weights depend on the models selection probabilities, thereby taking account of the selection procedure. We also point out that the properties of model averaging or post-model-selection estimators can only be derived under an assumed true model. However, under such an assumption, one would simply use that model without applying model selection or model averaging. It is this circularity that makes the problem so difficult to deal with. Traditional exploratory frequentist data analysis and model building can be viewed as informal model selection in which the precise selection procedure is difficult to reconstruct, which makes it especially difficult to perform valid inference. Therefore, almost any (frequentist) data analysis is subject to model selection uncertainty. Without entering the debate on the relative merits of frequentist and Bayesian methods, we point out that, to avoid model selection uncertainty, Bayesian methods are preferable as long as the frequentist properties of the resulting estimator are not of interest.de
dc.contributor.coRefereeBöker, Fred Prof. Dr.de
dc.contributor.thirdRefereeKlasen, Stephan Prof. Dr.de
dc.subject.topicEconomics and Management Sciencede
dc.subject.gerModellauswahlde
dc.subject.gerModellunsicherheitde
dc.subject.gerModellauswahlwahrscheinlichkeitde
dc.subject.gerPost-model-selection Schätzungde
dc.subject.gerSchlussfolgerungde
dc.subject.gerBayesianische Modellmittelung (BMA)de
dc.subject.gerfrequentistische Modellmittelungde
dc.subject.gerAkaike-Gewichtede
dc.subject.gerBootstrap.de
dc.subject.engModel selectionde
dc.subject.engModel uncertaintyde
dc.subject.engModel selection probabilityde
dc.subject.engPost-model-selection estimationde
dc.subject.engInferencede
dc.subject.engBayesian model averagingde
dc.subject.engFrequentist model averagingde
dc.subject.engAkaike weightsde
dc.subject.engBootstrap.de
dc.subject.bk83.03de
dc.identifier.urnurn:nbn:de:gbv:7-webdoc-699-5de
dc.identifier.purlwebdoc-699de
dc.identifier.ppn565552759de


Dateien

Thumbnail

Das Dokument erscheint in:

Zur Kurzanzeige