Estimating and Correcting the Effects of Model Selection Uncertainty

Abstract

Die meisten statistischen Analysen werden in Unkenntnis des wahren Modells durchgeführt, d.h. dass das Modell, das die Daten erzeugte, unbekannt ist und die Daten zunächst dafür verwendet werden, mit Hilfe eines Modellauswahlkriteriums ein Modell aus einer Menge plausibler Modelle auszuwählen. Gewöhnlich werden die Daten dann verwendet, um Schlüsse über einige Variablen zu ziehen. Dabei wird die Modellunsicherheit, also die Tatsache, dass der Modellauswahlschritt mit den gleichen Daten durchgeführt wurde, ignoriert, obwohl man weiß, dass dies zu ungültigen Schlussfolgerungen führt. Die vorliegende Arbeit untersucht einige Aspekte des Problems sowohl aus bayesianischer als auch aus frequentistischer Sicht und macht neue Vorschläge, wie mit dem Problem umgegangen werden kann. Wir untersuchen bayesianische Modellmittelung (Bayesian model averaging =BMA) und zeigen, dass dessen frequentistisches Abschneiden nicht immer wohldefiniert ist, denn in einigen Fällen ist es unklar, ob BMA wirklich bayesianisch ist. Wir illustrieren diesen Punkt mit einer „vollständigen bayesianische Modellmittelung“, die anwendbar ist, wenn die interessierende Größe parametrisch ist. Wir stellen ein System vor, das die Komplexität von Schätzern nach der Modellauswahl aufdeckt („post-model-selection Schätzer“) und untersuchen ihre Eigenschaften im Kontext der linearen Regression für eine Vielzahl an Modellauswahlprozeduren. Wir zeigen, dass kein Modellauswahlkriterium gleichmäßig besser ist als alle anderen, im Sinne der Risikofunktion. Schlüsselzutaten des Problems werden identifiziert und verwendet, um zu zeigen, dass selbst konsistente Modellauswahlkriterien das Problem der Modellauswahlunsicherheit nicht lösen. Wir argumentieren außerdem, dass das Bedingen der Analyse auf die Teilmenge des Stichprobenraumes, die zu einem bestimmten Modell führte, unvollständig ist. Wir betrachten das Problem aus frequentistischer Sicht. Obwohl Modellmittelung und Modellauswahl normalerweise als zwei getrennte Herangehensweisen betrachtet werden, schlagen wir vor, das zweite als Spezialfall der Modellmittelung zu betrachten, in welcher die (zufälligen) Gewichte den Wert 1 für das ausgewählte Modell annehmen und 0 für alle anderen. Aus dieser Perspektive, und da die optimalen Gewichte in der Praxis nicht bestimmt werden können, kann nicht erwartet werden, dass eine der zwei Methoden die andere konsistent übertrifft. Es führt uns dazu, alternative Gewichte für die Mittelung vorzuschlagen, die dazu gedacht sind, die post-model-selection Schätzung zu verbessern. Die Innovation besteht darin, die Modellauswahlprozedur bei der Bestimmung der Gewichte zu berücksichtigen. Wir vergleichen die verschiedenen Methoden für einige einfache Fälle (lineare Regression und Häufigkeitsschätzung). Wir zeigen, dass Bootstrapverfahren keine guten Schätzer für die Eigenschaften der post-model-selection Schätzer liefern. Zurückkehrend zur bayesianischen Sicht zeigen wir auf, dass, solange die Analyse bedingt auf die Daten stattfindet, Modellauswahlunsicherheit kein Problem ist, nur die Unsicherheit des Modells an sich. Wenn jemand allerdings an den frequentistischen Eigenschaften der bayesianischen post-model-selection Schätzern interessiert ist, ist die Situation analog zu der in der frequentistischen Analyse. Hier schlagen wir wieder eine Alternative zur gewöhnlichen BMA vor, in der die Gewichte von den Auswahlkriterien des Modells abhängen und somit die Auswahlprozedur berücksichtigen. Wir zeigen außerdem, dass die Eigenschaften von Modellmittelung und post-model-selection Schätzern nur unter einem angenommenen wahren Modell hergeleitet werden können. Unter einer solchen Annahme würde man allerdings einfach das wahre Modell nehmen, ohne Modellwahl oder Modellmittelung anzuwenden. Dieser Zirkelschluss macht es so schwierig, mit dem Problem umzugehen. Traditionelle explorative frequentistische Datenanalyse und Aufstellung eines Modells kann als eine informelle Modellwahl betrachtet werden, in welcher die genaue Modellauswahlprozedur schwierig zu rekonstruieren ist, was es besonders schwierig macht, gültige Schlussfolgerungen zu ziehen. Ohne die Debatte über Vor- und Nachteile der bayesianischen und frequentistischen Methoden zu führen, möchten wir betonen, dass bayesianische Methoden vorzuziehen sind, um Modellauswahlunsicherheit zu vermeiden, solange die frequentistischen Eigenschaften des resultierenden Schätzers nicht von Interesse sind.