Exakte Methoden zur Analyse von Changepoints in binomial-verteilten Sequenzen mit verbesserter Power bei kleinen Fallzahlen
Exact methods for change point detection in binomially distributed sequences with improved power for small samples
by David Ellenberger
Date of Examination:2023-09-28
Date of issue:2024-05-03
Advisor:Prof. Dr. Tim Friede
Referee:Prof. Dr. Tim Friede
Referee:Prof. Dr. Heike Bickeböller
Persistent Address:
http://dx.doi.org/10.53846/goediss-10474
Files in this item
Name:eDiss_Ellenberger.pdf
Size:4.22Mb
Format:PDF
The following license files are associated with this item:
Abstract
English
Several asymptotic and exact methods exist to detect a change in a sequence of independent binomial random variables. Whenever the sample size or the event rate is small, asymptotic methods may suffer from type I error inflation (liberal test). Conversely, exact methods strictly control the type I error, even for smallest sample sizes, but may be overly conservative due to the discreteness of the test statistics. This work extends approaches from Worsley (1983) and Halpern (1999) to develop tests that are less discrete and therefore provide better inference in small samples. Based on ideas for unconditional tests (A) and derived from binary segmentation methods (B), two new tests are developed. The first method is based on the assumption that the number of events is not fixed. This method is called an unconditional approach and requires a numerically demanding optimization over the true event probability, referred to as the nuisance parameter. The second method is developed under the assumption that the number of events is predefined (conditional approach) and uses hitherto unused information in the binomial sequences. With this, an additional ordering is introduced to the test statistics so that one obtains less discrete and more informative results. This procedure requires exact distributions, which must be derived under side conditions that arise from the segmentation steps. The proposed methods do not depend on the type of the underlying test statistic, i.e., they are applicable for the commonly used statistics like log-likelihood ratio, cumulative sum, or Fisher's exact test. Using these statistics in the one- or two-sided test case and the corresponding exact distributions of the unconditional approach (A) or of the conditional segmentation procedure (B), a changepoint test was constructed and it was shown that it controls the type I error rate at each given nominal level. Furthermore, the new tests were shown to have at least the same statistical power as Worsley's exact test. In a Monte Carlo simulation study, the gain in power was substantial in some scenarios with small sample sizes. A data example assessing publication bias in neuropsychiatric drug research is used to illustrate the wide applicability of the test.
Keywords: change point; exact test; small samples; unconditional test; binary segmentation
German
Um eine Änderung in der Ereignisrate einer Folge unabhängiger binomial-verteilter Zufallsvariablen zu erkennen, existieren verschiedene asymptotische aber auch exakte Testverfahren. Wenn der Stichprobenumfang oder die Ereignisrate klein ist, laufen die asymptotischen Verfahren Gefahr, den Fehler 1. Art nicht zu kontrollieren (liberaler Test). Exakte Methoden gewährleisten dies auch bei beliebig kleinen Fallzahlen, können aber aufgrund der Diskretheit der Teststatistiken in diesen Situationen übermäßig konservativ werden. Diese Arbeit erweitert Ansätze von Worsley (1983) und Halpern (1999), um Tests zu entwickeln, welche weniger diskret sind, um insbesondere bei kleinen Stichproben eine höhere Aussagekraft zu haben. Aufbauend auf Ideen für unkonditionale Tests (A) und abgeleitet aus Verfahren der binären Segmentierung (B) werden zwei neue Tests entwickelt. Das erste Verfahren basiert auf der Annahme, dass die Anzahl der Ereignisse nicht fest ist. Diese Methode wird als unkonditionaler Ansatz bezeichnet und benötigt eine numerisch aufwändige Optimierung über die wahre Ereigniswahrscheinlichkeit, als sogenannten Stör- oder auch Nuisance-Parameter. Das zweite Verfahren wird unter der Annahme entwickelt, dass die Anzahl der Ereignisse vorgegeben ist (konditionaler Ansatz) und verwendet bisher ungenutzte Informationen in binomialen Sequenzen. Mit diesen wird den Teststatistiken eine zusätzliche Ordnung zugefügt, so dass man weniger diskrete und informativere Ergebnisse erhält. Dieses Verfahren benötigt exakte Verteilungen, welche unter Nebenbedingungen, die sich durch die Segmentierungsschritte ergeben, hergeleitet werden müssen. Die Verfahren hängen nicht von der Art der verwendeten Teststatistik ab, das heißt sie sind für die üblichen verwendeten Statistiken wie Log-Likeliood-Ratio, Cumulative-Sum, oder den exakten Test nach Fisher anwendbar. Unter Verwendung dieser Teststatistiken im ein- beziehungsweise zweiseitigen Testfall und den jeweiligen exakten Verteilungen des unkonditionalen Ansatzes (A) oder des exakten konditionalen Segmentierungsverfahrens (B) wurde ein Changepoint-Test konstruiert und gezeigt, dass dieser jeweils den Fehler 1. Art bei jedem gegebenen nominalen Niveau kontrolliert. Darüber hinaus wurde gezeigt, dass die neuen Tests mindestens so eine große statistische Power besitzen wie Worsleys exakter Test. In einer Monte-Carlo-Simulationsstudie war der Gewinn an Aussagekraft in einigen Szenarien mit kleinen Stichprobenumfängen substanziell. Anhand eines Datenbeispiels zur Bewertung des Publikationsbias in der neuropsychiatrischen Arzneimittelforschung wird die weitreichende Anwendbarkeit des Tests illustriert.
Schlagwörter: Exakter Test; Changepoint; Unkonditionaler Test; kleine Stichproben; binäre Segmentierung
