Wiederholte Durchführung eines statistischen Tests, in der Regel die wiederholte Durchführung an verschiedenen Teilen eines umfangreichen Datenmaterials.
Hierbei taucht ein grundsätzliches Problem auf:
Je mehr Hypothesen getestet werden,
desto höher ist die
Die mit multiplem Testen verbundenen "Schummelmöglichkeiten" sind äusserst schwer bis unmöglich aufzudecken und durchziehen sämtliche auf statistische Methoden angewiesene wissenschaftliche Disziplinen. Es ist verlockend, wenn die ursprünglich geplanten Tests keine signifikanten Ergebnisse hervorgebracht haben, einfach etwas anderes zu testen. Notfalls so lange, bis sich ein signifikantes Ergebnis einstellt, denn dann war die ganze wissenschaftliche Arbeit wenigstens nicht ganz umsonst. Dies ist freilich vereinfacht und überspitzt dargestellt.
Beispiel: Führt man einen t-Test bei 95 % gefordertem Signifikanzniveau 100 mal durch, dann wird man allein schon aus reinem Zufall bei 5 Tests Signifikanz feststellen.
Abhilfe:
1.) Bonferroni (Alpha Adjustierung)
2.) A Posteriori Vergleiche, insbesondere Post Hoc Tests
3.)
A Priori Vergleiche, insbesondere
Lineare Kontraste.