Was bedeutet statistische Signifikanz bei statistischen Tests

Statistische Signifikanz wird häufig überbewertet und ist in Wirklichkeit eine Interpretation, die obendrein auf willkürlichen Konventionen (90, 95, 99,9%) beruht. 

Viel wichtiger als statistische Signifikanz, jedoch weit weniger beachtet ist die (klinische, technische,...) Relevanz.
 

Vor einem statistischen Test formuliert man eine Nullhypothese H0 und evtl. (nicht notwendigerweise; das hängt vom Testdesign ab) eine Alternativhypothese H1. Fällt der Test z.B. 90% signifikant aus, dann verwirft man H0. Die 90% haben jedoch keinerlei Bezug zu einer Wahrscheinlichkeit, mit der die H0 gilt oder nicht gilt.

Genaugenommen: "Wenn die H0  tatsächlich zutrifft, dann würde das Testergebnis in nur einem von 10 Fällen 90% oder höher signifikant ausfallen."

--> Die Signifikanzformulierung geht also grundsätzlich von einer gültigen Nullhypothese aus, aber genau das ist ja immer ungewiss. 

Das Signifikanzniveau ist ein Zahlenwert (0...100%), der die "Testsicherheit" bei  statistischen Hypothesentests ausdrückt. Oft (und willkürlich) 90% oder 95%. (=1- Alpha Risiko)

90% Signifikanz bei einem Testergebnis bedeutet, dass das vorliegende Zahlenmaterial, sofern es zufällig zustande gekommen ist, in nur 100-90=10% aller Fälle eine vergleichbare oder extremere Ausprägung annehmen würde. 

90% Signifikanz bedeutet nicht, 

• dass das vorliegende Datenmaterial mit nur 10%er Wahrscheinlichkeit zufällig ist,

• dass man mit 90%er Wahrscheinlichkeit auf einen Sachverhalt schliessen kann. 

  Dennoch wird in der Praxis bei Signifikanz der entsprechende Sachverhalt angenommen, was aber so nicht richtig ist.  

Nochmal:

90% Signifikanz bedeutet lediglich, dass bei reinem Zufall das Datenmaterial nur mit 100-90 =10% Wahrscheinlichkeit eine "90% signifikante" Ausprägung annehmen würde, wenn in Wahrheit gar kein Sachverhalt vorliegt (die Nullhypothese also zutrifft).

Die Wahrscheinlichkeit, auf einen Sachverhalt zu schliessen ist nämlich gar nicht definiert, denn ob ein Sachverhalt besteht oder nicht, mag zwar unbekannt sein, aber es ist fix, und kann somit nicht als Resultat eines statistischen Tests interpretiert werden.

Aus diesem Dilemma kommt man nur heraus, indem man die Prävalenz bzw. Basisrate mit einbezieht. Dies wäre die (bekannte!) Wahrscheinlichkeit, mit der sich ein Fachmann in seinen Hypothesenformulierungen irrt. Das ermöglicht dann zwar immer noch keine Wahrscheinlichkeitsaussage über einen unbekannten Sachverhalt, aber es wäre zumindest eine brauchbare Wahrscheinlichkeitsaussage darüber, ob man sich irrt. Der Hypothesentest hätte dann nur noch qualitativen Entscheidungscharakter.

Siehe auch Kausalität, Relevanz und insbesondere statistischer Hypothesentest.