In wissenschaftlichen Untersuchungen wird häufig eine Grenze von p kleiner als 0,05 verwendet. Bei einer zutreffenden Nullhypothese und einem kontinuierlichen, exakt kalibrierten Test liegt der Anteil entsprechend extremer Ergebnisse bei fünf Prozent. Werden tausend tatsächlich zutreffende Nullhypothesen mit einer solchen Fehlalarmrate geprüft, entstehen im Erwartungswert fünfzig statistisch auffällige Befunde – obwohl kein geprüfter Effekt existiert.
Das gilt für den Erwartungswert sogar ohne gegenseitige Unabhängigkeit der Tests; die Unabhängigkeit beeinflusst allerdings, wie stark die tatsächliche Zahl streut. Deshalb sind Mehrfachtestkorrekturen, transparente Auswertungspläne und Wiederholungsstudien wichtig. Ein p-Wert ist zudem nicht die Wahrscheinlichkeit, dass die getestete Hypothese falsch oder richtig ist.
Alle Nullhypothesen sind wahr, und jeder Test hat tatsächlich Fehlalarmwahrscheinlichkeit 0,05. Bei konservativen oder diskreten Tests kann die Rate unter dem nominellen Niveau liegen. Keine Aussage über einen einzelnen realen Forschungsbefund. Die Simulation verwendet unabhängige, exakt kalibrierte Nulltests; die Erwartungswert-Aussage ist weiter gefasst.
Datenstand: Mathematische Schlussprüfung: 20.10.2026
So wurde gerechnet
Erwartete Fehlalarme bei 1.000 wahren Nullhypothesen und tatsächlich 5 % Fehlalarmwahrscheinlichkeit je Test: 1.000 × 0,05 = 50. Linearität des Erwartungswertes erfordert keine gegenseitige Unabhängigkeit. Für die Verteilung im unabhängigen Beispiel gilt Binomial(1000; 0,05).
Das ergänzende Experiment oder Schaubild ist mit JavaScript verfügbar.
