Internationale Nature-Studie
Analyseentscheidungen in der Forschung
- 02.04.2026
Eine internationale Studie, die in der Fachzeitschrift Nature veröffentlicht wurde, zeigt, dass verschiedene, methodisch begründete Auswertungen desselben Datensatzes zu unterschiedlichen Ergebnissen führen können. Die Studie* macht deutlich, warum Transparenz über methodische Entscheidungen ein wichtiger Bestandteil empirischer Forschung ist. An dem Projekt waren 457 Forschende beteiligt, darunter auch Forschende der Universität Duisburg-Essen und des Center for Advanced Internet Studies (CAIS).
Für die Studie Investigating the Analytic Robustness of the Social and Behavioural Sciences führte ein internationales Team aus 457 unabhängigen Wissenschaftler:innen 504 Analysen von Daten aus 100 bereits veröffentlichten Studien der Sozial- und Verhaltenswissenschaften erneut durch. Verschiedene Teams erhielten denselben Datensatz und dieselbe Forschungsfrage. Offen blieb hingegen, wie sie die Daten auswerteten – etwa bei der Auswahl statistischer Modelle, der Definition von Variablen oder der Datenaufbereitung.
Der Großteil der Reanalysen bestätigte die zentralen Aussagen der ursprünglichen Studien: In 74 % der Fälle kamen die Analyst:innen zur gleichen Schlussfolgerung. Gleichzeitig unterschieden sich die Analysen häufig darin, wie groß der gefundene Effekt war. Außerdem war die mittlere Effektstärke der Reanalysen kleiner als die aus den originalen Studien.
Solche Unterschiede treten besonders häufig in der Forschung mit Umfragedaten auf, wie sie häufig in den Sozialwissenschaften verwendet werden. Diese Daten sind oft komplex und verlangen innerhalb von vergleichsweise großen Spielräumen bei der Auswertung individuelle Analyseentscheidungen.
„Die Studie belegt nicht, dass wissenschaftliche Ergebnisse unzuverlässig sind. Sie macht vielmehr sichtbar, wie wissenschaftliche Erkenntnisse entstehen und abgesichert werden. Einzelne Studien sind selten das letzte Wort zu einer Forschungsfrage – verlässliches Wissen entsteht meist durch viele Studien, die sich gegenseitig prüfen und ergänzen“, so Prof. Dr. Conrad Ziller (Foto re.), Politikwissenschaftler an der Universität Duisburg-Essen (UDE).
Prof. Dr. Johannes Breuer (Foto li.), Leiter der Abteilung Research Data & Methods am Center for Advanced Internet Studies (CAIS) und Professor für Digitale Sozialwissenschaften an der UDE, ergänzt: „Die neue Studie zeigt vor allem, wie wichtig Transparenz über Analyseentscheidungen ist, damit Ergebnisse besser eingeordnet werden können. Empirische Forschung lässt häufig mehrere methodisch vertretbare Analysewege zu. Notwendigerweise müssen die Forschenden verschiedene Entscheidungen im Auswertungsprozess treffen, etwa bei der Datenbereinigung, der Modellwahl oder der Interpretation statistischer Ergebnisse. Diese Entscheidungsspielräume können die Größe gemessener Effekte oder die statistische Unsicherheit beeinflussen. Daher sind eine genaue Dokumentation und Begründung methodischer Entscheidungen sowie eine Überprüfung ihrer Robustheit gegenüber möglichen Alternativen wichtig für belastbare Forschungsergebnisse.“
* Die groß angelegte Zusammenarbeit wurde von den ungarischen Professoren Balázs Aczél und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität) im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence“ (SCORE) koordiniert. Ziel des Projekts ist es, neue Ansätze zu entwickeln, um die Verlässlichkeit wissenschaftlicher Ergebnisse transparenter zu machen.
An der Studie waren von der UDE außerdem Dr. Teresa Hummler und Dr. Paul Vierus beteiligt. Wie die Professoren Breuer und Ziller waren sie Co-Autor:innen und steuerten Reanalysen von Datensätzen bei.
Publikation: https://www.nature.com/articles/s41586-025-09844-9