Projektleitung: Prof. Dr. Jakob Kapeller

Fördergeberin: Volkswagen Stiftung

Projektpartner: Institute for Experimental Epileptology and Cognition Research, Univ. of Bonn (Oliver Braganza), Center for Economics and Neuroscience, Univ. of Bonn (Johannes Schultz), Center for the Future of Intelligence, Univ. of Cambridge (Uwe Peters)

Laufzeit: 1.9.2024-30.8.2028

Beteiligte Mitarbeiter:innen: Paul Banse

Beschreibung: The cultural evolution of scientific practice – from simulation to experimentation

ENGLISH

Science is built upon reliable findings, yet many results fail to replicate. Recent simulation studies have suggested that declining quality of scientific findings is a natural by-product of scientific evaluation and reward systems. Specifically, academic competition based on proxy measures has been proposed to lead to a process of cultural evolution, in which problematic scientific practices are automatically selected, whenever they entail slight advantages in terms of proxy performance. However, to the best of our knowledge, there is to date no experimental test of these predictions. This is problematic because simulations cannot establish causality and because human behavior can defy model predictions, which may hinge on simplifications such as the ‘rational agent’ model. In particular, the design of interventions might benefit from an experimental approach, that takes account of real human behavior. Here, we propose to test the predictions of prominent recent simulation studies experimentally, and to quantify the impacts of potential interventions. Specifically, we will explore how cultural evolution based on proxy measures shapes individual decision-making in three concrete scientific contexts, namely 1) sample size choice, 2) the use of generic terms and 3) the choice of collaborators.

GERMAN

Studien deuten darauf hin, dass eine signifikante Zahl von wissenschaftlichen Publikationen nicht reproduzierbar ist. Simulationsstudien legen nahe, dass dies eine Folge von ‚kulturellen Evolutionsprozessen‘ sein könnte. Demnach unterminiert die Selektion von Wissenschaftlern aufgrund von ‚Proxy-Maßen‘ die Qualität wissenschaftlicher Praxis. Der Grund ist, dass problematische Methoden immer dann systematisch selektiert würden, wenn sie kleine Produktivitätsvorteile brächten. Allerdings wurden die Vorhersagen solcher Simulationsstudien bisher nicht experimentell getestet. Dies ist ungünstig, weil kausale Zusammenhänge nur Experimentell etabliert werden können, und weil Menschliches Verhalten generell komplexer ist als entsprechende Model-Annahmen. Hier schlagen wir ein Paradigma vor, in dem Empirie, Simulation und Experimente systematisch zusammengebracht werden. Dies wird erlauben die Vorhersagen von Simulationen mit echten menschlichen Probanden in einem kontrollierten ‚Labor-kontext‘ zu testen, sowie die Effektivität von Interventionen systematisch zu erforschen. Wir werden den kulturellen Evolutionsprozess auf der Basis von Proxy-Maßen in drei konkreten Domänen erforschen: 1) die Wahl von Stichprobengrößen, 2) die Verwendung von ‚generischen‘ Bezeichnungen und 3) die Wahl von prestigereichen Kollaborationspartnern.

Related outputs:

Braganza, Oliver / Kapeller, Jakob (2025): Reappraising consumption nudging - on liberty in the age of climate catastrophe. Nature - Humanities and Social Sciences Communications, 12(251). https://www.nature.com/articles/s41599-024-04246-0