Hier haben wir aktuell laufende Forschungsprojekte am Institut für Sozioökonomie zusammengestellt, die mit Drittmitteln gefördert werden.

The Cultural Evolution of Scientific Practice - from Simulation to Experimentation

Projektleitung: Prof. Dr. Jakob Kapeller

Fördergeber: VW Stiftung

Projektpartner: Universität Bonn, Center for Science and Thought; Universität Utrecht, Department of Philosophy and Religious Studies

Laufzeit: 1.1.2024-31.12.2028

Beteiligte Mitarbeiter:innen: Oliver Braganza, Johannes Schultz, Uwe Peters

Beschreibung: The cultural evolution of scientific practice - from simulation to experimentation

SCIENTIFIC ABSTRACT (GERMAN): Studien deuten darauf hin, dass eine signifikante Anzahl von wissenschaftlichen Publikationen nicht reproduzierbar ist. Simulationsstudien legen nahe, dass dies eine Folge von "kulturellen Evolutionsprozessen" sein könnte. Demnach untergräbt die Selektion von Wissenschaftlern aufgrund von "Proxy-Maßen" die Qualität wissenschaftlicher Praxis. Der Grund ist, dass problematische Methoden systematisch ausgewählt werden, wenn sie geringfügige Produktivitätsvorteile bringen. Allerdings wurden die Vorhersagen solcher Simulationsstudien bisher nicht experimentell getestet. Dies ist ungünstig, weil kausale Zusammenhänge nur experimentell etabliert werden können, und weil menschliches Verhalten generell komplexer ist als entsprechende Modellannahmen. Hier schlagen wir ein Paradigma vor, in dem Empirie, Simulation und Experimente systematisch zusammengebracht werden. Dies wird es ermöglichen, die Vorhersagen von Simulationen mit echten menschlichen Probanden in einem kontrollierten Laborumfeld zu testen und die Effektivität von Interventionen systematisch zu erforschen. Wir werden den kulturellen Evolutionsprozess auf der Basis von Proxy-Maßen in drei konkreten Domänen erforschen: 1) die Wahl von Stichprobengrößen, 2) die Verwendung von "generischen" Bezeichnungen und 3) die Auswahl von prestigeträchtigen Kollaborationspartnern.

SCIENTIFIC ABSTRACT (ENGLISH): Science is built upon reliable findings, yet many results fail to replicate. Recent simulation studies have suggested that declining quality of scientific findings is a natural by-product of scientific evaluation and reward systems. Specifically, academic competition based on proxy measures has been proposed to lead to a process of cultural evolution, in which problematic scientific practices are automatically selected, whenever they entail slight advantages in terms of proxy performance. However, to the best of our knowledge, there is to date no experimental test of these predictions. This is problematic because simulations cannot establish causality and because human behavior can defy model predictions, which may hinge on simplifications such as the ‘rational agent’ model. In particular, the design of interventions might benefit from an experimental approach, that takes account of real human behavior. Here, we propose to test the predictions of prominent recent simulation studies experimentally, and to quantify the impacts of potential interventions. Specifically, we will explore how cultural evolution based on proxy measures shapes individual decision-making in three concrete scientific contexts, namely 1) sample size choice, 2) the use of generic terms and 3) the choice of collaborators.

Related Publications:

Kapeller, Jakob / Pühringer, Stephan / Rath, Johanna / Aistleithner, Matthias (2024): Proxy failures in practice: examples from the sociology of science (comment). Behavioral and Brain Sciences , (forthcoming).

Kapeller, Jakob / Aistleitner, Matthias / Kronberger, Dominik (2023): The authors of economic journals revisited: evidence from a large-scale replication of Hodgson and Rothman (1999). Journal of Institutional Economics, Vol. 19: 86-101.

Kapeller, Jakob / Aistleitner, Matthias / Steinerberger, Stefan (2019): Citation Patterns in Economics and Beyond: Assessing the Peculiarities of Economics from Two Scientometric Perspectives. Science in Context, Vol. 32(4): 361-380