I. Entwicklung des Domänenmodells

Der erste fundamentale Schritt bildete die Modellierung der Domäne. Mittels einer Analyse der einschlägigen Literatur aus der Domäne der ökonomischen Bildung wurde ein Modell entwickelt, das die Spezifika und Leitideen der Domäne - wie inhaltliche Teilbereiche, domänenspezifische Zugänge oder anzubahnende Wissenserwerbsprozesse abbildet.
Das Modell bildet die Grundlage für die Entwicklung eines curricular validen Assessments für das Messen von Kompetenzen in der ökonomischen Bildung. Im Rahmen von curricularen Analysen wurde das Domänenmodell validiert, um anschließend in ein psychometrisches Modell überführt werden zu können. In dieser Projektphase wurde ein wissenschaftlicher Beirat einberufen, welcher in regelmäßigen Abständen während der gesamten Projektlaufzeit beratend tätig war.
 

 II. Analyse der Curricula und Validierung des Modells

Ausgewählte Curricula verschiedener Bundesländer und Schulformen wurden mithilfe einer komparativen Inhaltsanalyse verglichen. Anhand eines auf Basis des Domänenmodells entwickelten Kodierleitfadens wurden die Curricula hinsichtlich fachlicher und lernprozessualer Kategorien analysiert. So konnte untersucht werden, inwieweit sich bundesland- und schulformspezifische Unterschiede abzeichnen. Mit Blick auf das Domänenmodell konnte gezeigt werden, dass es die Domäne der ökonomischen Bildung angemessen abbildet, da sich die Elemente des Modells – wenn auch jeweils in unterschiedlicher Ausprägung – in allen Curricula wiederfanden.

III. Systematisierung bestehender Testinstrumente

Der Entwicklung des Instruments ging eine intensive Recherche bestehender deutscher und internationaler Fragebogen- und Testinstrumente und die Systematisierung der Testitems für die Messung ökonomischer Kompetenzen voraus. Dabei wurden inhaltliche Schwerpunkte, lernprozessuale Kategorien wie die angestrebten Wissensarten und Lerntaxonomiestufen, die domänenspezifischen Zugänge sowie der Bezug zur Lebenswelt von Schüler*innen des achten Jahrgangs der Instrumente identifiziert und verglichen. So entstand ein systematischer Überblick, der Stärken und Leerstellen bestehender Erhebungsinstrumente aufzeigte, der der Generierung von Fragebogen- und Testitems für das ECON-2022 Assessment als Richtlinie diente. 

IV. Entwicklung des Fragebogen- und Testinstruments

Auf Grundlage der vorangegangen Schritte erfolgte die Entwicklung des authentischen ECON 2022-Assessments anhand der empirisch bewährten schwierigkeitsgenerierenden Merkmale verschiedener Grade an Spezifität der ökonomischen Inhalte, der Modellierung der Items und des kognitiven Anspruchsnivieaus der 36 Testaufgaben. 
Um dem Anspruch eines hohen Lebensweltbezugs für Schüler*innen des achten Jahrgangs gerecht zu werden, wurden als Rahmenhandlung authentische Lebenssituationen von Jugendlichen modelliert. In den Begleitfragebogen gingen Skalen zu ökonomischen Informationsquellen und Lerngelegenheiten, zu Einstellungen und Erfahrungen als Konsument*in, zur ökonomischen Selbstwirksamkeit sowie der wahrgenommenen Unterrichtsqualität ein.

V. Durchführung des Feldtests

Der Feldtest fand, aufgrund der pandemischen Lage etwas zeitverzögert, im Frühjahr 2021 statt. In enger Zusammenarbeit mit der IEA Hamburg wurden dafür Manuale und Skripte für die Verantwortlichen der Koordination und Testleitung an den gezogenen Testschulen entwickelt.
Anhand der gewonnenen Daten aus dem Feldtest mit 817 Schüler*innen aus Nordrhein-Westfalen wurden mithilfe des IRT-basierten Partial-Credit Modells die empirischen Schwierigkeiten der Testitems, die Reliabilität und der generelle Fit des Tests ermittelt. Die Ergebnisse der Validierung zeigten, dass der Test insgesamt zuverlässig zwischen niedrigen und hohen Fähigkeiten unterscheidet. Die Skalen des Fragebogens wurden Faktoren- und Reliabilitätsanalysen unterzogen und auf Basis der erzielten Ergebnisse an einigen Stellen modifiziert. 

VI. Validierung des Testinstruments durch Expert*innen

Der zweite Teil der Validierung des Testinstruments wurde über eine Expert*innenbefragung
vorgenommen. Dafür wurden 25 Personen mit Expertisen aus den Bereichen Ökonomie, Schule und Unterricht oder Testentwicklung akquiriert und gebeten, jedes Testitem anhand der schwierigkeitsgenerierenden Merkmale zu bewerten. Außerdem wurden die Authentizität und die Bedienbarkeit des gesamten Instruments bewertet. Die Ratings wurden anschließend auf Abweichungen untereinander sowie Abweichungen zu den Einschätzungen des Entwicklungsteams des Tests untersucht. Items mit höheren Abweichungen der Einschätzungen wurden daraufhin erneut überprüft und unter Bezugnahme auf die Ergebnisse der empirischen Itemanalysen gegebenenfalls überarbeitet. Die Items des Fragebogens wurden auf ihre Reliabilität und Validität untersucht und bei Auffälligkeiten überarbeit.

 VII. Durchführung der Haupterhebung

Von März bis Juni 2022 fand der Einsatz des überarbeiteten Assessments mit 31 Testitems an 143 Schulen in Nordrhein-Westfalen statt. Trotz der Pandemie gab es nur wenige Ausfälle, sodass eine zufriedenstellende Menge an Daten erhoben werden konnte. Durch stichprobenartige Qualitätskontrollen seitens des Projektteams und der IEA an den Testtagen wurde die ordnungsgemäße Durchführung der Testungen überprüft. Bis die vollständige Datenlieferung durch die IEA abgeschlossen ist, wurden bereits die offenen Textantworten der Schüler*innen codiert. Dafür wurden je Item 30 Prozent der Fälle durch drei unanbhängige Personen mit dem Ziel einer hohen Intercoderreliabilität codiert. So wurde gewährleistet, dass die offenen Antworten adäquat in Zahlenwerte übersetzt werden konnten. 

VIII. Datensatzerstellung und Analyse

Die Datenaufbereitung und -auswertung im Hinblick auf die Beantwortung der Forschungsfragen des Projekts werden voraussichtlich Anfang 2024 mit der Veröffentlichung des Projektberichts abgeschlossen. Anschließend werden die Befunde des Assessments auf Ebene der Einzelschulen aufgearbeitet, sodass schulspezifische Charakteristika der Testergebnisse identifiziert und rückgemeldet werden können. So können die Schulen ihre Entwicklungspotenziale erkennen und angehen. Zuletzt soll das Ergebnis des Projektes die Entwicklung eines empirisch abgesicherten Kompetenzmodells für die ökonomische Bildung sein.