Smart Tasks

Cluster A – Prüfungsaufgabeninnovation Smart Tasks

Cluster A zum Download

Cluster A: Prüfungsaufgabeninnovation

für kaufmännische Prüfungsaufgaben

Das nachfolgende Dashboard präsentiert die empirischen Ergebnisse zur Beurteilung und Innovation von kaufmännischen Prüfungsaufgaben im Kontext künstlicher Intelligenz. Es veranschaulicht anhand zentraler Wirkmodelle und einer Ampelklassifikation, welche Aufgabentypen sich weiterhin für das Prüfungswesen eignen.

Datengrundlage & KI-Analyseprozess

Die Datengrundlage der Untersuchung bilden N=102 untersuchte Prüfungsaufgaben. Im Rahmen des KI-Analyseprozesses erfolgte der Test-Prompt Einsatz durch insgesamt 14 KI-Systeme. Dabei prüft ein einheitlicher Prompt die Aufgaben, wobei die KI didaktisch bewertet, statt diese lediglich zu lösen. Im Anschluss daran werden die generierten Ergebnisse gebündelt ausgewertet.

Prüfungseignung & Ampelklassifikation
Grün
26
Gelb
52
Rot
24
25,5 %
51,0 %
23,5 %
Zentrales Wirkmodell

Empirisch signifikante Effekte auf die Gesamtbewertung einer Prüfungsaufgabe:

1. Urteilskompetenz

Je mehr menschliches Urteil nötig ist, desto besser eignet sich die Aufgabe für eine Prüfung.

2. Offenheit

Je offener die Aufgabe ist, desto eher bleibt sie trotz KI prüfungsgeeignet.

3. KI-Fehleranfälligkeit

Je stärker die KI an Grenzen stößt, desto geeigneter ist die Aufgabe für eine Prüfung.

Nicht signifikante untersuchte Effekte

Merkmale ohne empirische Signifikanz im Modell:

Reflexionskompetenz Problemlösekompetenz Numeracy/Data Literacy Lesekompetenz Integrationskompetenz Kontextbezug Argumentationsbedarf Interpretationsbedarf
Bewertungslogik der Ampel

Grün: prüfungsgeeignet

hohe Offenheit - Kontextsbezug arugmentativ - hohe Urteils-/Reflexionskompetenz. KI liefert unnvollständige Lösungen und ist fehleranfällig.

Gelb: eingeschränkt prüfungsgeeignet

teilweise offen. KI liefert oberflächliche Antworten. hohe Lesekomptenz - KI-Lösung muss korrigiert/erweitert werden.

Rot: prüfungsungeeignet

geschlossen - Wissens- oder Rechenaufgaben - KI liefert konsistente Lösungen. geringe Numeracy/ Data Literacy. KI erzeugt vollständige Lösungen.

Statistische Validierung

  • Ordinales Regressionsmodell / PLUM: Prüft, welche Merkmale die Ampelbewertung vorhersagen; χ2(11)=38,356; p<0,001 (hochsignifikant)
  • Modellanpassung: Pearson-Test: p=0,452; Deviance-Test: p=0,831; (Beide Werte sprechen dafür, dass das Modell gut zu den Daten passt)
  • Erklärte Varianz: Nagelkerke Rx=0,359; Cox & Snell R2=0,313; McFadden R2=0.182 (Die Werte zeigen, dass das Modell einen relevanten Anteil der Unterschiede in der Ampelbewertung erklärt)

Quelle: Winther, E., Alwahb, S., Schlünkes, S. & Vogel, W. (2026): KI-induzierte Innovationen im beruflichen Prüfungswesen: Empirische Wege zum Next-Generation-Assessment durch den Aufbau eines kooperativen KI-Innovationslabors. Essen: UDE-VET/ AKA. DOI: https://doi.org/10.17185/duepublico/85395