Diese Studie basiert auf der Item-Response-Theorie und vergleicht die Validität von Englisch-Leseverstehens-Multiple-Choice-Tests unter drei Item-Formulierungsmodi: Expertengesteuert, KI-generiert und Mensch-Maschine-Kollaboration, um die Grenzen der KI-Itemerstellungskapazität und das Potenzial der Mensch-Maschine-Kollaboration zu bewerten. Die Ergebnisse zeigen: 1) Bei der Inhaltsvalidität erzielten die Expertenprüfungen die beste Leistung, die kollaborativen Prüfungen das schlechteste Ergebnis; 2) Bei der Strukturvalidität hatten die Expertenprüfungen die höchste Zuverlässigkeit, die Konstruktübereinstimmung war signifikant besser als bei den kollaborativen und KI-Prüfungen; 3) Bei der kriteriumsbezogenen Validität korrelierte nur die Expertenprüfung signifikant mit den CET-4-Ergebnissen, die kollaborativen und KI-Prüfungen zeigten keine wirksame Vorhersagekraft. Die Studie zeigt, dass das Kollaborationsmodell „Experten entwerfen Fragestellungen + KI generiert Antwortoptionen“ die Itemqualität nicht verbessert hat, sondern sogar einen Abwärtstrend verursachte, weshalb es dringend erforderlich ist, das Kollaborationsparadigma neu zu gestalten und neue Kooperationsmechanismen wie „KI-Vorselektion – Expertenoptimierung“ zu erforschen.

mensch-maschine-kollaborative itemerstellung;validität;englisch-leseverstehens-test;multiple-choice