Page History

Idee des adaptiven Testens

• Ein adaptiver Test simuliert automatisiert das Vorgehen eines erfahrenen Prüfers: Ausgehend von einer initialen Aufgabenstellung passt der Prüfer seine nachfolgenden Fragenstellungen dem (anhand des bisherigen Antwortverhaltens) vermuteten Fähigkeitsniveau des Probanden an.
• Zu schwierige oder zu leichte Fragen bringen wenig Erkenntnis über die Fähigkeiten einer Person → Fragen sollten daher möglichst auf dem Niveau der Kompetenz des Prüflings gestellt werden
• Zu leichte Aufgabenstellungen können außerdem ungewolltes Verhalten wie Flüchtigkeitsfehler oder falsche Antworten auf scheinbare Fangfragen provozieren; zu schwierige Fragen führen häufig dazu, dass Kandidaten versuchen, Ergebnisse zu erraten (=Fehlinformation für Prüfer)
• Der adaptive Test beginnt mit einer Frage mittlerer Schwierigkeit. Eine richtige Antwort führt zu einer anschließenden schwierigeren Frage, eine falsche fehlerhafte Beantwortung hat eine anschließende leichtere Frage zur Folge. Die weiter Fortsetzung dieses Prozesses führt zu einer immer genaueren Ermittlung der Kompetenz des Prüflings.
• Gelegentlich wird die Anpassung des Tests an das Leistungsniveau jedes Einzelnen als problematisch und möglicherweise unfair angesehen: Wie kann man Kandidaten vergleichen, wenn jeder einen anderen Test gemacht hat? Das Mathematische Modell der Item-Response-Theorie zeigt die Lösung dieses Problems.

Funktionsweise eines adaptiven Tests

(1) Wie werden die Fragen ausgewählt?

• Startlevel:
  • mittig, Icebreaker, unterhalb mittlerem Niveau oder unterhalb geschätztem Level (falls Vorinformation), damit Erfolg motiviert
  • geringer Einfluss auf Ergebnis
• Folge-Items:
  • fest verzweigter Algorithmus: richtige Antwort → höheres Niveau, falsche Antwort → niedrigeres Niveau (siehe Hintergrund → Algorithmus)
  • randomisierte Aufgabenauswahl aus einem Fenster um die geschätzte Fähigkeit herum (50/50-Chance)

(2) Wie werden die Antworten bewertet?

• Einschränkung auf automatisch auswertbares Aufgabenformat, z.B. MC (Multiple Selection Auswahlkästchen / Single Choice Radio Buttons), Zuordnung, Lückentext mit klaren Synonymvorgaben, mathematische Ausdrücke mit CAS etc. (vgl. Einsatz → Aufgabenformat)
• leider noch kein Text per KI hinreichend gut bewertbar

(3) Wann endet ein Testdurchlauf? 

• feste maximale Anzahl von Items
• maximale Testzeit: derzeit im Plugin nicht implementiert
• alle im Itempool verfügbaren Items passenden Niveaus
• hinreichend kleiner Standardfehler bei der Fähigkeitsschätzung

(4) Was wird zurückgegeben?

• Aussage zum Niveau des Probanden
• Vorsichtige Interpretation erforderlich, da Stufe 3 bedeutet, dass sie/er eine 50/50-Chance hat, Fragen der Stufe 3 richtig zu beantworten, d.h. er/sie beherrscht diese Fragen noch nicht, sondern "kann sich mit ihnen messen" (vgl. Einsatz → Rückmeldung)

Vorteile adaptiver Tests

Beachtenswerte Unterschiede gegenüber statischen Tests

• nicht alle Studierenden erhalten die gleichen Fragen
  • Verteilung der Fragenschwierigkeiten über unterschiedliche Inhaltsbereiche beachten
  • derzeitige Empfehlung daher für formative Tests nach inhaltlich relativ homogenen Abschnitten
• Zeitmanagement:
  
  • keine feste Anzahl von Fragen, sondern nur die maximale erwartete Anzahl von Fragen wird angezeigt
  • (derzeit) kein Zeit-Limit implementiert
  • kein Überspringen und späteres Nachlösen von Items möglich (ähnlich wie beim Frageverhalten mit sofortigem Feedback im regulären Moodle-Quiz-Format)
• ungewohnte Erfahrung für die Studierenden, dass unabhängig von der eigenen Anstrengung bzw. dem Leistungsniveau im Mittel nur ca. die Hälfte der vorgelegten Items gelöst werden kann (50/50 Chance)
  • für leistungsstarke Testpersonen evtl. demotivierend, weil anderes Fähigkeits-Selbstkonzept (bzw. auch Selbstwirksamkeitserwartung)
  • Funktionsweise des Tests muss daher transparent erläutert werden
  • eigentlich werden dadurch, dass allen Probanden Aufgaben mit der individuell gleichen Lösungschance vorgelegt werden, zwischen Personengruppen variierende motivationale Auswirkungen eher reduziert
• Rückmeldung in Form eines Leistungsniveaus anstatt wie gewohnt als Prozentsatz oder Note
  • eine verbalisierte Interpretationshilfe für Studierende ist hier von Nutzen (derzeit noch nicht im Plugin integriert)
  • siehe Einsatz → Rückmeldung