Idee des adaptiven Testens

Ein adaptiver Test simuliert automatisiert das Vorgehen eines erfahrenen Prüfers: Ausgehend von einer initialen Aufgabenstellung passt der Prüfer seine nachfolgenden Fragenstellungen dem (anhand des bisherigen Antwortverhaltens) vermuteten Fähigkeitsniveau des Probanden an.

Zu schwierige oder zu leichte Fragen bringen wenig Erkenntnis über die Fähigkeiten einer Person → Fragen sollten daher möglichst auf dem Niveau der Kompetenz des Prüflings gestellt werden.

Zu leichte Aufgabenstellungen können außerdem ungewolltes Verhalten wie Flüchtigkeitsfehler oder falsche Antworten auf scheinbare Fangfragen provozieren; zu schwierige Fragen führen häufig dazu, dass Kandidaten versuchen, Ergebnisse zu erraten (=Fehlinformation für Prüfer).

Der adaptive Test beginnt mit einer Frage mittlerer Schwierigkeit. Eine richtige Antwort führt zu einer anschließenden schwierigeren Frage, eine fehlerhafte Beantwortung hat eine anschließende leichtere Frage zur Folge. Die weitere Fortsetzung dieses Prozesses führt zu einer immer genaueren Ermittlung der Kompetenz des Prüflings. Zur praktischen Umsetzung werden die Fragen in diesem Plugin in verschiedene Schwierigkeitsstufen eingeteilt.

Funktionsweise eines adaptiven Tests

Wie werden die Fragen ausgewählt?

• Start:
  • leicht unterhalb des mittleren Niveaus bzw. unterhalb der geschätzten Stufe (falls Vorinformation vorhanden), damit der erste Erfolg motiviert (Icebreaker Item)
  • geringer Einfluss auf Endergebnis, da die individuell ausgewählten Fragen überwiegen
• Folge-Items:
  • fest verzweigter Algorithmus: richtige Antwort → höhere Stufe, falsche Antwort → niedrigere Stufe (siehe Hintergrund → Algorithmus)
  • randomisierte Aufgabenauswahl aus einem Schwierigkeitsfenster um die geschätzte Fähigkeit des Prüflings herum (50/50-Chance auf Erfolg)

  Wie werden die Antworten bewertet?

• Einschränkung auf automatisch auswertbares Aufgabenformat, z.B. MC (Multiple Selection Auswahlkästchen / Single Choice Radio Buttons), Zuordnung, Lückentext mit klaren Synonymvorgaben, mathematische Ausdrücke mit CAS etc. (vgl. Vorbereitung → Aufgabenformat)
• leider noch keine Textaufgaben per KI hinreichend gut bewertbar

  Wann endet ein Testdurchlauf? 

• festgelegte maximale Anzahl von Items wurde erreicht
• maximale Testzeit ist abgelaufen: derzeit im Plugin nicht implementiert
• alle im Itempool verfügbaren Items passenden Niveaus wurden gestellt
• hinreichend kleiner Standardfehler bei der Fähigkeitsschätzung wurde erreicht

  Was liefert der Test?

• Aussage zum Niveau des Probanden im Kontext der Schwierigkeitsstufen
• Vorsichtige Interpretation erforderlich: "Stufe 3" bedeutet, dass sie/er eine 50/50-Chance hat, Fragen der Stufe 3 richtig zu beantworten, d.h. er/sie beherrscht diese Fragen noch nicht, sondern "kann sich mit ihnen messen" (vgl. Vorbereitung → Rückmeldung)

Vorteile adaptiver Tests

Beachtenswerte Unterschiede gegenüber statischen Tests

Nicht alle Studierenden erhalten die gleichen Fragen. Wenn das zu testende Thema unterschiedliche Inhaltsbereiche umfasst, werden daher möglicherweise nicht allen Testpersonen Aufgaben aus allen inhaltlichen Bereichen vorgelegt. Dies könnte insbesondere dann der Fall sein, wenn nicht für alle Teilbereiche Aufgabenstellungen auf allen Schwierigkeitsniveaus vorhanden sind. Wir empfehlen derzeit daher den Einsatz als formative Tests nach inhaltlich relativ homogenen Kursabschnitten bzw. Lerneinheiten.

Ein adaptiver Test besteht nicht aus einer festgelegten Anzahl an Fragen, sondern dauert möglicherweise für die manche Testpersonen länger oder kürzer als für andere - je nachdem, welches Stop-Kriterium vorgegeben wurde (z.B. Stop erst bei hinreichend kleinem Standardfehler). Daher müssen die Probanden beim Zeitmanagement beachten, dass ihnen nur die maximale erwartete Anzahl von Fragen angezeigt werden kann. Eine zeitliche Beschränkung pro Frage oder auch pro Test ist derzeit nicht implementiert.

Ähnlich wie beim Frageverhalten mit sofortigem Feedback im regulären Moodle-Quiz-Format ist es nicht möglich, Testaufgaben zunächst zu überspringen, um diese zu einem späteren Zeitpunkt zu lösen. Dies liegt in der Natur des adaptiven Formats, bei dem die Auswahl der nachfolgenden Aufgabe vom Lösungsergebnis der vorherigen Aufgabe abhängt.

Ein wesentlicher Unterschied zum konventionellen Test besteht in der für die Teilnehmenden ungewohnten Erfahrung, dass unabhängig von der eigenen Anstrengung und auch dem Leistungsniveau im Mittel nur ca. die Hälfte der vorgelegten Items gelöst werden kann. Für leistungsstarke Testpersonen kann diese 50/50 Chance möglicherweise anfangs demotivierend wirken, das sie ein anderes Fähigkeits-Selbstkonzept (oder auch eine andere Selbstwirksamkeitserwartung) haben. Leistungsschwächere Personen sind hingegen möglicherweise im Nachgang von einer schlechten Testbewertung überrascht, da sie im Gegensatz zu sonst ungewohnt viele Aufgaben lösen konnten. Die adaptive Funktionsweise des Tests sollte den Studierenden daher im Vorfeld transparent erläutert werden. Tatsächlich tendiert die Methodik, durch die allen Probanden Aufgaben mit der individuell gleichen Lösungschance vorgelegt werden, eher dazu, dass die Auswirkungen von zwischen Personengruppen vorliegenden motivationalen Unterschieden reduziert werden. 

Die Rückmeldung des Testergebnisses in Form des erreichten Leistungsniveaus anstatt wie gewohnt als Prozentsatz oder Note ist ein weiterer Unterschied zum herkömmlichen Test (siehe Vorbereitung → Rückmeldung). Hier wird zukünftig eine verbalisierte Interpretationshilfe für die Studierenden von Nutzen sein (derzeit noch nicht im Plugin integriert).

Demo

Wenn sie zunächst einmal selbst ein adaptives Quiz ausprobieren möchten, so ist dies hier möglich: Adaptives HFT-Quiz.

Bitte beachten Sie: Dieses Modul dient ausschließlich zur Demonstration der Funktionalität. Die Fragen sind also in ihrer Schwierigkeit nicht genormt und das Feedback ist eher humorvoll gestaltet.