Motivation zum Einsatz adaptiver Tests

Idee des adaptiven Testens

Ein adaptiver Test simuliert automatisiert das Vorgehen eines erfahrenen Prüfers: Ausgehend von einer initialen Aufgabenstellung passt der Prüfer seine nachfolgenden Fragenstellungen dem (anhand des bisherigen Antwortverhaltens) vermuteten Fähigkeitsniveau des Probanden an.

Zu schwierige oder zu leichte Fragen bringen wenig Erkenntnis über die Fähigkeiten einer Person → Fragen sollten daher möglichst auf dem Niveau der Kompetenz des Prüflings gestellt werden

Zu leichte Aufgabenstellungen können außerdem ungewolltes Verhalten wie Flüchtigkeitsfehler oder falsche Antworten auf scheinbare Fangfragen provozieren; zu schwierige Fragen führen häufig dazu, dass Kandidaten versuchen, Ergebnisse zu erraten (=Fehlinformation für Prüfer)

Der adaptive Test beginnt mit einer Frage mittlerer Schwierigkeit. Eine richtige Antwort führt zu einer anschließenden schwierigeren Frage, eine fehlerhafte Beantwortung hat eine anschließende leichtere Frage zur Folge. Die weiter Fortsetzung dieses Prozesses führt zu einer immer genaueren Ermittlung der Kompetenz des Prüflings.

Funktionsweise eines adaptiven Tests

Wie werden die Fragen ausgewählt?

• Startlevel:
  • leicht unterhalb des mittleren Niveaus bzw. unterhalb des geschätzten Levels (falls Vorinformation), damit Erfolg motiviert (Icebreaker Item)
  • geringer Einfluss auf Endergebnis
• Folge-Items:
  • fest verzweigter Algorithmus: richtige Antwort → höheres Niveau, falsche Antwort → niedrigeres Niveau (siehe Hintergrund → Algorithmus)
  • randomisierte Aufgabenauswahl aus einem Fenster um die geschätzte Fähigkeit herum (50/50-Chance)

  Wie werden die Antworten bewertet?

• Einschränkung auf automatisch auswertbares Aufgabenformat, z.B. MC (Multiple Selection Auswahlkästchen / Single Choice Radio Buttons), Zuordnung, Lückentext mit klaren Synonymvorgaben, mathematische Ausdrücke mit CAS etc. (vgl. Vorbereitung → Aufgabenformat)
• leider noch keine Textaufgaben per KI hinreichend gut bewertbar

  Wann endet ein Testdurchlauf? 

• feste maximale Anzahl von Items
• maximale Testzeit: derzeit im Plugin nicht implementiert
• alle im Itempool verfügbaren Items passenden Niveaus
• hinreichend kleiner Standardfehler bei der Fähigkeitsschätzung

  Was wird zurückgegeben?

• Aussage zum Niveau des Probanden
• Vorsichtige Interpretation erforderlich, da Stufe 3 bedeutet, dass sie/er eine 50/50-Chance hat, Fragen der Stufe 3 richtig zu beantworten, d.h. er/sie beherrscht diese Fragen noch nicht, sondern "kann sich mit ihnen messen" (vgl. Vorbereitung → Rückmeldung)

Vorteile adaptiver Tests

Beachtenswerte Unterschiede gegenüber statischen Tests

Nicht alle Studierenden erhalten die gleichen Fragen. Wenn das zu testende Thema unterschiedliche Inhaltsbereiche umfasst, werden daher möglicherweise nicht allen Testpersonen Aufgaben aus allen inhaltlichen Bereichen vorgelegt. Dies könnte insbesondere dann der Fall sein, wenn nicht für alle Teilbereiche Aufgabenstellungen auf allen Schwierigkeitsniveaus vorhanden sind. Wir empfehlen derzeit daher den Einsatz als formative Tests nach inhaltlich relativ homogenen Abschnitten.

Ein adaptiver Test besteht nicht aus einer festgelegten Anzahl an Fragen, sondern dauert möglicherweise für die eine oder andere Testperson länger oder kürzer - je nachdem, welches Stop-Kriterium vorgegeben wurde. Daher müssen die Probanden beim Zeitmanagement beachten, dass ihnen nur die maximale erwartete Anzahl von Fragen angezeigt werden kann. Eine zeitliche Beschränkung pro Frage oder auch pro Test ist derzeit nicht implementiert.

Ähnlich wie beim Frageverhalten mit sofortigem Feedback im regulären Moodle-Quiz-Format ist es nicht möglich, Testaufgaben zunächst zu überspringen, um diese zu einem späteren Zeitpunkt zu lösen. Dies liegt in der Natur des adaptiven Formats, bei dem die Auswahl der nachfolgenden Aufgabe vom Lösungsergebnis der vorherigen Aufgabe abhängt.

Ein wesentlicher Unterschied zum konventionellen Test besteht in der für die Teilnehmenden ungewohnten Erfahrung, dass unabhängig von der eigenen Anstrengung und auch dem Leistungsniveau im Mittel nur ca. die Hälfte der vorgelegten Items gelöst werden kann. Für leistungsstarke Testpersonen kann diese 50/50 Chance möglicherweise anfangs demotivierend wirken, das sie ein anderes Fähigkeits-Selbstkonzept (oder auch eine andere Selbstwirksamkeitserwartung) haben. Leistungsschwächere Personen sind hingegen möglicherweise im Nachgang von einer schlechten Testbewertung überrascht, da sie im Gegensatz zu sonst ungewohnt viele Aufgaben lösen konnten. Die adaptive Funktionsweise des Tests sollte den Studierenden daher im Vorfeld transparent erläutert werden. Tatsächlich tendiert die Methodik, durch die allen Probanden Aufgaben mit der individuell gleichen Lösungschance vorgelegt werden, eher dazu, dass die Auswirkungen von zwischen Personengruppen vorliegenden motivationalen Unterschieden reduziert werden. 

Die Rückmeldung des Testergebnisses in Form des erreichten Leistungsniveaus anstatt wie gewohnt als Prozentsatz oder Note ist ein weiterer Unterschied zum herkömmlichen Test (siehe Vorbereitung → Rückmeldung). Hier wird zukünftig eine verbalisierte Interpretationshilfe für die Studierenden von Nutzen sein (derzeit noch nicht im Plugin integriert).

Demo

Wenn sie zunächst einmal selbst ein adaptives Quiz ausprobieren möchten, so ist dies hier möglich: Adaptives HFT-Quiz.

Bitte beachten Sie: Dieses Modul dient ausschließlich zur Demonstration der Funktionalität. Die Fragen sind also in ihrer Schwierigkeit nicht genormt und das Feedback ist eher humorvoll gestaltet.