Idee des adaptiven Testens

Image Modified

Ein adaptiver Test simuliert

automatisiert das Vorgehen eines erfahrenen Prüfers: Ausgehend von einer initialen Aufgabenstellung passt der Prüfer seine nachfolgenden Fragenstellungen dem (anhand des bisherigen Antwortverhaltens) vermuteten Fähigkeitsniveau des Probanden an.

Zu schwierige oder zu leichte Fragen bringen wenig Erkenntnis über die Fähigkeiten einer Person → Fragen sollten daher möglichst auf dem Niveau der Kompetenz des Prüflings gestellt werden

Zu leichte

Aufgabenstellungen können außerdem ungewolltes Verhalten wie Flüchtigkeitsfehler oder falsche Antworten auf scheinbare Fangfragen provozieren; zu schwierige Fragen führen häufig dazu, dass Kandidaten versuchen, Ergebnisse zu erraten (=Fehlinformation für Prüfer)

Der adaptive Test beginnt mit einer Frage mittlerer Schwierigkeit

. Eine richtige Antwort führt zu

einer anschließenden schwierigeren Frage, eine fehlerhafte Beantwortung hat eine anschließende leichtere Frage zur Folge. Die weiter Fortsetzung dieses Prozesses führt zu einer immer genaueren Ermittlung der Kompetenz des Prüflings

.

Funktionsweise

Image Removed

eines adaptiven Tests

Image Added Wie werden die Fragen ausgewählt?

• Startlevel:
  mittig, Icebreaker, unterhalb mittlerem Niveau oder unterhalb geschätztem Level
  • • leicht unterhalb des mittleren Niveaus bzw. unterhalb des geschätzten Levels (falls Vorinformation), damit Erfolg motiviert (Icebreaker Item)
  Geringer
  • • geringer Einfluss auf
  Ergebnis
  • • Endergebnis
  • Folge-Items:
    • fest verzweigter Algorithmus: richtige Antwort → höheres Niveau, falsche Antwort → niedrigeres Niveau (siehe Hintergrund → Algorithmus)
    • randomisierte Aufgabenauswahl aus einem Fenster um die geschätzte Fähigkeit herum (50/50-Chance)
  (2)

    Wie werden die Antworten bewertet?

  • Einschränkung auf automatisch auswertbares Aufgabenformat, z.B. MC (Multiple Selection Auswahlkästchen / Single Choice Radio Buttons), Zuordnung, Lückentext mit klaren Synonymvorgaben, mathematische Ausdrücke mit CAS etc. (vgl. Vorbereitung → Aufgabenformat)
  • leider noch
  kein Text
  • keine Textaufgaben per KI hinreichend gut bewertbar
  (3)

    Wann endet ein Testdurchlauf? 

  • feste maximale Anzahl von Items
  • maximale Testzeit: derzeit im Plugin nicht implementiert
  • alle im Itempool verfügbaren Items passenden Niveaus
  • hinreichend kleiner Standardfehler bei der Fähigkeitsschätzung
  (4)

    Was wird zurückgegeben?

  • Aussage zum Niveau des Probanden
  • Vorsichtige Interpretation erforderlich, da Stufe 3 bedeutet, dass sie/er eine 50/50-Chance hat, Fragen der Stufe 3 richtig zu beantworten, d.h. er/sie beherrscht diese Fragen noch nicht, sondern "kann sich mit ihnen messen" (vgl. Vorbereitung → Rückmeldung)

Vorteile

 Image RemovedImage Removed

adaptiver Tests

Beachtenswerte Unterschiede gegenüber statischen Tests

Image Removed

Image Added

Nicht alle Studierenden erhalten die gleichen Fragen

. Wenn das zu testende Thema unterschiedliche Inhaltsbereiche umfasst, werden daher möglicherweise nicht allen Testpersonen Aufgaben aus allen inhaltlichen Bereichen vorgelegt. Dies könnte insbesondere dann der Fall sein, wenn nicht für alle Teilbereiche Aufgabenstellungen auf allen Schwierigkeitsniveaus vorhanden sind. Wir empfehlen derzeit daher den Einsatz als formative Tests nach inhaltlich relativ homogenen Abschnitten

.

Ein adaptiver Test besteht nicht aus einer festgelegten Anzahl an Fragen, sondern dauert möglicherweise für die eine oder andere Testperson länger oder kürzer - je nachdem, welches Stop-Kriterium vorgegeben wurde. Daher müssen die Probanden beim Zeitmanagement beachten, dass ihnen

nur die maximale erwartete Anzahl von Fragen

angezeigt werden kann. Eine zeitliche Beschränkung pro Frage oder auch pro Test ist derzeit nicht implementiert.

Ähnlich wie beim Frageverhalten mit sofortigem Feedback im regulären Moodle-Quiz-Format

ist es nicht möglich, Testaufgaben zunächst zu überspringen, um diese zu einem späteren Zeitpunkt zu lösen. Dies liegt in der Natur des adaptiven Formats, bei dem die Auswahl der nachfolgenden Aufgabe vom Lösungsergebnis der vorherigen Aufgabe abhängt.

Ein wesentlicher Unterschied zum konventionellen Test besteht in der für die Teilnehmenden ungewohnten Erfahrung, dass unabhängig von der eigenen Anstrengung

und auch dem Leistungsniveau im Mittel nur ca. die Hälfte der vorgelegten Items gelöst werden kann. Für leistungsstarke Testpersonen kann

diese 50/50 Chance

• für leistungsstarke Testpersonen evtl. demotivierend, weil anderes Fähigkeitsselbstkonzept/Selbstwirksamkeitserwartung
• tatsächlich werden dadurch eigentlich zwischen Personengruppen variierende motivationale Auswirkungen vermieden
• Funktionsweise des Tests muss daher transparent erläutert werden

möglicherweise anfangs demotivierend wirken, das sie ein anderes Fähigkeits-Selbstkonzept (oder auch eine andere Selbstwirksamkeitserwartung) haben. Leistungsschwächere Personen sind hingegen möglicherweise im Nachgang von einer schlechten Testbewertung überrascht, da sie im Gegensatz zu sonst ungewohnt viele Aufgaben lösen konnten. Die adaptive Funktionsweise des Tests sollte den Studierenden daher im Vorfeld transparent erläutert werden. Tatsächlich tendiert die Methodik, durch die allen Probanden Aufgaben mit der individuell gleichen Lösungschance vorgelegt werden, eher dazu, dass die Auswirkungen von zwischen Personengruppen vorliegenden motivationalen Unterschieden reduziert werden. 

Die Rückmeldung des Testergebnisses in Form des erreichten

Leistungsniveaus anstatt wie gewohnt als Prozentsatz oder Note

ist ein weiterer Unterschied zum herkömmlichen Test (siehe Vorbereitung → Rückmeldung). Hier wird zukünftig eine verbalisierte Interpretationshilfe für

die Studierenden von Nutzen sein (derzeit noch nicht im Plugin integriert).