Vorüberlegungen zum Einsatz adaptiver Tests
Empfohlene Einsatzszenarien
- ohne Domänenmanagement → kurze Tests nach Abschluss eines Themenbereichs (inhaltlich relativ homogenen)
- z.B. als Selbsttests/Übungen zur Vorbereitung auf Prüfungen/PVL
- besonders geeignet für formative Tests, denn je nach Wissenszuwachs werden verschiedene Aufgaben präsentiert
- weniger geeignet für summative Tests
Anforderungen an das Aufgabenformat
- automatisch bewertbar: geschlossenes Format (z.B. Single Choice, Multiple Selection, Lückentext o.ä.) oder offenes Format mit CAS-Bewertung
- d.h. noch keine Kurzantwort oder Texte
- Algorithmus benötigt dichotomes Antwortformat (richtig oder falsch), d.h. Aufgaben mit Teilpunkten können nur über Schwellenwert abgebildet werden
- keine Wichtung der inhaltlichen Relevanz von Items durch erhöhte Punktzahlen möglich
- Schwierigkeitsgrad der Fragen muss bekannt sein und sollte möglichst Kompetenzstufen abbilden (und nicht z.B. nur erhöhten Zeitbedarf widerspiegeln)
- ausreichende Anzahl von Aufgaben auf allen Niveaus nötig (auch obere und untere Grenzbereiche)
- Erweiterung des Plugins auf Nutzung von Aufgaben, bei denen Teilpunkte vergeben werden, mittels eines einstellbaren Schwellenwertes siehe Plugin → Fragensammlung
Schwierigkeitseinstufung der Aufgaben
- Überlegungen zur Anzahl Schwierigkeitsstufen ...
- Einstufung vorhandener Fragen anhand der Ansätze:
- Lösungshäufigkeit ...
- Bloom-Einstufung ...
- mittels Scaffolding ...
Rückmeldung des Testergebnisses an die Versuchsperson
Rückmeldung Fähigkeitsniveau vs. klassisches Testergebnis
- Achtung: Konventionell werden zur Bewertung von Leistungen Prozentsatz und Note verwendet und per Schlüssel (an unterschiedlichen Institutionen nicht identisch, aber ähnlich gehandhabt) ineinander überführt. Tests werden dann bewertet anhand der Frage: Wie viele Aufgaben wurden erfolgreich (oder teilweise) erledigt. Der Begriff der Kompetenzstufe bedeuten hingegen üblicherweise: Die/der Studierende beherrscht die Fertigkeiten dieser Stufe. Hier allerdings bedeutet die Rückmeldung eines Fähigkeitsniveaus: Die/der Studierende hat eine 50/50 Chance, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Daher ist eine verbalisierte Interpretationshilfe für Studierende nötig.
- zu jedem Fragen-Schwierigkeitsniveau (=Kompetenzniveau?) sollte eine Beschreibung der erforderlichen Fähigkeiten formuliert werden
- die Bedeutung des rückgemeldeten Fähigkeitsmaßes muss erklärt werden, da es nicht den bekannten Konventionen entspricht: z.B. Studierende von Fähigkeitsniveau 3 können nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen; sie beherrschen dieses Niveau also noch nicht richtig, sondern können/sollten auf diesem Niveau weiterarbeiten
- derzeit noch nicht im Plugin integriert, sondern separat zu beschreiben
- Integration in die Ergebnisrückmeldung des Plugins ist in Bearbeitung und Feedback dazu, wie dies bestmöglich gestaltet sein könnte, ist ausdrücklich erwünscht