You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 24 Next »

Vorüberlegungen zum Einsatz adaptiver Tests

Empfohlene Einsatzszenarien

  • ohne Domänenmanagement → kurze Tests nach Abschluss eines Themenbereichs (inhaltlich relativ homogenen)
  • z.B. als Selbsttests/Übungen zur Vorbereitung auf Prüfungen/PVL
  • besonders geeignet für formative Tests, denn je nach Wissenszuwachs werden verschiedene Aufgaben präsentiert
  • weniger geeignet für summative Tests

Anforderungen an das Aufgabenformat

  • automatisch bewertbar: geschlossenes Format (z.B. Single Choice, Multiple Selection, Lückentext o.ä.) oder offenes Format mit CAS-Bewertung
  • d.h. noch keine Kurzantwort oder Texte 
  • Algorithmus benötigt dichotomes Antwortformat (richtig oder falsch), d.h. Aufgaben mit Teilpunkten können nur über Schwellenwert abgebildet werden
  • keine Wichtung der inhaltlichen Relevanz von Items durch erhöhte Punktzahlen möglich
  • Schwierigkeitsgrad der Fragen muss bekannt sein und sollte möglichst Kompetenzstufen abbilden (und nicht z.B. nur erhöhten Zeitbedarf widerspiegeln)
  • ausreichende Anzahl von Aufgaben auf allen Niveaus nötig (auch obere und untere Grenzbereiche)
  • Erweiterung des Plugins auf Nutzung von Aufgaben, bei denen Teilpunkte vergeben werden, mittels eines einstellbaren Schwellenwertes siehe Plugin → Fragensammlung

Schwierigkeitseinstufung der Aufgaben

1 ... 2 ... 3 ... 4

  • Überlegungen zur Anzahl Schwierigkeitsstufen ...
  • Einstufung vorhandener Fragen anhand der Ansätze:
    • Lösungshäufigkeit ...
    • Bloom-Einstufung ...
    • mittels Scaffolding ...

Rückmeldung des Testergebnisses an die Versuchsperson

  • Rückmeldung Fähigkeitsniveau vs. klassisches Testergebnis

  • Achtung: Konventionell werden zur Bewertung von Leistungen Prozentsatz und Note verwendet und per Schlüssel (an unterschiedlichen Institutionen nicht identisch, aber ähnlich gehandhabt) ineinander überführt. Tests werden dann bewertet anhand der Frage: Wie viele Aufgaben wurden erfolgreich (oder teilweise) erledigt. Der Begriff der Kompetenzstufe bedeuten hingegen üblicherweise: Die/der Studierende beherrscht die Fertigkeiten dieser Stufe. Hier allerdings bedeutet die Rückmeldung eines Fähigkeitsniveaus: Die/der Studierende hat eine 50/50 Chance, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Daher ist eine verbalisierte Interpretationshilfe für Studierende nötig.
  • zu jedem Fragen-Schwierigkeitsniveau (=Kompetenzniveau?) sollte eine Beschreibung der erforderlichen Fähigkeiten formuliert werden
  • die Bedeutung des rückgemeldeten Fähigkeitsmaßes muss erklärt werden, da es nicht den bekannten Konventionen entspricht: z.B. Studierende von Fähigkeitsniveau 3 können nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen; sie beherrschen dieses Niveau also noch nicht richtig, sondern können/sollten auf diesem Niveau weiterarbeiten
  • derzeit noch nicht im Plugin integriert, sondern separat zu beschreiben
  • Integration in die Ergebnisrückmeldung des Plugins ist in Bearbeitung und Feedback dazu, wie dies bestmöglich gestaltet sein könnte, ist ausdrücklich erwünscht
  • No labels