Wir haben sehr gute Erfahrungen damit gemacht, adaptive Tests als Selbsttests und Übungen Übungen zur Vorbereitung auf Prüfungen bzw. Prüfungsvorleistungen einzusetzen.
Besonders gut eignet sich das adaptive Testformat für formative Tests, da dem den Probanden bei mehreren Testversuchen Testversuchen je nach Wissenszuwachs unterschiedliche Aufgaben präsentiert werden.
Für summative Tests würden wir das hier vorliegende Plugin derzeit weniger empfehlen. Der Algorithmus verfügt über keine Möglichkeit sicherzustellen, dass die einem Probanden vorgelegten Aufgaben gut über mehrere inhaltlichen Teilbereiche verteilt sind. Daher ist es sinnvoll, anstatt eines einzigen inhaltsübergreifenden Tests lieber mehrere kürzere Testeinheiten nach Abschluss inhaltlich relativ homogener Teilbereichezu nutzen.
UI Tab
title
Aufgabenformat
Anforderungen an das Aufgabenformat
Die Aufgaben müssen
Für die Nutzung von Aufgaben in einem adaptiven Test müssen diese automatisch bewertbarsein.
Daher können sowohl Aufgaben
Hierfür eigenen sich alle gängigen Moodle-Fragen im geschlossenen Format
(also
, wie z.B. Single Choice, Multiple Selection,
Lückentext
Zuordnungsaufgaben o.ä.
) als
Darüber hinaus können auch Aufgaben im (halb-)offenen Format
mit
genutzt werden, wenn diese beispielsweise über eine CAS-Bewertung
(z.B. STACK) genutzt werden, aber Kurzantworten nur bedingt und keine manuell zu bewertenden Texte.
Algorithmus benötigt dichotomes Antwortformat (richtig oder falsch), d.h. Aufgaben mit Teilpunkten können nur über einen (justierbaren) Schwellenwert abgebildet werden → siehe Aufgabenschwierigkeit
wie STACK automatisch ausgewertet werden. Manuell zu bewertende Freitextantworten könnten derzeit noch nicht integriert werden, da noch keine ausreichend gute Textbewertung durch KI zur Verfügung steht.
Der Algorithmus wertet alle Aufgaben im dichotomen Antwortmuster aus: richtig oder falsch. Aufgaben, für die Teilpunkte vergeben werden sollen, können aber über einen entsprechend justierbaren Schwellenwert abgebildet werden → siehe Aufgabenschwierigkeit. Im Gegensatz zu konventionellen Tests ist keine Wichtungder inhaltlichen Relevanz von
Items
Aufgabenstellungen durch eine erhöhte
Punktzahlen
Punktzahl möglich
ausreichende Anzahl von Aufgaben
.
Für einen reibungslosen Einsatz ist es erforderlich, auf allen Schwierigkeits-Niveaus
eine ausreichende Anzahl von Aufgaben vorzuhalten, auch im oberen und unteren Grenzbereich (siehe Aufgabenschwierigkeit).
UI Tab
title
Aufgabenschwierigkeit
Schwierigkeitseinstufung der Aufgaben
Schwierigkeitsgrad der Fragen muss bekannt sein und sollte möglichst Kompetenzstufen abbilden (und nicht z.B. nur erhöhten Zeitbedarf widerspiegeln)
Überlegungen zur Anzahl Schwierigkeitsstufen ...
Einstufung vorhandener Fragen anhand der Ansätze:
Lösungshäufigkeit ...
Bloom-Einstufung ...
mittels Scaffolding ...
Da bestehende Aufgabenpools häufig auch Aufgaben enthalten, bei denen Teilpunkte vergeben werden, wurde das Plugin von uns entsprechend für die Nutzung erweitert: Über einen Schwellenwert kann eingestellt werden, ab welchem Prozentsatz an Punkten (z.B. 0.5 oder 0.75 etc.) Teilpunkte-Aufgaben als richtig gelöst bewertet werden sollen. Dieser Schwellenwert muss im Einklang mit den Schwierigkeitsgraden stehen, die den entsprechenden Teilpunkte-Aufgaben zugeteilten werden, kann aber für jede Quiz-Instanz unabhängig neu festgelegt werden.
UI Tab
title
Rückmeldung
Interpretation der Rückmeldung des Testergebnisses an die Versuchsperson
Rückmeldung Fähigkeitsniveau vs. klassisches Testergebnis
Achtung: Konventionell werden zur Bewertung von Leistungen Prozentsatz und Note verwendet und per Schlüssel (an unterschiedlichen Institutionen nicht identisch, aber ähnlich gehandhabt) ineinander überführt. Tests werden dann bewertet anhand der Frage: Wie viele Aufgaben wurden erfolgreich (oder teilweise) erledigt. Der Begriff der Kompetenzstufe bedeuten hingegen üblicherweise: Die/der Studierende beherrscht die Fertigkeiten dieser Stufe. Hier allerdings bedeutet die Rückmeldung eines Fähigkeitsniveaus: Die/der Studierende hat eine 50/50 Chance, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Daher ist eine verbalisierte Interpretationshilfe für Studierende nötig.
zu jedem Fragen-Schwierigkeitsniveau (=Kompetenzniveau?) sollte eine Beschreibung der erforderlichen Fähigkeiten formuliert werden
die Bedeutung des rückgemeldeten Fähigkeitsmaßes muss erklärt werden, da es nicht den bekannten Konventionen entspricht: z.B. Studierende von Fähigkeitsniveau 3 können nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen; sie beherrschen dieses Niveau also noch nicht richtig, sondern können/sollten auf diesem Niveau weiterarbeiten
derzeit noch nicht im Plugin integriert, sondern separat zu beschreiben
Integration in die Ergebnisrückmeldung des Plugins ist in Bearbeitung und Feedback dazu, wie dies bestmöglich gestaltet sein könnte, ist ausdrücklich erwünscht