Nutzung des Plugins mod_adaptivequiz

Download und Installation des Plugins

Das von uns mit mehreren Erweiterungen versehene Plugin wird demnächst im Transfer-Gitlab der HfT Stuttgart zum Download bereitgestellt: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests. Es basiert auf dem Moodle-Plugin "Adaptive Quiz: CAT (Computer-Adaptive Testing) implementation for Moodle" https://moodle.org/plugins/mod_adaptivequiz.

Die Installation erfolgt standardmäßig durch den Moodle-Admin als zip-Datei.

Auf unserem KNIGHT-Moodle-Server (https://moodle.knight.hft-stuttgart.de) haben wir das erweiterte Plugin bereits installiert und können Ihnen gern einen Kurs einrichten, wenn Sie adaptive Tests einsetzen möchten. Die Nutzung unseres Moodle durch Studierende erfolgt mit einem pseudonymisierten Login. Wir erstellen eine entsprechende Teilnemenden-Kohorte, schreiben diese in Ihren Kurs ein und übermitteln Ihnen die Liste der Benutzernamen und Passwörter zur Weitergabe.

Einrichtung einer Fragensammlung

Zunächst sollte eine klar benannte Kategorie unter der Rubrik Fragensammlung eingerichtet werden. Hierhin können bereits erstellte Aufgaben importiert werden oder neu erstellt werden. Hinweise zu den geeigneten Fragenformaten sind hier zu finden: Vorbereitung → Aufgabenformat.

Im Anschluss daran (oder ggf. bereits bei der Erstellung) muss jede Frage mit einem "Tag" (Markierung) versehen werden, das die Einstufung in eine Schwierigkeitskategorie anzeigt. Die Namen dieser "Tags" müssen mit adpq beginnen und nach dem Unterstrich auf eine natürliche Zahl enden, die der Schwierigkeitsstufe entspricht. Bei vorhandenen Fragen kann in der Fragensammlung unter "Bearbeiten" → "Tags verwalten" die Markierung geändert werden, ohne dass dabei eine neue Aufgabenversion entsteht (wie dies beim Ändern des Tags über den Menü-Eintrag mit "Bearbeiten" → "Frage bearbeiten" der Fall ist).

Verwaltung der Plugin-Einstellungen

Während des Erstellens einer Moodle-Aktivität Quiz mit dem Symbol  (anstatt dem gewohnten  ) sind einige notwendige (mit ❗markierte) Einstellungen vorzunehmen:

Nach der Namensgebung für die Testaktivität muss zuallererst eine Fragensammlung ausgewählt werden, aus der der Algorithmus die Fragen ziehen soll. Im Auswahlfenster werden dabei alle Fragenkategorien angeboten, auf die der Nutzer Zugriff hat. Aus diesen ist die gewünscht Kategorie per Mausklick auszuwählen (auch dann, wenn evtl. nur eine einzige vorgeschlagen wird). Es können dabei auch mehrere Kategorien gleichzeitig ausgewählt werden; diese gelten dann als gemeinsame Fragensammlung. Allerdings müssen darin zwingend bereits entsprechend mit Schwierigkeitsstufen markierte Fragen enthalten sein. Wenn dies noch nicht so eingerichtet sein sollte, muss dies zuerst noch erfolgen (siehe Fragensammlung).

Als nächstes muss ausgewählt werden, aus welchem Bereich an Schwierigkeitsstufen die Fragen in diesem Test ausgewählt werden sollen. Hier kann man z.B. äußere Grenzbereiche ausschließen. Außerdem muss das Startniveau bestimmt werden. Wie im Kapitel zur Funktionsweise aufgeführt, empfiehlt es sich, hiermit leicht unterhalb des mittleren Niveaus zu bleiben.

Die nächsten zwei erforderlichen Einstellungen betreffen zum einen den Schwellwert zum Umgang mit Teilpunkten (siehe Vorbereitung → Aufgabenformat). Hier sollte eine Dezimalzahl (> 0) angegeben werden; bei einem Wert von 1 werden ausschließlich vollständig richtige Antworten als korrekt gelöst bewertet.

Zum anderen muss die gewünschte Häufigkeit der Erinnerungsmeldung zur Kontrolle der Frageneinstufung angegeben werden (siehe → Fragenauswertung/Aufgabenanalyse). Der vorausgefüllte Standardwert von 0 unterdrückt jegliches Einblenden. 

Danach kann in einem Textfeld eine allgemeine Rückmeldung zum Testversuch für die Studierenden hinterlegt werden, die nach Abschluss eines jeden Testdurchlaufs angezeigt wird. Hier können Sie sich an einem unserer Textbausteine (Erfahrungen → Begleittexte) orientieren. (An dieser Stelle soll später eine ergebnisabhängige Rückmeldung hinterlegt werden können.)

Die nachfolgenden drei Felder der Einstellungen sollten optional auf "Ja" gesetzt werden, damit werden im Interesse der Studierenden folgende weitere Anzeigen freigeschaltet:

1. Die Studierenden bekommen im Anschluss an jeden Testversuch ihren Lernstand als geschätztes Fähigkeitsmaß angezeigt.
2. Es erscheint ein Anzeigebalken, der Auskunft über die voraussichtliche Anzahl verbleibender Testfragen gibt. Dadurch haben die Teilnehmenden während des Testdurchlaufs einen besseren Überblick über den Umfang des Tests (Zeitmanagement). 
3. Die Studierenden können sich außerdem im Nachgang noch einmal die einzelnen Aufgabenbewertungen ansehen (siehe → Versuchsüberprüfung).     

Die letzten noch notwendigen Eintragungen betreffen die Anhaltebedingungen: 

Bei der Minimalzahl an Fragen kann der Einfachheit halber eine Eins eingetragen werden. Die Maximalzahl an Fragen sollte auf die Größe der Fragensammlung abgestimmt sein, damit der Algorithmus nicht aus Mangel an verfügbaren Fragen vorzeitig terminiert. Der vorausgefüllte Wert des Standardfehlers von 5% ist ein sinnvoller Wert, der jedoch ohnehin erst bei einer größeren Testlänge zum Tragen kommt.

Unter dem Stichwort "Bewertung" kann eine Bestehensgrenze eingetragen werden. Alle weiteren Felder entsprechen im Wesentlichen denen statischer Tests. 

Versuchsbericht und Versuchsüberprüfung

Für jeden Testversuch kann sich die Lehrperson einen Versuchsbericht anzeigen lassen. Diesen erreicht man, wenn man auf die Anzahl der Versuche einer Person klickt und anschließend auf das Lupen-Symbol des gewünschten Versuchs. Der Versuchsbericht besteht aus 4 Reitern:

1. Zusammenfassung des Versuchs: Hier wird neben dem geschätzten Fähigkeitsmaß ("Punktezahl") samt Standardfehler auch die Dauer des Versuchs (hh:mm:ss) angezeigt. Darüber hinaus wird auch noch einmal der Grund für die Beendigung des Versuchs ausgegeben, der wertvolle Hinweise liefern kann, falls die Anzahl der Aufgaben in der Fragensammlung nicht ausreicht: "Es konnte keine Frage mit der Schwierigkeit ... abgerufen werden".
   
   
2. Unter dem Reiter Versuchsgrafik wird eine schön aufbereitete Grafik zum Testverlauf ausgegeben. Hier kann man nachvollziehen, wie anhand der Bewertung der Probandantwort die entsprechenden Niveaustufen der Reihe nach abgerufen wurden (violett). Zudem sieht man das in jedem Schritt berechnete vorläufige Fähigkeitsmaß (weinrot) in dem immer schmaler werdenden Korridor (rosa) des Schätzfehlers. Man kann außerdem erkennen, ob das System auf Fragen ausweichen musste, die nicht in der vom Algorithmus anvisierten Schwierigkeitskategorie (hellblau) lagen. Die zugehörige Datentabelle wird erst durch einen weiteren Klick ("Grafikdaten anzeigen") sichtbar.
   
   
3. Auch der Reiter Antwortverteilung enthält eine grafische Darstellung mit zugehöriger Datentabelle. Hier werden die Anzahl der richtigen und falschen Antworten je Schwierigkeitskategorie dargestellt (wahlweise als gestapelte oder ungestapelte Säulen).
   
   
4. Der letzte Reiter namens Fragendetails enthält eine Auflistung aller Fragen dieses Versuchs zusammen mit der eingereichten Lösung und der erfolgten Bewertung. 
   
   

Auch für die Studierenden haben wir (durch unsere Modifikation des Plugins) eine Versuchsüberprüfung eingerichtet. Diese können jedoch nur den letzten Reiter einsehen, der die Aufgabenbewertungen beinhaltet.

Fragenauswertung und Aufgabenanalyse im Nachgang

Die globale Fragenanalyse, die Moodle in den Spalten der Fragensammlung abbildet (siehe Screenshot), wird durch die adaptiven Testversuche nicht berührt. Diese ist nur bei der Nutzung von Fragen in klassischen Quiz-Aktivitäten eingebunden.

Das Plugin bietet aber eine lokale Fragenauswertung innerhalb von jedem adaptiven Quiz (ähnlich der Test-Strukturanalyse in der Ergebnis-Statistik klassischer Tests, aber in reduzierter Form):

Hier wird zu jeder verwendeten Frage nicht nur ihre Fragenschwierigkeits-Markierung aufgeführt, sondern auch die Anzahl der Nutzungen in dieser Testaktivität.

In der Spalte "% korrekt" wird die Häufigkeit der korrekten Beantwortung (innerhalb dieser Testaktivität) angegeben. Hier sollte sich ab einer bestimmten Anzahl an Nutzungen eine Tendenz hin zu 50% abzeichnen, da der Algorithmus die Fragen vorzugsweise so auswählt, dass er sie denjenigen Testteilnehmern präsentiert, die eine vermutete 50/50-Chance haben, die Aufgabe korrekt zu lösen. Sollte es starke Abweichungen geben, lohnt es sich, die Einstufung der Frage in die Schwierigkeitsniveaus zu überdenken. Wenn sie zu häufig richtig gelöst wurde, gehört sie evtl. eher zu einer niedrigeren Kategorie. Wenn sie hingegen zu selten korrekt gelöst wurde, sollte sie vielleicht besser in eine höhere Kategorie eingestuft werden. Um die fortlaufende Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen zu gewährleisten, haben wir daher eine Benachrichtigungsautomatik eingerichtet, die der Lehrperson die Nutzung dieser durch das Plugin generierten Fragenauswertung empfiehlt. Hierzu sollte in den Einstellungen ein entsprechender Wert gesetzt werden, damit nach einer gewissen Anzahl an Testversuchen automatisch das Erinnerungsfenster eingeblendet wird.

Die angegebene Diskriminierung einer Frage wird (bei ausreichend vielen Testversuchen) aus einem Vergleich der Gruppe der Besten (Fähigkeitsmaß abzgl. Standardfehler > Fragenschwierigkeit) mit der der Schlechtesten (Fähigkeitsmaß zzgl. Standardfehler < Fragenschwierigkeit) als Differenz der Lösungshäufigkeiten in beiden Gruppen berechnet. Sie ist damit eine grobe Näherung für die (unkorrigierte) Trennschärfe der Items. Sie ist bei unseren bisherigen Einsätzen aufgrund der geringen Probandenzahl nicht auswertbar gewesen. Die in diesem Zusammenhang angezeigte übersichtliche Analyse jeder einzelnen Aufgabe kann aber auch schon eher wertvolle Hinweise liefern, ob die Schwierigkeitseinstufung der Aufgaben transitiv angelegt wurde: Wenn eine bestimmte Aufgabe von Testteilnehmern mit einem geschätzten Fähigkeitsmaß oberhalb der dieser Aufgabe zugewiesenen Schwierigkeitsstufe häufig falsch gelöst wurde oder aber umgekehrt eine Aufgabe von Probandinnen mit einem errechneten Fähigkeitsmaß unterhalb der Aufgabenschwierigkeit häufig richtig gelöst wurde, dann ist vermutlich eine Überarbeitung der Aufgabe nötig.