Download und Installation des Plugins

Das von uns mit mehreren Erweiterungen versehene Plugin wird demnächst im Transfer-Gitlab der HfT Stuttgart zum Download bereitgestellt: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests. Es basiert auf dem Moodle-Plugin "Adaptive Quiz: CAT (Computer-Adaptive Testing) implementation for Moodle" https://moodle.org/plugins/mod_adaptivequiz.

Die Installation erfolgt standardmäßig durch den Moodle-Admin als zip-Datei.

Bei Nutzung der Rolle "Trainer/in ohne Bearbeitungsrecht" sollten anschließend die folgende Rechte ergänzt werden (vgl. gemeldeten Issue #37 auf Github - sollte aber demnächst behoben sein): 

Einrichtung einer Fragensammlung

• Kategorie unter Fragensammlung einrichten
• Fragen erstellen (mit "Tag")
• geeignete Fragenformate siehe Einsatz → Aufgabenformat
• "Tags" bei vorhandenen Fragen hinzufügen ("Tags verwalten")

Verwaltung der Plugin-Einstellungen

Während des Erstellens einer Moodle-Aktivität Quiz mit dem Symbol (anstatt dem gewohnten ) sind einige notwendige Einstellungen vorzunehmen:

Außer der Namensgebung muss zuallererst eine Fragensammlung ausgewählt werden. Diese muss bereits entsprechend mit Schwierigkeitsstufen markierte Fragen enthalten. Wenn diese noch nicht eingerichtet sein sollte, muss dies zuerst noch erfolgen (siehe Fragensammlung).

Als nächstes muss ausgewählt werden, aus welchem Bereich an Schwierigkeitsstufen die Fragen in diesem Test ausgewählt werden sollen. Hier kann man z.B. äußere Grenzbereiche ausschließen. Außerdem muss das Startniveau bestimmt werden. Wie im Kapitel zur Funktionsweise aufgeführt, empfiehlt es sich, hiermit leicht unterhalb des mittleren Niveaus zu bleiben.

Die nächsten zwei erforderlichen Einstellungen betreffen zum einen den Schwellwert zum Umgang mit Teilpunkten (siehe Einsatz → Aufgabenformat). Hier sollte eine Dezimalzahl (> 0) angegeben werden; bei einem Wert von 1 werden ausschließlich vollständig richtige Antworten als korrekt gelöst bewertet.

Zum anderen muss die gewünschte Häufigkeit der Erinnerungsmeldung zur Kontrolle der Frageneinstufung angegeben werden (siehe → Fragenauswertung/Aufgabenanalyse). Der vorausgefüllte Standardwert von 0 unterdrückt jegliches Einblenden. 

Danach kann in einem Textfeld eine allgemeine Rückmeldung zum Testversuch für die Studierenden hinterlegt werden, die nach Abschluss eines jeden Testdurchlaufs angezeigt wird. (An dieser Stelle soll später eine ergebnisabhängige Rückmeldung hinterlegt werden können.)

Die nachfolgenden drei Felder der Einstellungen sollten optional auf "Ja" gesetzt werden, damit werden im Interesse der Studierenden folgende weitere Anzeigen freigeschaltet:

1. Die Studierenden bekommen im Anschluss an jeden Testversuch ihren Lernstand als geschätztes Fähigkeitsmaß angezeigt.
2. Es erscheint ein Anzeigebalken, der Auskunft über die voraussichtliche Anzahl verbleibender Testfragen gibt. Dadurch haben die Teilnehmenden während des Testdurchlaufs einen besseren Überblick über den Umfang des Tests (Zeitmanagement). 
3. Die Studierenden können sich außerdem im Nachgang noch einmal die einzelnen Aufgabenbewertungen ansehen (siehe → Versuchsüberprüfung).     

Die letzten noch notwendigen Eintragungen betreffen die Anhaltebedingungen: 

Bei der Minimalzahl an Fragen kann der Einfachheit halber eine Eins eingetragen werden. Die Maximalzahl an Fragen sollte auf die Größe der Fragensammlung abgestimmt sein, damit der Algorithmus nicht aus Mangel an verfügbaren Fragen vorzeitig terminiert. Der vorausgefüllte Wert des Standardfehlers von 5% ist ein sinnvoller Wert, der jedoch ohnehin erst bei einer größeren Testlänge zum Tragen kommt.

Unter dem Stichwort "Bewertung" kann eine Bestehensgrenze eingetragen werden. Alle weiteren Felder entsprechen im Wesentlichen denen statischer Tests. 

Versuchsbericht und Versuchsüberprüfung

• 4 Tabs ...
• Interpretation Verlaufsgrafik ...
• Ansicht für Studierende

Fragenauswertung und Aufgabenanalyse im Nachgang

• Achtung: Die globale Fragenanalyse, die Moodle in den Spalten der Fragensammlung abbildet (siehe Screenshot), wird durch die adaptiven Testversuche nicht berührt. Diese ist nur bei der Nutzung von Fragen in klassischen Quiz-Aktivitäten eingebunden.

• Das Plugin bietet aber eine lokale Fragenauswertung innerhalb von jedem adaptiven Quiz (ähnlich der Test-Strukturanalyse in der Ergebnis-Statistik klassischer Tests, aber in reduzierter Form):

• Anzahl Nutzungen: klar
• % korrekt → sollte (ab einer bestimmten Anzahl an Nutzungen) um 50% liegen, da Algorithmus Fragen mit vermuteter 50/50-Chance auswählt
• Diskriminierung: ...
• "Flag" zur Erinnerung: Um die fortlaufende Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen zu gewährleisten, wird die Nutzung der durch das Plugin generierten Fragenauswertung empfohlen.