Page History

Image AddedMoodle-Icon für adaptive AktivitätDownload und Installation des Plugins

Image Removed

Das von uns mit mehreren Erweiterungen versehene Plugin wird demnächst (derzeit noch in Version für Moodle 4.1) im Transfer-Gitlab der HfT Stuttgart zum Download bereitgestellt: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests. Es basiert auf dem Moodle-Plugin "Adaptive Quiz: CAT (Computer-Adaptive Testing) implementation for Moodle" https://moodle.org/plugins/mod_adaptivequiz und wurde (bzw. wird) aufgrund unserer Projekterfahrungen aber zusätzlich mit den folgenden Erweiterungen ausgestattet:

•  durch Lehrperson einstellbarer Schwellwert, wie Aufgaben mit Teilpunktbewertung vom Algorithmus zu behandeln sind 
•  Erinnerungsmeldung zur regelmäßigen Kontrolle der Schwierigkeitseinstufung der Aufgaben durch die Lehrperson (Frequenz einstellbar)
•  Möglichkeit für Studierende, ihr Quiz einschließlich aller Aufgabenbewertungen im Nachgang einzusehen
•  Ausgabe einer erweiterten dynamisch konzipierten Rückmeldung über das Quiz-Ergebnis auf Basis der von den Lehrpersonen eingegebenen Beschreibungen der Aufgabenschwierigkeitsniveaus
•  wahlweise Anzeige des Schwierigkeitsniveaus bei jeder Aufgabe für die Studierenden
•  wahlweise sofortige Ausgabe der Aufgabenbewertung im laufenden Quiz

Die Installation erfolgt standardmäßig durch den Moodle-Admin als zip-Datei.

Bei Nutzung der Rolle "Trainer/in ohne Bearbeitungsrecht" sollten anschließend die folgende Rechte ergänzt werden: 

Webseite-Administration → Nutzer/innen → Rechte → Rollen verwalten  

Auf unserem KNIGHT-Moodle-Server (https://moodle.knight.hft-stuttgart.de) haben wir das erweiterte Plugin bereits installiert und können Ihnen gern einen Kurs einrichten, wenn Sie adaptive Tests einsetzen möchten. Die Nutzung unseres Moodle durch Studierende erfolgt mit einem pseudonymisierten Login. Wir erstellen eine entsprechende Teilnemenden-Kohorte, schreiben diese in Ihren Kurs ein und übermitteln Ihnen die Liste der Benutzernamen und Passwörter zur Weitergabe.

Unterstützende allgemeine Hinweise zur Nutzung von Moodle befinden sich im HfT-Wiki (Erstellung von Aktivitäten, Einrichtung einer Fragensammlung etc.) oder auch in den offiziellen Moodle-Docs (Einführung für Trainer, Anleitung für Trainer, Fragentypen und Fragenverwaltung).(vgl. Issue #37 auf Github - sollte demnächst behoben sein)

Image Added Einrichtung einer Fragensammlung

Image Removed

Zunächst sollte eine klar benannte Kategorie unter der Rubrik Fragensammlung eingerichtet werden. Hierhin können bereits erstellte Aufgaben importiert werden oder neu erstellt werden. Hinweise zu den geeigneten Fragenformaten sind hier zu finden:Einsatz  Vorbereitung → Aufgabenformat.

Im Anschluss daran (oder ggf. bereits bei der Erstellung) muss jede Frage mit einem "Tag" (Markierung) versehen werden, das die Einstufung in eine Schwierigkeitskategorie anzeigt. Die Namen dieser "Tags" (Markierungen) müssen mit mit adpq beginnen und nach dem Unterstrich auf eine natürliche Zahl enden, die der Schwierigkeitsstufe entspricht. Bei vorhandenen Fragen kann in der Fragensammlung unter "Bearbeiten" → "Tags verwalten" die Markierung geändert werden, ohne dass dabei eine neue Aufgabenversion entsteht (wie dies beim Bearbeiten der Aufgabe über Ändern des Tags über den Menü-Eintrag mit "Bearbeiten" → "Frage bearbeiten" der Fall ist).

Verwaltung der Plugin-Einstellungen

Image RemovedWährend des Erstellens einer Moodle-Aktivität Quiz mit dem Symbol  (anstatt dem gewohnten  ) sind einige notwendige Einstellungen vorzunehmen:Außer der Namensgebung muss zuallererst eine Fragensammlung ausgewählt werden. Diese muss . Pflichtfelder sind hierbei mit einem ❗ gekennzeichnet; die anderen Felder können im ersten Durchgang auch erst einmal ignoriert werden.

1. Image AddedNach der Namensgebung für die Testaktivität muss zuallererst eine Fragensammlung ausgewählt werden, aus der der Algorithmus die Fragen ziehen soll. Im Auswahlfenster werden dabei alle Fragenkategorien angeboten, auf die der Nutzer Zugriff hat. Aus diesen ist die gewünscht Kategorie per Mausklick auszuwählen (auch dann, wenn evtl. nur eine einzige vorgeschlagen wird). Es können dabei auch mehrere Kategorien gleichzeitig ausgewählt werden; diese gelten dann als gemeinsame Fragensammlung. Allerdings müssen darin zwingend bereits entsprechend mit Schwierigkeitsstufen markierte Fragen enthalten sein. Wenn

1. dies noch nicht so eingerichtet sein sollte, muss dies zuerst noch erfolgen (siehe Fragensammlung).
   
   
2. Als nächstes muss ausgewählt werden, aus welchem Bereich

1. an Schwierigkeitsstufen die Fragen in diesem Test ausgewählt werden sollen. Hier kann man z.B. äußere Grenzbereiche ausschließen. Außerdem muss das Startniveau bestimmt werden. Wie im Kapitel zur Funktionsweise aufgeführt, empfiehlt es sich, hiermit leicht unterhalb des mittleren Niveaus zu bleiben.
   

Image Removed

1. 
   
2. Die nächsten zwei erforderlichen Einstellungen betreffen zum einen den Schwellwert zum Umgang mit Teilpunkten (

1. siehe Vorbereitung → Aufgabenformat). Hier sollte eine Dezimalzahl (

1. wie z.B. 0.6) angegeben werden. Bei einem Wert von 0 stuft der Algorithmus jede Aufgabe, die zu einem beliebigen Bruchteil richtig beantwortet wurde, als korrekt gelöst ein. Bei einem Wert von 1 werden ausschließlich vollständig richtige Antworten als korrekt gelöst bewertet. Vorsicht ist hier geboten, wenn man Multiple Choice-Aufgaben einstellt mit beispielsweise 3 anzukreuzenden Antwortoptionen, die je 33.3% der Punkte liefern. Obwohl Moodle standardmäßig die Aufgabe als richtig wertet, wenn alle 3 Optionen angekreuzt werde, liegt die Gesamtpunktzahl strenggenommen dann immer noch nur bei 99.9%, so dass es besser ist, anstelle von 1.0 einen Schwellwert von 0.99 einzustellen, auch wenn man nur vollständig richtig gelöste Aufgaben als korrekt bewerten möchte.
   
   
2. Zum anderen muss die gewünschte Häufigkeit

1. der Erinnerungsmeldung zur Kontrolle der Frageneinstufung angegeben werden (siehe → Fragenauswertung/Aufgabenanalyse). Der vorausgefüllte Standardwert von 0 unterdrückt jegliches Einblenden.

1. 
   
2. Darunter kann in einem Textfeld eine allgemeine Rückmeldung zum Testversuch für die Studierenden hinterlegt werden

Image Removed

1. . Diese wird standardmäßig nur einmalig nach jedem Quiz-Versuch angezeigt.
   
   
2. Die nachfolgend aufgeführten drei Auswahlfelder sind standardmäßig auf "Ja" gesetzt

1. ,

1. wodurch im Interesse der Studierenden folgende weitere Anzeigen freigeschaltet werden:
   1. Die Studierenden bekommen im Anschluss an jeden Testversuch ihren Lernstand als geschätztes Fähigkeitsmaß angezeigt und können die Seite mit dem dynamisch generierten Feedback (siehe unten) aufrufen.
   2. Es erscheint ein Anzeigebalken, der Auskunft über die voraussichtliche Anzahl verbleibender Testfragen gibt. Dadurch haben die Teilnehmenden während des Testdurchlaufs einen besseren Überblick über den Umfang des Tests (Zeitmanagement). 
   3. Die Studierenden können sich außerdem im Nachgang auch noch einmal die
   einzelnen
   1. einzelnen Aufgabenbewertungen ansehen (siehe
   →
   1. → Versuchsüberprüfung).     
      
      
2. Die letzten noch notwendigen Eintragungen betreffen die Anhaltebedingungen: 

Image Removed

1. 
   Bei der Minimalzahl an Fragen kann der Einfachheit halber eine Eins eingetragen werden. Die Maximalzahl an Fragen sollte auf die Größe der Fragensammlung abgestimmt sein, damit der Algorithmus nicht aus Mangel an verfügbaren Fragen vorzeitig terminiert. Der vorausgefüllte Wert des Standardfehlers von 5% ist ein sinnvoller Wert, der jedoch ohnehin erst bei einer größeren Testlänge zum Tragen kommt.
   
   
2. Im darauffolgenden aufklappbaren Abschnitt "Kompetenz-Beschreibungen" können für jede verwendete Schwierigkeitsstufe Beschreibungen jener Fähigkeiten und Kompetenzen hinterlegt werden, die für das Beantworten von Fragen aus dieser Niveaustufe erforderlich sind bzw. mit dem Lösen entsprechender Aufgaben trainiert werden. Um den Testteilnehmenden nicht nur Rückmeldung zum erreichten Fähigkeitsniveau (Feedback), sondern auch Hinweise auf das nächsthöhere Zielniveau (Feedforward bzw. Feed-up) geben zu können, empfehlen wir, diese Felder sorgfältig und möglichst vollständig auszufüllen. Basierend auf dem Quiz-Ergebnisses werden dann daraus passende Beschreibungen für den jeweiligen Testteilnehmer ausgewählt und auf der automatisch generierten Feedback-Seite angezeigt.
   
   
3. Unter dem Stichwort "Bewertung" kann eine Bestehensgrenze eingetragen werden, die ebenfalls in das dynamisch generierte Feedback einbezogen wird. 

Alle weiteren Felder entsprechen im Wesentlichen denen konventioneller statischer Tests.  457px

Versuchsbericht und Versuchsüberprüfung

Für jeden Testversuch kann sich die Lehrperson einen Versuchsbericht anzeigen lassen. Diesen erreicht man, wenn man auf die Anzahl der Versuche einer Person klickt und anschließend auf das Lupen-Symbol des gewünschten Versuchs. Der Versuchsbericht besteht aus 4 Reitern:

1. Zusammenfassung des Versuchs: Hier wird neben dem geschätzten Fähigkeitsmaß ("Punktezahl") samt Standardfehler auch die Dauer des Versuchs (hh:mm:ss) angezeigt. Darüber hinaus wird auch noch einmal der Grund für die Beendigung des Versuchs ausgegeben, der wertvolle Hinweise liefern kann, falls die Anzahl der Aufgaben in der Fragensammlung nicht ausreicht: "Es konnte keine Frage mit der Schwierigkeit ... abgerufen werden".
   
   
2. Unter dem Reiter Versuchsgrafik wird eine schön aufbereitete Grafik zum Testverlauf ausgegeben. Hier kann man nachvollziehen, wie anhand der Bewertung der Probandantwort die entsprechenden Niveaustufen der Reihe nach abgerufen wurden (violett). Zudem sieht man das in jedem Schritt berechnete vorläufige Fähigkeitsmaß (weinrot) in dem immer schmaler werdenden Korridor (rosa) des Schätzfehlers. Man kann außerdem erkennen, ob das System auf Fragen ausweichen musste, die nicht in der vom Algorithmus anvisierten Schwierigkeitskategorie (hellblau) lagen. Die zugehörige Datentabelle wird erst durch einen weiteren Klick ("Grafikdaten anzeigen") sichtbar.
   
   
3. Auch der Reiter Antwortverteilung enthält eine grafische Darstellung mit zugehöriger Datentabelle. Hier werden die Anzahl der richtigen und falschen Antworten je Schwierigkeitskategorie dargestellt (wahlweise als gestapelte oder ungestapelte Säulen).
   
   
4. Der letzte Reiter namens Fragendetails enthält eine Auflistung aller Fragen dieses Versuchs zusammen mit der eingereichten Lösung und der erfolgten Bewertung. 
   
   

Auch für die Studierenden haben wir (durch unsere Modifikation des Plugins) eine Versuchsüberprüfung eingerichtet. Diese können jedoch nur den letzten Reiter einsehen, der die Aufgabenbewertungen beinhaltet.

Fragenauswertung und Aufgabenanalyse im Nachgang

Die globale Fragenanalyse, die Moodle in den Spalten der Fragensammlung abbildet (siehe Screenshot), wird durch die adaptiven Testversuche nicht berührt. Diese ist nur bei der Nutzung von Fragen in klassischen Quiz-Aktivitäten eingebunden.

Das Plugin bietet aber eine lokale Fragenauswertung innerhalb von jedem adaptiven Quiz (ähnlich der Test-Strukturanalyse in der Ergebnis-Statistik klassischer Tests, aber in reduzierter Form):

 Hier wird zu jeder verwendeten Frage nicht nur ihre Fragenschwierigkeits Fragenschwierigkeits-Markierung aufgeführt, sondern auch die Anzahl der Nutzungen in dieser Testaktivität.

Image Added

In der Spalte "% korrekt" wird die Häufigkeit der korrekten Beantwortung (innerhalb dieser Testaktivität) angegeben. Hier sollte sich ab einer bestimmten Anzahl an Nutzungen eine Tendenz hin zu 50% abzeichnen, da der Algorithmus die Fragen vorzugsweise so auswählt, dass er sie denjenigen Testteilnehmern präsentiert, die eine vermutete 50/50-Chance haben, die Aufgabe korrekt zu lösen. Sollte es starke Abweichungen geben, lohnt es sich, die Einstufung der Frage in die Schwierigkeitsniveaus zu überdenken. Wenn sie zu häufig richtig gelöst wurde, gehört sie evtl. eher zu einer niedrigeren Kategorie. Wenn sie hingegen zu selten korrekt gelöst wurde, sollte sie vielleicht besser in eine höhere Kategorie eingestuft werden. Wenn die Schwierigkeit einer Aufgabe dem eingestellten Startniveau (siehe Einstellungen) entspricht, ist die Beurteilung etwas schwieriger, da bei einem gehäuften Aufruf als Startfrage die Lösungshäufigkeit hier evtl. in Abhängigkeit von der gesamten Leistungsfähigkeit der teilnehmenden Kohorte verzerrt sein kann.
Um die fortlaufende Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen zu gewährleisten,

haben wir daher eine Benachrichtigungsautomatik eingerichtet, die der Lehrperson die Nutzung dieser durch das Plugin generierten Fragenauswertung

empfiehlt. Hierzu sollte in den Einstellungen ein entsprechender Wert gesetzt werden, damit nach einer gewissen Anzahl an Testversuchen automatisch

das Erinnerungsfenster eingeblendet wird.

Die angegebene Diskriminierung einer Frage wird (bei ausreichend vielen Testversuchen) aus einem Vergleich der Gruppe der Besten (Fähigkeitsmaß abzgl. Standardfehler > Fragenschwierigkeit) mit der der Schlechtesten (Fähigkeitsmaß zzgl. Standardfehler < Fragenschwierigkeit) als Differenz der Lösungshäufigkeiten in beiden Gruppen berechnet. Sie ist damit eine grobe Näherung für die (unkorrigierte) Trennschärfe und überschätzt die echte Trennschärfe der Items. Sie ist bei unseren bisherigen Einsätzen aufgrund der geringen Probandenzahl nicht auswertbar gewesen. Die in diesem Zusammenhang angezeigte übersichtliche Analyse jeder einzelnen Aufgabe kann aber auch schon eher wertvolle Hinweise liefern, ob die Schwierigkeitseinstufung der Aufgaben transitiv angelegt wurde: Wenn eine bestimmte Aufgabe von Testteilnehmern mit einem geschätzten Fähigkeitsmaß oberhalb der dieser Aufgabe zugewiesenen Schwierigkeitsstufe häufig falsch gelöst wurde oder aber umgekehrt eine Aufgabe von Probandinnen mit einem errechneten Fähigkeitsmaß unterhalb der Aufgabenschwierigkeit häufig richtig gelöst wurde, dann ist vermutlich eine Überarbeitung der Aufgabe nötig.