Versions Compared

Old Version 38

changes.mady.by.user Konstanze Mehmedovski

Saved on

compared with

New Version 100

changes.mady.by.user Konstanze Mehmedovski

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

UI Tabs
UI Tab
titleInstallation

Image AddedDownload und Installation des Plugins

Image Removed


Download von

Das von uns mit mehreren Erweiterungen versehene Plugin wird (derzeit noch in Version für Moodle 4.1) im Transfer-Gitlab der HfT Stuttgart zum Download bereitgestellt: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests

. Es basiert auf dem Moodle-Plugin "Adaptive Quiz: CAT (Computer-Adaptive Testing) implementation for Moodle" https://moodle.org/plugins/mod_adaptivequiz und wurde (bzw. wird) aufgrund unserer Projekterfahrungen aber zusätzlich mit den folgenden Erweiterungen ausgestattet:

  •  
  •  Erinnerungsmeldung zur regelmäßigen Kontrolle der Schwierigkeitseinstufung der Aufgaben durch die Lehrperson (Frequenz einstellbar)
  •  
  •  
  •  wahlweise Anzeige des Schwierigkeitsniveaus bei jeder Aufgabe für die Studierenden
  •  

Die Installation erfolgt standardmäßig durch den Moodle-Admin als zip-Datei.

Auf unserem KNIGHT-Moodle-Server (https://moodle.knight.hft-stuttgart.de) haben wir das erweiterte Plugin bereits installiert und können Ihnen gern einen Kurs einrichten, wenn Sie adaptive Tests einsetzen möchten. Die Nutzung unseres Moodle durch Studierende erfolgt mit einem pseudonymisierten Login. Wir erstellen eine entsprechende Teilnemenden-Kohorte, schreiben diese in Ihren Kurs ein und übermitteln Ihnen die Liste der Benutzernamen und Passwörter zur Weitergabe.

Unterstützende allgemeine Hinweise zur Nutzung von Moodle befinden sich im HfT-Wiki (Erstellung von Aktivitäten, Einrichtung einer Fragensammlung etc.) oder auch in den offiziellen Moodle-Docs (Einführung für Trainer, Anleitung für Trainer, Fragentypen und Fragenverwaltung).

UI Tab
titleFragensammlung

Image Added Einrichtung einer Fragensammlung


Zunächst sollte eine klar benannte Kategorie unter der Rubrik Fragensammlung eingerichtet werden. Hierhin können bereits erstellte Aufgaben importiert werden oder neu erstellt werden. Hinweise zu den geeigneten Fragenformaten sind hier zu finden: Vorbereitung → Aufgabenformat.

Im Anschluss daran (oder ggf. bereits bei der Erstellung) muss jede Frage mit einem "Tag" (Markierung) versehen werden, das die Einstufung in eine Schwierigkeitskategorie anzeigt. Die Namen dieser "Tags" müssen mit adpq beginnen und nach dem Unterstrich auf eine natürliche Zahl enden, die der Schwierigkeitsstufe entspricht. Bei vorhandenen Fragen kann in der Fragensammlung unter "Bearbeiten" → "Tags verwalten" die Markierung geändert werden, ohne dass dabei eine neue Aufgabenversion entsteht (wie dies beim Ändern des Tags über den Menü-Eintrag mit "Bearbeiten" → "Frage bearbeiten" der Fall ist).

  • standardmäßige Installation des Plugin durch den Moodle-Admin ...
    • (Issue #37 auf Github bei Nutzung der Rolle "Trainer/in ohne Bearbeitungsrecht" - sollte aber demnächst behoben sein)

    UI Tab
    titleEinstellungen

    Verwaltung der Plugin-Einstellungen

    Image Removed



    Erstellen

    Während des Erstellens einer Moodle-Aktivität Quiz mit

     

    dem Symbol Image Modified  (anstatt dem gewohnten  Image Modified )

  • notwendige Einstellungen ...
    • ...
  • optionale Einstellungen ...
    • ...
  • unsere neu hinzugefügten Einstellungen
    • UI Tab
    titleFragensammlung

    sind einige Einstellungen vorzunehmen. Pflichtfelder sind hierbei mit einem ❗ gekennzeichnet; die anderen Felder können im ersten Durchgang auch erst einmal ignoriert werden.

    1. Image AddedNach der Namensgebung für die Testaktivität muss zuallererst eine Fragensammlung ausgewählt werden, aus der der Algorithmus die Fragen ziehen soll. Im Auswahlfenster werden dabei alle Fragenkategorien angeboten, auf die der Nutzer Zugriff hat. Aus diesen ist die gewünscht Kategorie per Mausklick auszuwählen (auch dann, wenn evtl. nur eine einzige vorgeschlagen wird). Es können dabei auch mehrere Kategorien gleichzeitig ausgewählt werden; diese gelten dann als gemeinsame Fragensammlung. Allerdings müssen darin zwingend bereits entsprechend mit Schwierigkeitsstufen markierte Fragen enthalten sein. Wenn dies noch nicht so eingerichtet sein sollte, muss dies zuerst noch erfolgen (siehe Fragensammlung).

    2. Als nächstes muss ausgewählt werden, aus welchem Bereich an Schwierigkeitsstufen die Fragen in diesem Test ausgewählt werden sollen. Hier kann man z.B. äußere Grenzbereiche ausschließen. Außerdem muss das Startniveau bestimmt werden. Wie im Kapitel zur Funktionsweise aufgeführt, empfiehlt es sich, hiermit leicht unterhalb des mittleren Niveaus zu bleiben.

    3. Die nächsten zwei erforderlichen Einstellungen betreffen zum einen den Schwellwert zum Umgang mit Teilpunkten (siehe Vorbereitung → Aufgabenformat). Hier sollte eine Dezimalzahl (wie z.B. 0.6) angegeben werden. Bei einem Wert von 0 stuft der Algorithmus jede Aufgabe, die zu einem beliebigen Bruchteil richtig beantwortet wurde, als korrekt gelöst ein. Bei einem Wert von 1 werden ausschließlich vollständig richtige Antworten als korrekt gelöst bewertet. Vorsicht ist hier geboten, wenn man Multiple Choice-Aufgaben einstellt mit beispielsweise 3 anzukreuzenden Antwortoptionen, die je 33.3% der Punkte liefern. Obwohl Moodle standardmäßig die Aufgabe als richtig wertet, wenn alle 3 Optionen angekreuzt werde, liegt die Gesamtpunktzahl strenggenommen dann immer noch nur bei 99.9%, so dass es besser ist, anstelle von 1.0 einen Schwellwert von 0.99 einzustellen, auch wenn man nur vollständig richtig gelöste Aufgaben als korrekt bewerten möchte.

    4. Zum anderen muss die gewünschte Häufigkeit der Erinnerungsmeldung zur Kontrolle der Frageneinstufung angegeben werden (siehe → Fragenauswertung/Aufgabenanalyse). Der vorausgefüllte Standardwert von 0 unterdrückt jegliches Einblenden.

    5. Darunter kann in einem Textfeld eine allgemeine Rückmeldung zum Testversuch für die Studierenden hinterlegt werden. Diese wird standardmäßig nur einmalig nach jedem Quiz-Versuch angezeigt.

    6. Die nachfolgend aufgeführten drei Auswahlfelder sind standardmäßig auf "Ja" gesetzt, wodurch im Interesse der Studierenden folgende weitere Anzeigen freigeschaltet werden:
      1. Die Studierenden bekommen im Anschluss an jeden Testversuch ihren Lernstand als geschätztes Fähigkeitsmaß angezeigt und können die Seite mit dem dynamisch generierten Feedback (siehe unten) aufrufen.
      2. Es erscheint ein Anzeigebalken, der Auskunft über die voraussichtliche Anzahl verbleibender Testfragen gibt. Dadurch haben die Teilnehmenden während des Testdurchlaufs einen besseren Überblick über den Umfang des Tests (Zeitmanagement). 
      3. Die Studierenden können sich außerdem im Nachgang auch noch einmal die einzelnen Aufgabenbewertungen ansehen (siehe → Versuchsüberprüfung).     

    7. Die letzten noch notwendigen Eintragungen betreffen die Anhaltebedingungen: 
      Bei der Minimalzahl an Fragen kann der Einfachheit halber eine Eins eingetragen werden. Die Maximalzahl an Fragen sollte auf die Größe der Fragensammlung abgestimmt sein, damit der Algorithmus nicht aus Mangel an verfügbaren Fragen vorzeitig terminiert. Der vorausgefüllte Wert des Standardfehlers von 5% ist ein sinnvoller Wert, der jedoch ohnehin erst bei einer größeren Testlänge zum Tragen kommt.

    8. Im darauffolgenden aufklappbaren Abschnitt "Kompetenz-Beschreibungen" können für jede verwendete Schwierigkeitsstufe Beschreibungen jener Fähigkeiten und Kompetenzen hinterlegt werden, die für das Beantworten von Fragen aus dieser Niveaustufe erforderlich sind bzw. mit dem Lösen entsprechender Aufgaben trainiert werden. Um den Testteilnehmenden nicht nur Rückmeldung zum erreichten Fähigkeitsniveau (Feedback), sondern auch Hinweise auf das nächsthöhere Zielniveau (Feedforward bzw. Feed-up) geben zu können, empfehlen wir, diese Felder sorgfältig und möglichst vollständig auszufüllen. Basierend auf dem Quiz-Ergebnisses werden dann daraus passende Beschreibungen für den jeweiligen Testteilnehmer ausgewählt und auf der automatisch generierten Feedback-Seite angezeigt.

    9. Unter dem Stichwort "Bewertung" kann eine Bestehensgrenze eingetragen werden, die ebenfalls in das dynamisch generierte Feedback einbezogen wird. 

    Alle weiteren Felder entsprechen im Wesentlichen denen konventioneller statischer Tests. 457px

    Einrichtung einer Fragensammlung

    Image Removed

  • Kategorie unter Fragensammlung einrichten
  • Fragen erstellen (mit "Tag")
  • geeignete Fragenformate siehe Einsatz → Aufgabenformat
    • "Tags" bei vorhandenen Fragen hinzufügen ("Tags verwalten")

    UI Tab
    titleVersuchsüberprüfung

    Versuchsbericht und Versuchsüberprüfung

    Image Removed

  • 4 Tabs ...
  • Interpretation Verlaufsgrafik ...
    • Ansicht für Studierende


    Für jeden Testversuch kann sich die Lehrperson einen Versuchsbericht anzeigen lassen. Diesen erreicht man, wenn man auf die Anzahl der Versuche einer Person klickt und anschließend auf das Lupen-Symbol des gewünschten Versuchs. Der Versuchsbericht besteht aus 4 Reitern:

    Image Added

    1. Zusammenfassung des Versuchs: Hier wird neben dem geschätzten Fähigkeitsmaß ("Punktezahl") samt Standardfehler auch die Dauer des Versuchs (hh:mm:ss) angezeigt. Darüber hinaus wird auch noch einmal der Grund für die Beendigung des Versuchs ausgegeben, der wertvolle Hinweise liefern kann, falls die Anzahl der Aufgaben in der Fragensammlung nicht ausreicht: "Es konnte keine Frage mit der Schwierigkeit ... abgerufen werden".

    2. Unter dem Reiter Versuchsgrafik wird eine schön aufbereitete Grafik zum Testverlauf ausgegeben. Hier kann man nachvollziehen, wie anhand der Bewertung der Probandantwort die entsprechenden Niveaustufen der Reihe nach abgerufen wurden (violett). Zudem sieht man das in jedem Schritt berechnete vorläufige Fähigkeitsmaß (weinrot) in dem immer schmaler werdenden Korridor (rosa) des Schätzfehlers. Man kann außerdem erkennen, ob das System auf Fragen ausweichen musste, die nicht in der vom Algorithmus anvisierten Schwierigkeitskategorie (hellblau) lagen. Die zugehörige Datentabelle wird erst durch einen weiteren Klick ("Grafikdaten anzeigen") sichtbar.

    3. Image AddedAuch der Reiter Antwortverteilung enthält eine grafische Darstellung mit zugehöriger Datentabelle. Hier werden die Anzahl der richtigen und falschen Antworten je Schwierigkeitskategorie dargestellt (wahlweise als gestapelte oder ungestapelte Säulen).

    4. Der letzte Reiter namens Fragendetails enthält eine Auflistung aller Fragen dieses Versuchs zusammen mit der eingereichten Lösung und der erfolgten Bewertung. 

    Auch für die Studierenden haben wir (durch unsere Modifikation des Plugins) eine Versuchsüberprüfung eingerichtet. Diese können jedoch nur den letzten Reiter einsehen, der die Aufgabenbewertungen beinhaltet.

    UI Tab
    titleFragenauswertung

    Image AddedFragenauswertung und Aufgabenanalyse im Nachgang

    Achtung: Die

    Die globale Fragenanalyse, die Moodle in den Spalten der Fragensammlung abbildet (siehe Screenshot), wird durch die adaptiven Testversuche nicht berührt. Diese ist nur bei der Nutzung von Fragen in klassischen Quiz-Aktivitäten eingebunden.

    Image Removed


    Das Plugin bietet aber eine lokale Fragenauswertung innerhalb von jedem adaptiven Quiz (ähnlich der Test-Strukturanalyse in der Ergebnis-Statistik klassischer Tests, aber in reduzierter Form):

    Image Modified 

  • Anzahl Nutzungen: klar

    • Hier wird zu jeder verwendeten Frage nicht nur ihre Fragenschwierigkeits-Markierung (Spalte 2) aufgeführt, sondern auch die Anzahl der Nutzungen in dieser Testaktivität (Spalte 3).

    Image Added

    In der Spalte 4 (% korrekt) wird die Häufigkeit der korrekten Beantwortung (innerhalb dieser Testaktivität) angegeben. Hier sollte sich

    % korrekt → sollte (

    ab einer bestimmten Anzahl an Nutzungen

    ) um 50% liegen

    eine Tendenz hin zu 50% abzeichnen, da der Algorithmus

    Fragen mit vermuteter

    die Fragen vorzugsweise so auswählt, dass er sie denjenigen Testteilnehmern präsentiert, die eine vermutete 50/50-Chance

    auswählt
  • Diskriminierung: ...
    • "Flag" zur Erinnerung:

    haben, die Aufgabe korrekt zu lösen. Sollte es starke Abweichungen geben, lohnt es sich, die Einstufung der Frage in die Schwierigkeitsniveaus zu überdenken. Wenn sie zu häufig richtig gelöst wurde, gehört sie evtl. eher zu einer niedrigeren Kategorie. Wenn sie hingegen zu selten korrekt gelöst wurde, sollte sie vielleicht besser in eine höhere Kategorie eingestuft werden. Wenn die Schwierigkeit einer Aufgabe dem eingestellten Startniveau (siehe Einstellungen) entspricht, ist die Beurteilung etwas schwieriger, da bei einem gehäuften Aufruf als Startfrage die Lösungshäufigkeit hier evtl. in Abhängigkeit von der gesamten Leistungsfähigkeit der teilnehmenden Kohorte verzerrt sein kann.
    Um die fortlaufende Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen zu gewährleisten,

    wird

    haben wir daher eine Benachrichtigungsautomatik eingerichtet, die der Lehrperson die Nutzung

    der

    dieser durch das Plugin generierten Fragenauswertung

    empfohlen.

    empfiehlt. Hierzu sollte in den Einstellungen ein entsprechender Wert gesetzt werden, damit nach einer gewissen Anzahl an Testversuchen automatisch das Erinnerungsfenster eingeblendet wird.

    Die in der Spalte 5 angegebene Diskriminierung einer Frage wird (bei ausreichend vielen Testversuchen) aus einem Vergleich der Gruppe der Besten (Fähigkeitsmaß abzgl. Standardfehler > Fragenschwierigkeit) mit der der Schlechtesten (Fähigkeitsmaß zzgl. Standardfehler < Fragenschwierigkeit) als Differenz der Lösungshäufigkeiten in beiden Gruppen berechnet. Sie ist damit eine grobe Näherung für die (unkorrigierte) Trennschärfe der Items. Sie ist bei unseren bisherigen Einsätzen aufgrund der geringen Probandenzahl nicht auswertbar gewesen. Die in diesem Zusammenhang angezeigte übersichtliche Analyse jeder einzelnen Aufgabe kann aber auch schon eher wertvolle Hinweise liefern, ob die Schwierigkeitseinstufung der Aufgaben transitiv angelegt wurde: Wenn eine bestimmte Aufgabe von Testteilnehmern mit einem geschätzten Fähigkeitsmaß oberhalb der dieser Aufgabe zugewiesenen Schwierigkeitsstufe häufig falsch gelöst wurde oder aber umgekehrt eine Aufgabe von Probandinnen mit einem errechneten Fähigkeitsmaß unterhalb der Aufgabenschwierigkeit häufig richtig gelöst wurde, dann ist vermutlich eine Überarbeitung der Aufgabe nötig.