Versions Compared

Old Version 38

changes.mady.by.user Konstanze Mehmedovski

Saved on

compared with

New Version 39

changes.mady.by.user Konstanze Mehmedovski

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

UI Tabs
UI Tab
titleInstallation

Download und Installation des Plugins

Download von

Das von uns mit mehreren Erweiterungen versehene Plugin wird demnächst im Transfer-Gitlab der HfT Stuttgart zum Download bereitgestellt: https://transfer.hft-stuttgart.de/gitlab/knight/adaptivetests

standardmäßige Installation des Plugin

. Es basiert auf dem Moodle-Plugin "Adaptive Quiz: CAT (Computer-Adaptive Testing) implementation for Moodle" https://moodle.org/plugins/mod_adaptivequiz.

Die Installation erfolgt standardmäßig durch den Moodle-Admin

..

als zip-Datei.

(Issue #37 auf Github bei

Bei Nutzung der Rolle "Trainer/in ohne Bearbeitungsrecht" sollten anschließend die folgende Rechte ergänzt werden (vgl. gemeldeten Issue #37 auf Github - sollte aber demnächst behoben sein): 

Image Added 

UI Tab
titleFragensammlung

Einrichtung einer Fragensammlung

Image Added

  • Kategorie unter Fragensammlung einrichten
  • Fragen erstellen (mit "Tag")
  • geeignete Fragenformate siehe Einsatz → Aufgabenformat
  • "Tags" bei vorhandenen Fragen hinzufügen ("Tags verwalten")
UI Tab
titleEinstellungen

Verwaltung der Plugin-Einstellungen

Image Removed


Erstellen

Image AddedWährend des Erstellens einer Moodle-Aktivität Quiz mit

 

dem SymbolImage Modified (anstatt dem gewohnten Image Modified)

sind einige notwendige Einstellungen

...
  • ...
  • optionale Einstellungen ...
    • ...

    • vorzunehmen:

    Außer der Namensgebung muss zuallererst eine Fragensammlung ausgewählt werden. Diese muss bereits entsprechend mit Schwierigkeitsstufen markierte Fragen enthalten. Wenn diese noch nicht eingerichtet sein sollte, muss dies zuerst noch erfolgen (siehe Fragensammlung).

    Als nächstes muss ausgewählt werden, aus welchem Bereich an Schwierigkeitsstufen die Fragen in diesem Test ausgewählt werden sollen. Hier kann man also äußere Grenzbereiche ausschließen. Außerdem muss das Startniveau bestimmt werden. Wie im Kapitel zur Funktionsweise aufgeführt, empfiehlt es sich, hiermit leicht unterhalb des mittleren Niveaus zu bleiben.


    Die nächsten zwei erforderlichen Einstellungen betreffen zum einen den Schwellwert

    unsere neu hinzugefügten EinstellungenEinstellung des Schwellwertes

    zum Umgang mit Teilpunkten (

    inhaltliche Überlegungen dazu

    siehe Einsatz

    -> Aufgabenformat
  • Studierenden-Review → siehe Versuchsüberprüfung
  • Überarbeitungs-Erinnerung → siehe Aufgabenanalyse
    • UI Tab
    titleFragensammlung

    → Aufgabenformat). Hier sollte eine Dezimalzahl > 0 angegeben werden; bei einem Wert von 1 werden ausschließlich vollständig richtige Antworten als korrekt gelöst bewertet. Zum anderen muss die gewünschte Häufigkeit der Erinnerungsmeldung zur Kontrolle der Frageneinstufung angegeben werden (siehe → Fragenauswertung/Aufgabenanalyse). Der vorausgefüllte Standardwert von 0 unterdrückt jegliches Einblenden. 

    Image Added 

    Danach kann in einem Textfeld eine allgemeine Rückmeldung zum Testversuch für die Studierenden hinterlegt werden, die nach Abschluss eines jeden Testdurchlaufs angezeigt wird. (An dieser Stelle soll später eine ergebnisabhängige Rückmeldung hinterlegt werden können.)

    Die nachfolgenden drei Felder der Einstellungen sollten optional auf "Ja" gesetzt werden, damit 

    1. die Studierenden im Anschluss an einen Testversuch ihren Lernstand als geschätztes Fähigkeitsmaß angezeigt bekommen,
    2. sie (für ihr Zeitmanagement) während des Testdurchlaufs einen besseren Überblick über den Umfang des Tests erhalten und 
    3. sie sich außerdem im Nachgang noch einmal die Aufgabenbewertung ansehen können (siehe → Versuchsüberprüfung).     

    Image Added

    Die letzten noch notwendigen Eintragungen betreffen die Anhaltebedingungen. Bei der Minimalzahl an Fragen kann der Einfachheit halber eine Eins eingetragen werden. Die Maximalzahl an Fragen sollte auf die Größe der Fragensammlung abgestimmt sein, damit der Algorithmus nicht aus Mangel an verfügbaren Fragen vorzeitig terminiert. Der vorausgefüllte Wert des Standardfehlers von 5% ist ein sinnvoller Wert, der jedoch ohnehin erst bei einer größeren Testlänge zum Tragen kommt.

    Image Added

    Unter dem Stichwort "Bewertung" kann eine Bestehensgrenze eingetragen werden. Alle weiteren Felder entsprechen im Wesentlichen denen statischer Tests. 

    Einrichtung einer Fragensammlung

    Image Removed

  • Kategorie unter Fragensammlung einrichten
  • Fragen erstellen (mit "Tag")
  • geeignete Fragenformate siehe Einsatz → Aufgabenformat
    • "Tags" bei vorhandenen Fragen hinzufügen ("Tags verwalten")


    UI Tab
    titleVersuchsüberprüfung

    Versuchsbericht und Versuchsüberprüfung

    • 4 Tabs ...
    • Interpretation Verlaufsgrafik ...
    • Ansicht für Studierende
    UI Tab
    titleFragenauswertung

    Fragenauswertung und Aufgabenanalyse im Nachgang

    • Achtung: Die globale Fragenanalyse, die Moodle in den Spalten der Fragensammlung abbildet (siehe Screenshot), wird durch die adaptiven Testversuche nicht berührt. Diese ist nur bei der Nutzung von Fragen in klassischen Quiz-Aktivitäten eingebunden.

    • Das Plugin bietet aber eine lokale Fragenauswertung innerhalb von jedem adaptiven Quiz (ähnlich der Test-Strukturanalyse in der Ergebnis-Statistik klassischer Tests, aber in reduzierter Form):

     

    • Anzahl Nutzungen: klar
    • % korrekt → sollte (ab einer bestimmten Anzahl an Nutzungen) um 50% liegen, da Algorithmus Fragen mit vermuteter 50/50-Chance auswählt
    • Diskriminierung: ...
    • "Flag" zur Erinnerung: Um die fortlaufende Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen zu gewährleisten, wird die Nutzung der durch das Plugin generierten Fragenauswertung empfohlen.