Versions Compared

Old Version 8

changes.mady.by.user Konstanze Mehmedovski

Saved on

compared with

New Version 36

changes.mady.by.user Konstanze Mehmedovski

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Content Layout Macro

Vorüberlegungen zum Einsatz adaptiver Tests

UI Tabs
UI Tabs
UI Tab
titleErfahrungsbericht

Einsatzerfahrungen

Image Removed

  • Nach einer Untersuchung des Plugin-Algorithmus und ausführlichen Praxisprüfung des Funktionalität des Plugins auf dem dazu erstellten KNIGHT-Moodle-Forschungsserver anhand von systematisch erstellten Dummy-Fragen u.a. zur Anzahl der Schwierigkeitsstufen wurde im WiSe22/23 im Rahmen von PGM1 und PGM2 mit einzelne Feldstudien zur Anwendbarkeit und Akzeptanz begonnen. Im darauffolgenden Semester erweiterten wir das Plugin um die Möglichkeit zur flexiblen Verwendung von Fragen mit Teilpunktbewertung (aus vorhandenen Fragensammlungen) und untersuchten unterschiedliche Optionen zur Schwierigkeitseinstufung für Fragen. In Abstimmung mit dem Ethikpaket des Projekts wurde aus Gründen der Qualitätssicherung des weiteren eine automatisierte Benachrichtigung für Administratoren und Lehrkräfte implementiert, welche die Notwendigkeit einer regelmäßig wiederkehrenden Überprüfung der Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen hervorhebt und hierzu die durch das Plugin erstellte Fragenauswertung empfiehlt. Im WiSe23/24 erfolgte mit der Pilotierung in den PVLn von Mathe1 BB/WBI ein erster Transfer innerhalb der HfT mit dem Ziel weitere Erfahrungswerte zu generieren und Studierendenfeedback einzuholen. Mit dem Einverständnis der Studierenden wurden Testverläufe erhoben, Umfragen ausgewertet und Interviews geführt. Infolge des hier geäußerten Bedürfnisses, Rückmeldungen zu falschen Antworten einsehen zu können, wurde das Plugin um eine entsprechende Funktionalität erweitert. Im Rahmen von Mathe1 BB1A wurden dann während des SoSe24 vergleichende Untersuchungen zu adaptive und nicht-adaptiven Übungen als PVL-Vorbereitung durchgeführt. Im Anschluss erfolgte die Erstellung eines Leitfadens zur Nutzung adaptiver Tests in Form dieses Wikis zur Vorbereitung auf einen weiteren Transfer nach außen. 
  • Link zu Publikation Book Chapter
UI Tab
titleEinsatzszenarien

Empfohlene Einsatzszenarien

Image Modified

  • ohne Domänenmanagement → kurze Tests nach Abschluss eines Themenbereichs (inhaltlich relativ homogenen)
    • z.B. als Selbsttests/Übungen

    Wir haben sehr gute Erfahrungen damit gemacht, adaptive Tests als Selbsttests und Übungen zur Vorbereitung auf Prüfungen

    /PVLbesonders geeignet für 

    bzw. Prüfungsvorleistungen einzusetzen.

    Besonders gut eignet sich das adaptive Testformat für formative Tests,

    denn 

    da den Probanden bei mehreren Testversuchen je nach Wissenszuwachs

    werden verschiedene

    unterschiedliche Aufgaben präsentiert werden.

    weniger geeignet für summative Tests

    Für summative Tests würden wir das hier vorliegende Plugin derzeit weniger empfehlen. Der Algorithmus verfügt über keine Möglichkeit sicherzustellen, dass die einem Probanden vorgelegten Aufgaben gut über mehrere inhaltlichen Teilbereiche verteilt sind. Daher ist es sinnvoll, anstatt eines einzigen inhaltsübergreifenden Tests lieber mehrere kürzere Testeinheiten nach Abschluss inhaltlich relativ homogener Teilbereiche zu nutzen.


    UI Tab
    titleItemsAufgabenformat

    Anforderungen an

    Items

    das Aufgabenformat

    Image Modified

    automatisch bewertbar: geschlossenes Format (

    Für die Nutzung von Aufgaben in einem adaptiven Test müssen diese automatisch bewertbar sein. Hierfür eigenen sich alle gängigen Moodle-Fragen im geschlossenen Format, wie z.B. Single Choice, Multiple Selection,

    Lückentext

    Zuordnungsaufgaben o.ä.

    ) oder offenes Format mit CAS-Bewertung
  • d.h. noch keine Kurzantwort oder Texte 
  • Algorithmus benötigt dichotomes Antwortformat (richtig oder falsch), d.h. Aufgaben mit Teilpunkten können nur über Schwellenwert abgebildet werden

    • Darüber hinaus können auch Aufgaben im (halb-)offenen Format genutzt werden, wenn diese beispielsweise über eine CAS-Bewertung wie STACK automatisch ausgewertet werden. Manuell zu bewertende Freitextantworten könnten derzeit noch nicht integriert werden, da noch keine ausreichend gute Textbewertung durch KI zur Verfügung steht.

    Der Algorithmus wertet alle Aufgaben im dichotomen Antwortmuster aus: richtig oder falsch. Aufgaben, für die Teilpunkte vergeben werden sollen, können aber über einen entsprechend justierbaren Schwellenwert abgebildet werden → siehe Aufgabenschwierigkeit. Im Gegensatz zu konventionellen Tests ist keine Wichtung der inhaltlichen Relevanz von

    Items

    Aufgabenstellungen durch eine erhöhte

    Punktzahlen möglich

    Punktzahl möglich.

    Für einen reibungslosen Einsatz ist es erforderlich, auf allen Schwierigkeits-Niveaus eine ausreichende Anzahl von Aufgaben vorzuhalten, auch im oberen und unteren Grenzbereich (siehe Aufgabenschwierigkeit).


    UI Tab
    titleAufgabenschwierigkeit

    Schwierigkeitseinstufung der Aufgaben

    Für jede Aufgaben, die in einem adaptiven Test verwendet werden soll, muss der zugehörige Schwierigkeitsgrad bekannt sein. Hierzu müssen also alle Aufgaben der für den Einsatz geplanten Fragensammlung entsprechend eingestuft werden. Dies bildet einen der beiden Schwerpunkte der Einsatz-Vorbereitung. Zunächst sollten Überlegungen zur Anzahl der Schwierigkeitsstufen erfolgen. Hier haben wir gute Erfahrungen mit ca. 4 Niveaustufen gemacht; eine feinere Einteilung hat sich in den von uns betrachteten Szenarien nicht als notwendig erwiesen. Jede dieser Niveaustufen sollte durch entsprechende Lernziele (Subskills) charakterisiert sein - dies erleichtert später die Interpretation der Ergebnisrückmeldung.

    Die erstellten Aufgaben sollten in ihrer Gesamtheit die aufeinander aufbauenden Kompetenzstufen abbilden, wobei auf jedem Niveau (in Abhängigkeit von der geplanten Testlänge) ausreichend Fragen vorgehalten werden sollten. Die Zuordnung zur jeweiligen Schwierigkeitsstufe sollte dann auch anhand der für die Lösung der Aufgabe erforderlichen Kompetenzen erfolgen

    Schwierigkeitsgrad der Fragen muss bekannt sein und sollte möglichst Kompetenzstufen abbilden (

    und nicht z.B. nur erhöhten Zeitbedarf oder eine (konventionell häufig in Form einer höheren Punktzahl ausgedrückten) stärkeren Relevanz der Aufgabe im Rahmen der Lehrveranstaltung widerspiegeln

    )ausreichende Anzahl von Aufgaben auf allen Niveaus nötig (auch obere und untere Grenzbereiche)

    .

    Für die Einordnung der Aufgaben in die Schwierigkeitsstufen haben wir unterschiedliche Ansätze verfolgt:

    • datengetrieben: Nutzung der aus vorherigen konventionelle Testeinsätzen bekannten Lösungshäufigkeiten als erste Grundlage für die Zuordnung zu Stufen
    • theoriegeleitet:
      • in Anlehnung an die kognitivistische Lerntheorie: Einstufung anhand von Blooms Lernziel-Taxonomie (Wissen, Verstehen, Anwenden, Analyse, Synthese, Evaluation)
      • inspiriert durch die konstruktivistische Lerntheorie: Erstellen von Aufgabenabstufungen mittels Scaffolding, d.h. schrittweise Vereinfachung einer schwierigen Aufgabe durch Hilfestellungen in Form von Anleitungen oder Denkanstößen 

    Da bestehende Aufgabenpools häufig auch Aufgaben enthalten, bei denen Teilpunkte vergeben werden, wurde das Plugin von uns entsprechend für die Nutzung erweitert: Über einen Schwellenwert kann eingestellt werden, ab welchem Prozentsatz an Punkten (z.B. 0.5 oder 0.75 etc.) Teilpunkte-Aufgaben als richtig gelöst bewertet werden sollen. Dieser Schwellenwert muss im Einklang mit den Schwierigkeitsgraden stehen, die den entsprechenden Teilpunkte-Aufgaben zugeteilten werden, kann aber für jede Quiz-Instanz unabhängig neu festgelegt werden.

    Wichtig ist in diesem Zusammenhang die nachträglich Überprüfung der vorgenommenen Frageneinstufung in regelmäßigen Abständen. Hierzu kann die Fragenauswertung des Plugins wertvolle Hinweise liefern, weshalb wir ein entsprechend justierbares Erinnerungs-Popup in die Einstellungen integriert haben.

    UI Tab
    titleRückmeldung

    Interpretation der Rückmeldung des Testergebnisses an die Versuchsperson

    Image Modified

    • Rückmeldung Fähigkeitsniveau vs. klassisches Testergebnis

    • Achtung: Konventionell werden zur Bewertung von Leistungen Prozentsatz und Note verwendet und per Schlüssel (an unterschiedlichen Institutionen nicht identisch, aber ähnlich gehandhabt) ineinander überführt. Tests werden dann bewertet anhand der Frage: Wie viele Aufgaben wurden erfolgreich (oder teilweise) erledigt. Der Begriff der Kompetenzstufe bedeuten hingegen üblicherweise: Die/der Studierende beherrscht die Fertigkeiten dieser Stufe. Hier allerdings bedeutet die Rückmeldung eines Fähigkeitsniveaus: Die/der Studierende hat eine 50/50 Chance, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Daher ist eine verbalisierte Interpretationshilfe für Studierende nötig.
    • zu jedem Fragen-Schwierigkeitsniveau (=Kompetenzniveau?) sollte eine Beschreibung der erforderlichen Fähigkeiten formuliert werden
    • die Bedeutung des rückgemeldeten Fähigkeitsmaßes muss erklärt werden, da es nicht den bekannten Konventionen entspricht: z.B. Studierende von Fähigkeitsniveau 3 können nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen; sie beherrschen dieses Niveau also noch nicht richtig, sondern können/sollten auf diesem Niveau weiterarbeiten
    • derzeit noch nicht im Plugin integriert, sondern separat zu beschreiben
    • Integration in die Ergebnisrückmeldung des Plugins ist in Bearbeitung und Feedback dazu, wie dies bestmöglich gestaltet sein könnte, ist ausdrücklich erwünscht