Phasen-Modell der Implementierung

Image Added

Anforderungen an das Aufgabenformat

Für die Nutzung von Aufgaben in einem adaptiven Test müssen diese automatisch bewertbar sein. Hierfür eigenen sich alle gängigen Moodle-Fragen im geschlossenen Format, wie z.B. Single Choice, Multiple Selection, Zuordnungsaufgaben o.ä. Darüber hinaus können auch Aufgaben im (halb-)offenen Format genutzt werden, wenn diese beispielsweise über eine CAS-Bewertung wie STACK automatisch ausgewertet werden. Manuell zu bewertende Freitextantworten könnten derzeit noch nicht integriert werden, da noch keine ausreichend gute Textbewertung durch KI zur Verfügung steht.

Der Algorithmus wertet alle Aufgaben im dichotomen Antwortmuster aus: richtig oder falsch. Aufgaben, für die Teilpunkte vergeben werden sollen, können aber über einen entsprechend justierbaren Schwellenwert abgebildet werden → siehe Aufgabenschwierigkeit. Im Gegensatz zu konventionellen Tests ist keine Wichtung der inhaltlichen Relevanz von Aufgabenstellungen durch eine erhöhte Punktzahl möglich.

Für einen reibungslosen Einsatz ist es erforderlich, auf allen Schwierigkeits-Niveaus eine ausreichende Anzahl von Aufgaben vorzuhalten, auch im oberen und unteren Grenzbereich (siehe Aufgabenschwierigkeit).

Schwierigkeitseinstufung der Aufgaben

Für jede Aufgaben, die in einem adaptiven Test verwendet werden soll, muss der zugehörige Schwierigkeitsgrad bekannt sein. Hierzu müssen also alle Aufgaben der für den Einsatz geplanten Fragensammlung entsprechend eingestuft werden. Dies bildet einen der beiden Schwerpunkte der Einsatz-Vorbereitung. Zunächst sollten Überlegungen zur Anzahl der Schwierigkeitsstufen erfolgen. Hier haben wir gute Erfahrungen mit ca. 4-5 Niveaustufen gemacht; eine feinere Einteilung hat sich in den von uns betrachteten Szenarien nicht als notwendig erwiesen. Jede dieser Niveaustufen sollte durch entsprechende Lernziele (Subskills) charakterisiert sein - dies erleichtert später die Interpretation der Ergebnisrückmeldung.

Die erstellten Aufgaben sollten in ihrer Gesamtheit die aufeinander aufbauenden Kompetenzstufen abbilden, wobei auf jedem Niveau (insbesondere auch auf dem Minimal- und dem Maximal-Niveau) ausreichend Fragen vorgehalten werden sollten. Die notwendige Anzahl an Fragen ist dabei natürlich von der geplanten Testlänge abhängig: Bei uns waren für eine Testlänge von 8-15 Fragen in jedem Niveau 7-10 Fragen ausreichend. Die Zuordnung zur jeweiligen Schwierigkeitsstufe sollte anhand der für die Lösung der Aufgabe erforderlichen Kompetenzen erfolgen und nicht z.B. nur erhöhten Zeitbedarf oder eine (konventionell häufig in Form einer höheren Punktzahl ausgedrückte) stärkere Relevanz der Aufgabe im Rahmen der Lehrveranstaltung widerspiegeln.

Für die Einordnung der Aufgaben in die Schwierigkeitsstufen haben wir unterschiedliche Möglichkeiten ausgelotet. Zunächst wurde untersucht, ob sich die Schwierigkeit von Multiple-Choice-Aufgaben automatisiert mit Hilfe von maschinellem Lernen (ML) bestimmen lässt. Dazu wurden zwei Ansätze verfolgt: das Fine-Tuning großer Sprachmodelle (LLM) und der Einsatz klassischer ML-Algorithmen basierend auf Aufgaben- und Texteigenschaften. Aufgrund der starken Abhängigkeit der Aufgabenschwierigkeit vom Lehrkontext blieben die Ergebnisse jedoch unzureichend. Wir empfehlen daher folgendes Vorgehen:

Wenn es sich um bereits vorhandene Aufgabensätze handelt, die jetzt in einem adaptiven Szenario eingesetzt werden sollen, können die aus vorherigen konventionelle Testeinsätzen bekannten Lösungshäufigkeiten als erste Grundlage für die Zuordnung zu Stufen genutzt werden. Wenn jedoch keine Nutzungsstatistiken vorliegen, ist eine datenbasierte Einordnung daher nicht möglich ist. In diesem Fall haben wir für die Anpassung von Altaufgaben an Schwierigkeitsniveaus auf theoriegeleitete Ansätze zurückgegriffen. Inspiriert durch die konstruktivistische Lerntheorie, kann man Aufgabenabstufungen mittels Scaffolding erstellen, d.h. der schrittweise Vereinfachung einer schwierigen Aufgabe durch Hilfestellungen in Form von Anleitungen oder Denkanstößen. Mit dem selben Ansatz kann man auch direkt Aufgaben neu erstellen. Bei der Neuerstellung von Aufgaben empfehlen wir in Anlehnung an die kognitivistische Lerntheorie die Ausrichtung anhand von Blooms Lernziel-Taxonomie (Wissen, Verstehen, Anwenden, Analyse, Synthese, Evaluation). 

Da bestehende Aufgabenpools häufig auch Aufgaben enthalten, bei denen Teilpunkte vergeben werden, wurde das Plugin von uns entsprechend für die Nutzung erweitert: Über einen Schwellenwert kann eingestellt werden, ab welchem Prozentsatz an Punkten (z.B. 0.5 oder 0.75 etc.) Teilpunkte-Aufgaben als richtig gelöst bewertet werden sollen. Dieser Schwellenwert muss im Einklang mit den Schwierigkeitsgraden stehen, die den entsprechenden Teilpunkte-Aufgaben zugeteilten werden, kann aber für jede Quiz-Instanz unabhängig neu festgelegt werden.

Wichtig ist in diesem Zusammenhang die nachträglich Überprüfung der vorgenommenen Frageneinstufung in regelmäßigen Abständen. Hierzu kann die Fragenauswertung des Plugins wertvolle Hinweise liefern, weshalb wir ein entsprechend justierbares Erinnerungs-Popup in die Einstellungen integriert haben.

Interpretation der Rückmeldung des Testergebnisses an die Versuchsperson

Konventionell wird zur Bewertung von Leistungen häufig eine Notenangabe verwendet (z.B. Note 1 bis 5), die sich meist durch einen festen Umrechnungsschlüssel aus dem Prozentsatz an richtig gelösten Aufgaben ergibt. Diese Umrechnung wird an unterschiedlichen Institutionen nicht identisch, aber doch ähnlich gehandhabt. Herkömmliche Tests werden also bewertet anhand der Frage, wie viele Aufgaben erfolgreich (oder teilweise) erledigt wurden. Da die Studierenden bei adaptiven Tests in Abhängigkeit von ihrer abgerufenen Leistung Aufgaben unterschiedlicher Schwierigkeit vorgelegt bekommen, ist eine derartige Angabe als Testergebnis ungeeignet.

Ein adaptiver Test liefert daher als Testergebnis eine andere Größe, und zwar eine Schätzung des Fähigkeitsniveaus des Probanden (einschließlich Schätzfehler), was einer Interpretation bedarf: 

Wenn bei der Schwierigkeitseinstufung der Aufgaben wie empfohlen jeweils Niveaubeschreibungen für die erforderlichen Fähigkeiten (Lernziele) angelegt wurden, können diese als anzustrebende Kompetenzstufen verstanden werden. Allerdings ist hierbei folgendes zu beachten: Wenn Studierende als Testergebnis ein bestimmtes Fähigkeitsmaß zurück gemeldet bekommen haben, dann ist dies nicht gleichbedeutend damit, dass sie die zugehörige Kompetenzstufe bereits gemeistert haben. Die Rückmeldung eines Fähigkeitsniveaus bedeutet, dass die/der Studierende eine 50/50 Chance hat, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Bei der Interpretation des automatisch berechneten Fähigkeitsniveaus gilt also, dass die/der Studierende die Fertigkeiten der zugehörigen Kompetenzstufe noch nicht vollständig beherrscht. Studierende von Fähigkeitsniveau 3 können beispielsweise also nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen. Sie beherrschen dieses Niveau also noch nicht richtig, sondern befinden sich mit diesem sozusagen auf Augenhöhe und können/sollten an Aufgaben des Niveaus 3 weiterarbeiten.

Dieser Unterschied zwischen dem gemessenen Fähigkeitsniveau und den angestrebten Kompetenzstufen ist zum einen bei der Festlegen einer etwaigen Bestehensgrenze zu berücksichtigen. Vor allem aber benötigen auch die Studierenden eine verbalisierte Interpretationshilfe, die ihnen die Bedeutung des rückgemeldeten Fähigkeitsmaßes erklärt, da es nicht den ihnen bekannten Konventionen entspricht.

Ursprünglich lieferte das Moodle-Plugin als Testergebnis lediglich die Höhe des berechneten Fähigkeitsmaßes als Dezimalzahl, was für einen selbst gesteuerten Lernprozess keinesfalls ausreichend ist. Die im Rahmen des Projekts neu entwickelte Plugin-Erweiterung stellt den Test-Teilnehmern hingegen direkt im Anschluss an jeden Quiz-Versuch eine automatisch generierte Feedback-Seite zur Interpretation ihres rückgemeldeten Fähigkeitsniveaus zur Verfügung. 

Diese dynamische Rückmeldung besteht aus mehreren Bausteinen, die in Abhängigkeit vom Testergebnis jeweils entsprechend befüllt werden:

1. Verbalisierte Einbettung des Zahlenwertes

Der Algorithmus hat (mit einer gewissen Schätzunsicherheit) ermittelt, dass Ihre Leistung in diesem Test auf einer Skala von [Minimalniveau] (Grundkenntnisse) bis [Maximalniveau] (Fortgeschritten) einem Fähigkeitsniveau von etwa [Fähigkeitsschätzung] entspricht. Diese Einschätzung zeigt Ihre bereits vorhandenen Kompetenzen und bietet eine gute Grundlage für weiteres Wachstum.

2. Erläuterung der algorithmischen Bewertung

Anhand Ihres Antwortverhaltens innerhalb eines Testlaufs lernt der Algorithmus Schritt für Schritt, Ihr Potenzial für die Beantwortung künftiger Fragen besser einzuschätzen. Ein attestiertes Fähigkeitsniveaus von ungefähr [Fähigkeitsschätzung] bedeutet, dass Ihre Chancen, Fragen des Schwierigkeitsgrades [floor_Fähigkeitsschätzung] richtig zu lösen, höher als 50/50 sind. Bei Fragen der Schwierigkeitsstufe [ceiling_Fähigkeitsschätzung] ist die Wahrscheinlichkeit einer richtigen Antwort jedoch geringer. 

3. Dynamische Kompetenzstufenanzeige 

In Abhängigkeit davon, ob das Ergebnis nahe bei einem bestimmten Schwierigkeitsniveau liegt oder eher zwischen zwei verschiedenen Niveaus, werden den Testpersonen die Beschreibungen der 2 oder 3 nächstgelegenen Schwierigkeitsniveaus eingeblendet. Hierfür werden die von den Lehrpersonen optional erstellten Kompetenzbeschreibungen (Subskills) eingebunden. 

Feed-back: Sie haben bereits gute Kompetenzen in den folgenden Bereichen gezeigt: [Kompetenz-Beschreibung des unmittelbar unterhalb der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus]

Feed-forward: Sie sind dabei, Ihre Fähigkeiten in den folgenden Bereichen weiter zu verfeinern: [Kompetenz-Beschreibung des nahe der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus]

Feed-up: Ihr nächster Schritt sollte darin bestehen, die folgenden Fähigkeiten gezielt weiterzuentwickeln: [Kompetenz-Beschreibung des unmittelbar oberhalb der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus]

4. Rückmeldung zur Bestehensgrenze

Wenn im Quiz ein empfohlenes Bestehensniveau eingegeben wurde, wird auch dies in die Auswertung einbezogen:

Um den Kurs erfolgreich zu absolvieren, wird erwartet, dass Studierende nicht nur mit einem bestimmten Schwierigkeitsniveau gleichauf sind, sondern dieses auch weitgehend beherrschen. Die Mindestanforderung für das Bestehen des Tests ist daher ein geschätztes Fähigkeitsmaß von [Bestehensgrenze].

Mit einem geschätzten Fähigkeitsniveau von [Fähigkeitsschätzung] haben Sie diesen Versuch erfolgreich bestanden. Herzlichen Glückwunsch!

bzw. Mit einem geschätzten Fähigkeitsniveau von [Fähigkeitsschätzung] haben Sie diesen Versuch leider noch nicht bestanden.

5. Wertschätzende Ermutigung zum Weiterlernen

Sie sind auf einem guten Weg. Versuchen Sie, in einem weiteren Durchgang ihr Ergebnis zu verbessern!