Interpretation der Rückmeldung des Testergebnisses an die Versuchsperson
Konventionell wird zur Bewertung von Leistungen häufig eine Notenangabe verwendet (z.B. Note 1 bis 5), die sich meist durch einen festen Umrechnungsschlüssel aus dem Prozentsatz an richtig gelösten Aufgaben ergibt. Diese Umrechnung wird an unterschiedlichen Institutionen nicht identisch, aber doch ähnlich gehandhabt. Herkömmliche Tests werden also bewertet anhand der Frage, wie viele Aufgaben erfolgreich (oder teilweise) erledigt wurden. Da die Studierenden bei adaptiven Tests in Abhängigkeit von ihrer abgerufenen Leistung Aufgaben unterschiedlicher Schwierigkeit vorgelegt bekommen, ist eine derartige Angabe als Testergebnis ungeeignet. Ein adaptiver Test liefert daher als Testergebnis eine andere Größe, und zwar eine Schätzung des Fähigkeitsniveaus des Probanden (einschließlich Schätzfehler), was einer Interpretation bedarf: Wenn bei der Schwierigkeitseinstufung der Aufgaben wie empfohlen jeweils Niveaubeschreibungen für die erforderlichen Fähigkeiten (Lernziele) angelegt wurden, können diese als anzustrebende Kompetenzstufen verstanden werden. Allerdings ist hierbei folgendes zu beachten: Wenn Studierende als Testergebnis ein bestimmtes Fähigkeitsmaß zurück gemeldet bekommen haben, dann ist dies nicht gleichbedeutend damit, dass sie die zugehörige Kompetenzstufe bereits gemeistert haben. Die Rückmeldung eines Fähigkeitsniveaus bedeutet, dass die/der Studierende eine 50/50 Chance hat, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Bei der Interpretation des automatisch berechneten Fähigkeitsniveaus gilt also, dass die/der Studierende die Fertigkeiten der zugehörigen Kompetenzstufe noch nicht vollständig beherrscht. Studierende von Fähigkeitsniveau 3 können beispielsweise also nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen. Sie beherrschen dieses Niveau also noch nicht richtig, sondern befinden sich mit diesem sozusagen auf Augenhöhe und können/sollten an Aufgaben des Niveaus 3 weiterarbeiten. Dieser Unterschied zwischen dem gemessenen Fähigkeitsniveau und den angestrebten Kompetenzstufen ist zum einen bei der Festlegen einer etwaigen Bestehensgrenze zu berücksichtigen. Vor allem aber benötigen auch die Studierenden eine verbalisierte Interpretationshilfe, die ihnen die Bedeutung des rückgemeldeten Fähigkeitsmaßes erklärt, da es nicht den ihnen bekannten Konventionen entspricht. Ursprünglich lieferte das Moodle-Plugin als Testergebnis lediglich die Höhe des berechneten Fähigkeitsmaßes als Dezimalzahl, was für einen selbst gesteuerten Lernprozess keinesfalls ausreichend ist. Die im Rahmen des Projekts neu entwickelte Plugin-Erweiterung stellt den Test-Teilnehmern hingegen direkt im Anschluss an jeden Quiz-Versuch eine automatisch generierte Feedback-Seite zur Interpretation ihres rückgemeldeten Fähigkeitsniveaus zur Verfügung. Diese dynamische Rückmeldung besteht aus mehreren Bausteinen, die in Abhängigkeit vom Testergebnis jeweils entsprechend befüllt werden: 1. Verbalisierte Einbettung des ZahlenwertesDer Algorithmus hat (mit einer gewissen Schätzunsicherheit) ermittelt, dass Ihre Leistung in diesem Test auf einer Skala von [Minimalniveau] (Grundkenntnisse) bis [Maximalniveau] (Fortgeschritten) einem Fähigkeitsniveau von etwa [Fähigkeitsschätzung] entspricht. Diese Einschätzung zeigt Ihre bereits vorhandenen Kompetenzen und bietet eine gute Grundlage für weiteres Wachstum.
2. Erläuterung der algorithmischen BewertungAnhand Ihres Antwortverhaltens innerhalb eines Testlaufs lernt der Algorithmus Schritt für Schritt, Ihr Potenzial für die Beantwortung künftiger Fragen besser einzuschätzen. Ein attestiertes Fähigkeitsniveaus von ungefähr [Fähigkeitsschätzung] bedeutet, dass Ihre Chancen, Fragen des Schwierigkeitsgrades [floor_Fähigkeitsschätzung] richtig zu lösen, höher als 50/50 sind. Bei Fragen der Schwierigkeitsstufe [ceiling_Fähigkeitsschätzung] ist die Wahrscheinlichkeit einer richtigen Antwort jedoch geringer.
3. Dynamische Kompetenzstufenanzeige In Abhängigkeit davon, ob das Ergebnis nahe bei einem bestimmten Schwierigkeitsniveau liegt oder eher zwischen zwei verschiedenen Niveaus, werden den Testpersonen die Beschreibungen der 2 oder 3 nächstgelegenen Schwierigkeitsniveaus eingeblendet. Hierfür werden die von den Lehrpersonen optional erstellten Kompetenzbeschreibungen (Subskills) eingebunden. Feed-back: Sie haben bereits gute Kompetenzen in den folgenden Bereichen gezeigt: [Kompetenz-Beschreibung des unmittelbar unterhalb der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus] Feed-forward: Sie sind dabei, Ihre Fähigkeiten in den folgenden Bereichen weiter zu verfeinern: [Kompetenz-Beschreibung des nahe der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus] Feed-up: Ihr nächster Schritt sollte darin bestehen, die folgenden Fähigkeiten gezielt weiterzuentwickeln: [Kompetenz-Beschreibung des unmittelbar oberhalb der Fähigkeitsschätzung liegenden Schwierigkeitsniveaus]
4. Rückmeldung zur BestehensgrenzeWenn im Quiz ein empfohlenes Bestehensniveau eingegeben wurde, wird auch dies in die Auswertung einbezogen: Um den Kurs erfolgreich zu absolvieren, wird erwartet, dass Studierende nicht nur mit einem bestimmten Schwierigkeitsniveau gleichauf sind, sondern dieses auch weitgehend beherrschen. Die Mindestanforderung für das Bestehen des Tests ist daher ein geschätztes Fähigkeitsmaß von [Bestehensgrenze]. Mit einem geschätzten Fähigkeitsniveau von [Fähigkeitsschätzung] haben Sie diesen Versuch erfolgreich bestanden. Herzlichen Glückwunsch! bzw. Mit einem geschätzten Fähigkeitsniveau von [Fähigkeitsschätzung] haben Sie diesen Versuch leider noch nicht bestanden.
5. Wertschätzende Ermutigung zum WeiterlernenSie sind auf einem guten Weg. Versuchen Sie, in einem weiteren Durchgang ihr Ergebnis zu verbessern!
| 
