Erfahrungsberichte über den Einsatz adaptiver Tests

Kurzbericht

Nach einer Untersuchung des Plugin-Algorithmus und ausführlichen Praxisprüfung des Funktionalität der aktuellen Version des Plugins auf dem dazu erstellten KNIGHT-Moodle-Forschungsserver anhand von systematisch erstellten Dummy-Fragen u.a. zur Anzahl der Schwierigkeitsstufen wurde im Wintersemester 2022/23 im Rahmen von PGM1 und PGM2 mit einzelnen Feldstudien zur Anwendbarkeit und Akzeptanz begonnen.

Im darauffolgenden Semester erweiterten wir das Plugin um die Möglichkeit zur flexiblen Verwendung von Fragen mit Teilpunktbewertung (aus vorhandenen Fragensammlungen) und untersuchten unterschiedliche Optionen zur Schwierigkeitseinstufung für Fragen.

In Abstimmung mit dem Ethikpaket des Projekts wurde aus Gründen der Qualitätssicherung des weiteren im Plugin eine automatisierte Benachrichtigung für Administratoren und Lehrkräfte implementiert. Diese Funktion dient dazu, regelmäßig an die Überprüfung der initialen Kategorisierung der Fragen in unterschiedliche Schwierigkeitsniveaus zu erinnern. Gemeinsam mit dem Plugin-Entwickler wurde in Github an der Behebung vorhandener Issues gearbeitet und so auch die Rolle "Trainer/in ohne Bearbeitungsrecht" mit den entsprechenden Befugnissen versehen.

Im Wintersemester 2023/24 erfolgte mit der Pilotierung in den Prüfungsvorleistungen der Lehrveranstaltung "Mathematik 1" für Studierende des ersten Semesters der Studiengänge Bauingenieurwesen und Wirtschaftsingenieurwesen ein erster Transfer innerhalb der Hochschule mit dem Ziel weitere Erfahrungswerte zu generieren und Studierendenfeedback einzuholen. Mit dem Einverständnis der Studentinnen und Studenten wurden die Testverläufe erhoben, mehrere Umfragen ausgewertet und Einzel-Interviews geführt. Infolge des hier geäußerten Bedürfnisses, Rückmeldungen zu falschen Antworten einsehen zu können, wurde das Plugin um eine entsprechende Funktionalität erweitert.

Im darauffolgenden Sommersemester 2024 wurden im Rahmen der gleichen Lehrerveranstaltung (Mathematik 1) mit einer Teilkohorte der neuen Studierenden vergleichende Untersuchungen zu adaptive und nicht-adaptiven Übungen als Vorbereitung auf die Prüfungsvorleistungen durchgeführt. Im Anschluss erfolgte die Erstellung dieses Leitfadens zur Nutzung adaptiver Tests als Vorbereitung auf einen weiteren Transfer nach außen. 

Buchkapitel in Book Project: Technology and the University of the Future

Anonymous access

The survey tool does not support anonymous access. Please log in to be able to vote.


Write a comment…