Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Content Layout Macro

Erfahrungsberichte über den Einsatz adaptiver Tests

UI Tabs
UI Tab
titleErfahrungsberichtProjektbericht
Projektbericht

Kurzbericht

Image Removed

Image Added

Nach einer Untersuchung des Plugin-Algorithmus und ausführlichen Praxisprüfung des Funktionalität der aktuellen Version des Plugins auf dem dazu erstellten KNIGHT-Moodle-Forschungsserver anhand von systematisch erstellten Dummy-Fragen u.a. zur Anzahl der Schwierigkeitsstufen wurde im

WiSe22

Wintersemester 2022/23 im Rahmen von PGM1 und PGM2 mit

einzelne

einzelnen Feldstudien zur Anwendbarkeit und Akzeptanz begonnen.

Im darauffolgenden Semester erweiterten wir das Plugin um die Möglichkeit zur flexiblen Verwendung von Fragen mit Teilpunktbewertung (aus vorhandenen Fragensammlungen) und untersuchten unterschiedliche Optionen zur Schwierigkeitseinstufung für Fragen.

In Abstimmung mit dem Ethikpaket des Projekts wurde aus Gründen der Qualitätssicherung des weiteren im Plugin eine automatisierte Benachrichtigung für Administratoren und Lehrkräfte implementiert

, welche die Notwendigkeit einer regelmäßig wiederkehrenden Überprüfung der Gültigkeit der Einordnung der Fragen in die Schwierigkeitsstufen hervorhebt und hierzu die durch das Plugin erstellte Fragenauswertung empfiehlt.

. Diese Funktion dient dazu, regelmäßig an die Überprüfung der initialen Kategorisierung der Fragen in unterschiedliche Schwierigkeitsniveaus zu erinnern. Gemeinsam mit dem Plugin-Entwickler wurde in Github an der Behebung vorhandener Issues gearbeitet und so auch die Rolle "Trainer/in ohne Bearbeitungsrecht" mit den entsprechenden Befugnissen versehen.

Im Wintersemester 2023

Im WiSe23

/24 erfolgte mit der Pilotierung in den

PVLn von Mathe1 BB/WBI

Prüfungsvorleistungen der Lehrveranstaltung "Mathematik 1" für Studierende des ersten Semesters der Studiengänge Bauingenieurwesen und Wirtschaftsingenieurwesen ein erster Transfer innerhalb der

HfT

Hochschule mit dem Ziel weitere Erfahrungswerte zu generieren und Studierendenfeedback einzuholen.

Mit dem Einverständnis der

Studierenden

Studentinnen und Studenten wurden die Testverläufe erhoben, mehrere Umfragen ausgewertet und Einzel-Interviews geführt. Infolge des hier geäußerten Bedürfnisses, Rückmeldungen zu falschen Antworten einsehen zu können, wurde das Plugin um eine entsprechende Funktionalität erweitert.

Im Rahmen von Mathe1 BB1A wurden dann während des SoSe24

Im Sommersemester 2024 wurden im Rahmen der gleichen Lehrerveranstaltung (Mathematik 1) mit einer Teilkohorte der neuen Studierenden vergleichende Untersuchungen zu adaptive und nicht-adaptiven Übungen als

PVL-

Vorbereitung auf die Prüfungsvorleistungen durchgeführt. Im Anschluss erfolgte die Erstellung

eines

dieses Leitfadens zur Nutzung adaptiver Tests

in Form dieses Wikis zur Vorbereitung auf einen weiteren Transfer nach außen. 

. In diesem Zusammenhang wurden auch die notwendigen Rechte der "Trainer/in ohne Bearbeitungsrecht" passend ergänzt (vgl. unseren Issue #37 beim Original-Plugin auf Github - dies sollte ab der nächsten Version auch im HfT-Moodle so integriert sein).

Für das anstehende Wintersemester ist ein weiterer Transfer innerhalb der HfT Stuttgart an andere Studienbereiche und Fakultäten sowie auch nach außerhalb der Hochschule geplant. Hieraus erhoffen wir uns weiteres Feedback zur Verbesserung der Nutzererfahrung.

UI Tab
titlePublikation

Buchkapitel in Book Project: Technology and the University of the Future

Image Added

Pado, U., Knebusch, A., Mehmedovski, K. (2024). Computer-Based Methods for Adaptive Teaching and Learning. In: Uriel R. Cukierman, Michael Auer, Eduardo Vendrell (Hrsg.) Advanced Technologies and the University of the Future

Link zu Publikation Book Chapter

. Springer. https://link.springer.com/book/9783031715297 (Erscheinungsdatum: 3. Dezember 2024)

UI Tab
titleBegleittexte

Formulierungsvorschläge für Begleittexte auf Moodle

Da es für die meisten Studierenden vermutlich der Erstkontakt mit einem adaptiven Test ist, empfiehlt es sich, diesen gut anzumoderieren, damit die Fragenauswahl nicht als intransparent empfunden wird. Auch bzgl. der Interpretation der Testergebnis-Rückmeldung wird es wahrscheinlich erforderlich sein, Hilfestellungen anzubieten, die die Einordnung der neuartigen Bewertung erleichtern. Wir haben hier unsere in der Pilotstudie verwendeten Begleittexte für Sie zur Orientierung und Inspiration aufgeführt.

Kurzer Starttext bei der ersten Einführung adaptiver Tests

Willkommen zum adaptiven Test!

Es handelt sich bei der folgenden Aktivität um einen adaptiven Test, bei dem anhand Ihrer eingegebenen Antworten algorithmisch entschieden wird, welche Frage Ihnen als nächstes vorgelegt wird. Die Absicht dabei ist, Ihnen möglichst immer Fragen zu präsentieren, die in etwa Ihrem persönlichen Fähigkeitsniveau entsprechen und also weder zu leicht noch viel zu schwer für Sie sind. Diese Art des Tests kann für Sie ungewohnt sein, da es z.B. nicht möglich ist, während des Testverlaufs zu vorhergehenden Aufgaben zurück zu springen.

Verlinkung erweiterter Informationen zum Test

Was ist ein adaptiver Test?

Ein adaptiver Test ist eine innovative Art von Leistungserfassung, die entwickelt wurde, um das Testerlebnis für jeden einzelnen Prüfling individuell anzupassen. Im Gegensatz zu herkömmlichen Tests, bei denen allen Teilnehmenden dieselben Fragen beantworten, wird dieser Test sich automatisch an Ihre Fähigkeiten und Kenntnisse anpassen.

Wie funktioniert der adaptive Test?

Zu Beginn des Tests erwartet Sie eine mittelschwere Frage. Basierend auf Ihrer Antwort wird der Test seine Schwierigkeit anpassen. Wenn Sie eine Frage richtig beantworten, wird Ihnen eine etwas schwierigere Frage gestellt, um Ihr Wissen weiter zu testen. Wenn Sie eine Frage falsch beantworten, erhalten Sie als nächstes eine etwas einfachere Frage. Dieser adaptive Prozess wird während des gesamten Tests fortgesetzt. Das Ziel besteht darin, Ihnen Fragen vorzulegen, die für Sie eine Herausforderung, jedoch keine Überforderung darstellen, indem wir uns auf die für Sie relevanten Schwierigkeitsstufen konzentrieren. Gleichzeitig lässt sich dadurch Ihr Leistungsniveau erfassen und wir können Ihnen anschließend eine Rückmeldung hierzu geben.

Vorteile adaptiver Tests:

Effizienz: Da Sie nicht alle Fragen beantworten müssen, ist der Test in der Regel kürzer. Das spart Zeit und ermöglicht es uns, schnell und genau Ihr Leistungsniveau zu ermitteln.
Genauigkeit: Der adaptive Test liefert präzisere Ergebnisse, da er Ihr Wissen und Ihre Fähigkeiten individuell misst. Sie erhalten eine gerechtere Bewertung, die besser zu Ihren tatsächlichen Kompetenzen passt.
Personalisierte Erfahrung: Der Test konzentriert sich auf Ihre Stärken und Schwächen, sodass Sie eine auf Sie zugeschnittene Erfahrung machen.

Tipps für den adaptiven Test:

Bleiben Sie ruhig: Machen Sie sich keine Sorgen über eine möglicherweise schwierige erste Frage. Der Test wird sich schnell an Ihre Fähigkeiten anpassen. Es ist dabei nicht unbedingt vorgesehen, dass Sie während des laufenden Tests eine explizite Rückmeldung dazu erhalten, ob eine Frage als richtig oder falsch bewertet wurde. Lassen Sie sich auch nicht irritieren, wenn Ihnen der adaptive Test leichter oder schwieriger als die bisher gewohnten Tests erscheint. Dies liegt daran, dass das System bemüht ist, Ihnen Fragen vorzulegen, die einen möglichst hohen Zugewinn an Information bedeuten.
Arbeiten Sie sorgfältig: Nehmen Sie sich Zeit, um die Fragen gründlich zu lesen und zu verstehen, bevor Sie antworten. Der adaptive Test erlaubt es nicht, zu vorherigen Fragen zurückzukehren. Sie können also keine Fragen vorübergehend überspringen oder Antworten nachträglich ändern. Wenn Sie eine Frage nicht beantworten, geht das System davon aus, dass Sie die Antwort nicht kennen und bewertet diese Aufgabe als nicht gelöst.
Übung macht den Meister: Da adaptive Tests eine andere Erfahrung bieten, ist es möglicherweise hilfreich, den Test mehrfach zu absolvieren, um sich mit dem Format vertraut zu machen. Sie werden dabei durchaus voneinander abweichende Ergebnisrückmeldungen erhalten, da sich im geschätzten Fähigkeitsmaß nur die zum jeweiligen Zeitpunkt erbrachte Leistung widerspiegeln kann.

Wir hoffen, dass dieser adaptive Test Ihnen eine spannende und herausfordernde Erfahrung bietet. Viel Erfolg und zeigen Sie uns, was Sie draufhaben!

Allgemeine Information zur Einordnung der Leistungsrückmeldung im Anschluss an den Test

— am Beispiel der Verwendung von Level 1 bis 5 —

Ihr Ergebnis wird als Zahl zwischen 1 und 5 angezeigt. Dieser Wert schätzt Ihr Wissen im Verhältnis zur Schwierigkeit der gestellten Fragen und gibt an, ab welcher Stufe die Aufgaben für Sie schwierig werden. Aufgaben bis zu dieser Stufe beherrschen Sie also bereits ziemlich sicher!

Fragen auf dem Niveau 1 sind die leichtesten Fragen und wurden in der Vergangenheit von Prüflingen fast immer richtig beantwortet. Fragen auf dem Niveau 5 sind die schwierigsten Fragen, die in der Vergangenheit nur von wenigen Studierenden immer richtig beantwortet werden konnten.

Sie benötigen mindestens eine Bewertung von 3,0, um den Test zu bestehen!

Ergebnisabhängige Leistungsrückmeldung

— am Beispiel der Verwendung von Level 1 bis 5 mit Bestehensgrenze 3,0 —

eingeblendet als Moodle-Textfeld mit Voraussetzung Aktivitätsabschluss bestanden bzw. gescheitert

unterhalb Bestehensgrenze

- bis 2,5: Das reicht leider noch nicht. Bleiben Sie dran! Notieren Sie sich doch beim nächsten Versuch, wo Sie Schwierigkeiten hatten und was Ihnen unklar war. Das können Sie dann gezielt wiederholen. Stellen Sie alle verbleibenden Fragen in der nächsten Vorlesung oder im Tutorium.

- ab 2,6 bis 2,9: Ganz nah dran! Es hat aber noch nicht zum Bestehen gereicht. Jetzt fehlt nicht mehr viel! Welche Aufgaben waren noch schwierig? Schauen Sie sich die Unterlagen zu diesen Punkten noch einmal an und versuchen Sie es dann noch einmal. Bei Fragen helfe ich Ihnen gern.

oberhalb Bestehensgrenze

- ab 3,0 bis 3,4: Sie haben bestanden. Aber da geht noch mehr! Sie haben jetzt sicher ein gutes Gefühl dafür, welche Aufgaben immer noch schwierig waren. Gehen Sie dieses Thema noch einmal durch und probieren Sie es gleich noch einmal! Dann schaffen Sie sicher auch die Stufe 3,5! Sprechen Sie mich wie immer gern mit Fragen an.

- ab 3,5 bis 4,5: Prima, das lief gut! Sie haben gesichert bestanden. Sie können gern weiter üben und es noch einmal probieren. Schaffen Sie noch mehr?

- ab 4,6: 5,0 ist der Maximalscore! Herzlichen Glückwunsch!

UI Tab
titleErfahrungsaustausch

Survey
ida8ca24d5-ef1f-4310-bc69-5064fac3112c