Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

UI Tabs
UI Tab
titleIdee

Idee des adaptiven Testens

Image Modified

Ein adaptiver Test simuliert automatisiert das Vorgehen eines erfahrenen Prüfers: Ausgehend von einer initialen Aufgabenstellung passt der Prüfer seine nachfolgenden Fragenstellungen dem (anhand des bisherigen Antwortverhaltens) vermuteten Fähigkeitsniveau des Probanden an.

Zu schwierige oder zu leichte Fragen bringen wenig Erkenntnis über die Fähigkeiten einer Person → Fragen sollten daher möglichst auf dem Niveau der Kompetenz des Prüflings gestellt werden

Zu leichte Aufgabenstellungen können außerdem ungewolltes Verhalten wie Flüchtigkeitsfehler oder falsche Antworten auf scheinbare Fangfragen provozieren; zu schwierige Fragen führen häufig dazu, dass Kandidaten versuchen, Ergebnisse zu erraten (=Fehlinformation für Prüfer)

Der adaptive Test beginnt mit einer Frage mittlerer Schwierigkeit. Eine richtige Antwort führt zu einer anschließenden schwierigeren Frage, eine

falsche

fehlerhafte Beantwortung hat eine anschließende leichtere Frage zur Folge. Die weiter Fortsetzung dieses Prozesses führt zu einer immer genaueren Ermittlung der Kompetenz des Prüflings

.Gelegentlich wird die Anpassung des Tests an das Leistungsniveau jedes Einzelnen als problematisch und möglicherweise unfair angesehen: Wie kann man Kandidaten vergleichen, wenn jeder einen anderen Test gemacht hat? Das Mathematische Modell der Item-Response-Theorie zeigt die Lösung dieses Problems

.

(1)

Image Addedkeycap: 1 Wie werden die Fragen ausgewählt?

  • Startlevel:
      mittig, Icebreaker, unterhalb mittlerem Niveau oder unterhalb geschätztem Level
        • leicht unterhalb des mittleren Niveaus bzw. unterhalb des geschätzten Levels (falls Vorinformation), damit Erfolg motiviert (Icebreaker Item)
      Geringer
        • geringer Einfluss auf
      Ergebnis
        • Endergebnis
      • Folge-Items:
        • fest verzweigter Algorithmus: richtige Antwort → höheres Niveau, falsche Antwort → niedrigeres Niveau (siehe Hintergrund → Algorithmus)
        • randomisierte Aufgabenauswahl aus einem Fenster um die geschätzte Fähigkeit herum (50/50-Chance)
      (2)

      keycap: 2  Wie werden die Antworten bewertet?

      • Einschränkung auf automatisch auswertbares Aufgabenformat, z.B. MC (Multiple Selection Auswahlkästchen / Single Choice Radio Buttons), Zuordnung, Lückentext mit klaren Synonymvorgaben, mathematische Ausdrücke mit CAS etc. (vgl.
      Einsatz kein Text
      • keine Textaufgaben per KI hinreichend gut bewertbar
      (3)

      keycap: 3  Wann endet ein Testdurchlauf? 

      • feste maximale Anzahl von Items
      • maximale Testzeit: derzeit im Plugin nicht implementiert
      • alle im Itempool verfügbaren Items passenden Niveaus
      • hinreichend kleiner Standardfehler bei der Fähigkeitsschätzung
      (4)

      keycap: 4  Was wird zurückgegeben?

      • Aussage zum Niveau des Probanden
      • Vorsichtige Interpretation erforderlich, da Stufe 3 bedeutet, dass sie/er eine 50/50-Chance hat, Fragen der Stufe 3 richtig zu beantworten, d.h. er/sie beherrscht diese Fragen noch nicht, sondern "kann sich mit ihnen messen" (vgl.
      Einsatz
    UI Tab
    titleFunktionsweise

    Funktionsweise eines adaptiven Tests

    image-2024-4-25_18-26-34.pngImage Removed

    UI Tab
    titleVorteile

    Vorteile adaptiver Tests

     wrapped giftImage Removed

    UI Steps
    UI Step

    Kürzere Testdauer (50-60%) bei gleicher Messgenauigkeit bzw. erhöhte Validität bei gleicher Testlänge

    UI Step

    wrapped giftImage AddedSchwierigkeitsgrad der Fragen entspricht dem individuellen Leistungsniveau des Probanden 

    • → höhere Trennschärfen im oberen und unteren Bereich
    • für Probanden im oberen Bereich kommen weniger zu leichte Fragen → verringert irrtümliche Falschantworten, die durch die Wahrnehmung scheinbarer Fangfragen oder durch Flüchtigkeit aufgrund von Langeweile entstehen
    • für Probanden im unteren Bereich kommen weniger zu schwierige Fragen → verringert die Wahrscheinlichkeit von lediglich erratenen richtigen Antworten
    UI Step

    Der gesamte Fragenpool kann verwendet werden → weniger Abnutzung als für in konventionellen Tests ausgewählte Fragen

    UI Tab
    titleUnterschiede

    Beachtenswerte Unterschiede gegenüber statischen Tests

    warningImage Removed

    Image Added

     nicht

    Nicht alle Studierenden erhalten die gleichen Fragen

  • Verteilung der Fragenschwierigkeiten über unterschiedliche Inhaltsbereiche beachten
  • derzeitige Empfehlung daher für

    . Wenn das zu testende Thema unterschiedliche Inhaltsbereiche umfasst, werden daher möglicherweise nicht allen Testpersonen Aufgaben aus allen inhaltlichen Bereichen vorgelegt. Dies könnte insbesondere dann der Fall sein, wenn nicht für alle Teilbereiche Aufgabenstellungen auf allen Schwierigkeitsniveaus vorhanden sind. Wir empfehlen derzeit daher den Einsatz als formative Tests nach inhaltlich relativ homogenen Abschnitten

    Zeitmanagement:

    .

    Ein adaptiver Test besteht nicht aus einer festgelegten Anzahl an Fragen, sondern dauert möglicherweise für die eine oder andere Testperson länger oder kürzer - je nachdem, welches Stop-Kriterium vorgegeben wurde. Daher müssen die Probanden beim Zeitmanagement beachten, dass ihnen

    keine feste Anzahl von Fragen, sondern

    nur die maximale erwartete Anzahl von Fragen

    wird angezeigt
  • (derzeit) kein Zeit-Limit implementiert
  • kein Überspringen und späteres Nachlösen von Items möglich (ähnlich

    angezeigt werden kann. Eine zeitliche Beschränkung pro Frage oder auch pro Test ist derzeit nicht implementiert.

    Ähnlich wie beim Frageverhalten mit sofortigem Feedback im regulären Moodle-Quiz-Format

    )ungewohnte Erfahrung für die Studierenden

    ist es nicht möglich, Testaufgaben zunächst zu überspringen, um diese zu einem späteren Zeitpunkt zu lösen. Dies liegt in der Natur des adaptiven Formats, bei dem die Auswahl der nachfolgenden Aufgabe vom Lösungsergebnis der vorherigen Aufgabe abhängt.

    Ein wesentlicher Unterschied zum konventionellen Test besteht in der für die Teilnehmenden ungewohnten Erfahrung, dass unabhängig von der eigenen Anstrengung

    bzw.

    und auch dem Leistungsniveau im Mittel nur ca. die Hälfte der vorgelegten Items gelöst werden kann

    (

    . Für leistungsstarke Testpersonen kann diese 50/50 Chance

    )
    • für leistungsstarke Testpersonen evtl. demotivierend, weil anderes Fähigkeitsselbstkonzept/Selbstwirksamkeitserwartung
    • tatsächlich werden dadurch eigentlich zwischen Personengruppen variierende motivationale Auswirkungen vermieden
    • Funktionsweise des Tests muss daher transparent erläutert werden

    möglicherweise anfangs demotivierend wirken, das sie ein anderes Fähigkeits-Selbstkonzept (oder auch eine andere Selbstwirksamkeitserwartung) haben. Leistungsschwächere Personen sind hingegen möglicherweise im Nachgang von einer schlechten Testbewertung überrascht, da sie im Gegensatz zu sonst ungewohnt viele Aufgaben lösen konnten. Die adaptive Funktionsweise des Tests sollte den Studierenden daher im Vorfeld transparent erläutert werden. Tatsächlich tendiert die Methodik, durch die allen Probanden Aufgaben mit der individuell gleichen Lösungschance vorgelegt werden, eher dazu, dass die Auswirkungen von zwischen Personengruppen vorliegenden motivationalen Unterschieden reduziert werden. 

    Rückmeldung in Form eines

    Die Rückmeldung des Testergebnisses in Form des erreichten

    Leistungsniveaus anstatt wie gewohnt als Prozentsatz oder Note

    eine

    ist ein weiterer Unterschied zum herkömmlichen Test (siehe Vorbereitung → Rückmeldung). Hier wird zukünftig eine verbalisierte Interpretationshilfe für

    Studierende ist hier

    die Studierenden von Nutzen sein (derzeit noch nicht im Plugin integriert)

    siehe Einsatz → Rückmeldung

    .