Page History

Abriss zum adaptiven Testen

• Entwicklung ...

Exkurs zur Item-Response-Theory

Gelegentlich wird die Anpassung des Tests an das Leistungsniveau jedes Einzelnen als problematisch und möglicherweise unfair angesehen: Wie kann man Kandidaten vergleichen, wenn jeder einen anderen Test gemacht hat? Die Item-Response-Theorie bietet dazu den zugrundeliegende Lösungsansatz. Während in der klassische Testtheorie die Rohwerte als Punktezahl bzw. Prozentsätze benutzt werden, betrachtet die Item-Response-Theorie die Antwortmuster. 

Das bekannteste Modell ist dabei das Rasch-Modell. Es bildet die mathematische Beschreibung dessen, was passiert, wenn eine Person mit einer bestimmten latenten Fähigkeit (η) eine Aufgabe eines gewissen Schwierigkeitsgrades (β) löst. Hierzu werden der sogenannte Personen-Parameter (Fähigkeit η) und der Item-Parameter (Aufgabenschwierigkeit β) auf der gleichen Skala abgebildet, um die Kompetenz der Person mit der Schwierigkeit des Items zu vergleichen. Die abgebildete nebenstehende charakteristische Kurve eines Item mit Schwierigkeit β gibt dabei die Wahrscheinlichkeit an, mit der eine Person mit Fähigkeit η dieses Item richtig beantworten kann. Ihr Verlauf als logistische Funktion der Differenz zwischen Personenfähigkeit und Itemschwierigkeit verdeutlicht: Wenn die Fähigkeit einer Person die Itemschwierigkeit übersteigt, dann ist die Wahrscheinlichkeit groß, dass das Item von der Person richtig gelöst wird. Wenn hingegen die Aufgabe viel schwieriger ist, als die Person kompetent ist, dann ist diese Wahrscheinlichkeit klein. Wenn Personenfähigkeit und Itemschwierigkeit übereinstimmen, dann besteht für den Probanden eine 50/50-Chance, diese Aufgabe lösen zu können. 

Dies ist auch aus der zugehörigen (links abgebildeten) Informationsfunktion eines Items ablesebar: Diese berechnet sich als Produkt der Lösungswahrscheinlichkeit mit ihrer Gegenwahrscheinlichkeit: P*(1-P). Die Informationsfunktion hat ihr Maximum bei P = 0,5, woraus sich ergibt, dass der größte Informationszuwachs zur Einschätzung der Fähigkeit eines Probanden dann erzielt wird, wenn man diesem ein Item vorlegt, für das die erwartete Lösungswahrscheinlichkeit nahe bei der Hälfte liegt, m.a.W. welches in seiner Schwierigkeit der Fähigkeit des Probanden entspricht (η ≈ β).

Um für jedes Aufgabe die Aufgabenschwierigkeit möglichst korrekt zu bestimmen, müssten die Aufgaben zuvor in großangelegten Studien kalibriert werden. In unserem Kontext ist uns dies nicht möglich, weshalb wir diesbezüglich auf verschiedene Heuristiken zurückgreifen und für die Aufgabenauswahl einen vereinfachten Algorithmus nutzen.

Algorithmus des Moodle-Plugins

Benjamin Drake Wright (1988) beschreibt einen einfacheren Algorithmus für den Einsatz in einem Umfeld mit geringen Anforderungen (low stakes). Da ohnehin keine Kapazitäten für die Erstellung von genau kalibrierten Items bestehen, ist dies in unserem Kontext vollkommen ausreichend.

• Die Aufgabenauswahl erfolgt hier gemäß einer von vornherein festgelegten Verzweigungsstrategie.
• Zur Erreichung derselben Messgenauigkeit wie beim Tailored Testing (Auswahl der Folgeaufgabe anhand Maximum der Informationsfunktionen passend zum aktuell berechneten Fähigkeitsmaß) benötigt man etwas mehr Aufgaben - grundsätzlich aber dennoch weit weniger als beim konventionellen Testen (vgl. Kubinger, 2016).
• Obwohl es sich um einen groben Ansatz handelt, können diese Methoden dieselben Ergebnisse liefern wie anspruchsvollere CAT-Techniken (Yao, 1991).
• Die Schwierigkeitsniveaus werden auf eine Logit-Skala transformiert, dort erfolgen alle Berechnungen. Das Fähigkeitsniveau (und der Fehler) werden anschließend zurück transformiert.
• Das Schwierigkeitsniveau der nächsten Frage ergibt sich aus dem Schwierigkeitsniveau der vorhergehenden Frage durch Abweichung nach oben bzw. unten in immer kleiner werdenden Schritten (Doppeltes der harmonischen Folge) je nach Antwort des Probanden (für + bzw. -).
• Das ausgegebene Fähigkeitsmaß ist unabhängig von der Reihenfolge der bearbeitetet Items. Es berechnet sich (auf der Logit-Skala) als durchschnittliche Schwierigkeit aller vorgelegten Items korrigiert um die Logitfunktion des Anteils an richtig gelösten Items.