Exkurs zur Item-Response-Theory

Gelegentlich wird die Anpassung des Tests an das Leistungsniveau jedes Einzelnen als problematisch und möglicherweise unfair angesehen: Wie kann man Kandidaten vergleichen, wenn jeder einen anderen Test gemacht hat? Die Item-Response-Theorie bietet dazu den zugrundeliegende Lösungsansatz. Während in der klassische Testtheorie die Rohwerte als Punktezahl bzw. Prozentsätze benutzt werden, betrachtet die Item-Response-Theorie die Antwortmuster. 

Das bekannteste Modell ist dabei das Rasch-Modell. Es bildet die mathematische Beschreibung dessen, was passiert, wenn eine Person mit einer bestimmten latenten Fähigkeit (η) eine Aufgabe eines gewissen Schwierigkeitsgrades (β) löst. Hierzu werden der sogenannte Personen-Parameter (Fähigkeit η) und der Item-Parameter (Aufgabenschwierigkeit β) auf der gleichen Skala abgebildet, um die Kompetenz der Person mit der Schwierigkeit des Items zu vergleichen. Die nebenstehende charakteristische Kurve eines Item mit Schwierigkeit β gibt dabei die Wahrscheinlichkeit an, mit der eine Person mit Fähigkeit η dieses Item richtig beantworten kann. Ihr Verlauf als logistische Funktion der Differenz zwischen Personenfähigkeit und Itemschwierigkeit verdeutlicht: Wenn die Fähigkeit einer Person die Itemschwierigkeit übersteigt, dann ist die Wahrscheinlichkeit groß, dass das Item von der Person richtig gelöst wird. Wenn hingegen die Aufgabe viel schwieriger ist, als die Person kompetent ist, dann ist diese Wahrscheinlichkeit klein. Wenn Personenfähigkeit und Itemschwierigkeit übereinstimmen, dann besteht für den Probanden eine 50/50-Chance, diese Aufgabe lösen zu können. 

Dies ist auch aus der zugehörigen (links abgebildeten) Informationsfunktion eines Items ablesebar: Diese berechnet sich als Produkt der Lösungswahrscheinlichkeit mit ihrer Gegenwahrscheinlichkeit: P*(1-P). Die Informationsfunktion hat ihr Maximum bei P = 0,5, woraus sich ergibt, dass der größte Informationszuwachs zur Einschätzung der Fähigkeit eines Probanden dann erzielt wird, wenn man diesem ein Item vorlegt, für das die erwartete Lösungswahrscheinlichkeit nahe bei der Hälfte liegt, m.a.W. welches in seiner Schwierigkeit der Fähigkeit des Probanden entspricht (η ≈ β).

Um für jedes Aufgabe die Aufgabenschwierigkeit möglichst korrekt zu bestimmen, müssten die Aufgaben zuvor in großangelegten Studien kalibriert werden. In unserem Kontext ist uns dies nicht möglich, weshalb wir diesbezüglich auf verschiedene Heuristiken zurückgreifen und für die Aufgabenauswahl einen vereinfachten Algorithmus nutzen.

Algorithmus des Moodle-Plugins

Im Plugin ist ein von Benjamin Drake Wright (1988) beschriebener vereinfachter Algorithmus hinterlegt, der für den Einsatz in einem Umfeld mit geringen Anforderungen (low stakes) ausreichend ist. Die Aufgabenauswahl erfolgt hier gemäß einer von vornherein festgelegten Verzweigungsstrategie (Branched Testing).

Zur Erreichung derselben Messgenauigkeit wie beim Tailored Testing, bei dem die Auswahl der Folgeaufgabe anhand des Maximums aller Informationsfunktionen der zum aktuell berechneten Fähigkeitsmaß passenden Items erfolgt, benötigt man etwas mehr Aufgaben - grundsätzlich aber dennoch weit weniger als beim konventionellen Testen (vgl. Kubinger, 2016). Obwohl es sich um einen groben Ansatz handelt, können diese Methoden dieselben Ergebnisse liefern wie anspruchsvollere CAT-Techniken (Yao, 1991).

Für alle Berechnungen wird die Spanne der Schwierigkeitsniveaus zunächst auf eine Logit-Skala transformiert. Das Schwierigkeitsniveau der nächsten Frage ergibt sich dann aus dem Schwierigkeitsniveau der vorhergehenden Frage durch Abweichung nach oben bzw. unten in immer kleiner werdenden Schritten (Doppeltes der harmonischen Folge) je nach Antwort des Probanden. Das Fähigkeitsmaß berechnet sich anschließend als durchschnittliche Schwierigkeit aller vorgelegten Items korrigiert um die Logitfunktion des Anteils an richtig gelösten Items. Es wird auf die Spanne der Schwierigkeitsniveaus zurück transformiert und gemeinsam mit dem Standardfehler ausgegeben.