Exkurs zur Item-Response-Theory

Image Added

Gelegentlich wird die Anpassung des Tests an das Leistungsniveau jedes Einzelnen als problematisch und möglicherweise unfair angesehen: Wie kann man Kandidaten vergleichen, wenn jeder einen anderen Test gemacht hat? Die Item-Response-Theorie bietet dazu den zugrundeliegende Lösungsansatz. Während in der klassische Testtheorie die Rohwerte als Punktezahl bzw. Prozentsätze benutzt werden, betrachtet die Item-Response-Theorie die Antwortmuster. 

Das bekannteste Modell ist dabei das Rasch-Modell. Es bildet die mathematische Beschreibung dessen, was passiert, wenn eine Person mit einer bestimmten latenten Fähigkeit (η) eine Aufgabe eines gewissen Schwierigkeitsgrades (β) löst. Hierzu werden der sogenannte Personen-Parameter (Fähigkeit η) und der Item-Parameter (Aufgabenschwierigkeit β) auf der gleichen Skala abgebildet, um die Kompetenz der Person mit der Schwierigkeit des Items zu vergleichen. Die nebenstehende charakteristische Kurve eines Item mit Schwierigkeit β gibt dabei die Wahrscheinlichkeit an, mit der eine Person mit Fähigkeit η dieses Item richtig beantworten kann. Ihr Verlauf als logistische Funktion der Differenz zwischen Personenfähigkeit und Itemschwierigkeit verdeutlicht: Wenn die Fähigkeit einer Person die Itemschwierigkeit übersteigt, dann ist die Wahrscheinlichkeit groß, dass das Item von der Person richtig gelöst wird. Wenn hingegen die Aufgabe viel schwieriger ist, als die Person kompetent ist, dann ist diese Wahrscheinlichkeit klein. Wenn Personenfähigkeit und Itemschwierigkeit übereinstimmen, dann besteht für den Probanden eine 50/50-Chance, diese Aufgabe lösen zu können. 

Image AddedDies ist auch aus der zugehörigen (links abgebildeten) Informationsfunktion eines Items ablesebar: Diese berechnet sich als Produkt der Lösungswahrscheinlichkeit mit ihrer Gegenwahrscheinlichkeit: P*(1-P). Die Informationsfunktion hat ihr Maximum bei P = 0,5, woraus sich ergibt, dass der größte Informationszuwachs zur Einschätzung der Fähigkeit eines Probanden dann erzielt wird, wenn man diesem ein Item vorlegt, für das die erwartete Lösungswahrscheinlichkeit nahe bei der Hälfte liegt, m.a.W. welches in seiner Schwierigkeit der Fähigkeit des Probanden entspricht (η ≈ β).

Um für jedes Aufgabe die Aufgabenschwierigkeit möglichst korrekt zu bestimmen, müssten die Aufgaben zuvor in großangelegten Studien kalibriert werden. In unserem Kontext ist uns dies nicht möglich, weshalb wir diesbezüglich auf verschiedene Heuristiken zurückgreifen und für die Aufgabenauswahl einen vereinfachten Algorithmus nutzen.