Versions Compared

Old Version 29

changes.mady.by.user Konstanze Mehmedovski

Saved on

compared with

New Version 30

changes.mady.by.user Konstanze Mehmedovski

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

UI Tabs
UI Tab
titleEinsatzszenarien

Empfohlene Einsatzszenarien

  • Wir halten adaptive Tests derzeit weniger geeignet für summative Tests. Das Plugin verfügt über keine Möglichkeit sicherzustellen, dass die einem Probanden vorgelegten Aufgaben gut über mehrere inhaltlichen Teilbereiche verteilt sind. Daher ist es sinnvoll, anstatt eines einzigen inhaltsübergreifenden Tests lieber mehrere kürzere  Tests nach Abschluss inhaltlich relativ homogener Teilbereiche zu nutzen.
  • Wir haben sehr gute Erfahrungen damit gemacht, adaptive Tests als Selbsttests und Übungen zur Vorbereitung auf Prüfungen bzw. PVLn einzusetzen.
  • Besonders gut eignet sich das adaptive Testformat für formative Tests, da dem Probanden bei mehreren Testversuchen je nach Wissenszuwachs unterschiedliche Aufgaben präsentiert werden.

UI Tab
titleAufgabenformat

Anforderungen an das Aufgabenformat

  • automatisch bewertbar: geschlossenes Format (z.B. Single Choice, Multiple Selection, Lückentext o.ä.) oder offenes Format mit CAS-Bewertung
  • d.h. noch keine Kurzantwort oder Texte 
  • Algorithmus benötigt dichotomes Antwortformat (richtig oder falsch), d.h. Aufgaben mit Teilpunkten können nur über einen (justierbaren) Schwellenwert abgebildet werdenwerden → siehe Aufgabenschwierigkeit
  • keine Wichtung der inhaltlichen Relevanz von Items durch erhöhte Punktzahlen möglich
  • ausreichende Anzahl von Aufgaben auf allen Schwierigkeits-Niveaus (siehe Aufgabenschwierigkeit) nötig, auch im oberen und unteren Grenzbereich


UI Tab
titleAufgabenschwierigkeit

Schwierigkeitseinstufung der Aufgaben

Schwierigkeitseinstufung der Aufgaben
  • Schwierigkeitsgrad der Fragen muss bekannt sein und sollte möglichst Kompetenzstufen abbilden (und nicht z.B. nur erhöhten Zeitbedarf widerspiegeln) → siehe Aufgabenschwierigkeitausreichende Anzahl von Aufgaben auf allen Niveaus nötig (auch obere und untere Grenzbereiche)
  • Erweiterung des Plugins auf Nutzung von Aufgaben, bei denen Teilpunkte vergeben werden, mittels eines einstellbaren Schwellenwertes → siehe Aufgabenschwierigkeit
UI Tab
titleAufgabenschwierigkeit
  • Überlegungen zur Anzahl Schwierigkeitsstufen ...
  • Einstufung vorhandener Fragen anhand der Ansätze:
    • Lösungshäufigkeit ...
    • Bloom-Einstufung ...
    • mittels Scaffolding ...
  • Justieren des Schwellenwertes für die Bewertung von AufgabenDa bestehende Aufgabenpools häufig auch Aufgaben enthalten, bei denen Teilpunkte vergeben werden, wurde das Plugin von uns entsprechend für die Nutzung erweitert: Über einen Schwellenwert kann eingestellt werden, ab welchem Prozentsatz an Punkten (z.B. 0.5 oder 0.75 etc.) Teilpunkte-Aufgaben als richtig gelöst bewertet werden sollen. Dieser Schwellenwert muss im Einklang mit den Schwierigkeitsgraden stehen, die den entsprechenden Teilpunkte-Aufgaben zugeteilten werden, kann aber für jede Quiz-Instanz unabhängig neu festgelegt werden.
UI Tab
titleRückmeldung

Interpretation der Rückmeldung des Testergebnisses an die Versuchsperson

  • Rückmeldung Fähigkeitsniveau vs. klassisches Testergebnis

  • Achtung: Konventionell werden zur Bewertung von Leistungen Prozentsatz und Note verwendet und per Schlüssel (an unterschiedlichen Institutionen nicht identisch, aber ähnlich gehandhabt) ineinander überführt. Tests werden dann bewertet anhand der Frage: Wie viele Aufgaben wurden erfolgreich (oder teilweise) erledigt. Der Begriff der Kompetenzstufe bedeuten hingegen üblicherweise: Die/der Studierende beherrscht die Fertigkeiten dieser Stufe. Hier allerdings bedeutet die Rückmeldung eines Fähigkeitsniveaus: Die/der Studierende hat eine 50/50 Chance, eine Frage dieses Schwierigkeitsniveaus richtig zu beantworten. Daher ist eine verbalisierte Interpretationshilfe für Studierende nötig.
  • zu jedem Fragen-Schwierigkeitsniveau (=Kompetenzniveau?) sollte eine Beschreibung der erforderlichen Fähigkeiten formuliert werden
  • die Bedeutung des rückgemeldeten Fähigkeitsmaßes muss erklärt werden, da es nicht den bekannten Konventionen entspricht: z.B. Studierende von Fähigkeitsniveau 3 können nicht alle Aufgaben des Schwierigkeitsniveaus 3 lösen; sie beherrschen dieses Niveau also noch nicht richtig, sondern können/sollten auf diesem Niveau weiterarbeiten
  • derzeit noch nicht im Plugin integriert, sondern separat zu beschreiben
  • Integration in die Ergebnisrückmeldung des Plugins ist in Bearbeitung und Feedback dazu, wie dies bestmöglich gestaltet sein könnte, ist ausdrücklich erwünscht