Karteikarten Lektion 4 Diagnostik

Kriterienkontrolle

• Items anhand von bestimmten (Qualitäts-) Kriterien kontrollieren
• Eliminierung oder Umformulierung der Items, die den vorher festgelegten Kriterien nicht entsprechen
• 8. Stufe der Testkonstruktion

Stufen der Testkonstruktion

1. Fragestellung mit Problem- und Anforderungsanalyse 
2. Planung und Literaturrecherche
3. Merkmalsbestimmung und Arbeitsdefinition 
4. Testentwurf
5. Pre-Test
6. Verteilungsanalyse
7. Itemanalyse und Itemselektion 
8. Kriterienkontrolle
9. Testrevision
10. Eichung/Cut-Off-Werte

4. Stufe der Testkonstruktion: Testentwurf (Itemkonstruktion)

Intuitive Konstruktionsstrategie ist eine von drei möglichen Konstruktionsstrategien

• statt sich bei der Itemformulierung von der Theorie leiten lassen zu können, steht und fällt die Konstruktion hier mit der Intuition und Erfahrung des Testkonstrukteurs
• kommt zur Anwendung, wenn zum interessierenden Merkmal noch recht wenig theoretischer Kenntnisstandvorliegt.--> z.B. wenn ein neuer Forschungszweig seinen Anfang nimmt

4. Stufe der Testkonstruktion: Testentwurf (Itemkonstruktion)

Rationale Konstruktionsstrategie ist eine von drei möglichen Konstruktionsstrategien

• Ausgehend von einer vorgegebenen Theorie werden Items formuliert, die dann weiteren Prüfungen unterzogen werden
• wird angewendet, wenn bereits vorhandene, elaborierte Theorien und gute theoretische Vorkenntnisse beim Testentwicklungsteam vorliegen.

7. Stufe der Testkonstruktion: Itemanalyse und Itemselektion

Itemanalyse

• Hauptziel: deskriptivstatistische Evaluation der Items
• wesentliche Parameter der Itemanalyse
  • Itemschwierigkeit
  • Itemvarianz
  • Trennschärfe

1. Schwierigkeitsanalyse

• Items sollten so entwickelt sein, dass nicht alle Personen ein Item gleich beantworten--> weder allzu leicht noch allzu schwierig, da die Aussagekraft bei Items extremer Schwierigkeit (sehr leicht/sehr schwer) gering ist. 
  • zu leicht = von allen lösbar --> differenzieren nur wenig/gar nicht zwischen den Probanden mit unterschiedlichen Merkmalsausprägungen, da viele Probanden ein leichtes Item gleich richtig lösen würden
  • extrem schwierig = wenig/kaum lösbar --> kaum oder gar keine Differenzierung zwischen Probanden mit unterschiedlichen Merkmalsausprägungen
• mithilfe des Schwierigkeitsindex „Leichtigkeit“ des Items ermitteln

2. Itemvanianzanalyse

• Differenzierungsfähigkeit von Items in Bezug auf die getestete Stichprobe

--> besonders zu beachten ist dabei die Schwierigkeit des jeweiligen Items

3. Trennschärfeanalyse

• Korrelation eines Items mit der Skala, zu welcher es gehört, wird berechnet. 
• Trennschärfe = gibt an, wie stark die Differenzierung zwischen den Probanden auf Basis des jeweiligen Items mit der Differenzierung zwischen den Probanden auf Basis des mit allen Items gebildeten Testwertes übereinstimmt
  • Items mit hohen positiven Trennschärfen differenzieren die einzelnen Probanden sehr ähnlich, wie der Gesamttest

9. Stufe der Testkonstruktion: Testrevision

Erstellung einer tragfähigen Testendfassung

--> (revidierte) Testversion wird erneut einer Stichprobe zur Testung vorgelegt

Testrevision

• Erstellung einer tragfähigen Testendfassung.
• Die meist revidierte Testversion wird dann erneut einer Stichprobe zur Testung vorgelegt. 

Die Itemvarianz gibt an, wie stark die Antworten auf ein Item sich zwischen Personen unterscheiden. 

= Streuung der Werte über die Stichprobe. 

Vergleichsmaßstäbe von Testrohwerten

Testrohwerte (= Summe der Itemwerte) sind nicht unbedingt direkt interpretierbar. Zur Beurteilung wird ein sinnvoller Vergleichsmaßstab benötigt. 

• Normorientierte Interpretation
  • Abgleich des Testrohwertes eines einzelnen Probanden (Summe seiner Itemwerte) mit Testrohwerten vergleichbarer Personen (Eichstichprobe) mithilfe von Normskalen
    • Testrohwert eines einzelnen Probanden wird in einen Normwert übersetzt, der dann mit anderen Testleistungen vergleichbar ist
    • Dieser Normwert positioniert diese Person hinsichtlich ihrer Merkmalsausprägung innerhalb einer Bezugsgruppe
    • Normskalen notwendig, um zu schauen, wie hoch die Merkmalsausprägung eines Probanden in Relation zu anderen ausgeprägt ist. 
• Kriteriumsorientierte Interpretation
  • Abgleich des Testrohwertes mit psychologisch-inhaltlichen Beschreibungen, die die Bedeutung der Testrohwerte charakterisierenBsp. Screeningverfahren
    • Nicht-Erreichen einer bestimmten Punktzahl gilt als Hinweis darauf, dass ein bestimmtes Syndrom vorliegt
    • Erreichen einer bestimmten Punktzahl spricht eher dafür, dass dieses Syndrom nicht vorliegt. 

Itemschwierigkeit,  -varianz und Trennschärfe

• Itemschwierigkeit= Wahrscheinlichkeit, mit der Personen das Item lösen
• Trennschärfe = Wie gut differenziert ein Item zwischen Personen mit hohe / niedriger Ausprägung (Wendepunkte) oder auch die Passung des Items zum Gesamttest
• Itemvarianz= Streuung der Werte über die Stichprobe

Verbindung

Diese drei Parameter sind die Hauptbestandteile der Itemanalyse und werden durchlaufen. Hauptziel der Itemanalyse ist die deskriptivstatistische Evaluation der Items. 

Hohe Trennschärfe

• Items mit hohen positiven Trennschärfen differenzieren die einzelnen Probanden sehr ähnlich, wie der Gesamttest. 
• Ein Item mit hohem Trennschärfeparameter eignet sich gut, um zwischen Probanden mit hoher Merkmalsausprägung (hohem Testwert) und Probanden mit niedriger Merkmalsausprägung (niedrigem Testwert) zu unterscheiden. 

Pre-Test

• Erprobung der vorläufigen Testvorform Test wird einer Stichprobe von mind. 100 Probanden vorgelegt, die möglichst der Zielgruppe entsprechen und unter möglichst realistischen Testbedingungen
• Ziel: Items entdecken, die nicht mit den Konstruktionsansprüchen vereinbar sind 

Erprobungsmethoden

1. retrospektive Befragung der Probanden (einfachste und zeitlich effektivste Erprobungsmethode)
   • nachdem die vorläufige Testversion bearbeitet wurde, werden die Probanden befragt, bei welchen Items die Bearbeitung mit Problemen verbunden war 
2. kognitives Vorstesten/lautes Denken
   • der Testleiter liest Items laut vor und bittet die Probanden alle Überlegungen, die zur Beantwortung der Frage führen, zu formulieren
   • Methode liefert Einsichten in die Art und Weise, wie jedes Item verstanden wird und in die Srategien, welche zur Bearbeitung angewendet werden

intuitive, rationale und kriteriumsorientierte Konstruktionsstrategie

Normierung ist ein anderer Begriff für Testeichung. Grundsätzlich geht es um die Interpretation von Testergebnissen. Bei der normorientierten Interpretation wird der Testrohwert eines einzelnen Testanden in einen Normwert übersetzt, der dann mit anderen Testleistungen vergleichbar ist: Dieser Normwert positioniert diese Person hinsichtlich ihrer Merkmalsausprägung innerhalb einer Bezugsgruppe (z. B. besser als die meisten…). Grundlage für die Ermittlung eines Normwertes ist die Normierung des Testverfahrens. Die Normierung erfolgt üblicherweise an einer eigens gezogenen Eichstichprobe.

Bei Kindern beispielsweise kann man Belohnungsaufschub nicht wie bei Erwachsenen über einen schriftlichen Fragebogen erfassen, sondern sollte ein Beobachtungsverfahren wählen.

Hierbei ist die Sammlung und Analyse von Informationen zum Themenbereich wichtig, für die bereits in Stufe zwei die Grundlage im Rahmen der Literaturrecherche geschaffen wurde. Aufgabe ist es nämlich nun, die in der Literatur gefundenen Beschreibungen und Definitionen des zu untersuchenden Merkmals zu sichten, um genau bestimmen zu können: Dieses Merkmal will ich mithilfe meines Testverfahrens erfassen.

Hierbei wird das Ziel verfolgt, „Items an einer für die Zielgruppe möglichst repräsentativen Stichprobe einer deskriptivstatistischen Evaluation zu unterziehen"