Karteikarten Lektion 2 Diagnostik

• 1. Axiom: Der Testwert setzt sich zusammen aus dem wahren Wert (T) und dem Fehler (E)X=T+E
• 2. Axiom: Jede Messung setzt sich aus einem wahren Wert (T) und einem zufälligen Messfehler (E) zusammen.
• 3. Axiom: Die Korrelation zwischen dem Messfehler (E) und den wahren Werten (T) bei beliebigen Personen und Items beträgt null. 

Zusatzannahmen

• 4. Axiom: Unabhängigkeit des Fehlers (E) einer Messung vom wahren Wert (T) einer anderen Messung
• 5. Axiom: Unabhängigkeit von Fehlern (E) aus 2 Messungen
• 1. Axiom: Der Testwert setzt sich zusammen aus dem wahren Wert (T) und dem Fehler (E)X=T+E
• 2. Axiom: Jede Messung setzt sich aus einem wahren Wert (T) und einem zufälligen Messfehler (E) zusammen.
• 3. Axiom: Die Korrelation zwischen dem Messfehler (E) und den wahren Werten (T) bei beliebigen Personen und Items beträgt null. 

•  

  Zusatzannahmen

• 4. Axiom: Unabhängigkeit des Fehlers (E) einer Messung vom wahren Wert (T) einer anderen Messung
• 5. Axiom: Unabhängigkeit von Fehlern (E) aus 2 Messungen

• Testtheorie, die eine Grundlage zur möglichst genauen Messung schaffen möchte 
• modernerer Ansatzpunkt (im Vergleich zur klassischen Testtheorie), jedoch KEIN Gegenstück, sondern ergänzend zur KTT
• Die IRT beschäftigen sich im Wesentlichen mit der Begründung des Rückschlusses von manifestem Verhalten(beobachtbaren Testwerten und Indikatoren) auf latente Variablen (psychologische Konstrukte), die nicht direkt messbar sind
• Annahme: die latente Variable beeinflusst die manifeste Variable (--> Testitems korrelieren miteinander)
• Annahme, dass es durchaus auch systematische Anteile in der Messfehlervarianz gibt. 

Parameterschätzung (IRT)

Ziel der Entwicklung eines Testverfahrens auf Grundlage der IRT: Schätzung der vorher unbekannten Parameter des Items. Hierfür wird die Maximum-Likelihood-Schätzung angwandt. 

Maximum-Likelihood-Schätzung

hierbei werden die Parameterschätzungen so lange adjustiert, bis sich die Likelihood nicht mehr weiter erhöht bzw. bis die Adjustierung nur noch zu unbedeutenden Veränderungen in den geschätzten Parametern führt. Dieser Zustand wird Konvergenz genannt. 

(Berechnung nur computergestützt möglich, da sie sehr aufwendig ist.)

Rasch-Modell

Dieses Modell sagt voraus, dass mit steigender Personenfähigkeit die Wahrscheinlichkeit einer Itemlösung zunimmt.

Die Lösungswahrscheinlichkeit für ein bestimmtes Item hängt von zwei Parametern ab:

• (1) der Fähigkeit oder Eigenschaftsausprägung einer Person sowie
• (2) der Schwierigkeit eines Items.

Diese Beziehung zwischen Personenfähigkeit und Lösungswahrscheinlichkeit eines Items ist probabilistisch. Das heißt auch eine Person mit geringer Fähigkeit im Vergleich zur Schwierigkeit eines Items hat eine, wenn auch geringe, Wahrscheinlichkeit, ein solches Item zu lösen.

Itemhomogenität

Ein Item ist dann ein guter Indikator für eine latente Variable, wenn die Leistung in diesem Item komplett auf die Fähigkeitsausprägung auf der latenten Variablen zurückzuführen ist und nicht auf andere Variablen. Dies ist eine höchst wünschenswerte Annahme für die Testkonstruktion. 

Lokale stochastische Unabhängigkeit

Wenn alle Items Manifestationen ein und derselben latenten Dimension sein sollen, so werden ihre Korrelationen nur durch die Unterschiede in der latenten Dimension hervorgerufen. Hält man die latente Dimension auf einem Wert konstant, müssen -bei stochastischer Unabhängigkeit- die Korrelationen zwischen den Items auf diesen Stufen verschwinden. 

--> Das eine Item bedingt nicht das Antwortverhalten beim anderen Item. Egal wo ein Item im Test steht, das Antwortverhalten ist unabhängig von den anderen Items.  

Laut Skript: 

• Modell der IRT, das versucht, den Rückschluss von manifesten Antwortverhalten auf latente Variablen zu begründen
• Eines der einfachsten und bekanntesten Modelle
• Es ist nur bei Items mit dichotomen Antwortmöglichkeiten, d.h. Items mit genau 2 Antwortmöglichkeiten (z. B. „stimmt“/„stimmt nicht“ oder „trifft zu“/„trifft nicht zu“) anwendbar.
• Annahme, dass alle Items einer Skala oder eines Tests dieselbe latente Dimension (z. B. Fähigkeit, Einstellung, Persönlichkeitseigenschaft) mit unterschiedlichen Itemschwierigkeiten, aber jeweils identischer Trennschärfeerfassen--> Modell nimmt für alle Items dieselbe Steigung der IC-Funktion an 

Birnbaum-Modell (2PL-Modell, dichotomes Birnbaum-Modell)

• Modell der IRT, das versucht, den Rückschluss von manifesten Antwortverhalten auf latente Variablen zu begründen
• Anwendung der logistischen IC-Funktion
  • das 2 PL-Modell erlaubt unterschiedliche Steigungen, indem es neben dem Schwierigkeitsparameterzusätzlich als zweiten Itemparameter einen Diskriminationsparameter enthält. 
  • Dadurch soll berücksichtigt werden, dass verschiedene Items unterschiedlich gut zwischen schwächeren und stärkeren Merkmalsausprägungen trennen können, was sich in unterschiedlichen Steilheiten der IC-Funktion ausdrückt. 

• Quasi Erweiterung des Rasch-Modell um den Diskriminationsparameter--> Steigung der Gerade: Wie gut kann ein Item zwischen höheren und niedrigeren Merkmalsausprägungen unterscheiden? 
• Ob ich ein Item lösen kann hängt sowohl von meiner eigenen Fähigkeit, als auch der Schwierigkeit des Items ab und zusätzlich vom Diskriminationsparameter 
  • steilere Kurve = Item kann gut diskriminieren
  • flachere Kurve = Item kann weniger gut diskriminieren 

Unterschiede KTT und IRT

• Variablen
  • IRT: Eine Unterscheidung von latenten Variablen und manifesten Variablen findet nur in den IRT statt. 
• Messfehlervarianz
  • KTT: Der Messfehler ist in der KTT zentral und es wird davon ausgegangen, dass er unsystematisch ist. 
  • IRT: Annahme, dass es durchaus auch systematische Anteile in der Messfehlervarianz gibt. 
• theoretische Grundlage
  • IRT: viel fundiertere theoretische Grundlage, strengere empirisch überprüfbare Annahmen
  • KTT: Axiome sind nicht wirklich überprüfbar bzw. nur schwer haltbar. Sie ergeben sich logisch aus der Feststellung des beobachteten Wertes als wahrer Wert plus Messfehler. 
• Theorie
  • KTT: reine Messfehlertheorie, die sich an der physikalischen Messung orientiert, beschreibt
  • IRT: beschäftigen sich mit der Begründung des Rückschlusses von manifesten Variablen auf latente Variablen, die nicht direkt messbar sind., erklärt

Klassisch heißt sie deshalb, weil sie die erste Theorie war, die zur Konstruktion von psychologischen Tests herangezogen wurde.

1. Die klassische Testtheorie (KTT) geht auf pragmatische Überlegungen hinsichtlich der Konstruktion von Tests zurück, die seit Beginn des 20. Jahrhunderts entwickelt wurden. 90% aller Testverfahren nach der KTT entwickelt worden
2. KTT wurde vor über 60 Jahren entwickelt, zu Beginn des 20. Jahrhunderts. 
3. Die Item-Response-Theorien (IRT). Sie stellen in gewisser Art eine Antwort auf die Kritik an den KTT dar  und sollen als Ergänzung (und nicht als Gegenstück) dieser dienen. 

Axiom

Axiome sind Aussagen, die nicht begründet werden müssen, sondern von sich aus offensichtlich richtig sind.

Die KTT besteht aus einer Reihe von Axiomen, die praktisch sinnvolle Ableitungen erlauben und bei der Testkonstruktion nutzbar gemacht werden. 

Axiome...

• sind nicht wirklich überprüfbar bzw. nur schwer haltbar.
• ergeben sich logisch aus der Festsetzung des beobachteten Wertes als wahrer Wert plus Messfehler

1. Axiom

Der Testwert setzt sich zusammen aus dem wahren Wert (T) und dem Fehler (E)

• X=T+E

2. Axiom

Jede Messung setzt sich aus einem wahren Wert (T) und einem zufälligen Messfehler (E) zusammen.

• Der Testwert (X) ist ein erwartungsstreuer Schätzer vom "wahren" Wert (T). Alle Fehlereinflüsse sind zufällig und unsystematisch. Bei wiederholten Testanwendungen findet ein Fehlerausgleich statt. (= Der Mittelwert des Messfehlers ist Null.)
• Gründe für zufällige Messfehler: Müdigkeit, Kopfschmerzen, Leichtsinnsfehler, geratene Antworten --> so kann der Testwert in Wirklichkeit noch höher oder niedriger sein!

3. Axiom

Die Korrelation zwischen dem Messfehler (E) und den wahren Werten (T) bei beliebigen Personen und Items beträgt null. 

• Unabhängigkeit von Fehler (E) und wahrem Wert (T). 

Zusatzannahmen

• 4. Axiom: Unabhängigkeit des Fehlers (E) einer Messung vom wahren Wert (T) einer anderen Messung
• 5. Axiom: Unabhängigkeit von Fehlern (E) aus 2 Messungen

KTT vs. IRT

• Messmodelle
  • KTT: eine Theorie
  • IRT: besteht aus einer Vielzahl von Messmodellen, d.h. zahlreiche Modelle versuchen den Rückschluss von manifesten Antwortverhalten auf latente Variablen zu begründen (Rasch-Modell, Birnbaum-Modell...)
• Verteilung
  • KTT: 90% aller Testverfahren nach KTT konzipiert
  • IRT: 10% aller Testverfahren nach der IRT konzipiert
• Enstehung
  • KTT: Klassisch heißt sie deshalb, weil sie die erste Theorie war, die zur Konstruktion von psychologischen Tests herangezogen wurde.
  • IRT: wurde im Anschluss an die KTT entwickelt und soll als Antwort auf die Kritik an der KTT dienen
• Messfehler
  • KTT: Annahme, dass alle Messfehler unsystematisch seien
  • IRT: Annahme, dass es durchaus auch systematische Anteile in der Messfehlervarianz gibt
• Komponenten
  • KTT: Testwert setzt sich nur aus 2 Komponenten zusammen: wahrer Wert und Messfehler --> reine Messfehlertheorie
  • IRT: Verschiedene Einflüsse beeinflussen beobachtbaren Reaktion eines Probanden auf ein Item: Personenparameter, Itemparameter und Zufall
• latente Variable
  • KTT: geht davon aus, dass die Testitems eines Tests tatsächlich eine latente Variable messen 
  • IRT: Die IRT versucht den Rückschluss von manifesten Antwortverhalten auf latente Variablen zu begründen
• Komplexität
  • KTT: einfache Anwendbarkeit
  • IRT: methodisch sehr aufwendig konstruiertes Verfahren
• Theoretische Grundlage
  • KTT: Axiome sind nicht wirklich überprüfbar und werden als wahr angenommen
  • IRT: beruht auf einer wesentlich strengeren Aufnahmebasis als die KTT (viel fundiertere theoretische Grundlage)

KTT (Klassische Testtheorie)

"Messfehlertheorie" = Testwerte (beobachtete Werte einer Person) sind fehlerbehaftet und setzen sich aus einem wahren Wert und einem zufälligen, unsystematischen Messfehler zusammen. 

Hauptziel der KTT

• Abschätzung des Standardmessfehlers und somit der Zuverlässigkeit (Reliabilität) der Messung
  • Standardmessfehler = die zu erwartende Streuung der beobachteten Testwerte um den wahren Wert des Probanden herum
  • Reliabilität: Quotient der Varianz der wahren Werte und der Varianz der beobachteten WerteWert, der zwischen null und eins liegt und die Höhe der Messgenauigkeit einer Messung angibt. Dabei bedeutet ein Wert von eins, dass die Messung perfekt genau ist.

Axiome der KTT

Die KTT stellt grundlegende Annahmen, auf die sich eine Testkonstruktion stützen kann (Axiome). Diese werden als „wahr“ angesehen und nicht weiter überprüft. Die KTT besteht aus 5(3) dieser Axiome:

1. Ein beobachteter Wert (Messwert) x setzt sich zusammen aus dem wahren Wert t und dem Fehlerwert e: x = t + e
2. Die Messfehler ist zufällig. D.h. sein Erwartungswert ist Null.
3. Die Korrelation zwischen dem wahren Wert und dem Messfehler ist Null
4. Die Korrelation zwischen wahrem Wert und Messfehler unterschiedlicher Messungen ist Null
5. Die Korrelation zwischen den Messfehlern unterschiedlicher Messungen ist Null

Daraus folgt

• Der Messwert ist eine gute Schätzung für den wahren Wert
• Es sind keine systematischen Fehlereinflüsse vorhanden
• Diese Annahmen eignen sich nur für relativ stabile Merkmale

Grenzen der KTT

• reine Messfehlertheorie: Annahme, dass alle Messfehler unsystematisch seien (dem ist jedoch nicht so)
• Axiome der KTT sind empirisch nicht überprüfbar. Sie werden als "wahr" angesehen

Beobachtbare Reaktion

Jede beobachtbare Reaktion eines Probanden auf ein Item besteht aus drei verschiedenen Anteilen

• Eigenschaft der Person (z.B. Fähigkeit) --> Personenparameter
• Eigenschaft des Items (z.B. Schwierigkeit) --> Itemparameter
• Zufall (unkontrollierbare Einflüsse)

2. Axiom der KTT

Jede Messung setzt sich aus einem wahren Wert (T) und einem zufälligen Messfehler (E) zusammen. 

Daraus lässt sich schlussfolgern, dass der Testwert (X) ein erwartungsstreuer Schätzer vom "wahren" Wert (T) ist. Schließlich sind alle Fehlereinflüsse zufällig und unsystematisch, weil bei wiederholten Testanwendungen ein Fehlerausgleich stattfindet. Der Mittelwert des Messfehlers ist Null. 

1. Axiom der KTT

Jeder Testwert setzt sich zusammen aus einem wahren Wert und einem Messfehler: X (Testwert) = T (wahrer Wert) + E (Messfehler)

• Messfehler überlagert wahren Wert: Der Messfehler legt sich beim Vorgang des Messens über den wahren Wert und lässt den beobachteten -durch eine Testung erhaltenen- Wert vom wahren Wert mehr oder weniger stark abweichen
• Konzept des Messfehlers: Gesamtheit aller unsystematischen und nicht kontrollierbaren oder vorhersagbaren Einflussgrößen, die auf das Messergebnis - in die ein oder andere Richtung - einwirken können
  • Messfehler aufgrund der äußeren Bedingungen (z.B. Tageszeit, Gegenwart/Abwesenheit von Sitznachbarn...)
  • Messfehler aufgrund von Faktoren, die innerhalb der getesteten Person liegen (z.B. Motivation, Müdigkeit/besondere Frische, positive/negative Stimmung...)

Beispiel: 

Bei einem Intelligenztest setzt sich der beobachtete Testwert der Person aus dem wahren Wert (der wahren Intelligenz) der Person und dem Messfehler zusammen. Dieser Messfehler kann die wahre Intelligenz (wahren Wert) zum Beispiel durch Müdigkeit nach unten abweichen lassen. 

Testtheorien

• ...befassen sich mit der Frage, auf welcher Grundlage psychologische Tests konzipiert werden sollen
• ....schaffen die Grundlage für eine möglichst präzise Messung der Merkmalsausprägungen durch Testverfahren 

Personenparameter

= Wahrscheinlichkeit, mit der eine Person Items in einem Testverfahren lösen kann. --> Eigenschaft einer Person (z.B. Fähigkeit)

Itemparameter

= Wahrscheinlichkeit, mit der ein Item, von Personen, die den Test absolvieren, gelöst wird. 

--> Eigenschaft des Items (z.B. Schwierigkeit)

Zusammenhang

• Aus den beiden Parametern ergibt sich dann eine Funktion: die Item-Response-Funktion.
• Die Wahrscheinlichkeit, dass Person w Item j richtig löst, hängt sowohl davon ab, wie schwer das Item ist (Itemparameter), als auch davon, wie fähig die Person ist (Personenparameter).
• Bei der Item-Response-Funktion wird meist der Personenparameter auf der x-Achse und der Itemparameter (die Lösungswahrscheinlichkeit) auf der y-Achse abgebildet. 
• Je nach Modell (z.B. Rasch, Birnbaum) ergibt sich eine unterschiedliche Item-Response-Funktion