Karteikarten Lektion 5 Diagnostik

Nebengütekriterien

1. Skalierung 

• Eindeutigkeit der Messung
• die laut Verrechnungsregel resultierenden Testwerte bilden die empirischen Merkmalsrelationen adäquat ab. 

2. Normierung

• Eichung
• ermöglicht eine relative, populationsbezogene Einordnung eines diagn. Wertes

3. Testökonomie

• Aufwendigkeit des Tests, z. B. Aufwand für den...
  • Probanden (Zeit, körperliche Belastung etc.)
  • Diagnostiker (Kosten, Material o. Ä.)

4. Nützlichkeit

• Test liefert relevante Informationen, die nicht bereits über andere "bessere" Tests abgedeckt werden

5. Zumutbarkeit

• Belastung des Tests für den Probanden

6. Unverfälschbarkeit

• Wie viel bewussten Einfluss kann der Proband auf den Test nehmen?
• Möglichkeiten der (Dis-)Simulation, d. h. zur Verfälschung der Ergebnisse sollten möglichst gering gehalten bzw. im Idealfall vermieden werden.

7. Fairness

• Das zu messende Merkmal wird unabhängig von anderen Einflüssen gemessen--> es darf zu keiner Benachteiligung aufgrund von Geschlecht, Kultur oder ethnischer Zugehörigkeit kommen

Testbeurteilungssystem des Testkuratoriums (TBS-TK)

• Testbeurteilungssystem der Föderation Deutscher Psychologenvereinigungen
• System zur Beurteilung der Güte von Tests--> Beurteilungskriterien und Teststandards sollen dazu beitragen, dass die im Rahmen der psychologischen Testdiagnsotik getroffenen Entscheidungen und Aussagen mit hoher Wahrscheinlichkeit zutreffen und eintreffen
• dient der Qualitätsicherung psychologischer Tests

Beurteilungsprozess in drei Schritten

1. Verfahrenshinweise auf grundsätzliche Erfüllung der in der DIN 33430 formulierten Anforderungen prüfen
2. Testkategorisierung nach ZPID und Merkmalen aus EFPA vornehmen
3. Den Test anhand der Besprechungs- und Beurteilungskategorien des Testkuratoriums bewerten

Reliabilität (Hauptgütekriterium)

• Das Maß zur Kennzeichnung der Genauigkeit einer Messung kann auf verschiedene Arten und Weisen bestimmt werden
• Testhalbierung und interne Konsistenz sind zwei Arten der Reliabilität 

Testhalbierung (split-half-Reliabilität)

= Quasi-Parallelform

Der Test wird in 2 gleichwertige Hälften aufgeteilt

• Testhälften sollen der Äquivalenzanforderung von Paralleltests entsprechen
• Jede der Testhälften liefert pro Proband einen "Testwert"
• Die Testwerte der Hälften werden korreliert
• Die Höhe der Übereinstimmung gilt als Indikator der Messgenauigkeit

Vorteil: Test muss nur einmal einer Stichprobe vorgelegt und dann in zwei Hälften aufgeteilt werden

Interne Konsistenz

• Erweiterung der Halbierungsreliabilität
• am häufigsten verwendete Reliabilitätsart
• Test wird statistisch in so viele Teile geteilt, wie er Items ha
• --> Überprüfung des inneren Zusammenhangs der Items oder Testteile, wobei auch die Testlänge Berücksichtigung findet

Zusammenhang

• beides Arten, um die Reliabilität eines Tests zu bestimmen
• beide Verfahren teilen einen Test auf, um die Reliabilität zu bestimmen
• die interne Konsistenz ist eine Erweiterung der Halbierungsreliabilität

Reliabilität (Hauptgütekriterium)

• Das Maß zur Kennzeichnung der Genauigkeit einer Messung kann auf verschiedene Arten und Weisen bestimmt werden. 
• Die Retest-Reliabilität und die Testhalbierung sind zwei Arten die Reliabilität (Messgenauigkeit, Zuverlässigkeit eines Instruments) zu bestimmen. 

Testwiederholung (Retest-Reliabilität)

• Denselben Probanden wird derselbe Test unter vergleichbaren Bedingungen mind. 2-mal vorgegeben (Testung 1 und Testung 2)
• Die Score-Reihen von Testung 1 und Tesung 2 werden korreliert. Die Höhe des Koeffizienten gilt als Schätzung der Messgenauigkeit

Mögliche Probleme

• Lerneffekte bei den Probanden
• Übungseffekte
• Erinnerungseffekte (bei zu kurzen Zeitabständen zwischen Testung 1 und 2)
• Merkmalsfluktuation (Veränderung der wahren Werte des Merkmals; Merkmal ist nicht zeitstabil)
• Retest-Reliabilität kann künstlich erhöht werden, wenn Testpersonen bei der 2. Testung absichtlich ähnlich antworten, wie bei der 1. Testung

--> Voraussetzung der Retest-Reliabilität: Stabilität des Merkals, d.h. Zielmerkmal muss relativ stabil bleiben

Dilemma bei der Bestimmung des besten Zeitintervalls für die Retesung

1. Es gilt Übungs- und Erinnerungseffekte zu vermeiden
2. Die wahren Werte der Probanden zwischen den beiden Testungen sollen sich möglichst wenig verändern. 

Testhalbierung (split-half-Reliabilität)

= Quasi-Parallelform

Der Test wird in 2 gleichwertige Hälften aufgeteilt

• Testhälften sollen der Äquivalenzanforderung von Paralleltests entsprechen
• Jede der Testhälften liefert pro Proband einen "Testwert"
• Die Testwerte der Hälften werden korreliert
• Die Höhe der Übereinstimmung gilt als Indikator der Messgenauigkeit

Vorteil: Test muss nur einmal einer Stichprobe vorgelegt und dann in zwei Hälften aufgeteilt werden

Gründe für unterschiedliche Korrelationen

• unterschiedliche Herangehensweisen bei der Korrelation
  • Testwiederholung: Score-Reihen von T1 und T2 werden korreliert
  • Testhalbierung: Testwerte der Hälften werden korreliert
• Häufigkeit der Testung
  • Problematik, dass bei der Testwiederholung der Test mind. 2 mal vorgelegt wird, wodurch es zu diversen Problemen und Verzerrungen kommen kann, die die Reliabiliät verändern oder künstlich erhöhen können. 
  • Bei der Testhalbierung muss der Test nur einmal vorgelegt werden
• Reliabilität künstlich erhöhen
  • Retest-Reliabilität kann bei der Testwiederholung künstlich erhöht werden, wenn Testpersonen bei der 2. Testung absichtlich ähnlich antworten, wie bei der 1. Testung
  • Bei der Testhalbierung kann die Reliabilität nicht künstlich erhöht werden

Arten der Objektivität

...je nach Stelle im (test-)diagnostischen Verfahren

1. Durchführungsobjektivität (Testleiterunabhängigkeit)
2. Auswertungsobjektivität (Verrechnungssicherheit)
3. Interpretationsobjektivität (Interpretationseindeutigkeit)

Arten der Validität

(misst der Test, was er zu messen verspricht?)

1. Inhaltliche Validität (Augenschein-Validität)

Repräsentationsauschluss!

= Möglichkeit, das Testergebnis über die konkreten Aufgaben hinaus auf das Universum möglicher Aufgaben zu verallgemeinern. 

• Repräsentieren die Items logisch-inhaltlich das zu erfassende Konstrukt?
• Sind die Items geeignet das Konstrukt zu erfassen?
• inwieweit können mithilfe des bereffenden Konstrukts unterschiedliche Antworten schlüssig erklärt werden?

2. Kriterienbezogene Validität

• betreffendes Konstrukt wird durch eine Kriteriumsmessung direkt sichtbar gemacht
• psychologisches Konstrukt wird anhand eines externen Kriteriums operationalisiert. Daher wird eine Korrelation der Tests mit einem Kriterium bestimmt. 
• Bsp.: Test zur Rückfallgefährdung --> Kriterium: erneute Straftaten

3. Inkrementelle Validität

= Beitrag, den ein weiterer Test zur Vorhersage eines Kriteriums zu leisten vermag (über ein bereits vorhandenes Testverfahren hinaus)

4. Konstruktvalidität 

(bezieht sich zunächst auf latente, theoretische Konstrukte)

• Idee: das zu messende latente Konstrukt, steht mit anderen Konstrukten in systematischer Verbindung
• Ziel: Einbettung des mit dem Test erfassten Konstruktes in das Netzwerk anderer, teils verwandter(kovergente Validität), teils fremder Konstrukte (diskriminante Validität)
  • konvergente Validität = Validitäten zwischen Konstrukten, bei denen Zusammenhänge erwartet werden--> hohe Korrelationen mit verwandten Konstrukten
  • diskriminante Validität = Validitäten zwischen Konstrukten, die vermutlich nichts miteinander zu tun haben--> niedrige Korrelationen mit fremden Konstrukten 

Konstruktvalidität

(bezieht sich zunächst auf latente, theoretische Konstrukte)

• Idee: das zu messende latente Konstrukt, steht mit anderen Konstrukten in systematischer Verbindung
• Ziel: Einbettung des mit dem Test erfassten Konstruktes in das Netzwerk anderer, teils verwandter (kovergente Validität), teils fremder Konstrukte (diskriminante Validität)
  • konvergente Validität = Validitäten zwischen Konstrukten, bei denen Zusammenhänge erwartet werden--> hohe Korrelationen mit verwandten Konstrukten
  • diskriminante Validität = Validitäten zwischen Konstrukten, die vermutlich nichts miteinander zu tun haben--> niedrige Korrelationen mit fremden Konstrukten 

Reliabilität (Hauptgütekriterium)

Das Maß zur Kennzeichnung der Genauigkeit einer Messung kann auf verschiedene Arten und Weisen bestimmt werden

Testwiederholung (Retest-Reliabilität)

• Denselben Probanden wird derselbe Test unter vergleichbaren Bedingungen mind. 2-mal vorgegeben (Testung 1 und Testung 2)
• Die Score-Reihen von Testung 1 und Tesung 2 werden korreliert. Die Höhe des Koeffizienten gilt als Schätzung der Messgenauigkeit

Mögliche Probleme

• Lerneffekte bei den Probanden
• Übungseffekte
• Erinnerungseffekte (bei zu kurzen Zeitabständen zwischen Testung 1 und 2)
• Merkmalsfluktuation (Veränderung der wahren Werte des Merkmals; Merkmal ist nicht zeitstabil)
• Retest-Reliabilität kann künstlich erhöht werden, wenn Testpersonen bei der 2. Testung absichtlich ähnlich antworten, wie bei der 1. Testung

--> Voraussetzung der Retest-Reliabilität: Stabilität des Merkals, d.h. Zielmerkmal muss relativ stabil bleiben

Dilemma bei der Bestimmung des besten Zeitintervalls für die Retesung

• Es gilt Übungs- und Erinnerungseffekte zu vermeiden
• Die wahren Werte der Probanden zwischen den beiden Testungen sollen sich möglichst wenig verändern. 

Paralleltestmethode

= Quasi-Testwiederholung

• 2 Parallelformen des Tests werden benötigt, die aus gleichen aber nicht identischen Itemstichproben bestehen
  • im Idealfall inhaltlich äquivalent! (gleiche Mittelwerte und Streuungen)
  • je 2 Items müssen einander auf nicht triviale Art sehr ähnlich sein
• Die gleichen Probanden bearbeiten 2 Parallelformen des gleichen Tests
  • 1. Hälfte der Probanden bearbeitet zuerst Form A und dann B
  • 2. Hälfte der Probanden bearbeitet zuerst Form B und dann A
• Der Kennwert wird durch die Korrelation der beiden Testformen ermittelt
• Diese Art der Reliabilitätsbestimmung wird häufig bei...angewendet
  • Niveautests (Powertests)
  • Schnelligkeitstests (Speedtests)

Testhalbierung (split-half-Reliabilität)

= Quasi-Parallelform

Der Test wird in 2 gleichwertige Hälften aufgeteilt

• Testhälften sollen der Äquivalenzanforderung von Paralleltests entsprechen
• Jede der Testhälften liefert pro Proband einen "Testwert"
• Die Testwerte der Hälften werden korreliert
• Die Höhe der Übereinstimmung gilt als Indikator der Messgenauigkeit

Vorteil: Test muss nur einmal einer Stichprobe vorgelegt und dann in zwei Hälften aufgeteilt werden

Interne Konsistenz

• Erweiterung der Halbierungsreliabilität
• am häufigsten verwendete Reliabilitätsart

Test wird statistisch in so viele Teile geteilt, wie er Items hat--> Überprüfung des inneren Zusammenhangs der Items oder Testteile, wobei auch die Testlänge Berücksichtigung findet

2 Nebengütekriterien

1. Testökonomie= Aufwendigkeit des Tests, z.B. Aufwand für den Probanden (Zeit, körperliche Belastung...) und Aufwand für den Diagnostiker (Zeit, Kosten, Material,...)
2. Nützlichkeit= Test liefert relevante Informationen, die nicht bereits über andere "bessere" Tests abgedeckt werden. 

• Ein Test ist dann reliabel (zuverlässig), wenn er das Merkmal, das er misst, exakt, d.h. ohne Messfehler, misst. (Moosbrugger/Kelava)
• Die Reliabilität eines Tests ist der Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X). (Schmidt-Atzert und Amelang)

1. Durchführungsobjektivität (Testleiterunabhängigkeit)
2. Auswertungsobjektivität (Verrechnungssicherheit)
3. Interpretationsobjektivität (Interpretationseindeutigkeit)

Objektivität

= Unabhängigkeit der Untersuchung vom Diagnostiker. Verschiedene Testauswerter kommen beim gleichen Probanden zu identischen Ergebnissen

Arten der Validität

1. Inhaltliche Validität (Augenschein-Validität)
2. Kriteriumsbezogene Validität
3. Inkrementelle Validität
4. Konstruktvalidität

Die Besprechungs- und Beurteilungskategorien des Testkuratoriums (TK) sind:

1. Allgemeine Informationen über den Test, Beschreibung des Tests und seiner diagnostischen Zielsetzung
2. Theoretische Grundlagen als Ausgangspunkt der Testkonstruktion
3. Objektivität
4. Normierung (Eichung)
5. Zuverlässigkeit (Reliabilität, Messgenauigkeit)
6. Gültigkeit (Validität)
7. Weitere Gütekriterien (Störanfälligkeit, Unverfälschbarkeit und Skalierung)
8. Abschlussbewertung/Empfehlung

Unsystematische Veränderungen

--> die Retest-Reliabilität wird nicht durch Merkmalsveränderungen beeinflusst, die alle Personen gleichermaßen betreffen (systematische Veränderungen). 

Systematische Veränderungen der gemessenen Werte, die bei allen getesteten Personen gleich ausfallen, sind grundsätzlich kein Problem bei der Bestimmung der Retest-Reliabilität (Beispiel: Alle Testpersonen lernen zwischen dem ersten und zweiten Zeitpunkt genau gleich viel dazu). Durch das Addieren oder Sub- trahieren eines konstanten Betrags bei allen Messwerten würden sich die wahren Varianzen und damit auch die Korrelation zwischen dem ersten und zweiten Messzeitpunkt nicht ändern.

Eine unsystematische Veränderung zwischen den Messgelegenheiten hat dage- gen einen verfälschenden Einfluss auf die Test-Test-Korrelation. Unsystematische Veränderungen können beispielsweise bei instabilen Merkmalen durch interindivi- duell unterschiedliche Entwicklungsverläufe oder auch durch situationsspezifische Effekte, auf die die Testpersonen unterschiedlich reagieren, zustande kommen