Stufen der Testkonstruktion

Testverfahren sind mehr als eine Aneinanderreihung von Items

-> grundlegende Entscheidungen müssen vor der eigentlichen

Testkonstruktion getroffen werden

Fragestellung mit Problem- und Anforderungsanalyse

- Frage nach Zielgruppe und Festlegen von Geltungsbereich (Kinder,

Jugendliche, Senioren)

-> diese Fragen mit Einfluss auf Formulierung/Schwierigkeit der Items

und Testformat

-> je breiter die Zielgruppe, desto mehr müssen die Aufgaben über

einen breiteren Schwierigkeitsbereich streuen

 Planung und Literaturrecherche

-> Testautor zieht einschlägige Theorien und empirische Arbeiten heran

-> aktuelle Übersichtsarbeiten verringern Arbeitsaufwand

(Metaanalysen)

-> auch Expertenbefragung oder Beobachtung einer kleinen Stichprobe

Merkmalsbestimmung und Arbeitsdefinition

psychologische Merkmalsanalyse:

-> Sammlung und Analyse von Infos zum Themenbereich (Grundlage

wurde in 2.Stufe geschaffen)

-> Beschreibungen und Definitionen des zu untersuchenden Merkmals

sichten, um genau bestimmen zu können, welches Merkmal man

erfassen möchte

(Arbeits-)Definition des zu erhebenden Konstrukts finden:

-> wenn Recherche keine geeignete Definition stellt, muss eine eigene

entworfen werden

-> Strukturierung des Merkmals und Differenzierung von spezifischeren

Verhaltenskategorien ermöglicht Vollständigkeit im nächsten Schritt

Testentwurf

-> Durchleuchten von möglichen Konstruktionsstrategien

1. intuitive Konstruktionsstrategie

-> bei wenig vorliegendem theoretischen Kenntnisstand; vor allem wenn

neuer Forschungszweig beginnt (Konstruktion abhängig von Intuition

und Erfahrung des Testkonstrukteurs)

2. rationale Konstruktionsstrategie

-> Formulieren von Items ausgehend von einer bereits vorhandenen,

elaborierten Theorie (Voraussetzung: gute theoretische

Vorkenntnisse im Entwicklungsteam)

3. Kriteriumsorientierte Konstruktionsstrategie

-> Auswahl von Items unter Bezugnahme externer Kriterien (es werden

Items gewählt, die Gruppen unterscheiden können)

Dann: Erstellen einer vorläufigen Testversion (zu beachten ist Reihenfolge der Items, Instruktion, Layout und Antwortformat)

Pre-Test (Erprobung der vorläufigen Testform)

-> Ziel: Items entdecken, die nicht mit Konstruktionsansprüchen

vereinbar sind

- vorläufige Testversion wird einer Stichprobe vorgelegt

-> mind. 100 Probanden, die der Zielgruppe entsprechen (für

realistische Testbedingungen)

-> retrospektive Befragung: Probanden werden befragt, welche Items

mit Problemen verbunden waren

-> kognitives Vortesten: Testleiter liest Items vor und Probanden

formulieren Überlegungen, die zur Beantwortung dieser Frage führen

Verteilungsanalyse

-> Ziel: Items an einer repräsentativen Stichprobe einer

deskriptivstatistischen Evaluation unterziehen

Entscheiden für KTT oder IRT:

-> KTT: Testwertverteilung mittels Bestimmung von Mittelwert, Median,

Modalwert, Testwertvarianz, Spannungsweite, Schiefe und Exzess

untersuchen

-> Unterschiede vor allem bei Bestimmung der Trennschärfe (IRT:

Trennschärfe kann unendlich hohen Wert annehmen; bei KTT

maximal Wert von 1)

Itemanalyse und Itemselektion

-> Ziel: deskriptivstatistische Evaluation (alle geeigneten Items werden

dann selektiert)

-> wesentliche Parameter: Itemschwierigkeit/-varianz, Trennschärfe

Schwierigkeitsanalyse:

-> dürfen nicht zu leicht oder zu schwer sein (sollen Probanden

differenzieren können)

-> Schwierigkeitsindex P (Quotient aus bei dem Item tatsächlich

erreichter Punktzahl aller Probanden und der maximal erreichbaren

Punktsumme, multipliziert mit 100): steigt an, je mehr Personen Item

richtig beantworten konnten, bezieht sich also auf Leichtigkeit

Itemvarianzanalyse:

-> Differenzierungsfähigkeit von Items in Bezug auf getestete

Stichprobe (Schwierigkeit des Items ist besonders zu beachten)

Trennschärfeanalyse:

- Korrelation eines Items mit der Gesamtskala (Items mit hohen

positiven Trennschärfen differenzieren die einzelnen

Probanden sehr ähnlich wie der Gesamttest)

-> Item wird von Personen mit geringer Merkmalsausprägung richtig

beantwortet, bei starker Merkmalsausprägung falsch

Kriterienkontrolle

-> Eliminierung und Umformulierung der Items, die den vorher

festgelegten Kriterien nicht entsprechen

Testrevision

-> Erstellen einer tragfähigen Testendfassung (diese meist revidierte Testversion wird erneut einer Stichprobe zur Testung vorgelegt)

Eichung (Normierung)/Cut-off-Werte

-> nicht zwingend notwendig (nicht, wenn Test nur für Forschung

verwendet werden soll)

- für Messung einer einzelnen Person, um Testwert valide interpretieren

zu können

-> wie hoch ist Merkmalsausprägung des Probanden in Relation zu

anderen ausgeprägt?

- Testwert liegt zunächst immer als Rohwert vor (Summe der Itemwerte)

-> Testrohwerte können nicht direkt interpretiert werden

-> zur Beurteilung wird sinnvoller Vergleichsmaßstab benötigt

1. normorientierte Interpretation
2. kriteriumsorientierte Interpretation

Abgleich mit psychologisch-inhaltlichen Beschreibungen, die die Bedeutung der Testrohwerte charakterisieren

Screeningverfahren:

-> z.B. Mini-Mental-Status-Test, Montreal Cognitive Assessment

-> Nicht-Erreichen einer bestimmten Punktzahl (Cut-Off-Wert) weist

darauf hin, dass ein bestimmtes Syndrom vorliegt

-> Erreichen einer Punktzahl spricht dafür, dass kein Syndrom vorliegt

Testrohwerte bei vergleichbaren Personen:

-> individueller Testrohwert wird zum durchschnittlichen Rohwert in

Bezug gesetzt

Testrohwert wird in einen Normwert übersetzt, der vergleichbar ist:

-> positioniert Person hinsichtlich Merkmalsausprägung innerhalb einer

Bezugsgruppe

-> Grundlage: Normierung des Testverfahrens (anhand eigens

gezogener Eichstichprobe)

1. muss repräsentativ für Population sein, die mit Test erfasst wird
2. umfangreich (soll Probanden bei Geschlecht, Bildungsabschluss und Alter entsprechen)

- genaue Größe der Probe hängt von vielen Faktoren ab

zusätzlich werden Normskalen benötigt:

-> zur Beantwortung, wie hoch Merkmalsausprägung in Relation zu

anderen ausgeprägt ist

-> Basis vieler Normskalen sind Standardwerte (werden mithilfe der

linearen Transformation in z.B. IQ-Werte umgewandelt)

-> Prozentrang 70: 70% der Eichstichprobe haben gleiches oder

schlechteres Testergebnis und nur 30% ein besseres

Persönlichkeitsfragebogen für Kinder zwischen 9 und 14 Jahren von Seitz und Rausche (2004):

-> mehrdimensionaler Persönlichkeitsfragebogen von Dimensionen der

Kinderpersönlichkeit

-> Ziel: Feststellung der individuellen Ausprägung wichtiger

Persönlichkeitsmerkmale (durch Entsprechung/Abweichung)

-> Test erfasst primäre Persönlichkeitszüge (traits) und

Persönlichkeitszüge auf höherem Allgemeinheitsniveau (Faktoren II)

-> Erklärung und Vorhersage des Verhaltens von Schülern und

Einflussnahme auf schulische Entwicklung

Persönlichkeit in 3 Teilbereiche gegliedert:

1. Verhaltensstile
2. Motive
3. Selbstbild

es wurden folgende Ziele verfolgt:

1. interindividuelle Bestimmung der Charakteristika der Kinderpersönlichkeit hinsichtlich der Merkmalsausprägung
2. Erfassung der 3 Teilbereiche, die hohe Varianz des Erlebens und Verhaltens aufklären
3. Konstanz interner Struktur über verschiedene Subpopulationen
4. Beschreibung der Persönlichkeitsstruktur eines Probanden gegenüber der Ausprägung der Durchschnittsstruktur

1976: erste Auflage mit 15 Primärdimensionen (4 Verhalten, 6 Motiv, 5 Selbstbild) und 5 Faktoren II

1992: 3. Auflage (einheitliche Festlegung der Anzahl von Items auf 12 pro Dimension)

2004: 4. Auflage (Teststatistik und Struktur erneut überprüft)