Karteikarten Lektion 7 Diagnostik

Reihenfolgenfehler (Primacy-Recency-Effekt)

Nicht nur der Inhalt von Informationen führt zu einem Gesamteindruck, sondern auch die Reihengolge, in der sie wahrgenommen werden

Primacy-Effekt

• Die erste Information, die wahrgenommen wird, wird am höchsten eingeschätzt bzw. vermehrte Zustimmung zu den ersten Informationen/Antwortalternativen
• Bsp.: 142 Testpersonen sollten bis zu 5 verschiedene Weine probieren und beurteilen. Jedes Mal bevorzugen die Tester den 1.Wein

Recency-Effekt

• Die zuletzt erhaltene Information bleibt am besten haften bzw. vermehrte Zustimmung zu den Informationen/Antwortalternativen am Ende
• Bsp.: Bei Verhandlungen mit Kunden sollte man das beste Argument zum Schluss nennen, um einen guten Eindruck zu hinterlassen, da dieses am besten haften bleibt

Metaanalyse

besondere Form der Übersichtsarbeit, die darauf ausgerichtet ist, die Erkenntnisse und Forschungsergebnisse aus unterschiedlichen (Primär-) Studien zu einem bestimmten Thema unter Verwendung statistischer Verfahren zu integrieren, d.h. die Primärdaten aus vielen Einzelstudien zu derselben Fragestellung werden zusammengerechnet. 

Metanalyse von Schmidt und Hunter 

Schmidt und Hunter bestimmten Validitäten verschiedener Personalauswahlverfahren auf Basis vieler Einzelstudien. 

Schmidt und Kollegen haben berechnet, wie nützlich ein zweites Verfahren zur Personalauswahl ist, wenn man es zusätzlich zum Intelligenztest einsetzt. Wir sprechen hier von inkrementeller Validität (Multiples R). 

Vor allem Integritätstest und Einstellungsinterviews bieten einen besonders hohen Zusatznutzen zum Intelligenztest.

Metaanalyse Schmidt und Hunter

Studie zur empirischen Ermittlung der Qualität diagnostischer Instrumente (d.h. Analyse der Güte einzelner diagnostischer Verfahren)

Ziel der Metaanalyse

Aussagen darüber treffen, welchen zusätzlichen Nutzen das Hinzufügen eines weiteren Verfahrens (Intelligenztest + ein weiteres Verfahren) bei der Auswahl von Bewerbern hat. 

Ergebnisse

• Intelligenztests wie auch strukturierte Interviews korrelieren durchschnittlich mit Berufserfolg (r = .51) sie sind also gleich gut zur Vorhersage des Berufserfolgs geeignet
  • Die Varianzaufklärung wird durch den quadrierten Korrelationskoeffizienten bestimmt, d.h. die Variation im Merkmal Beruferfolg wird zu 26% durch Intelligenztests/strukturierte Interviews vorhergesagt (0.51^2 = 0,26 = 26%)
• Eine Kombination aus Intelligenztests und strukturierten Eignungsinterviews klärt eine noch höhere Varianz auf als beide Verfahren einzeln (R (multiple Korrelation) = .63)
• stukturierte Interviews sagen also im Durchschnitt weitere 14% der Varianz des Berufserfolgs vorher (.63^2 = 40% (Intelligenztest + strukturiertes Interview) - 26% (Intelligenztest) = 14% (strukturiertes Interview)
• Integritätstests: Zuwachs bei der inkrementellen Validität von 27%

Halo-Effekt

auch Heiligenschein-Effekt

• Prägnante Merkmale/Eigenschaften (positiv wie negativ) erzeugen einen Gesamteindruck, der die weitere Wahrnehmung der Person überstrahlt. 
• Durch den Halo-Effekt entsteht in der Urteilsbildung eine Art Scheinkorrelation

Beispiel

• Wer schön is, wird eher für intelligent gehalten, wer aggresiv ist, eher für wenig ängstlich. Wenngleich Schönheit und Intelligenz faktisch nicht zusammenhängen

Werden keine Intelligenztests durchführt stellen Interviews eine sehr valide Methode zur Vorhersage des Berufs- und Ausbildungserfolgs dar.

Auch in Kombination mit einem Intelligenztest bieten Einstellungsinterviews einen besonders hohen Zusatznutzen in Bezug auf Personalauswahl und Mitarbeiterführung.

Ergebnisse der Metaanalyse von Schmidt/Hunter

• Interview  
  • strukturiert: r = .51
  • unstrukturiert: r = .38
• Intelligenztest + Interview
  • strukturiert:  R = .63
  • unstrukturiert: R = .55

Praktische Relevanz

--> Bedeutsamkeit und Relevanz der gefundenen Ergebnisse für die Praxis. Sie leisten einen Beitrag zur Erweiterung des bestehenden Wissens

Praktisch relevante Studien bringen wichtige Informationen für Entscheidungen und Maßnahmen in den Anwendungsfeldern der Psychologie und benachbarter Disziplinen. 

Die wissenschaftliche Untersuchung von psychologischen Mechanismen und Funktionen hat keinen direkten Anwendungsschwerpunkt, kann aber indirekt praktisch relevant sein, da sie das notwendige Wissen für die Durchführung von angewandter Forschung liefert. 

Metaanalyse

besondere Form der Übersichtsarbeit, die darauf ausgerichtet ist, die Erkenntnisse und Forschungsergebnisse aus unterschiedlichen (Primär-) Studien zu einem bestimmten Thema unter Verwendung statistischer Verfahren zu integrieren, d.h. die Primärdaten aus vielen Einzelstudien zu derselben Fragestellung werden zusammengerechnet. 

Wichtige Ergebnisse der Metaanalyse Schmidt und Hunter

Studie zur empirischen Ermittlung der Qualität diagnostischer Instrumente (d.h. Analyse der Güte einzelner diagnostischer Verfahren)

Ziel der Metaanalyse

Aussagen darüber treffen, welchen zusätzlichen Nutzen das Hinzufügen eines weiteren Verfahrens (Intelligenztest + ein weiteres Verfahren) bei der Auswahl von Bewerbern hat. 

Ergebnisse

• Intelligenztests wie auch strukturierte Interviews korrelieren durchschnittlich mit Berufserfolg (r = .51) sie sind also gleich gut zur Vorhersage des Berufserfolgs geeignet
  • Die Varianzaufklärung wird durch den quadrierten Korrelationskoeffizienten bestimmt, d.h. die Variation im Merkmal Beruferfolg wird zu 26% durch Intelligenztests/strukturierte Interviews vorhergesagt (0.51^2 = 0,26 = 26%)
• Eine Kombination aus Intelligenztests und strukturierten Eignungsinterviews klärt eine noch höhere Varianz auf als beide Verfahren einzeln (R (multiple Korrelation) = .63)
  • stukturierte Interviews sagen also im Durchschnitt weitere 14% der Varianz des Berufserfolgs vorher (.63^2 = 40% (Intelligenztest + strukturiertes Interview) - 26% (Intelligenztest) = 14% (strukturiertes Interview)
• Integritätstests: Zuwachs bei der inkrementellen Validität von 27%

--> Vor allem Integritätstest und Einstellungsinterviews bieten einen besonders hohen Zusatznutzen zum Intelligenztest.

Beurteilungsfehler

Halo-Effekt (Heiligenschein-Effekt)

• Prägnante Merkmale/Eigenschaften (positiv wie negativ) erzeugen einen Gesamteindruck, der die weitere Wahrnehmung der Person überstrahlt. 
• Durch den Halo-Effekt entsteht in der Urteilsbildung eine Art Scheinkorrelation

Beispiel

Wer schön is, wird eher für intelligent gehalten, wer aggresiv ist, eher für wenig ängstlich. Wenngleich Schönheit und Intelligenz faktisch nicht zusammenhängen

Fundamentaler Attributionsfehler

• Diagnostiker (Beurteiler) neigen stark zu internalen Attributionen, d.h. Ursachenzuschreibungen in der Person selbst
• Die zu beurteilenden Probanden tendieren eher zu situativen Erklärungen

Beispiel

Führungskräfte schreiben schlechte Leistungen häufiger den Mitarbeitern selbst zu, diese machen dagegen eher äußere Bedingungen (z.B. schlechte Arbeitsbedingungen) dafür verantwortlich. 

Beurteilungsfehler beheben

Auseinandersetzung mit den eigenen Urteilsprozessen entscheidend, um diagnostische Fehlerquellen zu erkennen und Sensibilität für Beurteilungsfehler zu entwickeln

• verschiedene Arten von Beurteilungsfehlern kennen/Bewusstsein für Verzerrungen erlangen
• Auseinandersetzung mit den eigenen Urteilsprozessen
  • nicht vorschnell urteilen
  • nicht ausschließlich auf den 1. Eindruck verlassen
• mit Kollegen über Diagnostikfälle austauschen
  • Hypothesen absichern
  • neue Sichtweisen erhalten
• Supervision: Einzel- oder Gruppensupervision

Supervision

• Reflexion von Arbeitsprozessen
• Aufarbeitung von Problemen und Schwierigkeiten, die aus der beruflichen Interaktion (z.B. zwischen Diagnostiker und Proband) resultieren. 
• Ziel: Verbesserung der diagnostischen Fähigkeiten des Supervisanden, aber auch seiner persönlichen Ressourcen
• Bsp. Einzel- oder Gruppensupervision im Rahmen der psychotherapeutischen Aus- und Weiterbildung

Supervision

• Reflexion von Arbeitsprozessen
• Aufarbeitung von Problemen und Schwierigkeiten, die aus der beruflichen Interaktion (z.B. zwischen Diagnostiker und Proband) resultieren. 
• Ziel: Verbesserung der diagnostischen Fähigkeiten des Supervisanden, aber auch seiner persönlichen Ressourcen
• Bsp. Einzel- oder Gruppensupervision im Rahmen der psychotherapeutischen Aus- und Weiterbildung

1. Ausführung von Zweck und Inhalt der wissenschaftlichen Arbeittheoretischen Hintergrund einer Arbeit deutlich machen
2. Verwendung von geeigneten wissenschaftlichen Methodengewählte Methode einer Arbeit erläutern:- Wie wurden die Daten gesammelt (zum Beispiel mittels eines semi-strukturierten Interviews, standardisierter Fragebögen oder einer wissenschaftlichen Beobachtung)- Um welches Forschungsdesign handelt es sich (Längs- oder Querschnittstudie)- Wie wurden die Daten ausgewertet
3. Transparenz/Klarheit des Vorgehens und der Methodeganzes Vorgehen transparent und klar beschreiben, sodass eine Replikation der Originalarbeit möglich ist 
4. Ethische Prinzipien in Bezug auf die Versuchsteilnehmerethische Prinzipien in Bezug auf die Versuchsteilnehmer beachten- vor der Studie: Ethikantrag einreichen- Einhaltung ethischer Prinzipien- jeden Probanden mit Würde, Respekt und ständiger Rücksicht auf sein Wohlergehen behandeln
5. Relevanz und Bedeutung der gefundenen ErgebnisseBedeutsamkeit und Relevanz der gefundenen Ergebnisse herausarbeiten- haben die Ergebnisse der Originalarbeit eine theoretische oder praktische Implikation?- leisten sie einen Beitrag zur Erweiterung des bestehenden Wissens?

zusätzlich:

• Objektivität
• Reliabilität
• Validität

Relevanz und Bedeutung der gefundenen Ergebnisse 

Verwendung von geeigneten wissenschaftlichen Methoden

Reflektionskriterien nach Barker und Pistrang

1. Ausführung von Zweck und Inhalt der wissenschaftlichen Arbeit
2. Verwendung von geeigneten wissenschaftlichen Methoden
3. Transparenz/Klarheit des Vorgehens und der Methode
4. Ethische Prinzipien in Bezug auf die Versuchsteilnehmer
5. Relevanz und Bedeutung der gefundenen Ergebnisse

Praktisch relevante Studien bringen wichtige Informationen für Entscheidungen und Maßnahmen in den Anwendungsfeldern der Psychologie und benachbarter Disziplinen (--> angewandte Forschung)

Grundlagenforschung (d.h. die wissenschaftliche Untersuchung von psychologischen Mechanismen und Funktionen) hat keinen direkten Anwendungsschwerpunkt, kann aber indirekt praktisch relevant sein, da sie das notwendige Wissen für die Duchführung von angewandter Forschung liefert. 

Ein Forschungsartikel kann also praktisch relevant sein, wenn er wichtige Informationen für die Praxis liefert   

Identifikation diagnostischer Fehlerquellen

Warum ist der diagnostische Prozess nicht fehlerfrei?

Der Mensch, ob als Diagnostiker oder als Testperson selbst ist ein sehr wichtiges Instrument im diagnostischen Prozess unterliegt jedoch selber Beurteilungsfehlern. 

• Menschen glauben objektive Schlüsse zu ziehen und wählen doch die Schlussfolgerungen, die Ihnen am vorteilhaftesten erscheinen--> Sie sehen und beurteilen die Welt aus ihrer Position (subjektiv!)
• Es ist schwierig sich von dem zu beurteilenden Sachverhalt bzw. der zu beurteilenden Person zu isolieren
• Konzept der sozialen Erwünschtheit: Personen neigen dazu, sich in Fragebögen vorteilhafter und besser darzustellen, als sie tatsächtlich sind
• Hawthorne-Effekt: Menschen, die beobachtet werden, arbeiten produktiver

Verzerrung und Beurteilungsfehler

Beurteilungsfehler und Verzerrung

= verzerrte Wahrnehmungen und Interpretationen der Realität, die nicht absichtlich vorgenommen werden, sondern vielmehr eine (unerwünschte) Begleiterscheinung allgemeiner Prinzipien der menschlichen Informationsverarbeitung sowie sozialer Einflußprozesse darstellen. 

• Befund wird bspw. durch persönliche Motive, Erwartungen und Wahrnehmungen des Diagnostikers verzerrt. 
• Antwortverhalten der Testperson selbst verzerrt (z.B. durch soziale Erwünschtheit)

Diagnostischen Fehlerquellen vorbeugen

• Diagnostischer Fehlerquelle "Diagnostiker" entgegenwirken
  • Sensibilität für Beurteilungsfehler entwickeln
  • verschiedene Arten von Beurteilungsfehlern kennen
  • Bewusstsein entwickeln, wie anfällig die psychologische Diagnostik für solche Verzerrungen ist
  • nicht vorschnell urteilen
  • nicht ausschließlich auf den 1. Eindruck verlassen/ nicht vom ersten Eindruck täuschen lassen
  • Diskurs mit erfahrenen Diagnostikern und Behandlern (mit Kollegen über Diagnostikfälle austauschen und diese gemeinsam besprechen)
    • --> Hypothesen absichern
    • --> neue Sichtweisen erhalten
  • Einzel- und Gruppensupervision (Ziel: Verbesserung der diagnostischen Fähigkeiten des Supervisanden, aber auch seiner persönlichen Ressourcen)
  • sich als Diagnostiker kritisch reflektieren
  • Auseinandersetzung mit den eigenen Urteilsprozessen, um diagnostische Fehlerquellen zu erkennen und Sensibilität für Beurteilungsfehler zu entwickeln. 

• Diagnostischer Fehlerquelle "Testperson" entgegenwirken
  • Fragebögen so gestalten, dass keine sozial erwünschte Antwort provoziert wird

Heiligenschein-Effekt/Halo-Effekt

= Einzelne Eigenschaften der PatientInnen (z. B. Attraktivität, sozialer Status) erzeugen einen Gesamteindruck, der die weitere Wahrnehmung der Person überstrahlt

• durch den Halo-Effekt entsteht in der Urteilsbildung eine Art Scheinkorrelation
• Bsp.: wer schön ist, wird eher für intelligent gehalten, wenngleich Schönheit und Intelligenz faktisch nicht zusammenhängen--> Die Schönheit erzeugt einen (positiven) Gesamteindruck von der Person, der die weitere Wahrnehmung der Person, z.B. ihrer tatsächlichen intelligenz überstrahlt

Beurteilungsfehler

1. Heiligenschein-Effekt/Halo-Effekt

• Einzelne Eigenschaften der PatientInnen (z. B. Attraktivität, sozialer Status) erzeugen einen Gesamteindruck, der die weitere Wahrnehmung der Person überstrahlt
• durch den Halo-Effekt entsteht in der Urteilsbildung eine Art Scheinkorrelation
• Bsp.: wer schön ist, wird eher für intelligent gehalten, wenngleich Schönheit und Intelligenz faktisch nicht zusammenhängen

2. Reihenfolgenfehler/Primacy-Recency-Effekt

• nicht nur der Inhalt von Informationen führt zu einem Gesamteindruck, sondern auch die Reihenfolge, in der sie wahrgenommen werden“
  • Primacy- Effekt: die erste Information wird am höchsten eingeschätzt
  • Recency-Effekt: die zuletzt erhaltene Information bleibt am besten haften
• Bsp. Kann man sich die 1. Zahl einer einzuprägenden Telefonnummer (Primacy-Effekt) oder die letzte Zahl (Recency-Effekt) besser merken?

3. Interferenzfehler

• Menschen übertragen und schlussfolgern permanent aus dem, was sie erleben, um sich die Welt erklärbar zu machen. Sie schlussfolgern aus ihrem Denksystem heraus, subjektiv
• um die Welt um einen herum erklärbar zu machen, schließt man automatisch von sich selbst auf andere

4. Fundamentaler Attributionsfehler

• Diagnostiker, also Beurteiler, neigen stark zu internalen Attributionen (d. h. Ursachenzuschreibungen in der Person selbst)
• Die zu beurteilenden Probanden tendieren eher zu situativen Erklärungen
• Bsp.: Führungskräfte schreiben schlechte Leistungen häufiger den Mitarbeitern selbst zu, diese machen dagegen eher äußere Bedingungen (z. B. schlechte Arbeitsbedingungen) dafür verantwortlich.

5. Tendenz zur Mitte

Der Diagnostiker gibt nur mittlere Beurteilungen ab. 

6. Milde-/Strenge-Effekt

Der Diagnostiker gibt nur besonders gute oder schlechte Beurteilungen ab. 

Metaanalyse

= statistische Technik zur Hypothesenprüfung durch eine formale Vorgehensweise zur Entdeckung übergreifender Schlussfolgerungen aus Datensätzen vieler verschiedener Experimente

Diagnostischen Fehlerquellen entgegenwirken

Diagnostischer Fehlerquelle "Diagnostiker" entgegenwirken

• Sensibilität für Beurteilungsfehler entwickeln
  • verschiedene Arten von Beurteilungsfehlern kennen
  • Bewusstsein entwickeln, wie anfällig die psychologische Diagnostik für solche Verzerrungen ist
  • nicht vorschnell urteilen
  • nicht ausschließlich auf den 1. Eindruck verlassen/ nicht vom ersten Eindruck täuschen lassen
  • Diskurs mit erfahrenen Diagnostikern und Behandlern (mit Kollegen über Diagnostikfälle austauschen und diese gemeinsam besprechen)
    • --> Hypothesen absichern
    • --> neue Sichtweisen erhalten
  • Einzel- und Gruppensupervision (Ziel: Verbesserung der diagnostischen Fähigkeiten des Supervisanden, aber auch seiner persönlichen Ressourcen)
• sich als Diagnostiker kritisch reflektieren
• Auseinandersetzung mit den eigenen Urteilsprozessen

Diagnostischer Fehlerquelle "Testperson" entgegenwirken

• Fragebögen so gestalten, dass keine sozial erwünschte Antwort provoziert wird

Diagnostische Fehlerquellen

Verzerrungen und Beurteilungsfehler durch...

1. Den Diagnostiker als Person

• Befund wird bspw. durch persönliche Note, Erwartungen und Wahrnehmungen des Diagnsotikers verzerrt
• Es ist schwierig sich von dem zu beurteilenden Sachverhalt bzw. der zu beurteilenden Person zu isolieren
• Menschen glauben objektive Schlüsse zu ziehen, sie sehen und beurteilen die Welt jedoch aus ihrer Position

2. Die Testperson selbst

• Antwortverhalten der Testperson verzerrt
• Konzept der sozialen Erwünschtheit
  • Personen neigen dazu, sich in Fragebögen vorteilhafter und besser darzustellen, als sie tatsächlich sind
• Hawthorne-Effekt
  • Testpersonen ändern, sobald sie wissen, dass sie beobachtet werden, ihr Verhalten so, dass sich die Produktivität steigert. ​​​​​​​

Kritische Rezeption von Originalarbeiten

Evaluationskriterien sollen helfen in der Menge an wissenschaftlichen Originalarbeiten qualitativ hochwertige Ansätze und Werke zu erkennen

Als Einstiegskriterien können folgende Fragen zur ersten kritischen Auseinandersetzung herangezogen werden:

• Was wird evaluiert?
• Wozu wird es evaluiert?
• Welche Kriterien werden angewandt, um zu evaluieren?
• Wer ist verantwortlich für die Evaluation?
• Mit welchen Methoden wird die Evaluation durchgeführt?“

Reflektionskriterien nach Pistrang und Barker

geeignet, um Originalarbeiten noch tiefergehend kritisch zu reflektieren

1. Ausführung von Zweck und Inhalt der wissenschaftlichen Arbeit
2. Verwendung von geeigneten wissenschaftlichen Methoden
3. Transparenz/Klarheit des Vorgehens und der Methode
4. Ethische Prinzipien in Bezug auf die Versuchsteilnehmer
5. Relevanz und Bedeutung der gefundenen Ergebnisse

Gütekriterien

zusätzlich können die Hauptgütekriterien zur kritischen Rezeption von Originalarbeiten herangezogen werden

1. Objektivität
2. Validität
3. Reliabilität