Forschungsmethoden 5+6

Nicht-experimentelles Querschnittdesign

1. X und Y werden zu einem Zeitpunkt erhoben. X wird gemessen und nicht durch die Forschenden gesetzt.
2. Die Versuchsgruppen werden nach der Datenerhebung (ex post) gebildet.

Häufig handelt es sich um Befragungen.

Hinweis: Natürliche Experimente sind keine Ex-Post-Facto-Anordnungen.

Unterscheidungskriterium ist das Auftreten eines manipulierenden Ereignisses (vs. der reinen Beobachtung von unterschiedlichen Merkmalsausprägungen). Die unabhängige Variable wird zum Zeitpunkt des Eintretens des Ereignisses „beobachtet“.

Systematische Unterschiede zwischen Gruppen in gemessenen Merkmalen Z.

Systematische Unterschiede zwischen Gruppen in nicht-gemessenen Merkmalen.

• hervorgerufen durch eine weitere, dritte Variable
• diese dritte Variable muss daher kausal im Zusammenhang mit X und Y stehen
• ist der bias, den wir letzte Sitzung angesprochen haben (baseline bias, differential treatment effect bias)

⇒ Nicht kausale Effekte bzw Korrelationen sind Zusammenhänge

zwischen zwei Variablen X und Y, die in Daten/Empirie auftreten, ohne dass X einen kausalen Einfluss auf Y ausübt

Bei fehlender Randomisierung vermuten wir eine kausale Beziehung zwischen X und Y, wenn drei Bedingungen erfüllt sind:

1. Statistischer Zusammenhang zwischen X und Y. (statistische Beziehung) Aber: Statistischer Zusammenhang bedeutet nicht, dass X ursächlich für Y ist.
2. X liegt zeitlich vor Y. (zeitliche Reihenfolge)
3. Korrelation zwischen X und Y bleibt auch bei statistischer Kontrolle von dritten Merkmalen Z erhalten, die die Korrelation von X und Y erklären könnten. (Ausschluss alternativer Erklärungen)

Aber: Kein sicherer Kausalschluss. Unbeobachtete Heterogenität, d. h. nicht gemessene Merkmale, die den statistischen Zusammenhang erklären könnten (siehe unten).

Statistische Kontrolle: → Multivariate Analyseverfahren.

Statistische Kontrolle heißt, dass der Einfluss von dritten Merkmalen Z auf die statistische Beziehung zwischen X und Y herausgerechnet wird.

(Experimentelle Kontrolle erfolgt dagegen durch Randomisierung).

Node (Knoten):

• eine Variable

• dargestellt durch einen Buchstaben

• ausgefüllter Kreis: beobachtet

• hohler Kreis: unbeobachtet

• Variablen, die direkt von einer anderen Variable verursacht werden

• Variablen, die direkt oder indirekt von einer anderen Variable

verursacht werden

• direkte Ursachen einer Variable

• alle direkten und indirekten Ursachen einer Variable

• Z zeitlich vor X und Y

• Korrelation zwischen X und Y verschwindet bei Kontrolle von Z.

• Besserer Begriff: Scheinkausalität, weil die Korrelation bivariat ja tatsächlich existiert.

Die Wirkung von X auf Y wird über Z vermittelt. Bei Kontrolle von Z ist die Korrelation zwischen X und Y nahe null.

X -> Z -> Y

Unterschied zwischen Scheinkorrelation und Mediation: zeitliche Reihenfolge.

X und Z führen beide zu Y

Drittvariablenkontrolle ist eine relativ einfache Strategie, die mit Problemen behaftet ist.

1. Man braucht Hypothesen darüber, welche Drittvariablen bedeutsam sind.
2. Man benötigt Messungen der als relevant erachteten Drittvariablen.
3. Kontrolliert wird ausschließlich beobachtete Heterogenität.
4. Unbeobachtete Heterogenität (durch omitted variables) wird nicht kontrolliert.

Andere Strategien der „Drittvariablenkontrolle“:

• Unbeobachtete Heterogenität zwischen Personen kann mit Panelmodellen kontrolliert werden (Fixed-Effects Regression).
• Instrument-Variablen-Schätzung
• Regression Discontinuity Designs, Difference-in-differences etc.

Für eine Instrument-Variablen-Schätzung wird eine Instrumentvariable IV benötigt. Instrumentvariablen sollen

• mit der unabhängigen Variable X korreliert sein (Cov(X, IV) =/= 0), aber
• keine Korrelation mit dem Fehlerterm aufweisen (Cov(u, IV) = 0).

Die Instrumentvariable wird verwendet, um den „Teil von X“ zu identifizieren, der nicht mit dem Fehlerterm korreliert ist.

→ Damit ist die Schätzung des Effekts von X auf Y ohne Bias möglich.

Merkmale werden für einen Zeitpunkt t bei interessierenden Untersuchungseinheiten (z. B. einer Stichprobe) erhoben.

• Beobachtete Heterogenität zwischen Personen kontrollierbar.
• Strategie zur Schätzung kausaler Effekte von X bei anzunehmender Korrelation von X mit Fehlerterm aufgrund von unbeobachteten Merkmalen: z.B. IV-Schätzung.

Nachteile:

• Alle Variablen werden zum selben Zeitpunkt gemessen (zeitliche Reihenfolge?).
• Aussagen über Veränderungen im Zeitverlauf (sozialer Wandel, Entwicklung von Armut etc.) sind nicht möglich.

Dieselben Merkmale (und Merkmalsausprägungen) werden für verschiedene Zeitpunkte bei jeweils unterschiedlichen Gruppen von Untersuchungseinheiten erhoben. Bei Umfragen mit Stichproben wird für jede Erhebung eine neue Stichprobe gezogen.

Vorteile:

1. Aussagen über Veränderungen im Aggregat möglich.
2. Modellierung zeitlicher Trends (gepoolte Analysen).

Dieselben Merkmale (und Merkmalsausprägungen) werden für mehrere Zeitpunkte (Wellen) bei denselben Untersuchungseinheiten erhoben.

Vorteile:

1. Zeitliche Abfolge von Variablen bekannt (bezieht sich auf: Xt−1 liegt vor Xt).
2. Aussagen über Veränderungen auf Ebene der Untersuchungseinheiten (individuelle Veränderungen) möglich.
3. Aufgrund der Längsschnittinformationen für Untersuchungseinheiten bessere Absicherung kausaler Schlüsse möglich (Kontrolle unbeobachteter Heterogenität zwischen Untersuchungseinheiten).

Ausfälle von Befragten in den nachfolgenden Wellen, wobei der

Ausfall von der 1. auf die 2. Welle in der Regel sehr hoch ist.

• Problematisch sind diese Ausfälle, wenn sie sich systematisch von den im Panel verbleibenden Personen unterscheiden (Verzerrung der Stichprobe?)
• Abhilfe: Gute Panelpflege (Erhebung), Imputation fehlender Werte, Gewichtung

Beispiel:

Binder et al. 2009, S. 84: An der 1. Welle nahmen 3667 Schülerinnen teil.

Informationen für beide Wellen sind für 1655 Schüler/innen vorhanden. Das entspricht einem Ausfall von 2012 Personen, also 54% der Ausgangsstichprobe.

Auswirkungen der wiederholten Befragung auf Meinungen und

Einstellungen.

• Die Stichprobe eines Panels ist (wenn sie zufällig gezogen wurde) „repräsentativ“ für das Jahr der Erhebung, nicht aber für Folgejahre.
• Abhilfe: Auffrischungsstichproben

Beispiel:

Die ursprünglichen Stichproben A und B des SOEP wurden 1984 zufällig gezogen.

Diese Stichproben sind „repräsentativ“ für die bundesdeutsche Bevölkerung in 1984, aber schon nicht mehr für die bundesdeutsche Bevölkerung in den neunziger Jahren (Migration nach 1990, Ostdeutsche).

Lösung: Auffrischung des Panels durch neue Stichproben.

Aus diesem Grund sind Trenddaten zur Ermittlung von Veränderungen im Aggregat besser geeignet.

Eine Kohorte ist eine „Bevölkerungsgruppe, die durch ein zeitlich gemeinsames, längerfristig prägendes Ereignis geprägt ist“

Dabei kann es sich um Geburts-, Eheschließungs-, Bildungskohorten etc. handeln.

Effekt der Umstände, in denen eine Kohorte gebildet wurde.

• Jüngere Eheschließungskohorten haben ein höheres Scheidungsrisiko als ältere Eheschließungskohorten
• USA: Zwischen 1950 und 1964 Eingewanderte haben höhere Löhne als nachfolgende Kohorten.

(auch: Alterseffekt)

Effekt der Prozesszeit (bei Geburtskohorten: des Alters)

• Das Ehescheidungsrisiko ist am höchsten 2-5 Jahre nach der Heirat.
• Mit der Dauer des Aufenthalts im Zielland nähern sich die Löhne von Eingewanderten den Löhnen der Einheimischen an.

Effekt des historischen Zeitpunktes. Betrifft alle Kohorten in gleicher Weise.

• 1978 waren die Scheidungsraten in Westdeutschland wg. einer Änderung der Gesetzeslage extrem niedrig.
• Die Ölpreiskrise führt zu einem Einbruch bei den Löhnen.

Die externe Validität einer Studie ist hoch, wenn die Ergebnisse auf andere Personen und Kontexte verallgemeinert werden können.

• Insbesondere (aber nicht nur) bei Laborexperimenten sind der Verallgemeinerung der Ergebnisse auf andere Personen und Kontexte Grenzen gesetzt. Experimente weisen häufig eine geringe externe Validität auf (studentische Versuchsteilnehmerinnen). (Die individuellen kausalen Effekte t können sich für unterschiedliche Versuchspersonen unterscheiden!)

Wir bezeichnen die Ergebnisse einer Studie als intern valide, wenn die beobachteten Unterschiede in der abhängigen Variable auf die unabhängige Variable zurückgeführt werden können, d. h. ein kausaler Effekt plausibel ist.

• Experimente haben bei erfolgreicher Randomisierung (keine Selbstselektion) durch die Manipulation der X-Variablen (X zeitlich vor Y) eine hohe interne Validität, d. h. die beobachteten Unterschiede können mit hoher Sicherheit kausal auf die unabhängige Variable zurückgeführt werden.

Die Auswahlgesamtheit beinhaltet alle Elemente, die eine Chance haben, in die Stichprobe zu gelangen. Auswahlgesamtheiten können in den einfachsten Fällen auf Basis von Listen oder Registern erstellt werden.

Elemente der Grundgesamtheit fehlen in der Auswahlgesamtheit

Elemente der Auswahlgesamtheit gehören nicht zur Grundgesamtheit.

Diese Elemente werden auch als ineligible units (unzulässige Elemente oder Fremdelemente) bezeichnet

Ein Bias ist eine systematische Verzerrung von Untersuchungsergebnissen.

Ein coverage bias liegt vor, wenn durch undercoverage/overcoverage (coverage error) die Auswahlgesamtheit in den für eine Untersuchung interessierenden Merkmalen (und statistischen Maßzahlen) systematisch von der

Grundgesamtheit abweicht.

Idealfall: Für jedes Element der Grundgesamtheit liegt exakt ein Eintrag im Auswahlrahmen vor.

Vorkommen kann auch, dass ... (Beispiel: Festnetzauswahlrahmen) mehrere Elemente der Grundgesamtheit nur durch ein Element der Auswahlgesamtheit repräsentiert sind (clustering) (bspw. wenn sich 4 Personen einen Festnetzanschluss teilen)

Idealfall: Für jedes Element der Grundgesamtheit liegt exakt ein Eintrag im Auswahlrahmen vor.

Vorkommen kann auch, dass ... (Beispiel: Festnetzauswahlrahmen) ein Element der Grundgesamtheit über mehrere Elemente im Auswahlrahmen repräsentiert ist (duplication)

(bspw. wenn eine Person über mehrere Festnetzanschlüsse verfügt)

Sampling Error entstehen aus der Diskrepanz zwischen Auswahlgesamtheit und Stichprobe durch

1. Sampling Bias und

2. Sampling Variance.

Ein Sampling Bias liegt vor, wenn eine statistische Maßzahl der Auswahlgesamtheit (Ȳ) durch die statistischen Maßzahlen in Stichproben aus dieser Auswahlgesamtheit (ȳs) systematisch unter- oder überschätzt wird. E(ȳs) =/= Ȳ

Systematische Verzerrungen der Stichprobe resultieren vor allem daraus, dass nicht alle Elemente der Auswahlgesamtheit eine Chance haben, in die Stichprobe zu gelangen. Dies ist v.a. bei nicht-zufallsgesteuerten Auswahlverfahren der Fall.

Die Varianz der Kennwerteverteilung ist die sampling variance der statistischen Maßzahl. Sie beschreibt, wie unterschiedlich die Kennwerte aus verschiedenen Stichproben sind.

Der Standardfehler ist die Quadratwurzel aus der Varianz des Schätzers (sampling variance).

Im Unterschied zum sampling bias gleicht sich der mit der sampling variance beschriebene Zufallsfehler über alle möglichen Stichproben s aus: E(ȳs) = Ȳ

Angabe eines einzelnen Wertes als besten Schätzwert für den gesuchten Parameter der Grundgesamtheit.

Angabe eines Intervalls, das den tatsächlichen Grundgesamtheitsparameter mit einer Vertrauenswahrscheinlichkeit enthält.

Punktschätzung ± Quantilwert · Standardfehler

Interpretation: In 95% der möglichen einfachen Zufallsstichproben vom Umfang n umschließt das so konstruierte Intervall den gesuchten Wert der Auswahlgesamtheit Ȳ.

1. Vorhandensein einer geeigneten Auswahlgesamtheit
2. Zufallsgesteuerte Stichproben (einfache Zufallsstichprobe, mehrstufige Zufallsstichprobe (Bsp. Allbus), Klumpenstichprobe (Bsp. Mikrozensus), Geschichtete Zufallsstichprobe)
3. Ausreichende Repräsentation bedeutsamer Gruppen der Auswahlgesamtheit in der Stichprobe (→ disproportionale Schichtung)

Jedes Element der Auswahlgesamtheit hat die gleiche oder eine angebbare Chance größer Null, in die Stichprobe zu gelangen. Bei gleicher Auswahlwahrscheinlichkeit sprechen wir auch von epsem-Stichproben (Equal Probability Selection Method).

Bei einer Zufallsstichprobe ist die Auswahl der Elemente das Resultat eines Zufallsprozesses, z.B. in dem Zufallszahlen zur Auswahl der Stichprobe verwandt werden.

Eine einfache Zufallsstichprobe (Simple Random Sample) liegt vor, wenn jede mögliche Stichprobe vom Umfang n dieselbe Auswahlwahrscheinlichkeit hat. Dies beinhaltet, dass jedes Element dieselbe Auswahlwahrscheinlichkeit hat. Man unterscheidet einfache Zufallsstichproben mit Zurücklegen

(SRSWR) und ohne Zurücklegen (SRSWOR).

Bei komplexen Zufallsstichproben werden

• die Elemente nicht unabhängig voneinander gezogen (Klumpung bei Klumpen- und bei mehrstufigen Auswahlen, cluster sampling), und/oder
• Stichproben getrennt für Schichten der Auswahlgesamtheit gezogen (Schichtung, stratified sampling) und/oder
• die Elemente mit unterschiedlichen Auswahlwahrscheinlichkeiten gezogen (Disproportionalität).

DEFF

Der Designeffekt setzt die Varianz eines Kennwertes (z. B des Anteils oder des arithmetischen Mittels ȳ) einer komplexen Stichprobe ins Verhältnis zur Varianz des Kennwertes in einer hypothetischen einfachen Zufallsstichprobe (simple random sample).

Bei einer Klumpenstichprobe werden Gruppen von Elementen (Klumpen, cluster) ausgewählt (z. B. Schulklassen). Alle Elemente der ausgewählten Klumpen gehören zur Stichprobe.

• Vorteil: Die Kosten der Erhebung sind bei Klumpenauswahlen im Vergleich zu SRS geringer, wenn die Erhebung vor Ort stattfindet (z. B. bei persönlich-mündlichen Befragungen).
• Nachteil: Sampling variance/Standardfehler sind in der Regel größer (breitere Kennwerteverteilung), weil sich Elemente eines Klumpens ähnlicher sind als die Elemente verschiedener Klumpen.

Die durch Klumpung verursachte Ungenauigkeit der Schätzung wird Klumpeneffekt genannt.

• Der Klumpeneffekt ist groß, wenn die Klumpen in den interessierenden Merkmalen in sich sehr homogen sind (interne Homogenität) und sich von den anderen Klumpen in diesen Merkmalen stark unterscheiden (Heterogenität zwischen Klumpen). Der Design-Effekt wird daher auch in Abhängigkeit von der Intraklassenkorrelation ρ (rho) ausgedrückt:

d^2 = 1 + (Klumpengröße∗∗ − 1)· ρ

∗∗ : Bei ungleicher Größe der Klumpen: durchschnittliche Gruppengröße

Die Intraklassenkorrelation ρ kann man interpretieren als die Korrelation zwischen den Werten von zwei Elementen innerhalb eines Klumpens (0 ≤ ρ ≤ 1).

• Der Klumpeneffekt steigt mit zunehmender Größe der Klumpen. Durch subsampling (mehrstufige Verfahren) kann man den Klumpeneffekt abmildern.

• Bei mehrstufigen Zufallsauswahlen werden in einem ersten Schritt Klumpen von Elementen (z.B. Gemeinden, Schulklassen) zufällig ausgewählt (Auswahlgesamtheit: Liste der Klumpen). Die Klumpen der ersten Auswahlstufe werden als Primäreinheiten (primary sampling units, psu) bezeichnet.
• Aus den ausgewählten Primäreinheiten werden auf der nächsten Stufe zufällig Elemente (z.B. Haushalte, Schüler*innen) gezogen (Sekundäreinheiten) (Auswahlgesamtheit: Liste der Sekundäreinheiten in gezogenen Klumpen).
• Gezogenen Sekundäreinheiten können Grundlage einer weiteren Auswahl sein.

PPS-Design (Probability Proportionate to Size)

• Primäreinheiten sind in der Regel unterschiedlich groß. Dadurch erzeugt eine mehrstufige Stichprobenziehung ungleiche Auswahlwahrscheinlichkeiten für die Sekundäreinheiten.
• Um eine epsem-Stichprobe (gleiche Auswahlwahrscheinlichkeit für Sekundäreinheiten) zu realisieren, müssen die Auswahlwahrscheinlichkeiten der Primäreinheiten proportional zu ihrer Größe gewählt werden, so dass ungleiche Auswahlwahrscheinlichkeiten bei gleicher Zahl der zu ziehenden Sekundäreinheiten ausgeglichen werden.
• Bei gleichen Auswahlwahrscheinlichkeiten sind die Stichprobenkennwerte (z.B.ȳ, p) unverzerrt.

Bei einer geschichteten Stichprobe werden die Elemente der Auswahlgesamtheit nach den Ausprägungen eines Merkmales in Gruppen (Schichten, strata) eingeteilt.

• Jedes Element muss eindeutig einer Schicht zugeordnet werden können.
• Für jede Schicht wird getrennt eine Stichprobe gezogen.
• Bei gleicher Auswahlwahrscheinlichkeit in den Schichten sprechen wir von proportionaler Schichtung, bei ungleichen Auswahlwahrscheinlichkeiten von disproportionaler Schichtung.

„Design-Gewichtung“

Ungleiche Auswahlwahrscheinlichkeiten müssen bei der Schätzung von Parametern der Auswahlgesamtheit (z. B. Ȳ) berücksichtigt werden.

• Multiplikation jeder Antwort mit dem Kehrwert der Auswahlwahrscheinlichkeit (oder einem dazu proportionalen Wert)

→ führt zu unverzerrten Schätzungen der Parameter der Auswahlgesamtheit

→ Korrektur ungleicher Auswahlwahrscheinlichkeiten.