Statistical Thinking for the 21st Century

Statistisches Denken gibt uns Werkzeuge an die Hand, um die Welt genauer zu verstehen und die Voreingenommenheit menschlichen Urteilsvermögens zu überwinden. Oft beantwortet die menschliche Intuition Fragen falsch, da sie sich auf beste Vermutungen verlässt, die zu Fehlern führen können.

Die 3 wichtigen Dinge, die die Statistik für uns tun kann, sind:

1. Beschreiben - die komplexe Welt auf verständliche Weise beschreiben,

2. Entscheiden - Entscheidungen auf der Grundlage von Daten treffen, oft inmitten von Unsicherheit,

3. Vorhersagen - Vorhersagen über neue Situationen basierend auf dem Wissen über frühere Situationen treffen.

Die großen Ideen der Statistik bezüglich des Lernens aus Daten umfassen:

1. Aus Daten lernen - Statistik liefert Werkzeuge, um aus Daten zu lernen und Ideen zu aktualisieren,

2. Anhäufung - Charakterisierung der Struktur von Datenaggregaten,

3. Unsicherheit - Werkzeuge zur Charakterisierung von Unsicherheit, Entscheidungstreffen unter Unsicherheit und Quantifizierung von Vorhersageunsicherheit,

4. Probenahme aus einer Population - Stichprobenziehung, um eine Population auf Basis einer kleinen Anzahl von Stichproben zu repräsentieren.

Die Idee der Stichprobenziehung besagt, dass wir eine gesamte Population anhand einer kleinen Anzahl von Stichproben repräsentieren können. Die Art und Weise, wie die Studienstichprobe gewonnen wird, ist entscheidend, da sie bestimmt, wie weit die Ergebnisse verallgemeinert werden können. Größere Stichproben sind im Allgemeinen besser, aber die Erträge sinken mit zunehmender Stichprobe, wobei die Rate, mit der der Nutzen größerer Stichproben abnimmt, einer mathematischen Regel folgt, die mit der Quadratwurzel der Stichprobengröße wächst.

Experimentelle Forschung beinhaltet die Kontrolle und Manipulation von Variablen, um Kausalität zu beweisen. Beobachtende Forschung kann kausale Zusammenhänge nicht schlüssig nachweisen, obwohl wir im Allgemeinen glauben, dass Kausalität durch experimentelle Studien nachgewiesen werden kann.

Qualitative Daten beschreiben eher eine Qualität als eine numerische Größe. Sie bestehen aus Variablen, die eine eindeutige Messung oder Menge widerspiegeln. Qualitative Daten werden oft mit Zahlen kodiert, um die Arbeit mit ihnen zu erleichtern.

Quantitative Daten sind numerische Daten. Es gibt verschiedene Arten von Zahlen, wie Binärzahlen (0 oder 1, zur Darstellung von Wahr/Falsch), Ganze Zahlen (ohne Bruch- oder Dezimalteil) und Reelle Zahlen (mit Bruch-/Dezimalteil).

Diskrete Messungen sind getrennte und abzählbare Werte, während kontinuierliche Messungen unendlich viele Werte zwischen zwei Werten haben können. Diskrete Messungen sind in diskreten Einheiten gemessen, während kontinuierliche Messungen beliebige Werte in einem bestimmten Intervall annehmen können.

Bei einer diskreten Messung nimmt die Variable einen Wert aus einer endlichen Menge bestimmter Werte an, während bei einer kontinuierlichen Messung die Variable als reelle Zahl definiert ist und irgendwo in einem bestimmten Wertebereich liegen kann.

Qualitative Werte sind deskriptiv und beschreiben Eigenschaften, während numerische Werte Zahlenwerte darstellen. Beide können in Messungen verwendet werden.

Eine gute Messung zeichnet sich durch eine geringe Messfehlerquote aus. Es ist wichtig, die Reliabilität und Validität der Messung sicherzustellen. Reliabilität bezieht sich auf die Konsistenz der Messungen, während Validität sicherstellt, dass das gemessene Konstrukt tatsächlich erfasst wird.

Ein Konstrukt ist ein unbeobachtbares theoretisches Konzept, das gemessen werden soll. Oft ist es unmöglich, ein Konstrukt fehlerfrei zu messen.

Die Test-Retest-Reliabilität misst, wie gut Messungen übereinstimmen, wenn dieselbe Messung zweimal durchgeführt wird. Es ist ein Maß für die Konsistenz der Messungen über die Zeit.

Die Konstruktvalidität stellt sicher, dass die Messung tatsächlich das Konstrukt misst, von dem wir glauben, dass es gemessen wird. Sie bezieht sich darauf, ob die Messung in einem angemessenen Zusammenhang mit anderen Messungen steht.

Die vier verschiedenen Messskalen sind: Nominalskala, Ordinalskala, Intervallskala und Verhältnisskala. Jede Skala hat spezifische Eigenschaften in Bezug auf die Art der gemessenen Variablen und die mathematischen Operationen, die auf sie angewendet werden können.

Eine Nominalskala dient der Kategorisierung von Variablen, während eine Ordinalskala zusätzlich zur Kategorisierung eine geordnete Struktur aufweist, in der die Werte nach ihrer Größe sortiert werden können.

Die Messskala einer Variablen bestimmt, welche mathematischen Operationen auf die Daten angewendet werden können. Verschiedene Skalen erlauben unterschiedliche Arten von Vergleichen und Berechnungen.

Bei Intervallvariablen können wir nur Werte addieren oder subtrahieren, während wir bei Verhältnisvariablen auch Werte multiplizieren und dividieren können.

Es gibt bestimmte Arten von Statistiken, die für jeden Variablentyp berechnet werden können.

Das Ziel ist die Zählung verschiedener Werte.

Die Statistik erfordert, dass Variablen mindestens eine Intervallskala haben, da Werte addiert werden.

Es ist für Forscher durchaus üblich, den Mittelwert von Variablen zu berechnen, die nur ordinal sind, obwohl dies manchmal problematisch sein kann.

Das Ziel ist es, Daten zu generalisieren und allgemeine Aussagen zu machen, die über spezifische Beobachtungen hinausgehen.

Verallgemeinerung ermöglicht es uns, Vorhersagen über Personen zu treffen, auch wenn Vorhersagen nicht immer richtig sind, können sie dennoch nützlich sein.

Häufigkeitsverteilungen beschreiben, wie Daten auf verschiedene mögliche Werte verteilt sind und zeigen, wie häufig jeder der möglichen Werte in der Stichprobe vorkommt.

Eine kumulative Verteilung ist nützlich, um Daten zusammenzufassen, die mehr als 2 mögliche Werte haben können, indem sie die kumulative Häufigkeit darstellen, also wie viele Beobachtungen einen bestimmten Wert oder weniger haben.

Histogramm-Bins werden verwendet, um Daten zu summarisieren, die kontinuierlich sind oder viele mögliche Werte haben, indem die Werte in Bins eingeteilt werden, um die Häufigkeit der Werte, die in bestimmte Bereiche fallen, zu zählen und aufzuzeichnen.

Die Normalverteilung ist eine allgemeine Verteilung mit relativer Symmetrie um eine runde Spitze in der Mitte, definiert durch den Mittelwert und die Standardabweichung.

Skewness tritt auf, wenn Daten systematisch von der Normalverteilung abweichen, z.B., wenn ein Ende der Verteilung dichter ist als das andere. Es gibt rechtsschiefe und linksschiefe Verteilungen.

Eine 'langschwänzige' Verteilung bedeutet, dass der rechte Schwanz weit über die meisten typischen Mitglieder der Verteilung hinausreicht, was auf eine extrem schiefe Verteilung hinweist.

Langschwänzige Verteilungen werden in der realen Welt zunehmend erkannt, da viele Merkmale komplexer Systeme durch diese Verteilungen gekennzeichnet sind. Beispiele hierfür sind die Häufigkeit von Wörtern in Texten, die Anzahl der Flüge von und zu verschiedenen Flughäfen und die Konnektivität von Gehirnnetzwerken.

Es gibt eine Reihe verschiedener Möglichkeiten, wie langgestreckte Verteilungen entstehen können. Sie treten häufig in Fällen des sogenannten 'Matthäus-Effekts' aus der christlichen Bibel auf und werden oft umschrieben als 'die Reichen werden reicher'. Ein Beispiel hierfür ist, dass diejenigen, die mehr Freunde haben, Zugang zu noch mehr neuen Freunden haben.

Die Grundsätze einer guten Datenvisualisierung umfassen das Zeigen und Hervorheben der Daten, die Maximierung des Verhältnisses zwischen Daten und Tinte, die Vermeidung von Chartjunk (überflüssige visuelle Elemente), das Vermeiden der Verfälschung der Daten und die Berücksichtigung menschlicher Grenzen bei der Wahrnehmung von Diagrammen.

Bei der Visualisierung von Daten ist es wichtig, ewige Einschränkungen wie Farbenblindheit zu berücksichtigen. Es kann schwierig sein, Unterschiede im Volumen von Formen genau wahrzunehmen, daher ist es hilfreich, Diagrammelemente zu verwenden, die sich zusätzlich zur Farbe erheblich in Helligkeit und/oder Textur unterscheiden. Menschen sind tendenziell genauer bei der Dekodierung von Unterschieden, wenn sie Vergleiche anhand der Länge von Balken entlang einer gemeinsamen Skala anstellen, als anhand von Fläche oder Farbe.

Es ist wichtig, andere Faktoren bei der Datenvisualisierung zu korrigieren, da die interessierende Variable von anderen Faktoren als dem, an dem wir interessiert sind, beeinflusst werden kann. Beispiele dafür sind die Anpassung von Daten an die Populationsgröße und die Berücksichtigung von Daten, die über verschiedene Jahreszeiten hinweg gesammelt wurden.

Ein Modell in der Statistik ist eine Vereinfachung von Dingen in der realen Welt, die das Wesen der Sache, die modelliert wird, vermittelt. Es soll eine komprimierte Beschreibung für Daten bieten und die Struktur der Daten so einfach wie möglich erfassen.

Die Grundstruktur eines statistischen Modells besteht aus: data = model + error. Dabei werden die Daten in zwei Teile aufgeteilt: ein Teil drückt erwartete Werte basierend auf unserem Wissen aus, während der andere Teil den Fehler darstellt, die Differenz zwischen den Vorhersagen des Modells und den beobachteten Daten.

Der 'Hut' über den Daten bedeutet, dass es sich um unsere Vorhersage und nicht um den tatsächlichen Wert der Daten handelt. Es zeigt an, dass der vorhergesagte Wert der Daten für eine spezifische Beobachtung gleich dem Wert des Modells für diese Beobachtung ist.

Die Güte eines statistischen Modells wird oft anhand der Größe des Fehlers definiert, der die Abweichung der Daten von den Vorhersagen des Modells darstellt. Ein Modell mit geringerem Fehler wird im Allgemeinen als besser angesehen. Man kann auch nach einem Schätzer suchen, der einen durchschnittlichen Fehler von Null ergibt, um die Parameter im Modell zu verbessern.

Es werden verschiedene Maße für den Fehler in einem statistischen Modell verwendet, um die Genauigkeit der Vorhersagen zu bewerten. Beispielsweise kann der mittlere quadratische Fehler genutzt werden, um den Fehler unabhängig von seiner Richtung zu minimieren und die Güte des Modells zu verbessern.

Ein Intercept ist ein konstanter Mehrwert zur Vorhersage für jeden Einzelnen. Es wird als Achsenabschnitt in der Gleichung für eine gerade Linie abgebildet und trägt zur Verbesserung des Modells bei, indem es zusätzliche Informationen zur Vorhersage liefert.

Ein Modell ist gut, wenn es unsere Daten gut beschreibt und den geringstmöglichen Fehler bei der Modellierung unserer Daten aufweist. Zudem sollte es sich gut auf neue Datensätze übertragen lassen, indem sein Fehler minimal ist, wenn es auf neue Datensätze angewendet wird, um Vorhersagen zu treffen.

Der Fehler in einem Modell kann auftreten, wenn das Modell falsch ist oder wenn ein wichtiger Faktor im Modell fehlt. Es kann auch aufgrund zufälliger Schwankungen in den Daten entstehen, die als „Messfehler“ oder „Rauschen“ bezeichnet werden. Manchmal entsteht der Fehler auch durch Fehler in der Messung oder aufgrund von vielen verschiedenen Faktoren, die das zu messende Objekt beeinflussen und zu variablen Ergebnissen führen.

Ein Modell kann zu gut sein, was zu Überanpassung führt. Überanpassung tritt auf, wenn ein komplexes Modell stark von bestimmten Datenpunkten im ersten Datensatz beeinflusst wird. Da die genaue Position dieser Datenpunkte durch zufälliges Rauschen bestimmt wurde, passen komplexe Modelle oft schlecht zu neuen Datensätzen. Es besteht eine Spannung zwischen der Fähigkeit des Modells, den aktuellen Datensatz genau anzupassen, und seiner Fähigkeit, neue Datensätze zu verallgemeinern.

Daten werden anhand des Mittelwerts verwendet, um die „zentrale Tendenz“ des Datensatzes zu beschreiben. Der Mittelwert wird berechnet, um das Modell an die Daten anzupassen. Statistiker verwenden unterschiedliche Symbole, um Statistiken, die Werte für eine Stichprobe beschreiben, von Parametern zu unterscheiden, die wahre Werte für eine Grundgesamtheit beschreiben. Der Mittelwert wird häufig als Statistik zum Zusammenfassen von Daten verwendet, obwohl er empfindlich auf Extremwerte reagiert.

Daten werden mithilfe des Medians robust zusammengefasst. Der Median ist der Wert in der Mitte, wenn alle Werte nach ihrer Größe sortiert werden. Wenn es eine gerade Anzahl von Werten gibt, werden die beiden mittleren Werte gemittelt. Der Median minimiert die Summe des Absolutwerts der Fehler im Vergleich dazu, wie der Mittelwert die Summe der quadratischen Fehler minimiert.

Der Modus wird verwendet, um die zentrale Tendenz eines Datensatzes zu beschreiben, der nicht numerisch ist. Er repräsentiert den am häufigsten vorkommenden Wert im Datensatz.

Variabilität beschreibt, wie gut der Mittelwert zu den Daten passt und wird auch als „Dispersion“ bezeichnet. Die Varianz und Standardabweichung sind häufig verwendete Maße zur Messung der Variabilität. Die Varianz der Grundgesamtheit wird durch die Summe der Fehlerquadrate dividiert durch die Anzahl der Beobachtungen berechnet. Populationsstandardabweichung ist die Quadratwurzel der Varianz. Die Varianz wird normalerweise anhand einer Stichprobe berechnet, indem durch n-1 statt durch N geteilt wird, um die Freiheitsgrade zu berücksichtigen.

Die Varianzschätzung unter Verwendung von n-1 als Nenner kommt der anhand vollständiger Daten berechneten Varianz sehr nahe. Im Vergleich dazu ist die Varianz, die unter Verwendung von n als Nenner berechnet wird, verzerrt im Vergleich zum wahren Wert.

Z-Werte sind Standardisierungsmaße, die angeben, wie viele Standardabweichungen ein bestimmter Wert vom Mittelwert einer Stichprobe entfernt ist. Sie werden verwendet, um zu verstehen, wie sich ein bestimmter Wert im Vergleich zur Verteilung aller Werte in einer Stichprobe verhält.

Ein Z-Wert gibt an, wie weit ein Datenpunkt vom Mittelwert entfernt ist, in Einheiten der Standardabweichung. Er wird mit der Formel Z(x) = (x - µ) / σ berechnet, wobei µ der Mittelwert und σ die Standardabweichung sind.

Die Z-Bewertung ändert nichts an der relativen Verteilung der Datenpunkte, sondern verschiebt sie lediglich so, dass der Mittelwert 0 und die Standardabweichung 1 ist. Dies bietet eine bessere interpretierbare Sicht auf die Daten.

Z-Werte werden verwendet, um Daten auf eine gemeinsame Skala zu bringen und vergleichbar zu machen. Durch die Umwandlung der Daten in Z-Werte für jede Variable können sie direkt verglichen werden, und Differenzwerte können berechnet werden, um verschiedene Variablen auf einer gemeinsamen Skala zusammenzuführen.

Die Standardnormalverteilung wird oft als „Z“-Verteilung bezeichnet und ist eine spezielle Normalverteilung mit einem Mittelwert von 0 und einer Standardabweichung von 1. Sie hilft dabei zu verstehen, wo sich ein Datenpunkt im Vergleich zum Rest der Verteilung befindet. Z-Werte ermöglichen es, abzuschätzen, wie wahrscheinlich es ist, einen Wert zu finden, der mindestens so extrem ist wie ein bestimmter Wert.

Die Merkmale einer Wahrscheinlichkeit nach Andrei Kolmogorov sind: Die Wahrscheinlichkeit kann nicht negativ sein, die Gesamtwahrscheinlichkeit aller Ergebnisse in der Ergebnismenge beträgt 1, die Wahrscheinlichkeit eines einzelnen Ereignisses kann nicht größer als 1 sein. Diese Merkmale stellen sicher, dass ein Wert eine Wahrscheinlichkeit darstellt.

In vielen Fällen sind persönliche Kenntnisse und Meinungen der einzige Anhaltspunkt, den wir haben, um die Wahrscheinlichkeit eines Ereignisses zu bestimmen. Dies kann jedoch wissenschaftlich nicht sehr befriedigend sein, da es auf subjektiven Einschätzungen basiert.

Die empirische Wahrscheinlichkeit wird durch wiederholtes Experimentieren und Zählen ermittelt, wie oft jedes Ereignis eintritt. Aus der relativen Häufigkeit verschiedener Ergebnisse können wir die Wahrscheinlichkeit jedes Ergebnisses berechnen.

Das Gesetz der großen Zahlen zeigt, dass sich die empirische Wahrscheinlichkeit mit zunehmender Stichprobengröße der wahren Wahrscheinlichkeit annähert. Es hilft zu verdeutlichen, dass die empirische Wahrscheinlichkeit genauer wird, je mehr Daten gesammelt werden.

Das Gesetz der kleinen Zahlen, von den Psychologen Danny Kahneman & Amos Tversky gezeigt, besagt, dass Menschen oft das Verhalten zeigen, als ob das Gesetz der großen Zahlen auch für kleine Stichproben gilt. Dies führt dazu, dass den Ergebnissen, die auf kleinen Datensätzen basieren, zu viel Glaubwürdigkeit beigemessen wird.

Die klassische Wahrscheinlichkeit wird direkt basierend auf unserem Wissen über die Situation berechnet. Dabei gehen wir davon aus, dass alle Elementarereignisse im Stichprobenraum gleich wahrscheinlich sind. Die Wahrscheinlichkeit eines einzelnen Ergebnisses wird durch die Anzahl möglicher Ergebnisse geteilt.

Die Wahrscheinlichkeit eines komplexen Ereignisses, das die Vereinigung einzelner Ereignisse darstellt, wird mathematisch mit dem U-Symbol dargestellt. Die Wahrscheinlichkeit der Vereinigung von zwei unabhängigen Ereignissen wird berechnet, indem wir die Wahrscheinlichkeiten der einzelnen Ereignisse multiplizieren, wenn A und B unabhängig sind.

Die Subtraktionsregel besagt, dass die Wahrscheinlichkeit, dass ein Ereignis A nicht eintritt, gleich 1 minus der Wahrscheinlichkeit, dass das Ereignis eintritt, ist. Dies ermöglicht es, die Wahrscheinlichkeit des Nicht-Eintretens eines Ereignisses zu berechnen.

Die Additionsregel besagt, dass die Wahrscheinlichkeit für das Eintreten eines von zwei Ereignissen durch Addition der einzelnen Wahrscheinlichkeiten und Subtraktion der Wahrscheinlichkeit für das gemeinsame Eintreten beider Ereignisse ermittelt wird. Dies verhindert, dass Fälle zweimal gezählt werden.

Eine Wahrscheinlichkeitsverteilung ist die Wahrscheinlichkeit aller möglichen Ergebnisse eines Experiments. Die Binomialverteilung ermöglicht es, die Wahrscheinlichkeit einer bestimmten Anzahl von Erfolgen aus einer Reihe von Versuchen zu berechnen, bei denen es entweder Erfolg oder Misserfolg gibt, vorausgesetzt eine Erfolgswahrscheinlichkeit ist bekannt.

Die kumulierte Wahrscheinlichkeitsverteilung gibt an, wie wahrscheinlich es ist, einen Wert zu finden, der genauso extrem oder größer als ein bestimmter Wert ist. Sie kann für jede theoretische Wahrscheinlichkeitsverteilung direkt berechnet werden, wenn die Anzahl möglicher Ergebnisse zu groß ist, um sie durch Aufzählung aller Werte zu bestimmen.

Die bedingte Wahrscheinlichkeit ist die Wahrscheinlichkeit eines Ereignisses, vorausgesetzt, dass ein anderes Ereignis eingetreten ist. Um die bedingte Wahrscheinlichkeit von A bei gegebenem B zu berechnen (P(A | B)), müssen wir die gemeinsame Wahrscheinlichkeit kennen und die Gesamtwahrscheinlichkeit von B berücksichtigen.

Statistische Unabhängigkeit zwischen zwei Variablen bedeutet, dass die Kenntnis des Werts einer Variablen uns keine Informationen über den Wert der anderen Variable liefert. Wenn die bedingte Wahrscheinlichkeit von A bei gegebenem B gleich der Gesamtwahrscheinlichkeit von A ist, sind A und B unabhängig.

Statistische Unabhängigkeit bezieht sich darauf, dass aus dem Wert einer Variablen nichts über eine andere Variable vorhergesagt werden kann.

Die bedingte Wahrscheinlichkeit ist etwas kleiner als die Gesamtwahrscheinlichkeit. Dies deutet darauf hin, dass die Ereignisse nicht unabhängig sind. Es ist jedoch mit Zahlen allein nicht sicher feststellbar, da die Zahlen aufgrund zufälliger Variabilität in der Stichprobe unterschiedlich sein können.

Die Bayes-Regel kann verwendet werden, um eine bedingte Wahrscheinlichkeit umzukehren. Wenn P(A | B) bekannt ist, kann P(B | A) berechnet werden. Die Formel lautet: P(B|A) = P(A) * P(A|B) / P(B).

Die A-priori-Wahrscheinlichkeit bezeichnet die anfängliche Schätzung über die Wahrscheinlichkeit einer Hypothese. Die Grenzwahrscheinlichkeit (P(A)) drückt die Gesamtwahrscheinlichkeit der Daten aus, gemittelt über alle möglichen Werte von B, aus.

Der Posterior in Bezug auf die Bayes-Regel bezieht sich auf das Ergebnis auf der linken Seite der Formel (P(B|A)), da es das ist, was am hinteren Ende der Berechnung herauskommt.

Die Bayes-Regel kann auch als P(A|B) = P(B|A) * P(A) / P(B) geschrieben werden. Der Teil auf der linken Seite zeigt, mit wie viel mehr oder weniger Wahrscheinlichkeit Daten B erhalten werden, relativ zur Gesamtwahrscheinlichkeit der Daten. Der Teil auf der rechten Seite (P(B)) gibt an, wie wahrscheinlich B angenommen wurde, bevor etwas über die Daten bekannt war.

Quoten drücken die relative Wahrscheinlichkeit aus, dass etwas passiert oder nicht. Sie können genutzt werden, um verschiedene Wahrscheinlichkeiten zu vergleichen, indem ein Quotenverhältnis berechnet wird.

Die Prior Odds bezeichnen die Wahrscheinlichkeit, bevor bekannt war, dass ein bestimmtes Ereignis eingetreten ist. Diese werden mit den Posterior-Quoten verglichen, die anhand der Posterior-Wahrscheinlichkeit berechnet werden.

Das Quotenverhältnis ist ein Beispiel für das, was später als Effektgröße bezeichnet wird. Es ermöglicht die Quantifizierung, wie relativ groß ein bestimmter statistischer Effekt ist.

Die beiden historischen Interpretationen von Wahrscheinlichkeiten sind die frequentistische Interpretation, die Wahrscheinlichkeiten im Hinblick auf langfristige Häufigkeiten betrachtet, und die Bayes'sche Interpretation, die den Grad des Glaubens an bestimmte Aussagen beschreibt.

P(A|B) = P(An B) / P(B)

P(AnB) = P(A|B) * P(B)

P(B|A) = (P(A|B) * P(B)) / P(A)