bwd Klausurerstellung

Definition der Diagnostik: 

• Systematisches Sammeln und Aufarbeiten von Informationen mit dem Ziel, Entscheidungen und daraus resultierende Handlungen zu begründen, zu kontrollieren und zu optimieren 

• Explizite Aussage über Zustände oder Merkmale einer Person – Unterschiede zwischen Personen oder Veränderungen innerhalb einer Person sollen identifiziert werden 

Diagnostische Kompetenz: 

• Fähigkeit eines Urteilers, Personen zutreffend zu beurteilen 
• Grundlage für die Genauigkeit von Urteilen und Diagnosen 
• Leistungsunterschiede innerhalb einer Klasse erkennen 
• Lernfortschritte erkennen 
• Wissen, ob und warum eine Aufgabe schwer oder leicht ist 
• Bewertungen sind für SuS wichtig – sollten nicht nur auf subjektiven Meinungen basieren 
• Auswahl geeigneter Maßnahmen und Anpassungen pädagogischen Handelns bedarf korrekter Diagnose des Ist-Zustands 
• Bestimmte Fragestellungen (Diagnostik von Lernschwierigkeiten) bedürfen externer Unterstützung durch z.b. Schulpsychologen

Untersuche zur diagnostischen Kompetenz bei Lehrkräften 

• Rangfolge funktioniert, aber: Niveau wird oft überschätzt 
• Kognitive Leistungsfähigkeit wird bei Entsprechung mit Leistung richtig eingeschätzt 
• Schwierig: korrekte Einschätzung von Fähigkeitskonzept, Lernmotivation, Leistungsängstlichkeit 

Diagnostische Kompetenz hängt nicht zusammen mit: 

• Lehrer*innenmerkmalen wie Berufserfahrung, jahrgangsspezifischer Unterrichtserfahrung, Fachkompetenz, Bezugsnormorientierung 
• Unterrichtsmerkmalen wie Klassenführung oder Beziehung von Lehrkräften zu SuS 
• Klassengröße, Kontaktdauer zur Klasse 
• Diagnostische Kompetenz ist nichts was „mit den Jahren schon kommt“ 

Aspekt diagnostischen Handelns 

• Vergleich 
• Analyse 
• Prognose 
• Interpretation 

Vergleich: 

• Mit Verhalten des gleichen Individuums zu einem früheren Zeitpunkt (individuelle Bezugsnorm) 
• Mit Verhalten anderer Individuen (soziale Bezugsnorm) 
• Mit inhaltlichen Anforderungen an das Verhalten (sachliche Bezugsnorm) 

Analyse: 

• Warum weicht das Verhalten von früheren Verhalten, vom Verhalten anderer, vom Standard ab? 
• Stärken und Schwächen 

Prognose: 

• Wie entwickelt sich Schüler*in weiter 

Interpretation: 

• Gewichtung und Wertung der Informationen zu einem Gesamturteil 

Diagnostische Kompetenz von Eltern & Lehrern 

• Funktionale Bedeutung – Worin besteht der Nutzen genauer diagnostischer Urteile? 
• Qualität diagnostischer Urteile – Bewertung anhand der klassischen Gütekriterien (Objektivität, Reliabilität, Validität) 

Kompetenzen der Eltern 

• Relativ gute Einschätzung des kognitiven Entwicklungsstandards 
• Tendenzielle Überschätzung der schulischen Leistungen 
• Zutreffendere Beurteilung affektiver Variablen (Leistungsängstlichkeit, Selbstvertrauen) durch Mütter (im Vergleich zu Vätern) 

Kompetenz der Lehrkräfte 

• Unterschiedliche Beurteilung der gleichen Leistung durch verschiedene Lehrkräfte (geringe Objektivität) 
• Wiederholte Beurteilungen fallen unterschiedlich aus (geringe Reliabilität) 
• Orientierung an Klasseninternen Bezugssystem sowie Performanz  

Diagnostische Verfahren im Schulkontext: 

• Internationale Verfahren – vergleichbare Kompetenzen – PISA, Iglu 
• Nationale Verfahren– Standortsbestimmung bzgl. Bildungsstandards, Unterrichtsentwicklung, Bildungsmonitoring – VERA 8 
• Standardisierte Schultests – Feststellung von Lernschwierigkeiten, Schuleintrittsdiagnostik – Eignungstest 
• Lehrerkonstruierte Verfahren – Überprüfung vom Gelernten und Lernfortschritten, Ausgangspunkt für Förderung im Unterricht – Informelle Schulleistungstests (Klassenarbeit, Portfolioarbeit) 

Veränderte Prüfungsformate durch KI 

• KI-Hilfsmittel obligatorisch transparent machen (Zitieren, Kapitel zu Hilfsmitteln 
• Weg von reinen Produktbewertung und hin zur Prozessorientierung (Stärkere Berücksichtigung von Reflexion und Lernprozessen zum Beispiel Portfolio) 
• Mehrdimensionalität (schriftlich, mündlich, praktisch, digital) – 3P-Bewertungssystem (Prozess – Produkt – Präsentation) 
• Wechsel der Prüfungsform (mündlich, Klausur, Referat, kompetenzorientierte Prüfung), wenn zu Lernziel passend 

Funktionen von Feedback: 

• Feedback als Kommunikationsprozess: Rückmeldung über frühere Leistungen beeinflusst zukünftige Leistungen 
• Feedback als Lerngelegenheit: tiefere Auseinandersetzung mit dem Lerngegenstand und Kompetenzentwicklung 
• Feedback als Reflexionsmöglichkeit: zusätzlicher Lerneffekt durch Orientierung im eigenen Lernprozess und Evaluation eigener Maßstäbe/Kriterien („internal feedback“) 

Effekt von Feedback: 

• Effekte von Feedback auf den Lernerfolg sind durchschnittlich sehr hoch – aber auch sehr variabel – Ausgestaltung und Rahmenbedingungen des Feedbacks sind wichtig 
• Positive Fehlerkultur kann Effektivität von Feedback erhöhen

Feedback sollte: 

• Zielgerichtet sein – Fokus der lernenden Personen auf bestimmte Aspekte des Lernprozesses mit besonderen Entwicklungspotenzial – Reduktion des Cognitive Loads 
• Nützlich sein – Vermittlung neuer Ideen/Impulse/Strategien etc. zur Anregung positiver Veränderung 
•  Spezifisch sein – Bezug zu konkreten, beobachtbaren Leistungen 
• Ausgewogen formuliert sein – Berücksichtigung von Stärken und Entwicklungsmöglichkeiten 
• Professionell-sachlich sein - Keine Bedrohung für das Selbstkonzept 
• Die Perspektive der empfangenden Person auf oder knapp über dem aktuellen Leistungsniveau berücksichtigen 

Gütekriterien: 

• Objektivität 
• Reliabilität 
• Validität 

Objektivität: 

• Abschneiden in einem Test wird nicht durch die Testsituation, die während der Arbeit anwesenden Lehrkraft und/oder Interpretation in der Auswertung beeinflusst 
• Durchführungsobjektivität 
• Auswertungsobjektivität 
• Interpretationsobjektivität 

Reliabilität: 

• „Zuverlässigkeit“ 
• Ergebnis = "wahrer" (z.B. Fähigkeit) Anteil + Fehleranteil (z.B. Tageszeit)
• Liegt vor, wenn ein Test ein Merkmal sicher und genau misst 
• Lieber auf mehrere Messungen vertrauen, um den Einfluss von Fehleranteilen zu verringern 

Validität: 

• „Gültigkeit“ 
• Liegt vor, wenn der Test tatsächlich das misst, was er erfassen soll, und nicht irgendwas anderes 
• Inhaltsgültigkeit (Curricula/Bildungsstandards) 
• Übereinstimmungsgültigkeit (z.B. standardisierter Rechentest – Mathematikzensur) 
• Vorhersagegültigkeit (z.B. Gymnasialempfehlung in der Primarstufe) 
• Konstruktionsgültigkeit (stimmen theoretisch vermutete Zusammenhänge) 

Nebengütekriterien: 

• Normierung 
• Vergleichbarkeit 
• Ökonomie 
• Nützlichkeit 
• Zumutbarkeit 
• Unverfälschbarkeit 
• Testfairness 

Arten von Beurteilungsfehlern: 

• Fehler der zentralen Tendenz 
• Tendenz zur Milde oder zur Strenge 
• Logischer Fehler (Halo-Effekt) 
• Primacy- und Recency-Effekt 
• Fundamentaler Attributionsfehler 
• Emotionale Beteiligung 
• Kontrast- und Reihenfolgefehler 

Fehler der zentralen Tendenz: 

• Vermeiden von Extremurteilen

Tendenz zur Milde oder zur Strenge: 

• Individuelle Bevorzugung besonders guter oder besonders strenger Bewertung 

Logischer Fehler (Halo-Effekt) 

• Hervorstechendes Merkmal beeinflusst die Wahrnehmung anderer Merkmale 
• „Naive Persönlichkeitstheorien“ können zu Trage kommen, z.B. Brillenträger sind intelligent 

Primacy- und Recency-Effekt: 

• Urteilsverzerrung durch „ersten Eindruck“ oder das letzte Ergebnis

Fundamentaler Attributionsfehler: 

• Verhaltensweisen werden systematisch eher der Person und nicht der Situation zugeschrieben 

Emotionale Beteiligung: 

• Verzerrung des Urteils durch emotionale Eingebundenheit in Situationen 

Kontrast- und Reihenfolgefehler: 

• Urteil über Schüler A (besonders gut/schlecht) beeinflusst das Urteil über Schüler B (im Kontrast besser/schlechter) 

• Ebene Wissen/Fakten: Wiedererkennen/Reproduktion von exaktem Wissen (Begriffe/Fakten), allgemeine Gesetzmäßigkeiten kennen 
• Verständnis: Bedeutung und Zusammenhänge verstehen, Schlussfolgerung aufgrund gegebener Informationen ziehen 
• Übertragen auf analoge Situationen 
• Anwendung: Anwendung von Wissen in unbekannten Kontext, Regeln erkennen, Generalisierung, Hypothesen aufstellen 
• Analyse: Struktur und Organisation von Material erkennen, Beziehungen zwischen Elementen erkennen, Gesetzmäßigkeiten der Organisation erkennen 
• Synthese: Eigenständige und kreative Problemlösung, Angemessene Darstellung eines Problems, Pläne zur Vorgehensweise zur Überprüfung von Sachverhalten entwickeln 
• Evaluation: Beurteilung nach bestimmten Standards, Unterscheidung von begründeten und unbegründeten Schlussfolgerungen, Beurteilung der Relevanz von Argumenten 

Aufgabenformate: 

• Gebunden 
• Halbgebildete 
• Frei

Gebunden: 

• Richtig / Falsch 
• Multiple-Choice 
• Zuordnungsaufgaben 
• Umordnungsaufgaben 
• + schnelle Bearbeitung 
• +einfache Auswertung 
• + hohe Objektivität 
• - anspruchsvolle Konstruktion 
• - fragliche Validität 

Halbgebundene: 

• Kurzantwortaufgaben 
• Lückentexte 
• Einfache Reche

Frei: 

• Aufsätze 
• Komplexe Versuchsanordnungen 
• +einfache Konstruktion 
• Leichter hohe Inhaltsvalidität 
• - zeitaufwendige Beantwortung 
• -Aufwändige Auswertung 
• -fragliche Objektivität 

Gebundene Aufgabenformate: 

• Richtig-Falsch-Aufgaben 
• Multiple-Choice-Aufgaben 
• Zuordnungsaufgaben 
• Umordnungsaufgaben 

Richtig-Falsch-Aufgaben: 

• Ökonomisch (einfache Entwicklung und Auswertung, kurze Bearbeitungszeit 
• Antwort muss eindeutig richtig oder falsch sein (-> geeignet für Faktenwissen) 
• Hohe Ratewahrscheinlichkeit! (-> Blockweise verwenden, Mindestanzahl an richtigen Antworten)

Multiple Choice-Aufgaben: 

• Nur ein wichtiger Lerninhalt pro Frage! 
• Schwierigkeit durch Variation des Aufgabenstamms und der Distraktoren beeinflussbar 
• Distraktoren sollen eindeutig falsch, aber plausibel sein 
• Aufgabenstamm sollte klar und ohne Lesen der Antwortalternativen verständlich sein; möglichst positive Formulierungen 
• Wortwiederholungen bei den Antwortalternativen vermeiden 
• Disktraktoren und korrekte Lösungen müssen grammatikalisch und logisch zum Stamm passen 
• Richtige Lösung sollte kein ausfälliges Format haben 
• “nie”, “alle”, “keine” oder “immer” sind oft Zeichen für eine falsche Antwort 
• Positionen der richtigen Antwort variieren 
• Abfolge der Position der richtigen Antwort nicht nach einem festen Muster 
• Auch mehrere korrekte Antworten möglich -> Muss aus Aufgabenstellung hervorgehen 

Zuordnungsaufgaben: 

• 2 Listen von Begriffen oder Teilen einer Aufgabe; Instruktionen machen Zuordnungsregeln klar 
• Die Items nennen sich Prämissen auf diese gibt es Antwortalternativen 
• Homogenität der Inhalte beachten -> nicht mehrere Kategorien vermischen 
• Für jede Prämisse alle Antwortalternativen plausibel, aber nur eine richtig 
• Instruktion: Regeln spezifizieren; festlegen, ob Antwortalternativen einmal, mehrmals oder gar nicht in Frage kommen würden 
• Mehr Antwortalternativen als Prämissen -> auch für die letzte Prämisse noch Alternativen

Umordnungsaufgaben: 

• Ziel: Ungeordnet aufgelistete Elemente nach bestimmten Kriterien in eine Reihenfolge bringen 
• Ordnungskriterium und –richtung müssen genannt werden 

Freie Formate: 

• Unter anderem Aufsätze und Begründungen 
• Freie Antworten möglich 
• Für komplexe Sachverhalte geeignet 
• Fragen beginnen z.B. mit: Warum, Erkläre, Vergleiche, Interpretiere (ungünstig: Wer, Was, Wann, Wo, Nenne) 
• Zusätzliche Bearbeitungshinweise können die Schwierigkeit senken 
• Kriterien für die Unterscheidung von richtigen und falschen Antworten festlegen 

Auswertung offener Aufgaben 

Schriftliche Kommunikation beim Aufsatz: 

• Einseitig 
• Gerichtet 
• Begrenzt

Erfordert: 

• Reflektion über genannten Merkmale 
• Kognitive Reise 
• Wortschatz 
• Verfügbarkeit sprachlicher Ausdrucksmittel  
• Sachwissen 

Kriterien für die Beurteilung von Aufsätzen 

Negativ formulierte Merkmale: 

• Verstöße gegen lexikalisch-semantische oder morphologisch-syntaktische Sprachnormen 
• Solche Fehler sind relativ leicht identifizierbar, aber: Fehlerfreiheit ist nicht gleichbedeutend mit Aufsatzgüte 

Positiv formulierte Merkmale: 

• z.B. sprachliche Gestaltung, Inhalt, Gesamtaufbau 
• Solche Kriterien sind sehr viel schwerer zu identifizieren, sehr viel anfälliger für subjektive Interpretationen und Gewichtung

Mögliche Dimensionen: 

• Inhalt 
• Formale Merkmale: Grammatikalische Richtigkeit, Rechtschreibung, Interpunktion, Handschrift, Sauberkeit 
• Aufbau 
• Originalität

Probleme übergreifender Kriterienkataloge: 

• Damit ein Kriterienkatalog insgesamt objektiv ist, muss jedes enthaltene Einzelkriterium objektiv sein -> Beurteiler müssen hinsichtlich Zuordnung von Aufsatzmerkmalen zu Kriterium übereinstimmen 
• Damit die Gesamtbewertung objektiv ist, muss es klare Gewichtungsanweisungen für die Einzelkriterien geben 

Hinweise zur Aufgabenkonstruktion freier Formate 

• Klare, eindeutige Instruktionen 
• Art und Umfang der geforderten Leistung erkenntlich machen 
• Sprachliche Klippen vermeiden 
• Keine ungewollten Lösungshilfen, aber auch keine Fallen oder irreführende Details in der Fragestellung 
• Angemessene Länge der Fragestellung, da sonst Konfundierung der Ergebnisse mit der Gedächtnisleistung 
• Im Vorfeld Bewertungslinien festlegen

Aufgabenfairness: 

Die Chance auf eine richtige Antwort sollte nur von der Fähigkeit abhängen, die die Aufgabe fordert, D.h.: 

• Eine bestimmte Einstellung sollte nicht gewertet werden 
• Eine Aufgabe sollte so gestellt und formuliert werden, dass Personengruppen nicht benachteiligt werden 
• Aufgaben sollten aus dem Text heraus, aber nicht rein durch Vorwissen beantwortet werden können 
• Inhaltlich aufeinander aufbauende Fragen sollten vermieden werden -> Beantwortung einer Aufgabe darf durch die richtige oder falsche Beantwortung einer anderen nicht leichter oder schwerer werden 

Worauf sollte man achten? 

• Große Brandbreite an beteiligten Prozessen und Fähigkeiten fordern (Lernziele!) 
• Auf Passung zwischen im Unterricht und in Lernerfolgskontrolle geforderten Prozessen/Fähigkeiten achten 
• Inhalte repräsentativ für Lerninhalte 
• Inhalte sollten relevant für SuS sein 
• Sicherstellen, dass die Aufgabenformate vertraut sind -> Ein Test ist nicht günstig, um neue Aufgabenformate einzuführen 
• Genügend Zeit einplanen, um Qualität statt Geschwindigkeit bewerten zu können 
• Volle Punktzahl sollte mit dem, was in der Aufgabenstellung verlangt ist, erreichbar sein 
• Lernziele und Lerninhalte sollten bekannt sein  
• Tests ankündigen -> Allen die Möglichkeit geben, sich vorbereiten zu können 

Prüfungsangst in der Schule: 

• Prüfungsangst entsteht, wenn SuS mit einem Misserfolg in Leistungssituationen rechnen und unangenehme Konsequenzen befürchten

Mögliche negative Auswirkungen von Angst in Prüfungssituationen 

• Konzentration 
• Gedächtnis 
• Problemlösefähigkeit 
• Bewältigung von Misserfolgen 
• Selbstkonzept

Lehrkräfte können unterstützen bei: 

• Stärkung subjektiver Kompetenz 
• Setzten eines realistischen Anspruchsniveaus 
• Senkung negativer Befürchtungen bei Misserfolg

Erhöhung der Transparenz: 

Anforderungen und Modalitäten: 

• Lernziele 
• Vorbereitungshilfen (Textstellen, Übungen, Beispiele) 
• Aufgabentypen, Frageformen 

Bewertungsrichtlinien: 

• Gewichtung 
• Fehleranzahl -> Note 

Konsequenzen: 

• Einfluss des Ergebnisses auf die Gesamtnote 

Aufgabenanalyse:  

• Auswertungskriterien: bsp. Übereinstimmung bei kollegialem Austausch 
• Distraktoren (Bei Mc-Aufgaben): Wurden einige gar nicht oder kaum gewählt? -> Gründe 
• Schwierigkeit: Wie viele Schüler haben die Aufgabe richtig gelöst? 
• Trennschärfe: Kann die Aufgabe zwischen leistungsstarken und leistungsschwachen Schülern unterscheiden 

Aufgabenschwierigkeit: 

• Anteil der Schüler, die eine Aufgabe richtig haben 
• Schwierigkeitsindex P= (Nr/N)*100 
• N = Anzahl der Schüler 
• Nr= Anzahl der Schüler mit richtiger Lösung 
• Günstig: Viele Aufgaben mit mittlerer Schwierigkeit (P = 50-60) 
• Zu leicht: P>80, zu schwer: P < 20 -> bringen zu wenige Informationen, schwerer zu differenzieren 
• Leichte Aufgaben zu Beginn, da sie die Motivation steigern können und die Schwierigkeit während der Klausur steigern

Trennschärfe: 

• Mangelnde Trennschärfe ist immer ein Indiz für fehlende Validität (evtl. Durch unklare Instruktion oder extreme Schwierigkeit (zu einfach oder zu schwer) 
• Trennschärfeindex T = (Ro-Ru) / N 
• Ro = Oberen 50%, Ru = Unteren 50% 
• >.15 -> gut 
• >.10 -> befriedigend 
• <.10 -> keine Differenzierung

Hinweise zur Rückmeldung von Leistungsergebnissen 

• So bald wie möglich 
• Bewertungsmuster transparent machen 
• Beispiele für gute Schülerantworten geben (nicht immer dieselben) 
• Häufig falsche Antworten aufgreifen und erklären 
• Richtige Antworten zur Verfügung stellen und Möglichkeit zum Nachlesen der richtigen Antworten geben -> Textverweise 
• Bewertung soll begründbar sein -> nur bei Rechenfehlern ändern

Bezugsnormen bei der Rückmeldung und motivationale Wirkung: 

• Individuelle -> beeinflusst alle tendenziell positiv und für Schwächere besonders profitabel 
• Soziale -> beeinflusst Schwächere negativ und Stärkere positiv 
• Sachlich/Kriteriale -> beeinflusst alle Schüler schwach positiv

Motivational günstige Ergebnisrückmeldung: 

• Lernphasen von Überprüfungsphasen abgrenzen -> Vermeidung sozialer Maßstäbe in Lernphasen 
• Bei Leistungsbeurteilung anhand von Noten kriteriale Normen anlegen und diese auch transparent machen 
• Quotierung vermeiden -> prinzipiell hat jeder die Möglichkeit für gute oder sehr gute Noten 
• Zur Note neben Benotung auch einen kurzen Kommentar über die Lernentwicklung 
• Mündliche Leistungsrückmeldung anhand individueller oder kriterialer Norm als Gegengewicht zu sozialen Vergleichen 
• Lerntagebücher / Portfolios zur Verdeutlichung des individuellen Fortschritts 
• Absprache mit Kollegen

Attributionen – Unterschiede: 

• Bei erfolgszuversichtlichen Schülern bestätigt sich das positive Selbstbild beim Erfolg und Misserfolge beinträchtigen das Selbstbild nicht -> Internal-Variabel oder external –variabel 
• Bei Misserfolgsängstlichen: Bei Erfolg werden Erfolge nicht als Erfolge akzeptiert – External, bei Misserfolg wird das negative Selbstbild bestätigt - Internal