Vorwurf der 'subjektiven Spekulation'
Verriss der Hattie-Studie 20.08.2013, 11:22
Alle reden über die Mega-Studie von John Hattie, nach der die Lehrer/in allein den Lernerfolg bestimmt - und nicht etwa Bildungssystem, Klassengröße usw. Prof. Lind (Uni Konstanz) demontiert die Studie und wirft John Hattie wissenschaftliche Unredlichkeit vor. Dabei haben beide irgendwie Recht. Update 20.08.2013: Mit Kommentar von Prof. Lind.
Die Hattie-Studie (John Hattie (2009): Visible Learning) ist aktuell in aller Munde. Die Meta-Studie, in der 800 Metaanalysen und damit 50.000 Studien zum Lernerfolg ausgewertet wurden, ist von ihrem Umfang her einzigartig.
Stark verkürzt lässt sich die revolutionäre Erkenntnis so umschreiben: Das Einzige, was den Lernerfolg bedingt, ist die Lehrer/in, wenn sie alles richtig macht. Schulsystem, finanzielle Ausstattung von Schulen, Leistungsheterogenität der Lerngruppen, Medieneinsatz, Hausaufgabenmenge landen auf den hinteren Plätzen - d.h. sie werden als nicht relevante Einflussgröße eingestuft. Auch die Klassengröße landet ganz hinten, nämlich auf Platz 106 von 138 der maßgeblichen Einflussfaktoren. Ebenso hat das Fachwissen der Lehrer/innen nach der Hattie-Studie keinen nennenswerten Einfluss auf den Lernerfolg (!).
Übersichten zu den Ergebnissen der Hattie-Studie:
Österreichisches Bundesministerium für Unterricht, Kunst und Kultur: Die Hattie-Studie (PDF) (interessant S. 8ff - "Zentrale Befunde" und "Überraschungen und Enttäuschungen")
Zeit.de 14.01.2013: Ich bin superwichtig!
Presseschau zur Hattie-Studie (visible-learning.org)
Die Hattie-Studie ist ein Mega-Werk, die Berichterstattung in den Medien beschränkt sich fast durchgängig auf die Wiedergabe und Kommentierung der Ergebnisse.
Nicht allerdings die noch recht junge GBW (Gesellschaft für Bildung und Wissen e.V.), die häufig sehr kritische, aber meist lesenswerte und konstruktive Beiträge zu Bildung, Bildungspolitik und Bildungsforschung veröffentlicht. Hier stampft Prof. Georg Lind (Universität Konstanz) die Hattie-Studie in Grund und Boden. Zentrale Aussage seiner Kritik:
Der Ansatz vom Primat des Unterrichts über die Struktur überzeugt aber auch deshalb nicht, weil die Forschung, auf die verwiesen wird, sie gar nicht stützt – und das, obwohl der Kronzeuge Hattie diese These in seinem Buch Visible Learning selbst propagiert. Hattie fasst in seiner “Synthese” die statistischen Befunde von über 800 so genannten Meta-Analysen zusammen, die ihrerseits wiederum die Befunde von Einzelstudien enthalten, die zusammen genommen auf Testdaten von einigen Millionen Schülern und Schülerinnen beruhen. Das wirkt ungemein beeindruckend, und soll es wohl auch. Die Vertreter der These Pädagogik vor Struktur verweisen denn auch immer auf diese Zahlen, wenn sie Hatties Befunde als Belege oder Beweise oder gar Wahrheiten anführen. Was aber ist falsch an dieser Studie?
Warum taugt sie nicht als Beleg für das Behauptete? Warum kann sie tatsächlich nicht, wie der Autor und seine Bewunderer meinen, als Anleitung für die Steigerung des Lernerfolgs unserer Schüler dienen?
GBW 04.02.2013: Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik
Die Antwort auf diese Fragen findet sich im 4-seitigen Aufsatz selbst (PDF-Link). Dort wird abgerechnet: Zuerst befasst sich Lind mit dem Konzept der Meta-Studie, das er - vorsichtig ausgedrückt - nicht besonders wertschätzt:
Der “intellektuelle” Anspruch einer Meta-Analyse besteht heute nur noch darin, sehr viele Dokumente von Hilfskräften nach Studien zu einem bestimmten Thema absuchen zu lassen, ein paar Ergebnisdaten (Korrelationen, Mittelwerte, Standardabweichungen und Stichprobenumfang) nebst Informationen über die erfassten Variablen in eine Tabelle zu übertragen und dem Computer zu befehlen, mit diesen Informationen vorprogrammierte Analysen durchzuführen. Die Tiefe der Meta-Analyse wird meist auf so genannte Haupteffekte sowie auf Abhängig- keiten erster Ordnung begrenzt. Wenn zwei Bedingungen zusammenwirken (was in der Realität eher die Regel als die Ausnahme ist) oder wenn hinter der analysierten Ursache weitere Ursache wirkt, fällt das einfach unter den Tisch.
Georg Lind: Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik (PDF), S. 1f
Weiterhin bezweifelt Prof. Lind die Wissenschaftlichkeit von Hatties Vorgehen (S. 2f). Das zusammenfassende Urteil des kurzen Aufsatzes ist vernichtend:
Der berühmte Psychologe Paul Meehl hat einmal einen guten Wissenschaftler definiert – und zwar als jemanden, der seinen Kopf statt einer Formel gebraucht. [...] Bei Hattie verkommt [... die Metaanalyse] jedoch zur mechanischen Umsetzung von computererzeugter Statistik in Politik unter Ausschaltung des (Nach-) Denkens. Schlimmer noch: Meta-Analysen suggerieren dem Leser, dass sie die Lektüre von originärer Forschung überflüssig machen.
Georg Lind: Meta-Analysen als Wegweiser? Zur Rezeption der Studie von Hattie in der Politik (PDF), S. 3
Ganz sicher hat Georg Lind mit einem Recht: Der Zahlenfetisch, dem die Bildungs- und Unterrichtsforschung ungefähr seit PISA aufsitzt, ist ein zweischneidiges Schwert, das es mit Vorsicht zu berühren gilt. Schließlich sind wir alle in erster Linie Menschen - und keine Roboter.
Und möglicherweise ist hier wiederum der positive Aspekt der Hattie-Studie zu sehen: Lehrer/innen brauchen den Glauben daran, dass ihr Handeln etwas bewirkt. Das Gefühl, handlungsunfähiges Opfer politischer Entscheidung zu sein, demotiviert Lehrer/innen - was wiederum zu schlechtem Unterricht führt.
Kommentar von Prof. Georg Lind
Prof. Lind ist mit dieser letzten Aussage nicht einverstanden und ergänzt wie folgt (danke!):
Hatties Aussage "auf die Lehrer kommt es an" ist ein vergiftetes Lob! Genaugenommen besagt diese Aussage, dass die Unterschiede der Lehrkompetenz von Lehrern groß und diese Unterschiede für den Lernerfolg der Schüler ausschlaggebend seien. Mit anderen Worten: Keinesfalls sollten die Lehrer glauben, dass ihr Handeln etwas bewirkt, sondern nur die wenigen, denen Hattie hohe Lehrkompetenz bescheinigt! Diese Nachricht ist für die Mehrzahl der Lehrer nicht gerade motivierend.
Falls man akzeptiert, wie Hattie Lehrkompetenz und Lernerfolg definiert und misst, dann kann man aus seine Befunden m.E. nur ableiten, dass es auf die Lehrerausbildung ankommt, und zwar genau in dem Sinne: ihre Qualität ist sehr unterschiedlich und reicht meist nicht aus, um Lehrer auf ihren schwierigen Beruf vorzubereiten. Lehrer und Schüler müssen das dann ausbaden. Hier sollte sich endlich etwas tun, aber nicht nur eine Strukturreform, sondern eine qualitative Verbesserung der Studieninhalte und Lehrformen ist notwendig: weg von Vorlesungen und Referate-Seminare, hin zu mehr Training von Lehrkompetenz.
In einer unveröffentlichen Studie vor etwas 15 Jahren hatten wir übrigens gefunden, dass der Glaube, etwas mit dem Unterricht zu bewirken, mit zunehmender Lehrpraxis rapide abnimmt. Es scheint, dass ältere Lehrer realistischer werden.
Ramm, M, Kolbert-Ramm, C., Bargel, T & Lind, G. (1998). Praxisbezug im Lehramtsstudium. Erfahrungen und Beurteilungen der Lehramtsstudierenden. [Praxis elements in teacher education. Experiences and judgments by teacher students]. AG Hochschulforschung. Universität Konstanz.
In einer anderen Studie fanden wir, dass Lehrer ihre pädagogisch-psychologische Ausbildung für wenig nützlich halten: Praxisbezug im Lehramtsstudium - Bericht einer Befragung von Konstanzer LehrerInnen und Lehramtsstudierenden (PDF)
Das hatte mich damals schockiert und veranlasst, meine Lehrveranstaltungen völlig umzustellen. Fazit: Die zukünftige Lehrerbildung sollten zwei wesentliche Elemente enthalten: a) eine adäquate Prüfung der Lehrkompetenz am Ende der Ausbildung, und b) die Ausbildung in kompetenter Selbstevaluation, mit denen Lehrer sich unabhängig von einer inkompetenten Testindustrie und subjektiven Prüfern machen können. Ich biete seit Jahren Lehrerfortbildung an, in denen ich zeige, dass dies machbar ist und von Lehrern sehr positiv aufgenommen wird. Wir prüfen die Lehrkompetenz mittels ungeschnittener 'best-practice-Videos', statt über Klausuren und Tests, und zeigen, wie man die eigene Lehrwirksamkeit ohne großen Aufwand ständig selbst evaluieren und so stetig verbessern kann.
- uni-konstanz.de/ag-moral - Website von Prof. Lind u.a. mit Hinweisen/Links zu Lehrerbildung und Selbstevaluation
