Der rasche Notenschlüssel

*ohne Gewähr

Notenschlüsselrechner Pro

Verriss der Hattie-Leistungsstudie

Hattie-Studie: »beträchtliche inhaltliche und methodische Schwächen« 13.11.2014, 12:52

Mann zertrümmert Mauer mit Aufschrift 'Hattie-Studie'
Bild: Shutterstock (Montage)

Die Professoren Schulmeister und Loviscach haben sich die Hattie-Studie sehr genau angesehen. Sie haben dabei zahlreiche methodische und inhaltliche Schlampereien entdeckt: Hattie »streut … seinem Publikum Sand in die Augen«.

Anzeige
Anzeige
  • (geändert: )
Der folgende Text wurde von Prof. Rolf Schulmeister und Prof. Jörn Loviscach hier veröffentlicht: Looking into John Hattie's meta-meta-analysis (Google Drive) (zweisprachig: deutsch, englisch). Wir danken für die Genehmigung zur Veröffentlichung!

Fehler in John Hatties „sichtbarem Lernen“

Rolf Schulmeister und Jörn Loviscach
schulmeister@uni-hamburg.de, joern.loviscach@fh-bielefeld.de

Die viel zitierte Meta-Meta-Analyse „Visible Learning“ weist beträchtliche inhaltliche und methodische Schwächen auf. Das zeigen unsere exemplarischen Proben der Quellen und Rechnungen. Das Werk bedarf einer grundlegenden Überprüfung.

Was wirkt im Unterricht und was nicht? -- Die Beantwortung dieser Frage ist ein ideologisches Schlachtfeld verschiedener Schulen der Pädagogik. Wie schön wäre es, sie durch Messungen von Unterrichts(miss)erfolg ein für alle Mal zu beantworten. Diese Hoffnung hat sich für viele mit dem Werk „Visible Learning“ von John Hattie (2014) erfüllt: Er hat in dieser Meta-Meta-Analyse Hunderte von Meta-Analysen zu Themenkomplexen zusammengefasst und diese zu einer Rangfolge von positiv bis kontraproduktiv sortiert.

Daran interessiert, wie verlässlich Hatties Ergebnisse sind, haben wir Stichproben der von Hattie verarbeiteten Originalliteratur beschafft ‒ soweit mit vertretbarem Aufwand möglich ‒ und studiert. Unsere Ergebnisse (Schulmeister & Loviscach, 2014) stellen die von Hattie angegebene Rangfolge in Frage und lassen gravierende Bedenken zum Vorgehen aufkommen:11

  1. Zweifelhafte Studien. Viele der von Hattie herangezogenen Meta-Analysen sind methodisch anzweifelbar. Hattie hat offensichtlich die in diese Meta-Analysen eingegangenen empirischen Einzelstudien nicht auf ihre inhaltliche oder methodische Qualität überprüft, sondern die Stichproben (die Meta-Analysen ja darstellen) guten Glaubens übernommen. Außerdem hat Hattie viele „unpublished dissertations“ einbezogen ‒ oftmals wenig belastbare Fingerübungen in Statistik. Vor der Einbeziehung in seine Meta-Meta-Analyse hätte Hattie die Aussagekraft der benutzten Meta-Analysen beleuchten müssen.
  2. Fragwürdige Zuordnungen. Viele der herangezogenen Meta-Analysen passen nicht in den Themenkomplex, dem Hattie sie zugeordnet hat. So finden sich Studien, die den Effekt der Beurteilung von Lehrern durch Schüler erfassen, unter Studien, die die Rückmeldung auf Schüler messen sollen, weil beide nominell unter Feedback verzeichnet werden.
  3. Mangelnde Sorgfalt. Augenscheinlich hat Hattie nicht alle Meta-Analysen, die er zitiert, wirklich gelesen, denn beispielsweise findet sich im Effektkomplex „Konzentration, Ausdauer und Engagement“ eine Studie, deren Thema die Konzentration industrieller Macht ist, nicht aber die Konzentration beim Lernen. Außerdem konnten wir einige von Hattie angegebene Zahlenwerte nicht so in den verwendeten Meta-Analysen wiederfinden.
  4. Äpfel und Birnen. Selbst dort, wo er Meta-Analysen nach ihren unabhängigen Variablen einigermaßen treffend ausgewählt hat, um den bekannten Vorwurf des Vergleichs von Äpfeln mit Birnen zu vermeiden, hat Hattie in vielen Fällen übersehen, dass die abhängigen Variablen nicht kompatibel waren. Manchmal passen aber weder die unabhängigen noch die abhängigen Variablen so recht zusammen: Im selben Effektkomplex „Feedback“ wird zum Beispiel eine Meta-Analyse, die Musik mit dem Ziel der Verhaltensverstärkung (reinforcement) einsetzt, mit anderen Studien verrechnet, die Unterrichtsinterventionen als kognitives Feedback nutzen.
  5. Irreführende Statistik. Die pro Phänomen angegebenen Effektstärken sind die Mittelwerte von sehr breiten Verteilungen. Zum Beispiel beim Effektkomplex „Induktives Vorgehen” zieht Hattie zwei Meta-Studien mit Effektstärken von d = 0,06 und d = 0,59 zur mittleren Effektstärke von d = 0,33 und einem Standardfehler von 0,035 zusammen. Das ist so, als wenn man von einem Würfel nicht sagen würde, er liefert Zahlenwerte von 1 bis 6, sondern sagen würde: „Der Würfel liefert den Wert 3,5 und wir sind uns bei diesem Mittelwert fast auf eine Nachkommastelle sicher.“ Das reale Ergebnis ist aber oft viel kleiner oder viel größer als der Mittelwert. Will sagen: Auf die Details der didaktischen Intervention kommt es an. (Hatties Verfahren, den Gesamt-Standardfehler durch Mittelung der einzelnen Standardfehler ‒ soweit überhaupt bekannt ‒ zu berechnen, ist sowieso statistischer Nonsens.)
  6. Unsinnige Rangliste. Hattie ordnet seine Themenkomplexe nach den ermittelten Effektstärken, um ein Ranking zu bilden. Diese Rangliste hat in der Öffentlichkeit die größte Aufmerksamkeit erfahren. Korrigiert man Themenkomplexe, in denen falsche Zuordnungen oder Berechnungsfehler vorkommen, springen Themenkomplexe aber in der Rangliste hin und her. Vor allem jedoch gaukelt diese Rangliste eine absurde Präzision vor, weil sie nur den jeweiligen Mittelwert abbildet, nicht die ‒ teilweise heftigen ‒ Schwankungen pro Themenkomplex und pro verwendeter Meta-Studie.

Fazit

Dass sich Didaktik als eine simple Rangfolge von Effektstärken abbilden ließe, ist eine gefährliche Illusion. Wie eine bestimmte Intervention wirkt, hängt extrem von den Umständen ab. Mit den kleingerechneten Streuungsbreiten und der scheinbar exakten Rangfolge streut Hattie seinem Publikum Sand in die Augen. Im Hintergrund lauert ein noch schwerwiegenderer Denkfehler: Schule wird hier auf das reduziert, was in einer abschließenden Leistungsprüfung “messbar” ist. Schon, weil der meiste Schulstoff schnell wieder vergessen ist, scheint uns dieser Ansatz mindestens kurzsichtig, wenn nicht sogar gefährlich, weil er die langfristigen Effekte der Schule ausblendet.

Literatur

Hattie, J. (2014). Lernen sichtbar machen. 2. korr. Aufl. Hohengehren: Schneider.
Schulmeister, R., & Loviscach, J. (2014). Kritische Anmerkungen zur Studie “Lernen sichtbar machen” (Visible Learning) von John Hattie. SEMINAR 2/2014, S. 121-130.

Anzeige

Ihr Kommentar

zum Artikel "Hattie-Studie: »beträchtliche inhaltliche und methodische Schwächen«".



Wir speichern Ihren Kommentar dauerhaft ab (was auch sonst?). Mehr dazu in unserer ausführlichen Datenschutzerklärung.

Kommentare

5

Zum Artikel "Hattie-Studie: »beträchtliche inhaltliche und methodische Schwächen«".

  • #1

    Dem Kommentar kann ich nur zustimmen. Die Autoren haben so etwas wie Rosienen-Picken gemacht. Man sucht ein paar Fehler heraus und hängt Sie an die große Glocke. Würde man sich die Mühe machen, alles zu kontrollieren, wäre der Artikel sicher noch später erschienen. Da beide Autoren im Berech e-Learning tätig sind und dieser Bereich nicht gerade gut abgeschnitten hat, könnte man auch auf andere Motivationen rückschließen. Aber das ist nichts weiter als eine Spekulation.

    Hattie ist für mich als Seminarausbilder sehr nützlich. Er schreibt zum Beispiel zum Feedback, dass er beide Richtungen, vom Leher zum Schüler und von den Schülern zum Lehrer zusammenfasst. Ihm dies als methodischen Fehler auszulegen ist etwas gewagt. Zumal man bei näherer Studie des Kapitels Unterscheidungen zwischen den Richtungen findet. Hattie kann hier auch nur als Ausgangspunkt für tiefere Recherchen genutzt werden. Das bedeutet natürlich viel Arbeit. Nach meiner Erfahrung als Seminarausbilder und Lehrer lohnt dies aber ungemein. Allein Kleinigkeiten zum Feedback verändern den Unterricht dramatisch.
    Auch zum effektiven Einsatz von Aufgaben findet man sehr gute Hinweise, um ihren Einsatz zu verbessern. Aber auch hier muss man eigene Arbeit hineinstecken. Hattie ist für mich ein Wegweiser zu lohnenden Veränderungen zum Unterricht. Allerdings muss man leider selber den mühsamen Weg gehen ;-)

    schrieb Dr. Michael Mausbach am

  • #2

    Wer sagt, dass kleine oder große Klassen keinen Unterschied auf den Unterricht und somit die Lernleistung von Schülern haben, hat von der Praxis des Schulalltags keine Ahnung. Zahlreiche Studien belegen die höhere Wirksamkeit von kleineren Klassen - was auch logisch ist. Bei großen Klassen kann man zunehmend nur noch frontal unterrichten, was bekanntlich die weniger lernfördernde Unterrichtsart ist. Die PISA-Studie belegt übrigens ebenfalls den Unterschied zwischen großen und kleinen Klassen. Und Hatti weiß das eigentlich auch. Nur muss man bei Hattie wissen, was für ihn eine “große” und eine “kleine Klasse” ist. Eine “große Klasse” ist bei Hatti eine Klasse von 40 oder mehr Schülern. Und eine “kleine Klasse” hat einen Umfang von mind. 30 Schülern! 30 Schüler sind für Hatti eine kleine Klasse, das muss man sich mal vorstellen. Da ist es doch klar, dass Hattie zu dem Schluss kommt, dass es egal ist, ob man 30 oder 40 Schüler unterrichtet. Bei uns in Deutschland hingegen gilt eine Klasse von 28 Schülern bereits als “große Klasse” und in vielen Bundesländern sind Klassen über 30 Schülern untersagt. Wohl macht es aber einen Unterschied für die Didaktik und Lernleistung aus, ob man 10 Schüler oder 30 Schüler unterrichtet. Dies hat Hattie aber nicht untersucht, wohl aber die PISA-Studie und zahlreiche andere. An diesem Beispiel sollten zwei wesentliche Probleme mit der Hattie-Studie erkenntlich geworden sein:
    1. Man muss bei Hattie nach den Definitionen seiner Faktoren gucken (“kleine Klasse” = 30 Schüler)
    2. Da Hattie größtenteils Studien aus dem anglo-amerikanischen Schulsystem verwendet, lassen sich seine Schlussfolgerungen mit Nichten leicht auf das deutsche Schulsystem übertragen.

    schrieb Notenbummler am

  • #3

    Anbei noch ein weitere Link: http://ollieorange2.wordpress.com/2014/08/25/people-who-think-probabilities-can-be-negative-shouldnt-write-books-on-statistics/

    schrieb Andi am

  • #4

    Um Evidenz aufzuzeigen, bedarf es nicht der Analyse von Hunderten von Metastudien.
    Wenn man sie dennoch heranzöge, hieße das in der Tat, dem Leser Sand in die Augen zu streuen.
    Um zu beurteilen, ob Schulmeister, R., & Loviscach, J. mit ihrer Kritik Recht haben, müsste man ihr Prüfverfahren allerdings mindestens ebenso genau untersuchen, wie sie es bei Hatties Studie getan haben.
    Die Kürze ihres Aufsatzes lässt daran zweifeln, ob man das ohne erneuten Rückgriff auf Hatties Quellen zureichend sorgfältig tun kann.

    schrieb Fontanefan am

  • #5

    Was ich bei Hattie gelesen habe, ist:
    Es sind nicht kleine Klassen, offener, jahrgangsübergreifender, entdeckender Unterricht, team-teaching oder die Schulstruktur, sondern Einflussgrößen, die überwiegend vom Lehrer ausgehen, von seinen Lehr-Lern-Arrangements:

      - fachlich orientierter und kognitiv aktivierender Unterricht
      - die zur Verfügung stehende Zeit effektiv nutzen
      - anspruchsvolle, aber bewältigbare Lernaufgaben stellen und vielfältiges Feedback geben
      - für förderliches Klassenklima und gutes Unterrichtsmanagement sorgen

    Vieles davon ist evident. Dazu muss man keinen Statistikschein gemacht haben.

    schrieb Günter K. Schlamp am

Andere Lehrerfreund/innen lasen auch:

Anzeige
Nach oben

 >  1706 Einträge, 14796 Kommentare. Seite generiert in 0.2507 Sekunden bei 98 MySQL-Queries. 284 Lehrer/innen online (3 min Timeout / 1674) |