Sehen, was man sehen will?

Über den Realitätsgehalt empirischer Forschung 03.03.2013, 08:29

Diagramme
Bild: TeroVesalainen / pixabay [CC0 (Public Domain)]

Empirische Bildungsforschung boomt - wenn wir über Pädagogik reden, reden wir über Zahlen. Dabei ist schwer zu bestimmen, wie sehr empirische Studien die Realität abbilden, denn: "Statistiken sind wie ein Bikini: Sie enthüllen eine ganze Menge, verbergen aber das Wichtigste." (Aaron Levenstein)

Anzeige
  • (geändert: )

Die empirische Forschung hat in den letzten 15 Jahren die reine "Pädagogik" und "Didaktik" zum großen Teil aus den Hochschulen weggewischt. Im Gegensatz zu den vor allem erfahrungs- und theoriegeleiteten Überlegungen von Pädagog/innen und Didaktiker/innen stützen sich empirische Arbeiten auf Zahlenmaterial, was sie scheinbar aussagekräftiger macht.

Wenn wir heute über Bildung diskutieren, reden wir oft über Zahlen: Dieses Bundesland ist besser als jenes (nämlich um den Wert X bei der Studie Y), soundsoviel Prozent der Lehrer/innen machen diesen Unterricht, der Lernerfolg unter diesen und jenen Bedingungen liegt so und so hoch. Die Welt besteht aus Zahlen. Und doch ist fraglich, in welchem Maß diese Zahlen die Welt abbilden.

Verräterische Formulierungen im Bericht der Hamburger Schulinspektion

Die Hamburger Schulinspektion hat am 26.02.2013 ihren dritten Jahresbericht (diesmal für das Schuljahr 2010/2011) vorgelegt. Auf der zugehörigen Webseite ist zu lesen:

Es gelingt uns dabei auf Basis der gewonnen Daten einen positiven Zusammenhang zwischen hoher Unterrichtsqualität und guten Schülerleistungen nachzuweisen.

Hamburger Schulinspektion: Jahresbericht 2010/2011, Hervorhebung Lehrerfreund

Ganz ähnlich in der dpa-Meldung:

Bei der neuesten Überprüfungsrunde sei es erstmals geglückt, einen Zusammenhang zwischen Unterrichtsqualität und Abiturnoten nachzuweisen, sagte die Leiterin der Schulinspektion, Martina Diedrich.

news4teachers, 26.02.2013: Schulinspektion: Der Lehrer ist wichtig – Strukturen sind es nicht, Hervorhebung Lehrerfreund

Ähnlich auch im Bericht (PDF) selbst (Seite 8).

Nun geht aus solchen Formulierungen ganz klar hervor: Das Ergebnis war gewünscht - man hat danach gesucht. Es gibt keine andere Interpretation. Falls Sie das anders sehen, stellen Sie sich vor, jemand würde sagen: "Es ist mir gelungen, dem Schüler X eine Sechs zu geben." Abgesehen davon passt dieses Ergebnis der Hamburger Schulinspektion durchaus in den Kram - steht doch das Schulsystem massiv in der Kritik (Volksentscheid zur Primarschule, G8-Problem).

Nun stellt sich eine ungute Frage: Können wir einer Studie trauen, in der ein bestimmtes Ergebnis gewünscht ist? Nein. Können wir natürlich nicht.

Solche verräterischen Formulierungen lesen wir nicht oft, denn in der empirischen Forschung hat sich ein ultra-nüchterner, wasserdichter Sprachstil eingebürgert ("Es wurde gezeigt, dass ..." usw.), der von den meisten Personen mit entsprechender Ausbildung auch gepflegt wird. Die oben genannten Formulierungen sind ein überaus menschlicher, fast schon sympathischer Faux Pas der Hamburger Schulinspektion.

Betrug in der Wissenschaft

Es werden so viele empirische Arbeiten und Studien veröffentlicht wie nie. Im pädagogischen und psychologischen Sektor ist eine Abschlussarbeit ohne empirischen Anteil heute kaum vorstellbar. In wie vielen dieser Arbeiten werden Ergebnisse (bewusst oder unbewusst) verfälscht, gefälscht? Niemand weiß es, niemand wird es je erfahren. Zur Lektüre diesbezüglich sei empfohlen: Deutschlandfunk 31.12.2003: Wahrheitssucher auf Abwegen (1). Dort liest man zahlreiche Exempel für wissenschaftliche Unredlichkeit, so bspw. diese:

Der Augustinermönch Gregor Mendel ist heute berühmt als Begründer der Vererbungslehre, die er durch zahlreiche Kreuzungsversuche mit Erbsen im Klostergarten entwickelte. Er lässt ganze Versuchsreihen mit unklaren Ergebnissen unter den Tisch fallen, und rät seine Vererbungsregeln mehr als er sie ableitet. Doch das Glück ist ihm hold, die Regeln stimmen.

Deutschlandfunk 31.12.2003: Wahrheitssucher auf Abwegen (1)

Über die Aussagekraft von Statistiken

Doch auch ohne willentlichen Betrug sind statistische Aussagen nicht immer so aussagekräftig, wie es auf den ersten Blick scheint. Hilfreich ist hierbei neben der Lektüre dicker Wälzer die Betrachtung von Stubigs Zitate zur Statistik:

Es ist mir noch heute rätselhaft, dass man herausbringt, was sechzig Millionen Menschen denken, wenn man zweitausend Menschen befragt. Erklären kann ich das nicht. Es ist eben so.
Elisabeth Noelle-Neumann (*1916)

Statistiken sind kein Ersatz für das eigene Urteil.
„Das Beste“ (1974)

Alles was lediglich wahrscheinlich ist, ist wahrscheinlich falsch.
René Descartes (1596-1650)

Die Statistik ist wie eine Laterne im Hafen. Sie dient dem betrunkenen Seemann mehr zum Halt als zur Erleuchtung.
Hermann Josef Abs (1901 - 1994)

Oder, für die eher visuellen Leser/innen unter Ihnen:

Pacman-Statistik, flickr-User animm CC 2.0

Anzeige