Für die Zukunft des Bildungssystems bringen die PISA-Prüfungen wenig. Dennoch werden die Tests wahrscheinlich noch viele Jahre weitergehen. Nicht wenige Länder, etwa Finnland, haben trotz der guten Ergebnisse Probleme beim Übergang von der Schule ins Berufsleben.
Im letzten Kapitel seines Buches über Politik diskutiert Aristoteles das Erziehungswesen. Er spricht dabei fast alle Fragen zu Schule und Lehrplan an, die wir uns heute auch noch stellen. Dabei findet sich am Rande eine bemerkenswerte Beobachtung:
Ein nicht unbedeutendes Indiz dafür, dass Zwang bei Diät und Übungen negative Wirkungen haben kann, liefern die Sieger bei Olympischen Spielen. Man kann nur zwei oder drei finden, die zuvor auch als Jugendliche gesiegt haben. Die anderen haben durch ihr Training im jungen Alter und durch die Übungen, die ihnen Gewalt antun, ihre Kraft verloren.
(Aristoteles: Politik, Buch VIII; 1339, 1-5).
Gäbe es einen modernen Aristoteles, könnte der anlässlich der PISA-Konkurrenz vergleichbares feststellen. Nationaler Erfolg in PISA wiederholt sich – wie jüngst eine andere OECD-Studie belegte – nicht automatisch im späteren Berufsleben. Im Gegenteil: Nicht wenige Länder, die in PISA ganz vorne liegen, haben wie Finnland erhebliche Probleme beim Übergang von der Schule zu Beruf und Gesellschaft, während Länder wie Österreich, die in PISA bescheiden abschneiden, regelmäßig weitaus bessere Übergänge erreichen. Die den Aufwand motivierende Gleichsetzung von PISA mit Leistung und künftigem Erfolg stimmt weder individuell noch gesellschaftlich.
Warum aber dann der große Aufwand und die ungeheure Spannung, die jedes Mal der Verkündung neuer PISA-Ergebnisse vorausgehen? Wenn man das verstehen will, muss man sich zunächst vergegenwärtigen, was PISA leistet und was nicht. Technisch gehört PISA zum besten, was es je in der empirischen Bildungsforschung gegeben hat. Für die Qualitätssicherung von Test, Durchführung und Auswertung werden auch in Österreich enorme Anstrengungen unternommen. Gemessen wird mit PISA die Verteilung von ausgewählten Kompetenzen in einer bestimmten Population, nämlich bei den 15-jährigen in den teilnehmenden Ländern. Soweit diese Kompetenzen dahinter liegendes Wissen spiegeln, kann man auch von einer vergleichenden Untersuchung von Wissensdistributionen sprechen.
Allerdings muss man bei dem Wort Kompetenzen genau hinhören. PISA misst nämlich genau genommen, ob die Fähigkeit und der Wille dazu vorhanden sind, Testaufgaben zu lösen. Testfähigkeit und Testlust sind aber zwei voneinander unabhängige Konstrukte, die beide nur teilweise von dahinter stehenden schulfachlichen Fähigkeiten abhängen. Gleichwohl kann man auch auf dieser Grundlage spannende Untersuchungen durchführen, warum etwa bestimmte Aufgaben in manchen Ländern oder für bestimmte Teilgruppen unterschiedlich schwierig sind, oder warum manche Länder bei solchen Verfahren besser abschneiden, andere schlechter und manche je nach Testzugang sehr unterschiedlich.
Keine Aussagen über Schulqualität. Was PISA aber nicht misst und auch nicht messen kann, ist, was die Öffentlichkeit meist mit den Testergebnissen verbindet. Mit PISA lassen sich keine zuverlässigen Aussagen über die Qualität von Schulsystemen, Schulstrukturen, Einzelschulen, Schulklassen oder gar einzelne Lehrkräfte oder Schülerinnen und Schüler begründen. Das hat im Wesentlichen drei Gründe:
1.) Testfähigkeit und Testlust sind nur zu einem bestimmten Teil von der Schule selbst abhängig. Beispielsweise lässt sich im besten Fall bis zu einem Drittel der Unterschiede mit Eigenschaften des besuchten Unterrichts erklären. Kulturelle und soziale Unterschiede in Herkunftsmilieus wie in der Gesellschaft als Ganzem spielen einen bedeutenderen Part.
2.) Egal, wie gut Tests sind, es gibt keine, die allen Zielgruppen und deren sprachlichen und fachlichen Eigenheiten in gleicher Weise gerecht werden können. Dementsprechend misst PISA zunächst und vor allem den Abstand zu sich selbst, also wie PISA-tauglich die jeweils Untersuchten sind.
3.) Schließlich bilden die in PISA erfassten Kompetenzen nur eine kleine Schnittmenge dessen ab, was innerhalb und außerhalb der Schulen gelehrt und gelernt wurde. Wie bedeutsam das jeweils Gemessene im Verhältnis zu all dem anderen ist, was nicht gemessen wurde, kann man anhand PISA selbst gar nicht feststellen. Zudem gibt es auch da erhebliche soziale und kulturelle Unterschiede.
Ein Politikprodukt. All das ist denen, die PISA verantworten, bekannt. Warum wehren sie sich dann nicht gegen all die überschießenden Deutungen, die in der Öffentlichkeit und Politik vorherrschen? Die Antwort auf diese Frage ist verblüffend einfach: PISA ist in erster Linie kein Forschungsprojekt, sondern Politikproduktion. PISA wurde erfunden, um die Bildungsstatistik der OECD (Education at a Glance) um eine inhaltliche Komponente zu ergänzen, mit der sich mehr Aufmerksamkeit erregen und mehr Druck auf die beteiligten Länder ausüben lassen sollte. Dieser, von der OECD von Anfang an immer eingeräumte politökonomische Zweck wurde übererfüllt. Selbst die Beteiligten hatten nicht erwartet, wie viel nationaler und internationaler Furor sich mit den radikal vereinfachenden Ligatabellen nationaler Kompetenzverteilungen erzeugen ließ. Deswegen wird PISA heute auch fast überall (und nicht nur in Österreich) in enger Anbindung an die jeweils zuständigen Regierungen durchgeführt, denn die haben ja ein vitales Eigeninteresse daran, durch die jeweilige Rahmenerzählung zu beeinflussen, wie PISA in ihren eigenen Ländern wahrgenommen wird.
Solche Indikatorensysteme gab es schon früher in anderen öffentlichen Dienstleistungsbereichen und inzwischen meist auch in nationaler Ausgestaltung (z.B. als Bildungsstandards, Lesetests etc.). Allen diesen Monitoringsystemen ist gemeinsam, dass sie nur sehr begrenzt die zugrunde liegende Wirksamkeit sozialer Systeme und in keiner Weise individuelle Leistungen abbilden können, weshalb ihre Verwendung für Dinge wie Notenfestsetzungen oder gar die Zentralmatura reiner Missbrauch ist. Sie ermöglichen aber etwas ganz anderes, was ihre Überlebensfähigkeit sichert. Mit ihrer scheinbaren statistischen Genauigkeit erlauben sie, politische Entscheidungen als Sachzwänge zu verkaufen, bei denen es um normative Setzungen und gesellschaftliche Interessenkonflikte geht. Strukturmaßnahmen hier, Kürzungen dort sind dann nicht politischer Macht, sondern angeblich unvermeidlichen Notwendigkeiten geschuldet.
Validität geht gegen null. Deshalb können die Beteiligten auch gut damit leben, dass die prognostische Validität solcher Indikatoren gegen null geht. Anders als zu Aristoteles Zeiten ist egal, ob dadurch künftige olympische Gewinner oder – was heutzutage mehr bedeutet – einheimische Nobelpreisträger erzeugt werden. Die Behauptung, PISA messe zukünftig bedeutsame Fähigkeiten (life skills), ist eh durch nichts belegt und auch gar nicht belegbar. Macht nichts: Es geht ja gar nicht darum, künftige Leistungen zu sichern, sondern nur darum, gegenwärtige Verteilungskonflikte quasi-wissenschaftlich zu verbrämen. Wenn sich – wie bisher durchwegs – ein paar Jahre später zeigt, dass die versprochenen Zugewinne nicht eingetreten sind, kann man immer noch das Indikatorensystem austauschen und ein neues Spiel um Macht und Einfluss beginnen. Ja, manchmal kann man in dieser Inszenierung sogar politische Entscheidungen treffen, bevor die Ergebnisse überhaupt vorliegen (wie bei der Neuen Mittelschule), oder gleich ganz auf deren Erhebung verzichten (wie beim Pflichtkindergarten). Da die Zahlen eh nicht belegen können, was sie belegen sollen, reicht ja schon die bloße Ankündigung einer Evaluation, Evidenz basierte Politik zu suggerieren.
Bleiben noch zwei Fragen. Erstens: Könnte man auf andere Weise tatsächlich etwas über Schul- und Unterrichtsqualität und Bildungsverläufe erfahren? Ja, das wäre möglich, aber was dabei herauskommt, taugt nicht in gleicher Weise dazu, politische Konflikte zu verdinglichen. Deshalb gibt es für solche Forschung in Österreich kaum öffentliche Förderung, und wenn doch, dann von unabhängigen Fonds oder von auf Souveränität bedachten Landesregierungen wie denen von Niederösterreich und Vorarlberg.
Zweitens: Wie wird es in Österreich und darüber hinaus mit PISA weitergehen? Ich kenne die Ergebnisse noch nicht, die übermorgen verkündet werden sollen. Aber so, wie ich das System kenne, vermute ich, dass sich die österreichischen Befunde stabilisiert, vielleicht sogar etwas gebessert haben dürften. Das hat unter anderem mit dem Untersuchungszyklus zu tun, bei dem jetzt Bereiche im Vordergrund stehen, in denen Österreich etwas besser ausschaut. Dazu kommt noch, dass unser Testergebnis in der letzten Runde von der Testunlust vieler Schülerinnen und Schüler belastet war.
Politisch wäre das ein schöner Erfolg, der Frau Schmied einen freundlicheren Abgang ermöglicht. Sehr oft wird es das aber in Zukunft nicht spielen, da die Platzierungen der Länder insgesamt recht stabil sind. Man darf deshalb auch damit rechnen, dass bei uns PISA immer mehr an öffentlicher Bedeutsamkeit verlieren wird, wie das in anderen Ländern geschehen ist, die schon länger nationale Ersatzspiele mit Standardtests und Kompetenzolympiaden erfunden haben.
Was das alles für die Zukunft unseres Bildungssystems und unserer Kinder verheißt, lässt sich ebenso leicht prognostizieren: Im besten Falle nichts, im wahrscheinlicheren Falle noch viele Jahre sinnlosen Zwangs bei Bildungsdiät und Testübungen, auch wenn man schon seit Aristoteles ahnen konnte, dass man dadurch keine künftigen Siege erzwingen kann.
("Die Presse", Print-Ausgabe, 01.12.2013)