Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte:

• Bei welchen Fragen könnten Daten meine Arbeit unterstützen?
• Liegen diese Daten bereits vor oder müssen sie noch erhoben werden?
• Habe ich selbst die Fähigkeit, die Daten zu bearbeiten oder benötige ich dabei Unterstützung?
• Welcher Zeitbedarf muss für die Datenauswertung eingeplant werden, welche Hard- und Softwarevoraussetzungen bestehen?
• Zu welchen Themen halte ich Fortbildungsmaßnahmen in Bezug auf die Datenauswertung für besonders dringlich?

Reflexionsfragen für Schulleitungen:

• In welchem Umfang ist mein Handeln im Rahmen der Schulleitung datengestützt?
• Sehe ich die landesweit erhobenen Daten als hilfreich an?
• Bei welchen Fragestellungen können die Daten zu einer Klärung beitragen?
• Sehe ich die Datenerfassung eher als Chance für die Schulentwicklung oder als Instrument der externen Kontrolle?
• Welche Daten nutze ich?
• Welche alternativen Datenquellen stehen mir zur Verfügung?
• Welche Infrastruktur steht für die Verarbeitung der Daten zur Verfügung?
• Welche personellen Strukturen für die Auswertung der Daten bestehen an meiner Schule? Wie lässt sich die Datennutzung an meiner Schule fördern?

Die Vereinigten Staaten von Amerika gelten als ein Land, welches in Bezug auf sein Schulsystem im Vergleich zu Deutschland als ausgesprochen datenaffin gilt: Allen Quantifizierungsproblemen bei der Erfassung von Schulleistungen zum Trotz bemüht man sich seit vielen Jahrzehnten um die Entwicklung von standardisierten Testverfahren und stellt die mit ihrer Hilfe erfassten Lernleistungen der Schülerinnen und Schüler seit den 1990er Jahren den Leistungen gegenüber, welche die Lehrkräfte im Unterricht erbracht haben. Die hohe Datenaffinität sehen Mintrop und Coghlan als historisch begründet an: Lehrkräfte würden in den USA weniger als autonom handelnde Mitarbeiter denn als Personen wahrgenommen, die von externen Experten entwickelte, wissenschaftlich evaluierte Vorgaben abzuarbeiten hätten. Zugleich würden die modernen Informationstechnologien es ermöglichen, im Rahmen der sogenannten Accountability-Systeme von zentraler Stelle aus engmaschig Daten zu erheben, diese zu bewerten und entsprechende Rückmeldungen zu geben. Da die Organisation des amerikanischen Schulsystems ursprünglich auf der Basis der Schuldistrikte – und somit lokal – angelegt sei, sei durch die Auswertung standardisierter Daten ein Mechanismus gegeben, mit dessen Hilfe sich Schulen und die an ihnen Tätigen gesamtstaatlich – und somit regional bis national – kontrollieren und steuern ließen.

Allerdings sei die Affinität zu datengestützten Entscheidungen für die Schulentwicklung nicht einheitlich verteilt: während Entscheidungsträger im Bildungswesen und Bildungsforscher / -forscherinnen datengestützte Entscheidungen weitgehend positiv bewerteten, stünden Lehrkräfte im Alltag in einem komplizierten Geflecht aus komplexen Beziehungen zwischen Lehrenden und Lernenden, mehrdeutigen und einander widersprechenden Zielen sowie der Notwendigkeit, gegebenenfalls ad-hoc-Entscheidungen zu treffen und entlastende Routinen einzusetzen. Unter solchen Umständen trete die Aussagekraft formaler quantitativer Indikatoren hinter implizites und intuitives Wissen über Lernende und Unterricht zurück. Zugleich zeige der Forschungsstand, dass die Produktivität einer wissensintensiven Organisation in entscheidendem Umfang davon abhängt, explizites und externes Wissen in den Fundus intuitiven Wissens zu internalisieren: Für Schulen bedeutet dies, dass die abstrakten Daten aus standardisierten Tests in Bezug auf die Komplexität des Unterrichts zu interpretieren sind.

Der Autor und die Autorin gehen in diesem Kontext mit ihrer Untersuchung vier Fragestellungen nach:

- Welche Art von Daten wird verwendet?

- Welche Infrastruktur steht für die Datenverwendung zur Verfügung?

- Welche Rolle spielt der „School District“?

- Welche Rolle spielen die Schulleitungen?

Darüber hinaus gehen der Autor und die Autorin der Frage nach, in welcher Komplexität und mit welchen Zielen die Datenauswertung erfolgte.

Vor dem skizzierten Hintergrund legen der Autor und die Autorin eine Überblicksstudie vor, in der sie 81 Publikationen auswerten, die sich mit der Nutzung quantitativer Daten für Entscheidungen in Bezug auf Unterricht befassen. Diese Veröffentlichungen gliedern sich in 47 empirische Studien, 13 Artikel, in welchen die Literatur zum Thema diskutiert wird, 16 theoretische Abhandlungen und 5 Leitfäden zur Datennutzung. Die Publikationen wurden alle nach dem Jahr 2000 veröffentlicht und damit in einer Zeit, welche das Autorenteam als „Hochzeit der Accountability-Bewegung“ betrachten. Die ausgewerteten Teilstudien sind inhaltlich breit angelegt:

- einige behandeln deskriptiv, welche organisatorischen Faktoren die Datennutzung fördern oder behindern,

- qualitative Fallstudien gehen genauer darauf ein, welche Daten zur Verfügung stehen, wie Schulakteure Zugang zu ihnen erhalten und auf welchem Weg die Dateninterpretation auf den schulischen Alltag bezogen wird,

- theoretische Ansätze wiederum zielen u. a. auf Zusammenhänge zwischen der Datennutzung und Entscheidungsfindung, Schulentwicklung usw.,

- einige ausgewertete Arbeiten geben praktische Handlungsanweisungen zur Datennutzung.

Die Darstellung beschränkt sich dabei weitgehend auf die in den untersuchten Studien festgestellten Übereinstimmungen und konsistenten Befunde, welche an normative Anspruchsetzungen gespiegelt werden:

So sollte es Benutzern und Benutzerinnen möglich sein, sowohl summarische Datenberichte abzurufen als auch mit Hilfe gezielter Abfragen eigenen Fragestellungen nachzugehen. Auch sollte eine systematische Herangehensweise gegeben sein:

• Schulleitungen sollten an die quantitativen Anforderungen der School-District-Administration gebunden sein,
• die lokale Schulaufsicht sollte kommunizieren, dass Schulen sich selbst mittels der Daten zu überprüfen hätten,
• in den Schulen sollten sich diesbezüglich Teams bilden, die kontinuierlich ihre Arbeit reflektieren. Zudem wirken die Präsenz von Datenspezialisten, das Training für Schulleitungen und Lehrkräfte und bezahlte Arbeitsstunden für die Datenauswertung positiv.

Im Hinblick auf die Datennutzung unterscheidet das Autorenteam zwischen einer einfachen Nutzung (eine Datenquelle wird mit einfachen Methoden analysiert) und einer komplexen Nutzung (verschiedene Datenquellen werden zur Klärung unterschiedlichster Fragestellungen zusammengeführt).

Den Schulleitungen und Lehrkräften steht ein großer Fundus von Daten zur Verfügung. Er umfasst breit gestreute Schülerdaten (Alter, Geschlecht, sozioökonomische Situation, ethnische Zugehörigkeit, Lernbehinderungen, disziplinarische Maßnahmen, Noten…) und Ergebnisse standardisierter jährlicher nationaler Leistungstests (flankiert von auf diese zugeschnittene, oft vierteljährliche „Benchmarks Tests“ und weitere standardisierte Arbeiten und Abschlussprüfungen sowie die Klassenarbeiten).

Parallel zum Aufbau der Datenerfassung erfolgte auch der Ausbau einer Infrastruktur, mit deren Hilfe die Menge und Vielfalt von Schüler-, Schul- und Testdaten zumindest auf der Ebene eines Bundesstaats bewältigt werden kann. Aktuell erfolgen standardisierte Tests z. T. unmittelbar durch Eingaben der Schülerinnen oder Schüler an Computern, so dass diese Daten sofort ins staatliche Datensystem eingespeist werden.

Gegenüber diesen Ansprüchen sieht der Alltag der Arbeit mit den Daten jedoch häufig ernüchternd aus: Schulen haben oft nicht die Möglichkeit, Daten zu disaggregieren und vor Ort relevante Fragestellungen mittels der Daten zu beantworten, zumal häufig unklar ist, welche Daten aus der Datenflut hierfür gewählt werden sollten und wie der Daten-Output zu interpretieren ist. Auch fehlt häufig Zeit für eine Datenanalyse, und relevante Daten werden erst (zu) spät zurückgemeldet und sind dadurch nur noch bedingt brauchbar. Unter diesen Umständen bleibt der Einfluss der Daten auf den Unterricht gering.

Im Rahmen der einfachen Nutzung ist das Ziel häufig, schulische Gegebenheiten so anzupassen, dass die Schule zukünftig in staatlichen Tests besser abschneidet. Dadurch versucht man eine – möglicherweise auf schlechte Ergebnisse folgende –  öffentliche Missbilligung oder gar Sanktionen gegen die Schule abzuwenden. Häufige Konsequenzen einer derartigen Datennutzung sind:

1. Anpassung des Unterrichtsstoffs an zu erwartende Items,
2. direktes Testtraining (nur) von Schülern, deren Ergebnisse als besonders wichtig für die Statistik angesehen werden oder
3. Einrichtung von Stützkursen (nur) in prüfungsrelevanten Fächern.

Auf diese Weise können zwar nachweislich Resultate von Tests des Accountability-Systems beeinflusst werden, es stimmt jedoch bedenklich, dass Befunde von Tests, die nicht dem Accountability-System angehören und die folglich für die Schule ohne Konsequenzen bleiben, keinerlei Veränderung zeigen. Ob somit eine echte Verbesserung der schulischen Bildung erreicht wurde, wird von dem Autor und der Autorin bezweifelt.

Der Autor und die Autorin stellen dieser einfachen Nutzung eine komplexe lernorientierte Datennutzung gegenüber. So sei an einigen Schulen, an denen die staatlichen Tests ausführlich zur Kenntnis genommen würden, die Auffassung vorherrschend, dass diese Tests nicht feinmaschig genug seien, um Konsequenzen für den Unterricht zu haben und den Lehrkräften „viel wirklich Neues“ mitzuteilen. Ergänzend führten diese Schulen deshalb diagnostische Tests zu konkreten Unterrichtssequenzen durch, welche die Basis für individuelle Lernpläne und die Zusammenstellung von Lerngruppen bildeten. Eine derart komplexe Datennutzung wurde von Lehrkräften und Schulleitungen als wichtiger angesehen als die externen Tests. Sie erfordert aber eine starke Beteiligung der Schulleitung und ist besonders förderlich, wenn externe Beraterinnen oder Berater eingebunden werden.

Die Schulleitungen haben einen großen Einfluss darauf, wie Lehrkräfte mit den Daten umgehen. So können sie selbst Daten benutzen (etwa um auf Konferenzen auf Probleme hinzuweisen), sie können auf der Basis von Daten Ziele formulieren oder das Kollegium im Hinblick auf die Schulentwicklung anspornen; sie entscheiden auch darüber, welche organisatorischen Rahmenbedingungen (Fortbildungen, Zeitfenster) für die Datennutzung gelten. Als entscheidend für die Datennutzung an Schulen gilt weiterhin, ob die Schulleitung die Datennutzung eher als externe Rechenschaftspflicht oder als Bestandteil interner Lehrerweiterbildung interpretiert.

Die lokalen Schulbehörden stellen zunächst die zentralen Einrichtungen für die Testdurchführung, das Datensammeln, die Datenaufbereitung und die Rückmeldung an die Schulen dar. So verfügen die Distrikte über die hierfür benötigte Infrastruktur, stellen die Mittel für schulische Initiativen bereit und haben evtl. auch Personal, um Schulen bei Testdurchführung und Auswertung zu unterstützen. Es ist von großer Bedeutung für die Schulen, wie ernst die Daten auf Distriktebene jeweils genommen werden - so spielen die Leitungen auf Distriktebene z. B. eine große Rolle für die Schulleitungen, da letztere dazu neigen, sich an den Präferenzen der Distriktleitung zu orientieren. Zudem wird darauf hingewiesen, dass gerade in sozial benachteiligten Regionen die Distriktleitungen den hohen Druck des Accountability-Systems auf die Schulen abpuffern und so Schulleitungen und Lehrkräften Freiräume für schulisches Handeln sichern können.

Die Zahl der Studien, welche die Wirksamkeit von Formen der Datennutzung untersuchen, ist gering. Mit einer gewissen Schwankungsbreite konnten keine bis maximal geringe positive Effekte der Datennutzung von vierteljährlichen Benchmark-Tests für kommende Ergebnisse der jährlichen nationalen Tests festgestellt werden. Immerhin gelingt es Lehrern auf dieser Basis, Schüler zu identifizieren, für die eine Wiederholung des Unterrichtsstoffs infrage kommt. Bemerkenswert erscheint darüber hinaus eine vom Autorenteam zusammengefasste Metaanalyse qualitativer Studien, die angibt, dass das Accountability-System mit seinen Tests vor allem dazu führe, dass der Unterricht stärker lehrerzentriert werde, bei gleichzeitiger Verengung der Inhalte und zunehmender Bruchstückhaftigkeit des vermittelten Wissens.

Das Kapitel mit den Schlussfolgerungen fällt bei dem Autor und der Autorin vergleichsweise kurz aus und fasst vornehmlich einige der in den vorangegangenen Kapiteln wiedergegebenen Befunde zusammen.

Der Autor und die Autorin halten die Schul- und Distriktleitungen für Schlüsselpositionen bei der Datenverwendung und bezeichnen in ihrem Schlusskapitel den US-amerikanischen Kontext als „best case“ für die Datennutzung, wobei sie auf die dortige lange Tradition von Standardisierung und Quantifizierung, auf ein (nicht näher erläutertes) aktives Unterrichtsmanagement und auf ein Accountability-System, welches den Schulen die Wichtigkeit von Daten nahebringe, verweisen. Diese Einschätzung des US-amerikanischen Kontextes als „best case“ ist insofern erstaunlich, als der Autor und die Autorin zuvor feststellten, worauf der Drang zur Nutzung standardisierter Daten in den USA evtl. auch beruht: so „haben die Leitungen auf Schul- und Distriktebene eine größere Distanz zur menschlichen Komplexität im Klassenzimmer und denken im Vergleich zu den Lehrkräften eher in standardisierten Vereinfachungen“. Bei der Frage, was man von diesem „best case“ für andere „Kontexte und Systeme“ lernen könne, erwähnen sie die Schaffung einer optimalen technischen und organisatorischen Infrastruktur für die Daten und die Notwendigkeit einer alle Ebenen des Schulsystems übergreifenden Kommunikation hinsichtlich der Daten. Bemerkenswert erscheint die Wertung, dass die Datennutzung vor allem dann sinnvoll sei, wenn Schulen es schaffen, den nationalen Tests eine geringere Bedeutung zuzumessen als ergänzenden diagnostischen und unterrichtsbezogenen Daten.

===

Angesichts der auch in Deutschland gegebenen Situation, mit Hilfe verbindlicher standardisierter Vergleichsarbeiten die Schulentwicklung voranzutreiben, kommt Untersuchungen zur Datennutzung eine große Bedeutung zu. Die Tatsache, dass Mintrop und Coghlan hierzu eine inhaltlich breit gefächerte Übersichtsdarstellung auf der Basis einer relativ umfangreichen Forschung aus einem ausgesprochen datenaffinen Kontext vorlegen, ist zu begrüßen.

Allerdings gibt es auch einige Schwächen:

Es wird zwar von dem Autor und der Autorin darauf hingewiesen, dass die Schulkultur der USA von Anfang an eine andere war als z. B. in Deutschland, wo

• Lehrern in der Regel eine unabhängigere Rolle zugebilligt wird als in den USA,
• die Rolle der übergeordneten Instanz (Schulministerium bzw. Bezirksregierung) eine andere ist als diejenige der School-Districts,
• die Tradition zentraler Arbeiten/Teste kürzer und
• die Tendenz zur Entwicklung von Accountability-Systemen weniger ausgeprägt ist.

Welche Limitationen der mitgeteilten Befunde sich aus diesen Unterschieden im Hinblick auf die Übertragbarkeit der Ergebnisse ergeben könnten, wird nicht diskutiert.

Da es sich bei der Untersuchung lediglich um eine Übersichtsdarstellung handelt, werden einige wichtige Aspekte zu den mitgeteilten Ergebnissen bestenfalls verkürzt berücksichtigt, sodass die methodische Darstellung zu kritischen Rückfragen führt:

1. Auf welche Art und Weise sind die Befunde zustande gekommen?
2. Wenn statistische Methoden zur Ergebnisabsicherung eingesetzt wurden: Wie gut sind die Befunde statistisch abgesichert?
3. Gab es in den herangezogenen Arbeiten Alternativhypothesen, die widerlegt werden konnten?
4. Wie groß ist die inhaltliche Übereinstimmung zwischen unterschiedlichen Studien? Wurde gewichtet?

Auf diese Weise erhalten Leserinnen und Leser lediglich einen zwar thematisch vielfältigen, oft aber etwas oberflächlichen Eindruck vom Forschungsstand, was aber bei einer Übersichtsdarstellung kaum zu vermeiden sein dürfte.

Das Autorenteam gibt zwar einen umfangreichen Überblick über die Befunde der bisherigen Forschung, an welchen Punkten jedoch noch offene, die Forschung evtl. weiterbringende Fragen, strittige Punkte, Unklarheiten oder bislang widersprüchliche Ergebnisse bestehen, führen sie nicht aus.

Die Autorin und der Autor machen darauf aufmerksam, dass viele Lehrkräfte im Schulalltag implizites/intuitives Wissen mobilisieren. Dieses wird von ihnen allerdings dem datengestützten Handeln gegenübergestellt. Es ist jedoch keineswegs auszuschließen, dass auch beim Handeln auf der Basis von implizitem oder intuitivem Wissen Daten eine Rolle spielen, nur sind diese Daten evtl. weniger eindeutig zu standardisieren oder quantifizieren und somit nicht computerkompatibel. Wenn eine Lehrperson einen Lernenden z. B. in Hinsicht auf dessen Sprachstil korrigiert, dann geschieht dies keineswegs willkürlich, sondern datengestützt, wenngleich die dieser Aktion zugrunde liegenden Daten kaum computerkompatibel sind. Die – auch in der Pädagogik und hier vor allem im Bereich der Konstruktion von Accountability-Systemen – weit verbreitete fragwürdige inhaltliche Verengung, lediglich das als Daten zu bezeichnen, was sich problemlos kategorisieren, quantifizieren und digital abspeichern lässt, ist somit auch für den Text von Mintrop und Coghlan nachweisbar. Qualitative Datenstrukturen spielen in ihrer Untersuchung keine Rolle.

Der Titel der Untersuchung thematisiert lediglich datenbasiertes Schulleitungshandeln. Wenngleich das Autorenteam zu Recht die wesentliche Bedeutung der Schulleitung für die datengestützte Schulentwicklung darstellt, so ist die Untersuchung doch thematisch wesentlich breiter angelegt, als es der Titel der Studie anzeigt. So wird auf die Bedeutung der Leitungen der Schuldistrikte für datengestützte Arbeit ebenso eingegangen wie auf das datengestützte vs. intuitive Handeln der Lehrkräfte.