Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen einer Lehrkraft:

• Welche Daten aus Verfahren wie VERA, ZP oder IE stehen mir für die Ableitung von Aktivitäten der Unterrichtsentwicklung zur Verfügung? Welche Maßnahmen habe ich bisher aus diesen Daten abgeleitet, beispielsweise die Verbesserung der Kommunikation unter Kolleginnen und Kollegen, die Entwicklung von Maßnahmen zur Einzelförderung, die Einführung neuer Unterrichtsmethoden und die Teilnahme an Fortbildungen? Welche Konsequenzen z. B. im Hinblick auf die Leistungen meiner Schülerinnen und Schüler haben sich daraus ergeben?
• Inwiefern können mir die Daten aus Verfahren wie VERA, ZP oder IE hilfreiche Informationen für die Ableitung von Entwicklungsaktivitäten liefern? Habe ich die Bereitschaft, daraus Konsequenzen für die Unterrichtsentwicklung zu ziehen? Wie sehen mögliche unterrichtspraktische Umsetzungen der Maßnahmen aus?
• Welche Erfahrungen berichten meine Kolleginnen und Kollegen? In welchen Gremien und Zusammenhängen ist ein Austausch hierüber sinnvoll? Bestehen sinnvolle Kombinationsmöglichkeiten mit anderen Unterrichtsentwicklungsaktivitäten?

Reflexionsfragen einer Schulleitung:

• Werden die Daten aus Verfahren wie VERA, ZP oder IE an unserer Schule systematisch analysiert und reflektiert im Hinblick auf Maßnahmen der Unterrichtsentwicklung wie die Arbeit am schulinternen Curriculum, die Verbesserung der Kommunikation unter Kolleginnen und Kollegen, die Entwicklung von Maßnahmen zur Einzelförderung, die Einführung neuer Unterrichtsmethoden und die Teilnahme an Fortbildungen?
• Welche Erwartungen und Hinweise sind in landesspezifischen Vorgaben (Schulgesetz, Erlasse, Referenzsysteme für Schulqualität) oder Unterstützungsmaterialien (Handreichungen, Leitfäden) für die Nutzung von Daten aus Verfahren wie VERA, ZP oder IE für die Weiterentwicklung des Unterrichts formuliert?
• Wie können interne Evaluationen so gestaltet werden, dass sie hilfreiche Hinweise für Aktivitäten der Unterrichtsentwicklung liefern? Welche Unterstützungsangebote gibt es von Seiten des Landes für die Unterrichtsentwicklung auf Grundlage der Ergebnisse von VERA, ZP oder internen Evaluationen.

In Deutschland stehen Lehrerinnen und Lehrern Daten aus verschiedenen Verfahren zur Verfügung, die sie nutzen können, um die Schul- oder Unterrichtsentwicklung zu reflektieren und auf dieser Basis eine Qualitätssteigerung schulischer Prozesse und somit eine Verbesserung der Schülerleistungen anzustreben. Solche Daten liefern beispielsweise die Vergleichsarbeiten der 8. Jahrgangsstufe (VERA bzw. Lernstandserhebung) und die zentralen Prüfungen für den mittleren Schulabschluss (ZP/MSA), aber auch die Befunde von Schulinspektionen und internen Evaluationen (IE). Die mit diesen Verfahren gewonnenen Daten unterscheiden sich in mehreren Aspekten, sodass sich die Frage stellt, welche dieser Daten von Lehrkräften für die Ableitung und Begründung von Aktivitäten der Unterrichtsentwicklung genutzt werden.

Da VERA, ZP/MSA und IE den Lehrkräften valide Ergebnisse auf Klassenebene rückmelden, werden sie nach Wurster et al. von den Lehrkräften als relevanter eingeschätzt als Daten der Schulinspektionen, welche eher aggregierte Angaben zur Qualität der Schule machen. Sowohl VERA als auch ZP/MSA und IE wurden in Deutschland inzwischen annähernd flächendeckend eingeführt, wenngleich mit bundeslandspezifischen Varianten bei VERA und ZP/MSA und Verfahrensunterschieden bei IE. Zwischen VERA und ZP/MSA wiederum besteht – außer dem unterschiedlichen Zeitpunkt der Testung – der Unterschied, dass die ZP/MSA benotet werden und mit wesentlichen Konsequenzen für eine weitere mögliche Schullaufbahn vieler Schülerinnen oder Schüler verbunden sind. An nicht-gymnasialen Schulformen können die ggf. aus den Ergebnissen der ZP/MSA abgeleiteten Aktivitäten der Unterrichtsentwicklung nicht mehr in derselben Schülerkohorte umgesetzt werden, da diese die Schule ja verlässt. Während mit VERA und ZP/MSA lediglich fachliche Leistungen getestet werden, aus denen sich Impulse für die Unterrichtsentwicklung ergeben können, liefern IE häufig Informationen zur Unterrichtsqualität oder Lernumgebung.

Angesichts dieser Unterschiede stellt sich zudem die Frage, ob die Datenquellen verschiedene Entwicklungsaktivitäten in unterschiedlichem Ausmaß begründen. Unter Bezug auf vorliegende Forschungsarbeiten nennt das Autorenteam fünf Entwicklungspotentiale datenbasierter Unterrichtsentwicklung, die sie ihrer Untersuchung zugrunde legen:

1. Einführung neuer Unterrichtsmethoden
2. Entwicklung von Maßnahmen der individuellen Förderung
3. Teilnahme an Fortbildungen
4. Arbeit am schulinternen Curriculum
5. Verbesserung der Kommunikation mit Kolleginnen und Kollegen

Wurster et al. rekurrieren auf vorliegende Forschungsergebnisse, nach denen VERA-Ergebnisse von Lehrkräften genutzt würden, etwa für die Entwicklung von Aufgaben, Unterrichtsmaterial und Klassenarbeiten, für die Einzelförderung und Kompetenzentwicklung, daneben offenbar aber auch für Fortbildung oder Kommunikation im Kollegium und die Arbeit an Curricula. Über einen möglichen Zusammenhang von Schülerleistungen und Entwicklungsmaßnahmen auf der Basis von VERA gebe es für weiterführende Schulen bislang keine Erkenntnisse.

Zur Ergebnisnutzung von ZP/MSA erbrachte die Recherche von Wurster et al. keine Befunde aus dem deutschsprachigen Raum; in Bezug auf die Zusammenhänge von Schülerleistungen und ZP/MSA finden sie keine eindeutige Tendenz. Befunde aus anderen Staaten weisen darauf hin, dass ZP u. a. von Lehrkräften zur Examensvorbereitung und zum Monitoring von Schülerleistungen eingesetzt werden.

Die wenigen Untersuchungen zu IE im deutschsprachigen Raum belegen demnach einen geringen Einfluss auf die Unterrichtsentwicklung. Auch internationale Studien dokumentierten eine geringe Nutzung der IE. Bezüglich des Beitrags der Nutzung der IE für die Entwicklung von Schülerleistungen liefere der internationale Forschungsstand keine einheitlichen Befunde. In der offenbar einzigen Untersuchung über die Verhältnisse in Deutschland sind positive Auswirkungen auf die Leseleistung belegt. Weiterhin liegen wohl nur wenige Ergebnisse aus Untersuchungen vor, die VERA, ZP und IE gemeinsam betrachten: Offenbar werden IE-Ergebnisse im Vergleich zu VERA häufiger von Lehrkräften zur Entwicklung der eigenen Arbeit genutzt. Internationale Untersuchungen wiesen keinen Zusammenhang zwischen Evaluationsergebnissen und Schülerleistungen nach oder betonen, dass ein solcher Zusammenhang erst nach einigen Jahren sichtbar wird.

Vor diesem Hintergrund wird folgenden Fragen nachgegangen:

1. Werden Daten aus VERA, ZP/MSA und IE von den Lehrkräften für Unterrichtsentwicklung genutzt? Das Autorenteam vermutet, dass Lehrkräfte Befunde der IE häufiger nutzen als die der ZP/MSA (da die ZP/MSA keine Entwicklungsfunktion hat) und von VERA (wie der oben erwähnte Forschungsstand zeigt).
2. Werden einzelne Aktivitäten der Unterrichtsentwicklung aus mehreren unterschiedlichen Datenquellen abgeleitet? Wurster et al. halten dies für wahrscheinlich.
3. Besteht ein Zusammenhang zwischen datenbasierter Unterrichtsentwicklung und der Schülerleistung? Das Autorenteam hält es für denkbar, dass geringe positive Zusammenhänge bestehen, verzichten jedoch auf eine dezidierte Hypothesenbildung.

Wurster et al. stützen sich bei ihrer Studie auf den 2012 bundesweit durchgeführten IQB-Ländervergleich zu naturwissenschaftlichen und mathematischen Kompetenzen von Schülern und Schülerinnen am Ende der Sekundarstufe I.

Stichprobe: Für die auf Ebene der Bundesländer repräsentative Zufallsstichprobe des IQB-Ländervergleichs wurden je ausgewählter Schule ein bis zwei Klassen gezogen. Die Schülerinnen und Schüler der gezogenen Klassen bearbeiteten Tests, mit denen Kompetenzen in Mathematik erhoben wurden. Zudem wurden die unterrichtenden Mathematiklehrkräfte befragt.

Auf Grundlage dieses umfangreicheren Datenpools wurden in der vorliegenden Untersuchung die Antworten von den 1.355 Lehrkräften analysiert, die Erfahrungen in mindestens einem der Verfahren VERA, ZP (bezogen auf den mittleren Schulabschluss) oder IE hatten und nicht an Förderschulen unterrichteten. Um den Zusammenhang zwischen datenbasierter Unterrichtsentwicklung und Schülerleistungen aufklären zu können, wurde die Lehrkräftebefragung mit der Kompetenzmessung auf Schülerseite verknüpft. Die Zuordnungsquote von Lehrkräften und Schülerinnen oder Schülern für das Fach Mathematik betrug 54 %, da die Zuordnungsinformationen unvollständig bzw. nicht eindeutig waren. Letztlich mussten mehr als 50 % der Schülerinnen und Schüler aus der Untersuchung ausgeklammert werden. Die Analysestichprobe zeichnete sich gegenüber der ursprünglich repräsentativen Gesamtstichprobe durch einen deutlich höheren Anteil an Gymnasiastinnen und Gymnasiasten sowie einen durchschnittlich höheren sozioökonomischen Status aus, allerdings diskutiert das Autorenteam angesichts dieser Einschränkungen die Frage der Verallgemeinerbarkeit der Ergebnisse an dieser Stelle nicht vertiefend und geht nicht darauf ein, dass die ZP zum mittleren Schulabschluss für Gymnasiasten und Gymnasiastinnen von gänzlich anderer Bedeutung ist als für Jugendliche anderer Schulformen bzw. beispielsweise in Nordrhein-Westfalen an Gymnasien am Ende der Sekundarstufe I gar nicht durchgeführt wurden.

Instrumente: Im Rahmen der Lehrkräftebefragung wurden fünf Aktivitäten (Einführung neuer Unterrichtsmethoden, Entwicklung individueller Fördermaßnahmen, Teilnahme an Fortbildungen, Arbeiten am schulinternen Curriculum, Verbesserung der Kommunikation mit Kolleginnen/Kollegen) anhand von Einzelitems erhoben („Aufgrund der Ergebnisse [aus VERA, ZP, IE] habe ich/wurde…“), wobei die jeweilige Ausprägung auf einer vierstufigen Skala (1 = trifft gar nicht zu bis 4 = trifft völlig zu) einzuschätzen war (=Veranlassungsgrad).

Der eingesetzte Kompetenztest basiert auf den nationalen Bildungsstandards für Mathematik und dem zugehörigen Kompetenzstufenmodell, das fünf inhaltsbezogene Leitideen unterscheidet: Zahl, Messen, Raum und Form, funktionaler Zusammenhang, Daten und Zufall. Die 374 Testitems, die einem Multimatrixdesign folgend auf mehrere unterschiedliche Testhefte verteilt worden waren, wurden zu einer Globalskala zusammengefasst.

Auswertung: Bei verfahrensspezifischen Analysen wurden die Antworten derjenigen Lehrkräfte berücksichtigt, die mit dem jeweiligen Verfahren Erfahrung hatten (IE: 62 %, ZP: 58 %, VERA: 74 %). Weniger als die Hälfte der Lehrkräfte (44 %, n = 590) verfügte über Erfahrungen mit allen drei Verfahren, nur diese gingen in die vergleichenden Untersuchungen zur Nutzung der drei Verfahren ein. Die Datennutzung durch die Lehrkräfte wurde mithilfe deskriptiver Statistiken und auf Grundlage der Ergebnisse aus zweifaktoriellen Varianzanalysen mit den unabhängigen Variablen ‚Verfahren‘ (VERA, ZP/MSA, IE) und ‚Schulart‘ (Gymnasium, Nicht-Gymnasium) beschrieben. Neben einer Untersuchung der Gesamtstichprobe wurden Berechnungen durchgeführt, bei denen die Ergebnisse der Schülerinnen und Schüler aus Gymnasien gesondert betrachtet wurden, da dort – zumindest potentiell – auch nach dem mittleren Schulabschluss eine Unterrichtsentwicklung für die gleiche Kohorte möglich ist und da VERA an Gymnasien weniger akzeptiert sei und weniger verwendet würde.

Die gemeinsame Nutzung unterschiedlicher Datenquellen wurde anhand von bivariaten Korrelationen ermittelt. Dem Zusammenhang von Veranlassungsgrad der Entwicklungsmaßnahmen mit den Schülerleistungen wurde mit Mehrebenenmodellen nachgegangen (Ebene 1: Schülerinnen und Schüler; Ebene 2: Klassen/Lehrkräfte; Kontrollvariablen auf Schülerebene: Geschlecht, Familiensprache, sozioökonomischer Status, kognitive Grundfähigkeiten; Kontrollvariablen auf Klassenebene: Aggregierte Kontrollvariablen der Schülerebene sowie Schulform, Berufserfahrung der Lehrkräfte). Es wurden Mehrebenenmodelle sowohl für die einzelnen Verfahren getrennt als auch eines für alle drei Verfahren gemeinsam berechnet (15 Plausible Values, FIML-Schätzer).

Von den Befragten, die über Erfahrungen mit mindestens einem der Verfahren verfügen, geben im Fall von VERA 70 % an, mindestens eine der fünf Unterrichtsaktivitäten durchgeführt zu haben (ZP/MSA: 77 %, IE: 80 %).

Legt man zugrunde, dass mit einer Skala von 1 bis 4 gearbeitet wurde, ergibt sich ein theoretischer Mittelwert von 2,5. Auffällig ist, dass nahezu ausnahmslos Werte von ≤ 2,5 auftreten, lediglich die Arbeit am schulinternen Curriculum wird durch IE in stärkerem Maße veranlasst (2,7). Daraus leitet das Autorenteam ab, dass die Nutzung der Ergebnisse in der Regel nicht zu mehreren der fünf Unterrichtsentwicklungsaktivitäten führt, sondern dass die Entwicklung jeweils auf einzelne Maßnahmen fokussiert ist. Bei allen drei Verfahren ergeben sich die höchsten Werte für die Arbeit am schulinternen Curriculum, geringere für die Verbesserung der Kommunikation mit Kolleginnen und Kollegen sowie die Entwicklung von Maßnahmen zur individuellen Förderung, noch geringere für die Einführung neuer Unterrichtsmethoden und die Teilnahme an Fortbildungen. Signifikante Unterschiede im Hinblick auf die Datenquellen bestehen insofern, als dass IE-Ergebnisse häufiger als Grundlage der Arbeit am schulinternen Curriculum dienen als Ergebnisse aus VERA oder ZP/MSA, zudem sind die IE-Ergebnisse eher Ausgangspunkte für Fortbildungen als diejenigen aus VERA. An Gymnasien begründen die betrachteten Datenquellen unabhängig vom jeweiligen Verfahren weniger als an anderen weiterführenden Schulen Aktivitäten der Unterrichtsentwicklung.

Bezüglich der Zusammenhänge zwischen dem Gebrauch multipler Informationsquellen für eine datenbasierte Unterrichtsentwicklung finden sich die jeweils engsten Zusammenhänge bei unterschiedlichen Datenquellen und den gleichen Unterrichtsentwicklungsmaßnahmen, v. a. VERA und ZP/MSA korrelieren hoch miteinander. Alle anderen Korrelationen fallen niedriger aus. Wurster et al. schließen, dass, wenn Ergebnisse aus unterschiedlichen Verfahren vorliegen, diese Datenquellen jeweils auch zur Unterrichtsentwicklung herangezogen werden.

Statistisch signifikante Zusammenhänge zwischen Schülerleistungen und dem Ausmaß, in dem die Ergebnisse der verschiedenen Verfahren die Aktivitäten der Unterrichtsentwicklung begründen, lassen sich nicht nachweisen.

Zum Hintergrund: Untersuchungen zu datenbasierten Aktivitäten der Schul- und Unterrichtsentwicklung und ihren Effekten auf Schülerleistungen sind angesichts der großen Hoffnungen, die an evidenzbasierte Schulentwicklung geknüpft werden, und im Hinblick auf die hierfür eingesetzten Ressourcen für Bildungsadministration und Schulpraxis gleichermaßen bedeutsam. Vor dem Hintergrund des defizitären Forschungsstandes verspricht der Beitrag von Wurster et al. hierzu interessante Erkenntnisse, da mit Vergleichsarbeiten, zentralen Prüfungen zum MSA und internen Evaluationen weit verbreitete und aufwendige Verfahren in den Blick genommen werden und untersucht werden soll, ob Lehrkräfte diese Datenquellen als Grundlage für datenbasierte Unterrichtsentwicklung nutzen, ob Unterrichtsentwicklungsaktivitäten aus mehreren dieser Datenquellen abgeleitet werden und ob sich Zusammenhänge zwischen datenbasierter Unterrichtsentwicklung und Schülerleistungen nachweisen lassen.

Zum Design: Für die Untersuchung werden Daten aus dem IQB-Ländervergleich 2012 herangezogen, in dem u. a. mathematische Kompetenzen von Schülerinnen und Schülern der 9. Jahrgangsstufe getestet und ihre Lehrkräfte befragt wurden. Allerdings werden nur die Ergebnisse eines Teils der getesteten Schülerschaft in die Analysen einbezogen, die damit verknüpften Bedenken im Hinblick auf die Repräsentativität der Studienergebnisse werden vom Autorenteam nur teilweise ausgeräumt.

Die Erfassung fünf ausgewählter Unterrichtsentwicklungspotentiale (Einführung neuer Unterrichtsmethoden, Entwicklung von Maßnahmen zur Einzelförderung, Teilnahme an Fortbildungen, Arbeiten am schulinternen Curriculum, Verbesserung der Kommunikation mit Kolleginnen/Kollegen) wird aus der Forschungsliteratur begründet und erscheint zweckmäßig, schränkt die Aussagekraft der Ergebnisse aber deutlich ein. Die Aussage etwa, dass aufgrund von Ergebnissen der internen Evaluation Maßnahmen zur Einzelförderung entwickelt worden sind, liefert kaum weiterführende Erkenntnisse: Welche spezifischen Evaluationsergebnisse zu dieser Entwicklung führten, welche konkreten Entwicklungsmaßnahmen durchgeführt wurden (und ob diese erfolgreich waren), wäre für den Schulpraktiker sicher wissenswert, wird aber im Rahmen des vorliegenden Aufsatzes nicht beantwortet. Auch müsste – wie Wurster et al. andeuten – deutlich werden, wem die Entwicklungsmaßnahmen nutzen: Beziehen sich z. B. eingeleitete Maßnahmen auf dieselbe oder eine kommende Schülergeneration? Das gilt in besonderem Maße für die ZP/MSA-Befunde mit ihrer vollkommen unterschiedlichen Bedeutung für z. B. die Schüler und Schülerinnen an Gymnasien und solchen an Realschulen. In Bezug auf VERA wiederum wäre denkbar, dass aus den Ergebnissen lediglich Konsequenzen für die Arbeit in Klassen gezogen werden, die sich VERA künftig stellen müssen, indem etwa das Einüben der dafür typischen Aufgabenformate im Unterricht intensiviert wird (teaching to the test), obwohl VERA in erster Linie dazu gedacht ist, den Unterricht in den getesteten Lerngruppen anzupassen.

Als wenig aussagekräftig ist die Untersuchung der Zusammenhänge von Entwicklungsmaßnahmen und Schülerleistungen einzuschätzen. Zum einen erlaubt es das querschnittliche Design nicht, Daten zur Leistungsentwicklung von Schülerinnen und Schülern zu gewinnen. Zum anderen formuliert das Autorenteam „aufgrund des komplexen Wirkmechanismus“ keine gerichtete Hypothese und lässt offen, auf welche Weise datenbasierte Unterrichtsentwicklungsaktivitäten zu messbaren Leistungsfortschritten bei Schülern und Schülerinnen führen sollten. Außerdem ist unklar, ob die getesteten Schülerinnen und Schüler in die Entwicklungsaktivitäten, die ihre Lehrkräfte berichten, überhaupt einbezogen waren.

An dieser Stelle tritt eine Problematik von Sekundäranalysen deutlich zutage: Die Fragestellung kann nicht aussagekräftig untersucht werden, da hierfür erforderliche Variablen nicht erhoben wurden. Seinen Niederschlag findet dies auch darin, dass Wurster et al. keine gerichtete Hypothese zu dieser Fragestellung formulieren. Insofern erscheint der Titel des Aufsatzes etwas vollmundig, da hohe Erwartungen geweckt werden.

Die Beschränkung auf Lehrkräfte und Schülerleistungen ausschließlich im Fach Mathematik schränkt die Aussagekraft der Ergebnisse weiter ein, was das Autorenteam entsprechend kommentiert. Für die Zukunft regen Wurster et al. die Untersuchung von Faktoren an, welche die Umsetzung von Evaluationsdaten in Unterrichtsentwicklungsmaßnahmen unterstützen oder hemmen. Auch die Analyse länderspezifischer Unterschiede halten sie für sinnvoll.

Zu den Ergebnissen: Am ehesten liefern Daten aus Vergleichsarbeiten, zentralen Prüfungen zum mittleren Schulabschluss und internen Evaluationen Gründe für Arbeiten am schulinternen Curriculum (1), für die Verbesserung der Kommunikation mit Kolleginnen und Kollegen (2), für die Entwicklung von Maßnahmen zur Einzelförderung (3) und für die Einführung neuer Unterrichtsmethoden (4), seltener für die Teilnahme an Fortbildungen (5). Ein signifikanter Zusammenhang der Schülerleistungen mit dem Veranlassungsgrad für die jeweiligen Entwicklungsaktivitäten lässt sich nicht belegen, wobei dies aufgrund von Einschränkungen des Forschungsdesigns keinesfalls dahingehend verallgemeinert werden kann, dass datenbasierte Unterrichtsentwicklung im Hinblick auf die Schülerleistungen nicht förderlich ist.