Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Wie nehme ich die Ergebnisse der externen Evaluation wahr: Als Gängelung? Als Entwicklungschance? Als etwas, das vielleicht die Schule als Ganzes, nicht aber meinen konkreten alltäglichen Arbeitsbereich berührt? 
• Bin ich bereit zur Mitarbeit an der Schulentwicklung oder erwarte ich sogar, in die Entwicklungsprozesse einbezogen zu werden? In welcher Form? Wie nehme ich schulinterne Arbeitsgruppen im Bereich Schulentwicklung wahr: Als Akteurinnen und Akteure in einer (fremdbestimmten) Top-Down-Dynamik oder als durch die Schulgröße vorgegebene sinnvolle Organisationsstruktur? 
• Zu welchen Faktoren sollten Evaluationen Rückmeldungen liefern, damit diese einen merklichen Einfluss auf meinen Arbeitsalltag haben können?

Reflexionsfragen für Schulleitungen

• Auf welche Art und Weise läuft in meinem Bundesland die externe Evaluation ab? Wann und wie erhalte ich eine Rückmeldung der Ergebnisse? Leiten sich daraus konkrete Schritte für die schulische Entwicklung ab? 
• In welchem Maße erfolgt eine Nachbereitung der Evaluation: Werden konkrete Vorgaben durch die Schulbehörde gemacht, gibt es Zeitfristen und verbindliche Vereinbarungen, besteht Berichtspflicht und eine Überwachung der weiteren Entwicklungsschritte? Empfinde ich dies als Unterstützung oder als Überwachung und Gängelung?
• Spielt die Schulgröße eine Rolle für die weiteren Maßnahmen? Sollen/können alle Lehrkräfte in die aus der Evaluation anzuleitenden Entwicklungsschritte einbezogen werden? Wie kann es gelingen, die Entwicklungsarbeit aufzuspalten und auf innerschulische Arbeitsgruppen zu verteilen?
• Wie nutze ich evtl. vorhandene Freiräume, um die durch die externe Evaluation gesetzten Entwicklungsrichtungen durch autonome schulinterne Entwicklungsprozesse zu ergänzen?

Schweinberger, Mahler und Quesel weisen einleitend darauf hin, dass Schulentwicklung als bewusste Veränderung schulischer Strukturen und Prozesse auf Wissensgewinn auf der Basis einer Diagnose beruht. Die Entwicklung erfolge dabei in einem Spannungsverhältnis, wenn Evaluationsteams beispielsweise gleichzeitig als Bewertungsinstanz und Impulsgeber fungieren.

Für die Effektivität von schulischen Entwicklungsprozessen sei entscheidend, ob eine Schule die bei der Evaluation gesetzten Entwicklungsimpulse überhaupt eigenständig aufnehmen und umsetzen kann (oder will). Bei Schulen mit geringer Innovationsfähigkeit scheine ein Eingriff in die Schulautonomie (etwa durch unterstützende Zielvereinbarungen mit den externen Evaluationsteams) hilfreich (Ehren & Visscher, 2006).

Dabei sei jedoch bislang wenig erforscht, inwiefern die Schulgröße (und damit u. a. die Komplexität von Kommunikation und Entscheidungsfindung) und die zugestandene Entwicklungsautonomie einen Einfluss auf die Einleitung und Koordinierung von wissensbasierten Entwicklungsprozessen haben. Es wäre z. B. denkbar, dass sehr große Schulen schwerfälliger und langsamer auf Evaluationsbefunde reagieren als kleinere und damit einen höheren Bedarf hinsichtlich der externen Unterstützung und Vorgaben haben (vgl. Leithwood & Jantzi, 2009).

Vor diesem Hintergrund formulieren Schweinberger et al. zwei Forschungshypothesen zum Wissensgewinn von Schulen in Verbindung mit externen Evaluationen:

1. Für große Schulen (mit entsprechend komplexen Kommunikationsmechanismen) ist der Wissenszuwachs ein Jahr nach der Evaluation deutlich größer als unmittelbar nach der Evaluation. Bei kleinen Schulen (mit entsprechend kürzeren Kommunikationswegen) ist dieser Effekt nur abgeschwächt zu beobachten. Somit sollte ein Interaktionseffekt zwischen dem Zeitpunkt der Befragung und der Schulgröße vorliegen.
2. Ein weiterer Interaktionseffekt wird zwischen dem Ausmaß an schulischer Entwicklungsautonomie und der Schulgröße erwartet: An großen Schulen müsste der von den Lehrkräften berichtete Wissensgewinn bei geringer Entwicklungsautonomie größer sein als im Falle großer Entwicklungsautonomie. Bei kleinen Schulen soll auch dieser Effekt nur schwach ausgeprägt sein. Für die Hypothese II ist der Zeitpunkt der Messung unerheblich.

Darüber hinaus untersuchen Schweinberger et al. mittels Interviews, wie die Lehrkräfte zu ihrer Einschätzung des Wissensgewinns gelangen. Dabei wird eine offene Forschungsfrage formuliert: Wie erleben die Lehrkräfte an Schulen unterschiedlicher Größe und mit unterschiedlicher Entwicklungsautonomie den Verarbeitungsprozess im Anschluss an die externe Schulevaluation?

Die Untersuchung erfolgt am Beispiel von vier Schweizer Kantonen: Gemeinsam ist in allen Fällen das zugrundeliegende Evaluationsverfahren, welches auf multiperspektivischer und prozessorientierter Basis bevorzugt das Schul-, Unterrichts- und Arbeitsklima in den Blick nimmt und dabei neben Dokumentanalysen und Beobachtungen auch Befragungen und Gespräche mit den für das schulische Leben relevanten Gruppen (Schülerinnen und Schüler, Lehrkräfte, Eltern, Schulführung) einbezieht.

Große Unterschiede bestehen bei der den Schulen zugebilligten Entwicklungsautonomie: Im Falle der Kantone Thurgau und Luzern geben die Evaluationsteams den Schulen explizite Empfehlungen, deren Umsetzung (zumindest in Teilen) verbindlich und an Rückmeldungsverfahren und -fristen gebunden ist. Mehr Freiheiten bestehen in den Kantonen Zürich und Aargau: In Zürich können sich zwar an die Evaluationen Empfehlungen anschließen, doch sind diese mit der Schulleitung koordiniert und die Umsetzung wird nicht kontrolliert. In Aargau gibt es zwar eine Rückmeldung mit einem rechenschaftsorientierten Teil, die Schulaufsicht tritt jedoch nur dann autonomieeinschränkend in Aktion, wenn schwerwiegende Funktionsstörungen an der Schule bekannt werden, welche die Durchführung einer angemessenen Diagnose oder die Entwicklung von Lösungsstrategien unterbinden.

Es wurde ein Mixed-Methods-Design gewählt, bei dem sowohl quantitative Fragebogendaten als auch qualitative Daten aus Gruppeninterviews genutzt wurden. Die Ergänzung um qualitative Daten diente dazu, Erklärungsmöglichkeiten für quantitativ ermittelte Befunde zu generieren und Einsichten in den (z. T. schulspezifischen) Verarbeitungsprozess nach der externen Evaluation zu gewinnen.

Stichprobe
Die Daten wurden im Zeitraum von 2012 bis 2015 an denjenigen Schulen der Kantone Zürich, Aargau, Thurgau und Luzern erhoben, die im Zeitraum von 2012 bis 2014 eine externe Schulevaluation durchliefen und bereit waren, an der Studie mitzuwirken (n = 25).

In einer Längsschnittstudie wurden die Lehrkräfte zunächst vier Wochen nach der Rückmeldung der Evaluationsbefunde (n = 477, Rücklauf 64 %) und dann nochmals nach zwölf Monaten befragt (n = 383, Rücklauf 43 %). Die quantitative Analyse beruht auf den Längsschnittdaten von 111 Lehrkräften.

An 13 von 25 Schulen wurden im Rahmen von Einzelinterviews und Gruppendiskussionen qualitative Daten erfasst. In die Analyse gingen Gruppendiskussionen mit Lehrkräften ein, welche kurz nach Rückmeldung der Evaluationsbefunde sowie ein Jahr später erhoben wurden.

Die Festlegung der Schulgröße erfolgte anhand der Größe des Schulleitungspersonals (eine Person = klein, mindestens zwei Personen = groß). Für die Einstufung des Ausmaßes der Schulautonomie wurde die im jeweiligen Kanton übliche Verbindlichkeit von Empfehlungen und der Begleitung der Schulentwicklung durch die Schulaufsicht herangezogen.

Jeweils drei Schulen entfielen auf die Gruppen kleine Schule mit hoher Autonomie, große Schule mit hoher Autonomie und große Schule mit geringer Autonomie, vier Schulen waren klein und hatten eine geringe Entwicklungsautonomie. In dem Beitrag ist zunächst von 13 und anschließend von 14 Schulen die Rede, daher entsteht eine Diskrepanz zwischen der Gesamtanzahl (13) und den addierten Teilanzahlen.

Erhebungsinstrumente
Die quantitativen Daten wurden mittels eines Online-Fragebogens erfasst, der von den Lehrkräften ausgefüllt wurde. Auf einer vierstufigen Skala (1 = stimme nicht zu, 4 = stimme voll zu) schätzten die Lehrkräfte vier Items zum Thema „subjektiver Wissensgewinn“ ein. Die Befragung war für beide Erhebungszeiträume identisch. Es wurde erhoben, ob durch die Evaluation

• Zusammenhänge für das Verständnis der Schule deutlich wurden,
• bekannte Probleme oder Schwachstellen besser besprochen werden konnten,
• die Außenwahrnehmung von Stärken und Schwächen der Schule verdeutlicht wurde,
• eine vertiefte Auseinandersetzung mit Fragen der Schulqualität möglich geworden sei.

Die resultierende Skala zeigte zu beiden Messzeitpunkten eine zufriedenstellende interne Konsistenz (je α = .79), die Korrelation der beiden Messungen beträgt r = .66.

Die quantitativen Befragungen wurden durch qualitative Daten aus halbstrukturierten 60-90-minütigen Gruppendiskussionen mit jeweils 4 bis 8 Lehrkräften ergänzt. Dabei kamen offene Fragen zum Einsatz. Das erste Gespräch bezog sich unmittelbar auf die Folgen der Rückmeldung der Evaluationsergebnisse (Was wurde dadurch ausgelöst? Wurde die eigene Schule darin wiedererkannt? Wie soll mit den Rückmeldungen umgegangen werden?) und auf sich daraus ergebende Perspektiven (Wie geht es weiter? Wo steht die Schule in einem Jahr?). Das zweite Gespräch nach 12 Monaten beinhaltete einen Rückblick (Welche Aktionen wurden/werden im Hinblick auf die Evaluationsergebnisse eingeleitet?) und eine Bilanzierung (Welche durch die Evaluationsergebnisse bewirkten Veränderungen werden im Arbeitsalltag wahrgenommen? Welche Erträge ergeben sich aus der Evaluation im Allgemeinen?).

Auswertung
Mittels deskriptiver Statistik wurde ermittelt, inwiefern die Teilstichprobe im Hinblick auf den subjektiven Wissensgewinn für die Gesamtstichprobe repräsentativ ist. Anschließend wurden die aufgestellten Hypothesen interferenzstatistisch mittels varianzanalytischer Verfahren geprüft.

Die Auswertung der Lehrkräfteäußerungen erfolgte mittels qualitativer Inhaltsanalyse nach Mayring (2010). Nach der Transkription der Interviews wurde mit Rückbezug auf die Hypothesen überprüft, inwiefern sich die Wahrnehmung des Verarbeitungsprozesses der Evaluationsergebnisse je nach Schulgröße und Entwicklungsautonomie unterschied. Dabei erfolgte eine Kodierung der Aussagen anhand eines zunächst deduktiv abgeleiteten Kategorienkatalogs, der anhand des Materials überprüft, verbessert und durch induktiv gewonnene Kategorien ergänzt wurde. Der Kategorienkatalog umfasste folgende Bereiche: Schulgröße, Folgen der Schulgröße (a. mangelnde Identifikation mit der Institution, b. erschwerte Informations-/Kommunikationsprozesse, c. erschwerte Entscheidungsprozesse), Wissensgewinn, Initiierung von Schulentwicklung, Impulsgeberinnen und -geber für Entwicklungsprozesse, Form der ersten Verarbeitung der Evaluationsergebnisse, Funktionen der Akteurinnen und Akteure bei der Verarbeitung der Evaluationsergebnisse (a. Kanton, b. Schulleitung, c. Lehrkräfte).

In einer Vorabanalyse wurde überprüft, ob sich Schulen, von denen lediglich Fragebögen vorlagen, bezüglich des subjektiven Wissensgewinns von denjenigen Schulen unterschieden, an denen auch Interviews durchgeführt worden waren. Es wurden keine Unterschiede festgestellt (MZP1: t(109) = -0.27, p = .786; MZP2: t(109) = -0.43, p = .668).

Deskriptive Befunde zum subjektiven Wissensgewinn     
Zu beiden Messzeitpunkten wurden die höchsten subjektiven Wissensgewinne an kleinen Schulen mit hoher Entwicklungsautonomie festgestellt (M₁ = 2.93, SD₁ = 0.55; M₂ = 2.94, SD₂ = 0.49). Zum ersten Messzeitpunkt bestand ein geringer Unterschied zu kleinen Schulen mit wenig Autonomie (d = .39) und ein mittelgroßer Unterschied zu großen Schulen – sowohl bei hoher (d = .50) als auch niedriger (d = .49) Autonomie. Zum zweiten Messzeitpunkt war der Abstand zu großen Schulen mit geringer Autonomie als gering (d = .24) und der Unterschied zu großen Schulen mit hoher Autonomie (d = .52) sowie kleinen Schulen mit geringer Autonomie (d = .72) als mittelgroß zu bezeichnen.

Bezüglich der Entwicklung des Wissensgewinns zeigt sich nur bei großen Schulen mit geringer Entwicklungsautonomie ein nennenswerter Wissenszuwachs vom ersten zum zweiten Messzeitpunkt (MZP1: M = 2.56, SD = 0.57; MZP2: M = 2.77, SD = 0.58). Offenbar profitieren große Schulen, wenn die Verarbeitung der Evaluation enger von der Schulbehörde begleitet wird. Möglicherweise spiegelt sich darin ein Effekt der höheren Komplexität einer großen Schule.

Hypothesenprüfung 
Es liegt ein signifikanter Interaktionseffekt für die Interaktion Zeit x Entwicklungsautonomie x Schulgröße vor (F(1, 107) = 4.88, p = .029, η²_p = .044). Somit können die drei Variablen – anders als angenommen – nicht unabhängig voneinander betrachtet werden.

Trennt man die Analyse nach Schulen mit hoher und geringer Autonomie, dann ergibt sich für Schulen mit hoher Autonomie eine hohe Stabilität des Wissensgewinns, was daran deutlich wird, dass der Zeiteffekt nicht signifikant ist (F(1, 59) = 0.01, p = .94). Die Schulgröße hat hingegen einen signifikanten Einfluss (F(1, 59) = 6.60, p = .013, η²_p = .10): Kleine Schulen erzielen bei hoher Autonomie höhere Wissensgewinne als große Schulen. Bei geringer Autonomie zeigte sich ein Interaktionseffekt Zeit x Schulgröße (F(1, 48) = 9.95, p = .003, η²_p = .17): So postulieren Lehrkräfte großer Schulen im Vergleich zu denen an kleinen Schulen einen höheren Wissensgewinn mit der Zeit.

Qualitative Daten     
a. Schulgröße und wahrgenommene Konsequenzen

Der Faktor Schulgröße wurde in den Interviews nur an großen Schulen mit hoher Entwicklungsautonomie thematisiert. Hierbei wurden zwei Effekte hervorgehoben:

• Mangelnde Identifikation mit der Schule als Ganzes: Diese geht zum einen damit einher, dass die Ergebnisrückmeldung der Evaluation nur für Teilbereiche der Schule als zutreffend angesehen wird, während die Gesamtorganisation aus dem Blick gerät. Zum anderen wird ein geringes Engagement bei der Auseinandersetzung mit Evaluationsergebnissen konstatiert, wenn die gesamte Schule zu unspezifisch in den Blick genommen und nicht auf konkrete Teilsysteme eingegangen wird.
• Erschwerung von Informations-, Kommunikations-, Koordinations- und Entscheidungsprozessen durch die Schulgröße.

b. Wissensgewinn und initiierte Schulentwicklung

Hinsichtlich der Verarbeitung der Evaluationsergebnisse zeigt sich, dass an kleinen Schulen das gesamte Kollegium einbezogen wurde, während an großen Schulen Steuergruppen gebildet wurden. An großen Schulen wird Entwicklung daher eher als ein Top-Down-Prozess wahrgenommen.

Bei Schulen mit geringer Entwicklungsautonomie wird der Schulleitung eine große Bedeutung für den Verarbeitungsprozess der Evaluation zugesprochen. (Nur) Lehrkräfte an kleinen Schulen erwarten eine Mitwirkungsmöglichkeit, signalisieren diesbezüglich auch Engagement und Umsetzungsbereitschaft.

An Schulen mit hoher Autonomie fällt es zudem – unabhängig von der Schulgröße – den Lehrkräften nicht leicht, Schulentwicklungsbemühungen konkret auf die externe Schulevaluation zurückzuführen, da auch interne Diagnosen als Ausgangspunkt einer Entwicklung in Frage kommen.

Während die Rolle des Kantons zum ersten Erhebungszeitpunkt nicht angesprochen wurde, wurde sie – ausschließlich an den Schulen mit geringer Autonomie – zum zweiten Erhebungszeitpunkt häufig thematisiert und dabei – unabhängig von der Schulgröße – als Gängelung und damit möglicherweise eher als Entwicklungshemmnis wahrgenommen.

Verbindung quantitativer und qualitativer Analysen       
Für den quantitativen Befund, nach dem an kleinen Schulen bei hoher Autonomie ein höherer Wissensgewinn erzielt wird als an großen Schulen, konnten durch die qualitativen Ergebnisse Erklärungsmöglichkeiten generiert werden: mangelnde Identifikation mit der gesamten Schule und Kommunikationsprobleme an großen Schulen können hemmend wirken.

Der Beleg in den quantitativ erhobenen Daten, dass auch bei geringer Autonomie die Schulgröße einen Einfluss auf den Wissensgewinn hat, spiegelt sich nicht in den qualitativ erhobenen Befunden. Hier liegt der Fokus vor allem auf den Einschränkungen durch die Kantone.

Schweinberger et al. merken zu ihrer Untersuchung an, dass die Fokussierung auf den subjektiven Wissensgewinn im Nachgang einer externen Evaluation andere potenzielle Faktoren für die Schulentwicklung (Innovationspotential, Entwicklungskapazität, Wahrnehmung der Evaluation) ausblendet. Auch sollten zukünftig objektivere Maße für den Wissensgewinn einbezogen werden als die (subjektiven) Selbstauskünfte der Lehrkräfte. Darüber hinaus wäre die Schulentwicklung über einen längeren Zeitraum zu verfolgen. Weiteren Aspekten wie der mangelnden Identifikation mit der gesamten Schule und dem Engagement der Lehrkräfte an großen Schulen mit hoher Autonomie sollte dabei ein besonderes Augenmerk zukommen.

Schweinberger et al. leisten mit ihrem Vorhaben, Schulentwicklung vor dem Hintergrund von Autonomie einerseits und Schulgröße andererseits zu untersuchen, einen wichtigen Beitrag zur Untersuchung und Gestaltung systematischer Schulentwicklungsprozesse. Dies gilt umso mehr, als sie mit dem gewählten Mixed-Methods-Ansatz passenderweise ein Vorgehen umsetzen, bei dem quantitative Befunde durch qualitative Daten ergänzt werden, um mögliche Ursachen für die Befunde ausmachen zu können.

Zugleich ist begrüßenswert, mit dem Aspekt „Schulgröße“ einen strukturellen Aspekt schulischen Lebens im Hinblick auf dessen positive und negative Folgen zu hinterfragen: Möglicherweise kann hieraus die Perspektive erwachsen, zukünftig generell Fragen schulischer Organisationen stärker in den Blick zu nehmen und über sinnvolle Größen von bzw. passgenaue Angebote für Schulen, Stufen, Klassen/Kursen usw. nachzudenken und weiter zu beforschen.

Allerdings ist die Aussagekraft der Analyseergebnisse als eingeschränkt zu bewerten. Hierzu tragen maßgeblich zwei Designaspekte bei: die Anzahl befragter Lehrkräfte sowie die Nutzung von Selbstberichten. Gliedert man die Schulen nach den Kategorien Schulgröße und Autonomie auf, dann ergeben sich Gruppen von 22, 23, 39 oder 27 befragten Lehrkräften. Die mittleren Zustimmungswerte zum Wissensgewinn auf der vierstufigen Skala liegen zwischen 2.94 und 2.36 – sie unterscheiden sich also nur geringfügig. Bei den recht kleinen Gruppen befragter Lehrkräfte könnten einzelne „Ausreißer“ oder zufällige ungleichmäßige Gewichtungen in einer der befragten Gruppen spürbare Einflüsse auf die Ergebnisse haben. Zudem gehen Selbstberichte in Befragungen mit typischen methodischen Einschränkungen wie sozialer Erwünschtheit, retrospektiven Verzerrungen oder einem unterschiedlichen Verständnis der Items einher. Damit stellt sich die Frage nach der Repräsentativität und Validität der Ergebnisse. Eine Erweiterung des Kreises der Befragten – z. B. durch eine größere Zahl einbezogener Schulen oder durch eine Ausweitung der Untersuchung auf weitere Kantone – würde die Generalisierbarkeit der Erkenntnisse weiter erhöhen. Eine weitere Einschränkung der Studie bezieht sich auf die mangelnde Begründung methodischer Entscheidungen: So bleibt die Basis, auf deren Grundlage die beiden Messzeitpunkte terminiert wurden, unklar. Schweinberger et al. erklären den fehlenden, subjektiv eingeschätzten Wissensgewinn zwischen den beiden Befragungen beispielsweise damit, dass der Wissenszuwachs beim zweiten Befragungszeitpunkt evtl. nicht mehr mit der Evaluation in Verbindung gebracht wird. Hier wären mehrere Messzeitpunkte mit kürzeren Abständen wünschenswert, wenngleich dies in der praktischen Umsetzung schwer realisierbar sein dürfte.

Die von Schweinberger et al. mitgeteilten Ergebnisse müssen also in Teilen als wenig abgesichert und damit vorläufig angesehen werden, liefern aber einen wertvollen Ausgangspunkt für weitere Untersuchungen in diesem Bereich.