Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte

• Wie gut fühle ich mich der Aufgabe der Datenauswertung gewachsen? Welche Datenquellen stehen mir zur Verfügung? Inwiefern erwarte ich eine Verbesserung meiner Kompetenzen und langfristig eine Verbesserung meines schulischen Handelns durch die Kooperation mit anderen Lehrerinnen und Lehrern?
• Welche Erfahrungen habe ich bereits im Hinblick auf die Kooperation bei der Datenauswertung gesammelt?
• In welchem Rahmen und in welcher Kooperationsform möchte ich für Kooperation bei der Datenauswertung zur Verfügung zu stehen?

Reflexionsfragen für Schulleitungen

• Welche kooperativen Strukturen bei der Datenauswertung kann ich an meiner Schule beobachten?
• Wie kann ich kooperative Strukturen fördern? Warum könnte es sinnvoll sein, Datenauswertung, Kooperation usw. zum Thema von Weiterbildungstagen zu machen?
• Inwiefern bringe ich meine Wertschätzung der Kooperation bei der Datenauswertung gegenüber dem Kollegium zum Ausdruck?

Das Team der Forschenden um Roos Van Gasse sieht ein schon seit Jahren gesteigertes Interesse am Thema der generellen Datennutzung durch Lehrkräfte (Campbell & Levin, 2009; Carlson, Borman & Robinson, 2011) und spezifisch an der Nutzung von Lernergebnisdaten von Schülerinnen und Schülern, da diese als eine Voraussetzung dafür angenommen werden, die schulische Praxis weiterzuentwickeln und damit zu verbessern. Allerdings sei die tatsächliche Nutzung sowohl qualitativer als auch quantitativer Daten durch Lehrkräfte bisher wenig erforscht.

Van Gasse et al. verstehen unter dem Begriff „Datennutzung“ einen Kreislauf aus Diskussion, Interpretation und Diagnose von Daten zu Lernergebnissen von Schülerinnen und Schülern, gefolgt von konkreten daraus abgeleiteten Maßnahmen. Da bei den bisherigen Untersuchungen meist nur einseitig Daten zu kognitiven Lernergebnissen (z. B. linguistische/arithmetische Fähigkeiten) einbezogen wurden, nehmen Van Gasse et al. zusätzlich nicht-kognitive Lernergebnisdaten (z. B. Einstellungen, Kunst, Sport) in den Blick, wobei neben quantitativen (z. B. Klassenarbeiten) auch qualitative Daten (z. B. Beobachtungen) Berücksichtigung finden.

Als Einflussfaktoren dafür, in welchem Maße Lehrkräfte Daten nutzen, referieren Van Gasse et al. aus vorliegender Forschung zum einen persönliche Einschränkungen, etwa die Annahme, Daten nicht angemessen auswerten zu können (Pierce & Chick, 2011; Schildkamp, Ehren & Lai, 2012), zum anderen die innerschulische Zusammenarbeit bei der Nutzung von Lernergebnisdaten. Unter innerschulischer Zusammenarbeit werden demnach die gegenseitige Unterstützung der Lehrkräfte, eine Abstimmung von mit der Datennutzung verbundenen Normen und Agenden sowie eine gemeinsame Verantwortlichkeit bei der Nutzung der Daten für die Förderung von Lernprozessen verstanden (Datnow, Park & Kennedy-Lewis, 2013; Farley-Ripple & Buttram, 2014; Hubbard, Datnow & Pruyn, 2014; Jimerson, 2014). Verbunden damit wird die Annahme, dass die innerschulische Zusammenarbeit helfen kann, Probleme zu überwinden, die auf persönliche Einschränkungen zurückgehen.

Das genaue Zusammenwirken der persönlichen Faktoren und der innerschulischen Zusammenarbeit sei noch nicht geklärt, dennoch würden in der Forschung eine positive Einstellung zur Nutzung von Lernergebnisdaten und Selbstwirksamkeit als wesentliche Voraussetzungen der Zusammenarbeit gesehen (Datnow et al., 2013; Hubbard et al., 2014; Kelchtermans, 2006): So soll eine positive Einstellung zur Datenverwendung unverzichtbare Grundlage dafür sein, dass Zusammenarbeit engagiert stattfindet. Zugleich können mangelnde eigene Fähigkeiten mit Bezug auf die Nutzung von Lernergebnisdaten durch Zusammenarbeit überwunden werden, sofern Lehrkräfte der Zusammenarbeit gegenüber positiv eingestellt sind. Selbstwirksamkeit soll sowohl auf die individuelle als auch auf die gemeinsame Nutzung von Lernergebnisdaten wirken.

Vor diesem Hintergrund untersuchen Van Gasse et al. drei Fragestellungen:

1. In welchem Ausmaß arbeiten Lehrkräfte bei der Nutzung von Lernergebnisdaten zusammen?
2. Inwieweit hat diese Zusammenarbeit eine Auswirkung auf die individuelle Nutzung von Lernergebnisdaten durch die Lehrkräfte?
3. In welchem Umfang haben die Selbstwirksamkeit sowie die Einstellung Einfluss auf (a) die Zusammenarbeit der Lehrkräfte und (b) deren individuelle Nutzung von Lernergebnisdaten?

Die querschnittliche quantitative Studie wurde in Flandern (Belgien) durchgeführt. Die Behörden geben den dortigen Schulen ein hohes Maß an Autonomie, d. h. es gibt zwar Standards für das Sekundärschulwesen, jedoch sind die Schulen für den Weg zur Erreichung dieser Standards selbst verantwortlich. Es gibt keine zentralen Prüfungen und damit keine öffentlich verfügbaren Datensammlungen oder Schul-Rankings, sodass die Verantwortung für die Nutzung jedweder Lernergebnisdaten ganz bei den einzelnen Schulen und ihren Lehrkräften liegt.

Stichprobe
1 472 Lehrkräfte aus 63 Primar- und 54 Sekundarschulen verschiedener Träger, unterschiedlicher Größe und Abschlusstypen nahmen an der Studie teil. Dabei galt eine Rücklaufquote von mindestens 50 % als Voraussetzung für die Teilnahme einer Schule an der Studie (in 68 % der Schulen wurden sogar über 70 % Rücklaufquote erreicht).

22.2 % der Lehrkräfte waren männlich, 77.8 % weiblich, 77 % hatten einen Bachelor-, 22 % einen Master-Abschluss, 26 % hatten weniger als 5 Jahre, 74 % mehr als 5 Jahre Berufserfahrung. Insgesamt kann die Stichprobe als repräsentativ für Flandern gelten, lediglich die Zahl der Berufsanfänger und -anfängerinnen (< 5 Jahre Berufserfahrung) war geringfügig überproportional.

Erhebungsinstrumente
Der Untersuchung lag ein Online-Fragebogen mit fünfstufiger Likert-Skala (von 1 = vollständige Ablehnung bis 5 = vollständige Zustimmung; zusätzlich: weiß ich nicht/unzutreffend) zugrunde. Es wurden vier bereits existente Skalen (Zusammenarbeit, Selbstwirksamkeit, Einstellung, Relevanz) und eine selbstentwickelte Skala (Individuelle Datennutzung) eingesetzt:

• Individuelle Datennutzung (α = .65) (2 Items; Beispiel: Ich nutze Daten zu den kognitiven Lernergebnissen der Schülerinnen und Schüler, um meine Praxis anzupassen),
• Zusammenarbeit in Bezug auf Datennutzung (α = .93) (6 Items; Beispiel: In meiner Schule nutzen wir die Expertise der anderen, um Daten zu analysieren),
• Selbstwirksamkeit in Bezug auf Datennutzung (α = .93) (5 Items; Beispiel: Ich fühle mich fähig, mit Daten angemessen umzugehen),
• Einstellung zur Datennutzung (α = .89) (3 Items; Beispiel: Ich bin überzeugt, dass die Datennutzung in Schulen sinnvoll ist),
• Relevanz (α = .89) (6 Items; Beispiel: Die für mich verfügbaren Daten sind relevant).

Die Konstruktvalidität wird weitgehend bestätigt: Die Reliabilitätsprüfung ergibt bei vier Skalen gute bis sehr gute Werte. Eine Ausnahme bildet die Skala Individuelle Datennutzung, in die nur 2 Items eingingen. Für die einzelnen Skalen lagen jeweils zwischen 1 257 und 1 421 Antworten von Lehrkräften vor.

Auswertung
Zur Beantwortung der ersten Forschungsfrage wird auf die deskriptive Statistik der verschiedenen Skalen zurückgegriffen. Für die Beantwortung der zweiten und dritten Forschungsfrage wird ein Strukturgleichungsmodell analysiert, mit dem die Zusammenhänge zwischen den einzelnen Variablen aufgedeckt werden können. Das Modell wies eine gute Passung zu den empirischen Daten auf (RMSEA = .02, CFI = .97, TLI = .97).

In welchem Ausmaß arbeiten Lehrkräfte bei der Nutzung von Lernergebnisdaten zusammen?
Anhand der deskriptiven Statistik ergibt sich für die Skala Individuelle Datennutzung ein mäßig zustimmender Durchschnittswert (M = 3.77, SD = 0.79). Dabei stimmten ca. 64 % der Lehrkräfte den Aussagen zur individuellen Nutzung von Lernergebnisdaten weitgehend oder vollständig zu, 36 % standen den Aussagen negativ oder neutral gegenüber. Somit nutzen zwar viele der Lehrkräfte die Lernergebnisdaten der Schülerinnen und Schüler, um ihren Unterricht zu verbessern, dennoch ist die Nutzung von Lernergebnisdaten nicht als üblicher Standard anzusehen.

Die Zustimmung zur Skala Zusammenarbeit bei der Datennutzung (Bereitstellung von Unterstützung bei der Analyse und Interpretation von Daten, Verantwortung der Datennutzung liegt bei Schulteam, intensive Zusammenarbeit bei Datennutzung) ist neutral bis schwach positiv (M = 3.41, SD = 0.88), wobei nur ca. 33 % der Lehrkräfte den Aussagen weitgehend oder vollständig zustimmen, während ca. 64 % der Lehrkräfte den Aussagen neutral oder negativ gegenüberstehen. Eine Zusammenarbeit zwischen Lehrkräften ist demnach tendenziell selten.

Lehrkräfte glauben zu einem großen Anteil, dass die Nutzung von Lernergebnisdaten sinnvoll ist (Skala Einstellung, M = 4.28, SD = 0.61) und empfinden sich als befähigt für die Datenauswertung (Skala Selbstwirksamkeit, M = 4.02, SD = 0.57).

Aus den Befunden ergibt sich: Obwohl Lehrkräfte verbreitet eine positive Haltung gegenüber der Nutzung von Lernergebnisdaten haben, ist die Nutzung von Lernergebnisdaten für einen erheblichen Anteil nicht die Regel und eine Mehrheit kooperiert diesbezüglich nicht intensiv.

Inwieweit hat diese Zusammenarbeit eine Auswirkung auf die individuelle Nutzung von Lernergebnisdaten durch die Lehrkräfte?
Das Strukturgleichungsmodell belegt einen signifikant positiven Effekt (β = .34) mit mittlerer Effektstärke von Zusammenarbeit auf die individuelle Nutzung von Lernergebnisdaten: Lehrkräfte, die öfter zusammenarbeiten, nutzen auch individuell häufiger Daten. 11 % der Varianz in der individuellen Datennutzung können durch die Zusammenarbeit aufgeklärt werden, d. h., dass neben der Zusammenarbeit auch andere Faktoren die individuelle Nutzung von Lernergebnisdaten beeinflussen.

In welchem Umfang haben die Selbstwirksamkeit sowie die Einstellung Einfluss auf (a) die Zusammenarbeit der Lehrkräfte und (b) deren individuelle Nutzung von Lernergebnisdaten?
Der direkte Effekt der Einstellung zur Datennutzung auf die individuelle Nutzung von Lernergebnisdaten erweist sich als statistisch nicht signifikant und wurde daher nicht in das Modell aufgenommen. Allerdings besteht ein indirekter Einfluss: Es gibt einen schwachen positiven Effekt der Einstellung zur Datennutzung auf die Zusammenarbeit (β = .22; 5 % Varianzaufklärung für die Variable Zusammenarbeit), d. h., der Großteil der auftretenden Zusammenarbeit ist durch andere Faktoren als durch die Einstellung zur Datennutzung bedingt. Halten demnach Lehrkräfte die Nutzung von Lernergebnisdaten für sinnvoll, dann berichten sie auch vermehrt über Zusammenarbeit und gehen verstärkt davon aus, dass die Auswertung von Daten ihre Praxis verbessert.

Die Selbstwirksamkeit hat sowohl direkten als auch indirekten schwachen Einfluss auf die individuelle Nutzung von Lernergebnisdaten. Lehrkräfte, die sich im Hinblick auf die Nutzung von Lernergebnisdaten für fähiger halten, nutzen Daten häufiger (direkter Effekt; β = .22; 5 % Varianzaufklärung für die Variable individuelle Datennutzung) und arbeiten häufiger zusammen (β = .20; 4 % Varianzaufklärung für die Variable Zusammenarbeit), was sich wiederum indirekt auf die individuelle Nutzung von Lernergebnisdaten auswirkt (indirekter Effekt), da die Zusammenarbeit einen positiven Effekt auf die individuelle Nutzung von Lernergebnisdaten hat.

Die Kollaboration erweist sich somit als wirksamerer Einflussfaktor auf die individuelle Nutzung von Lernergebnisdaten als die Einstellung oder die Selbstwirksamkeit.

Insgesamt zeigen die R²-Werte, dass das eingesetzte Modell 32 % der Varianz in der individuellen Nutzung von Lernergebnisdaten durch Lehrkräfte erklären kann, für die Zusammenarbeit ergeben sich 15 % Varianzaufklärung. Konkret bedeutet das, dass neben den in dieser Studie berücksichtigten Faktoren weitere (hier nicht untersuchte) Faktoren Einfluss auf die individuelle Nutzung von Lernergebnisdaten bzw. die Zusammenarbeit von Lehrkräften haben.

Zum Hintergrund
Die Studie erforscht mit der Zusammenarbeit bei der Nutzung von Lernergebnisdaten durch Lehrkräfte eine relevante und hochspannende Thematik. Allerdings sind die in der Untersuchung benutzten Konstrukte „Zusammenarbeit“ und „Nutzung von Lernergebnisdaten“ weit gefasst. So können vollkommen unterschiedliche Formen der Kooperation in das Konzept einfließen, vom kurzen, informellen Pausengespräch über fest vereinbarte Kooperationsformen zwischen Lehrkräften bis hin zu institutionalisierten Formen. Das Problem der sehr abstrakten Fassung des Begriffs „Zusammenarbeit“ ist Van Gasse et al. durchaus bewusst: Sie schlagen in diesem Zusammenhang „microlevel“-Studien vor, die das Verhalten von Individuen oder kleinen Gruppen in den Blick nehmen.

Vor diesem Hintergrund gibt die Studie leider keine konkreten praktischen Hinweise darauf, wie durch verstärkte Zusammenarbeit eine verbesserte Nutzung von Lernergebnisdaten zu erreichen wäre.

Zum Design
Sieht man die Studie als abstrakten Beitrag zur Schulforschung, erfüllt sie ihren Zweck, nicht zuletzt durch ihren logisch klaren Aufbau: Nachvollziehbare Forschungsfragen zu einem relevanten Thema werden in einem sinnvoll konstruierten Design anhand einer ausreichend breiten Datenbasis mit geeigneten Methoden bearbeitet.

Zu den Ergebnissen
Die sich aus der Studie ergebenden Befunde tragen zum Verständnis der Nutzung von Lernergebnisdaten durch Lehrkräfte bei, auch wenn sie z. T. eher den bisherigen Forschungsstand bestätigen, als über ihn hinauszugehen. So vermuten Van Gasse et al., dass die Zusammenarbeit zwischen Lehrerinnen und Lehrern, welche Probleme bei der Interpretation von Daten ihrer Schülerinnen und Schüler haben, einen geschützten Raum zur Weiterentwicklung öffnet, was die zukünftige Nutzung von Lernergebnisdaten motivieren könnte. Dieser Befund entspricht dem bisherigen Forschungsstand.

Auf der Basis der Ergebnisse ihrer Studie schlagen Van Gasse et al. für möglichst alle Lehrkräfte eine verstärkte Zusammenarbeit bei der Datenauswertung vor – auch, um durch die dadurch bedingte verbesserte Selbstwirksamkeit und die Entwicklung einer positiveren Einstellung der Lehrkräfte die individuelle Nutzung von Lernergebnisdaten anzuregen.

Dass die Ergebnisse evtl. durch die spezifischen Verhältnisse in Flandern (durch Mangel an standardisierten Datenquellen sind Lehrerinnen und Lehrer auf ihre eigenen Fähigkeiten der Datengenerierung und -auswertung beschränkt) beeinflusst sein dürften, worunter die Übertragbarkeit der Befunde leiden könnte, berücksichtigen die Forschenden. So halten es Van Gasse et al. als Ursache für die seltene Zusammenarbeit zwischen Lehrkräften in ihrer Studie für möglich, dass Lehrkräfte in Flandern sich individuell (und nicht als Kollektiv) für die Lern- und Lehrqualität (und damit die Datenauswertung) verantwortlich fühlen. Sie regen deshalb an, zukünftig auch anders strukturierte schulische Kontexte zu erforschen.

Leider wird der zusammenarbeitende Personenkreis nicht näher in den Blick genommen: Gibt es Personen, mit denen – aufgrund ihrer Erfahrungen, Ausbildung oder Einstellung – die Kooperation besonders fruchtbar ist und wo bzw. in welchem Ausmaß sind solche Personen an den Schulen zu finden? Im Gegenentwurf wäre wichtig zu wissen, welche Personen aus welchen Gründen (Zeitbedarf?, organisatorische Probleme?, persönliche Differenzen?, Annahme, keine Unterstützung zu benötigen?) Kooperation ablehnen und ob es auch Bedingungen gibt, unter denen Zusammenarbeit zu keinem positiven Ergebnis führt.

Es bedarf also dringend eines wesentlich detaillierteren Blicks auf Datenquellen, Nutzung von Lernergebnisdaten, Organisationsstrukturen der Zusammenarbeit und persönliche Eigenschaften der beteiligten Personen, um die Befunde von Van Gasse et al. durch Schaffung konkreter Strukturen in Verbesserungen der alltäglichen schulischen Praxis überführen zu können.