Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.

Reflexionsfragen für Lehrkräfte:

• Inwieweit ist mir das Konzept des formativen Assessments bekannt? Welche Fortbildungen gibt es in diesem Bereich für mein Fach?
• Welche Werkzeuge (Diagnosebögen etc.) aus dem Bereich des formativen Assessments setze ich in meinem Unterricht ein? Wie gehe ich mit den Ergebnissen dieser Diagnostik um?
• Inwiefern setze bzw. wende ich Strategien zur Verbesserung der Lesekompetenz in meinem Unterricht an?
• In welchen Zusammenhängen diskutiere ich mit meinen Kolleginnen und Kollegen über die Relevanz des Themas Lesekompetenz? Zu welchen Gelegenheiten können Diskussionen diesbezüglich auch im Gesamtkollegium meiner Schule stattfinden?

Reflexionsfragen für Schulleitungen:

• Über welche Kenntnisse verfügen die verschiedenen Fachschaften an meiner Schule zum Thema formatives Assessment? In welchen Zusammenhängen werden Umsetzungen dieses Konzepts unter den Kolleginnen und Kollegen diskutiert?
• Gibt es ein Fortbildungskonzept an meiner Schule und wie wird sichergestellt, dass die Fortbildungsinhalte in den Fachschaften kommuniziert und anschließend implementiert werden?
• Welche Maßnahmen werden fächerübergreifend ergriffen, um die Lesekompetenz zu steigern?
• Welche Maßnahmen werden aus standardisierten Leistungstests (VERA 3, Lernstand 5, VERA 8) in Bezug auf die Stärkung der Lesekompetenz abgeleitet?
• Gibt es eine Schulbücherei an meiner Schule? Welche Rolle spielt diese und inwiefern wird das Thema Lesen im Schulalltag und in unserer Schulkultur verankert?
   

Lesen ist eine Kulturtechnik, die für das gesamte Schulleben und auch darüber hinaus eine große Rolle spielt. Lesekompetenz korreliert mit einem erfolgreichen Schulabschluss und spielt auch im späteren Berufsleben der Schülerinnen und Schüler eine elementare Rolle (Becker-Mrotzek et al., 2018). Darüber hinaus macht sie den Weg frei für eine aktive Teilhabe am öffentlichen Leben und ermöglicht es, dass fundierte Entscheidungen in allen Lebensbereichen getroffen werden können. Aus diesem Grund ist die Förderung der Lesekompetenz ein wichtiges Ziel im gesamten Bildungswesen, insbesondere in der Primarstufe. Ein digitales Tool zur Förderung dieser Kompetenz stellt quop dar, eine internetbasierte Software zur Lernverlaufsdiagnostik (LVD).

Der Ausdruck Lernverlaufsdiagnostik wurde in der Sonderpädagogik geprägt und beschreibt den Umstand, dass Lernfortschritte kontinuierlich dokumentiert, evaluiert und rückgemeldet werden (Klauer, 2011). Das System quop (www.quop.de) wurde für die beiden Hauptfächer Mathematik und Deutsch in der Grundschule konzipiert (Souvignier, Förster & Salaschek, 2014). Dieses Tool orientiert sich an dem Ansatz des formativen Assessments, bei welchem in kurzen Abständen standardisierte Tests (in quop am Computer möglich) geschrieben werden. Dabei erhalten sowohl die Lehrkräfte als auch die Schülerinnen und Schüler eine visualisierte Rückmeldung über ihren aktuellen Leistungsstand in einem ausgewählten (Kompetenz-)Bereich. Diese Rückmeldung dient nicht der Benotung und findet – im Gegensatz zum summativen Assessment – nicht abschließend statt, sondern begleitet kontinuierlich den Unterricht. Diesbezüglich kann über den Verlauf eines Schuljahres beispielsweise fortwährend die Entwicklung der Lesekompetenzen der Schülerinnen und Schüler erfasst und dokumentiert werden. Ziel ist es, die Lesekompetenz kontinuierlich zu verbessern und bei diagnostizierten Schwierigkeiten pädagogisch-didaktische Gegenmaßnahmen einzuleiten.

In der vorliegenden Studie wird der Einsatz von quop um zwei Komponenten erweitert: Dabei wird geprüft, ob Schülerinnen und Schüler im Laufe eines Schuljahres zusätzliche Verbesserungen in ihren Lesekompetenzen, in ihrer Lesemotivation, ihrem Leseselbstkonzept, Leseverhalten, der wahrgenommenen Unterstützung und dem Einsatz von metakognitiven und kognitiven Lesestrategien erzielen, wenn die an der Studie teilnehmenden Lehrkräfte nicht nur quop im Unterricht anwenden, sondern zusätzlich auch a) Feedbackmaterialien (FB) und b) Feedback- und Fördermaterialien einsetzen (FB + FM). Die Materialien sollen den Umgang mit den Informationen aus der Lernverlaufsdiagnostik erleichtern und dabei helfen, passende individuelle Unterrichtsangebote für die einzelnen Schülerinnen und Schüler bereitzustellen. Mit dieser Vorgehensweise soll der dem formativen Assessment innewohnende dreistufige Prozess aus Diagnostik, Feedback und Förderung im Unterricht stärker implementiert und verankert werden.

In der vorliegenden Studie wurde ein quasiexperimentelles Design mit zwei Messzeitpunkten (Prä- und Posttest) verwendet. An dieser Studie nahmen 945 Schülerinnen und Schüler einer 3. Klassenstufe und 44 Lehrkräfte aus Nordrhein-Westfalen teil. Insgesamt gab es drei Bedingungen und somit auch drei Gruppen:

• In Gruppe 1 (LVD) wurde ausschließlich das Lernverlaufsdiagnostikprogramm quop eingesetzt.
• In Gruppe 2 (FB) erhielten die Lehrkräfte zusätzlich eine Fortbildung und Materialien zum Thema Feedback und sollten dieses im Unterricht einsetzen.
• Gruppe 3 (FB + FM) bekam zusätzlich zu den Inhalten aus Gruppe 2 noch eine Fortbildung zum Thema Förderung und in diesem Zusammenhang auch Fördermaterialien.

In der Prä- und Posttest-Erhebung wurden verschiedene leserelevante Merkmale der Schülerinnen und Schüler ermittelt. Neben basalen Lesefertigkeiten wurden Leseverständnis, Lesemotivation, Leseselbstkonzept, Leseverhalten sowie die wahrgenommene Unterstützung und der selbstberichtete Einsatz von kognitiven und metakognitiven Lesestrategien erhoben. 

Um Erkenntnisse zur Implementation in den Schulalltag zu generieren, wurden die Lehrkräfte im Anschluss an die Materialeinführung sowie zum Ende des Schuljahres befragt. Im Zentrum standen Einschätzungen zur Akzeptanz, Umsetzbarkeit, Nutzung, Wiedergabetreue und Nachhaltigkeit bezüglich der Lernverlaufsdiagnostik und der Feedback- und Fördermaterialien. Ebenfalls zum Schuljahresende wurden die Schülerinnen und Schüler zur Akzeptanz sowie zur subjektiven Wirksamkeitserwartung befragt. Alle verwendeten Skalen waren ausreichend reliabel (alle Cronbachs α ≥ .71) und wurden bereits in anderen Studien eingesetzt. 

Unter dem Begriff Akzeptanz wird in diesem Zusammenhang verstanden, wie die Maßnahme in Hinblick auf den Inhalt und die Komplexität durch die teilnehmenden Lehrkräfte wahrgenommen wird. Umsetzbarkeit beschreibt hingegen die Einschätzung der Lehrerinnen und Lehrer zur Frage, ob die Maßnahme überhaupt in der Praxis wie intendiert umgesetzt werden kann. Der Begriff Wiedergabetreue spiegelt wider, ob die durch das Experiment vorgegebenen Strukturen von den Lehrkräften adäquat umgesetzt werden (können). Der Begriff Nutzung beschreibt, ob die Maßnahme auch tatsächlich im Unterricht eingesetzt wurde. Das letzte Item Nachhaltigkeit ermittelt, inwieweit die vorgegebenen Strukturen dauerhaft in den Schulalltag integriert werden und ob es zu einer Veränderung von Handlungsmustern auf Seiten der Lehrkräfte kommt.

Zusammenfassend wurden somit zwei Fragen verfolgt: 

1. Inwiefern gelingt die Implementation der Lernverlaufsdiagnostik mit quop sowie des Feedbackkonzepts und der Leseförderung anhand der zur Verfügung gestellten Materialien?
2. Wie wirken sich die unterschiedlichen Bedingungen der Gruppen 1, 2 und 3 auf die leserelevanten Merkmale der Schülerschaft aus?

Die Dauer der Intervention betrug ein Schuljahr. Das heißt, dass die ersten Fortbildungen in Gruppe 2 (Feedback) und Gruppe 3 (Feedback + Fördermaterial) zu Schuljahresbeginn 2015 stattfanden. Nach den Herbstferien wurden die Prätest-Erhebungen in allen drei Gruppen durchgeführt. Am Ende des Schuljahres fanden kurz vor den Sommerferien im Jahr 2016 die Posttest-Erhebungen statt. In Gruppe 2 (FB) beziehungsweise Gruppe 3 (FB + FM) wurden zwei Fortbildungen durchgeführt, wobei in der ersten Fortbildung eine Materialeinführung und in der zweiten eine Materialvertiefung stattfand. Aufgrund von Drop-outs und mangelhafter beziehungsweise nicht erfolgter Verwendung der Materialien musste für die Datenanalyse die Stichprobenzahl verringert werden. Somit wurden letztendlich die Daten von 644 Schülerinnen und Schülern und 31 Lehrkräften für die Auswertung verwendet. Dabei wurden in Hinblick auf die Implementationsmaße relative Häufigkeiten der Schüler- und Lehrerantworten und davon ausgehend Mittelwerte sowie Standardabweichungen berechnet. Für die Wirksamkeitsprüfungen der verschiedenen Bedingungen wurden sogenannte Latent-Change-Modelle kalkuliert, welche sich anbieten, wenn Daten für mehrere Messzeitpunkte vorliegen. 

In Bezug auf das Design dieser Studie ist noch zu erwähnen, dass in einem quasiexperimentellen Design die Teilnehmenden nicht auf die verschiedenen Bedingungen randomisiert verteilt werden. Somit verblieben die Schülerinnen und Schüler dieser Studie in ihrem gewöhnlichen Klassenverbund während der Studienlaufzeit. 

Hinsichtlich der Implementationsmaße für die Lernverlaufsdiagnostik und die Feedback- und Fördermaterialien kann konstatiert werden, dass die Nutzung der Lernverlaufsdiagnostik in allen drei Gruppen sehr hoch ausfällt (> 95 % an bearbeiteten quop-Tests). Darüber hinaus ist die Akzeptanz für die Materialien in den Gruppen FB und FB + FM nach der ersten Fortbildung ebenfalls hoch (FB: M = 3.60 / FB + FM: M = 3.54 bei einem möglichen Maximum von 4.00). Die Umsetzbarkeit im Unterricht wird von den mitwirkenden Lehrkräften jedoch geringer eingeschätzt (FB: M = 2.60 / FB + FM: M = 2.83). Nach der Intervention sinken die Werte im Posttest für die Feedbackmaterialien sowohl in der Domäne Akzeptanz (FB: M = 3.40 / FB + FM: M = 2.86) als auch in der Umsetzbarkeit (FB: M = 2.20 / FB + FM: M = 1.90) ab. Die Nachhaltigkeit der Feedbackmaterialien wird in beiden Gruppen eher gering bewertet (FB: M = 2.00 / FB + FM: M = 2.60).

In Bezug auf die Fördermaterialien fehlen die Werte zur Akzeptanz der Lehrkräfte im Posttest, aber die Werte für die Umsetzbarkeit (M = 2.56), Wiedergabetreue (M = 2.63) und Nachhaltigkeit (M = 2.56) liegen ungefähr im Bereich des Skalenmittelwerts (M = 2.50). Knapp zwei Drittel (62,5 %) der Lehrkräfte dieser Gruppe haben ihre Schülerinnen und Schüler bis zum Ende des Schuljahres mit den Fördermaterialien üben lassen. Im Umkehrschluss bedeutet dies, dass über ein Drittel (37,5 %) der teilnehmenden Lehrkräfte nicht bis zum Ende der Intervention die Materialien durchgängig verwendet haben.

Mit Blick auf die Wirksamkeit der verschiedenen Bedingungen in den Gruppen lassen sich keine signifikanten Unterschiede identifizieren. Anders gesagt: Die Mittelwerte der durch die Schülerinnen und Schüler erzielten Ergebnisse in den leserelevanten Merkmalen inkl. der Schülerleistungen unterscheiden sich am Ende des Schuljahres nicht substanziell zwischen den Untersuchungsbedingungen LVD, FB und FB + FM. 

Hintergrund
Bei der vorliegenden Studie handelt es sich laut Einschätzung des Rezensierenden aus drei Gründen um eine relevante Studie. Erstens geht es im Kern der Arbeit um eine der wichtigsten schulischen Fähigkeiten, nämlich das Lesen. Leseförderung ist ein wichtiger Bestandteil des schulischen Bildungsweges und schnelles und sinnentnehmendes Lesen ist eine Fähigkeit, die über das Schulleben hinaus unabkömmlich ist. Zweitens beschäftigen sich Hebbecker und Souvignier mit computerbasiertem formativem Assessment. Dies ist ein Thema, welches in Zukunft voraussichtlich eine immer größer werdende Rolle spielen wird und in der Aus- und Fortbildung von Lehrkräften noch nicht ausführlich genug behandelt wird.

Das dem formativen Assessment innewohnende Potenzial zur Steigerung einer Leistung (vgl. Hebbecker & Souvignier, 2018, S. 738) in einer Domäne (z. B. Lesen) oder in einem Schulfach wird noch nicht flächendeckend abgerufen, da das Thema in der Breite der Bildungslandschaft vermutlich noch zu wenig bekannt ist. Erste Projekte in der Schweiz (mindsteps – Sek I) oder Regensburg (levumi – Grundschule und Sek I) stellen verheißungsvolle Ansätze dar, um das Konzept des formativen Assessments einem breiteren Publikum vorzustellen. Dem Rezensierenden sind bisher jedoch noch keine Programme für das Gymnasium beziehungsweise die Sekundarstufe II bekannt.

Drittens liefert die Studie wichtige Hinweise auf sogenannte Implementationsbarrieren bei größeren Veränderungsprozessen im schulischen Bereich. In diesem Sinne kann die Studie auch der sogenannten Implementationsforschung zugeordnet werden, da sie über Schwierigkeiten, Hürden und Hindernisse bei der Durchführung von größeren Unterrichtsentwicklungsprozessen im Schulalltag berichtet. Diesbezüglich liefert die vorliegende Arbeit erste Ansätze, um sich weiterführende Gedanken über die richtige Art und Weise von Change-Management an Schulen zu machen.

Design
Die Studie von Hebbecker und Souvignier besitzt – bedingt durch das quasiexperimentelle Design – unterschiedliche Vor- und Nachteile. Zuerst kann positiv hervorgehoben werden, dass die Studie nicht in einem Labor, sondern in einem natürlichen Setting, in diesem Fall in vielen verschiedenen Grundschulen, durchgeführt wurde. Dadurch erhöht sich die externe Validität, das heißt die Verallgemeinerbarkeit der Studienergebnisse beziehungsweise deren Übertragbarkeit auf die (äußere) Lebenswelt. Weiterhin können grundsätzlich die anfänglich hohe rekrutierte Anzahl an Schülerinnen und Schülern (N = 945) und die Dauer der Intervention (ein Schuljahr) positiv hervorgehoben werden. 

Als Nachteil ist jedoch die nicht vorhandene Randomisierung der Schülerinnen und Schüler aufzuführen. Dadurch sinkt die interne Validität, das heißt, es ist unklar, ob die beobachteten Effekte den verschiedenen Interventionen (LVD / FB / FB + FM) zuzuordnen sind oder ob sie auf Besonderheiten der teilnehmenden Klassen oder sogar den Zufall zurückzuführen sind. Durch die relativ große Stichprobe wurde versucht, eine Verallgemeinerbarkeit der Ergebnisse zu gewährleisten. Allerdings ist durch die hohe Zahl an nicht berücksichtigten Klassen fraglich, ob dies gelungen ist. In Gruppe 2 (Feedback) waren nach dem Schuljahr nur noch Daten von 5 von ehemals 13 Klassen zur Analyse verfügbar. Insgesamt ging in diesem Bereich die Schülerzahl um fast zwei Drittel von 296 auf 108 zurück. Dieser Rückgang kann erstens die Ergebnisse verzerren und zweitens sinkt durch die wesentlich geringere Anzahl an Schülerinnen und Schülern die Aussagekraft, zumindest für den Bereich Feedback, der Studie. 

Die Dauer der Intervention wurde weiter oben zwar als grundlegender Vorteil angeführt, jedoch muss diese Aussage im Folgenden noch konkretisiert werden. Die in dieser Studie vorgegebenen experimentellen Bedingungen haben in einem nicht unerheblichen Umfang die Alltagsroutinen der Lehrkräfte zu verändern versucht. Da das durchschnittliche Alter der teilnehmenden Lehrkräfte 49,2 Jahre betrug, kann davon ausgegangen werden, dass viele der teilnehmenden Lehrerinnen und Lehrer zu Studienbeginn bereits sehr erfahren waren. Im Laufe einer solch langen Zeit entstehen Handlungsmuster, die für die Bewältigung des Schulalltags und damit in Einklang stehend für ein funktionierendes Berufsleben unabdingbar sind. Solche fest verankerten Handlungsroutinen innerhalb (nur) eines Schuljahres zu verändern, stellt ein ambitioniertes Vorhaben dar. Aus diesem Grund hätte die Studie auch über zwei Schuljahre gespannt werden können – ein Vorschlag, welchen Hebbecker und Souvignier ebenfalls unterbreiten.

Zu guter Letzt basieren die Aussagen der Lehrkräfte zu den verschiedenen Implementationsmaßnahmen auf Selbstauskünften. Diese können, Stichwort soziale Erwünschtheit, verzerrt sein. Besser wären in solch einem Fall Unterrichtsbeobachtungen, bei denen Unterricht von externen Personen betrachtet und anschließend bewertet wird. Insbesondere im Falle der Wiedergabetreue könnten durch solch ein (allerdings aufwendiges und kostspieliges) Vorgehen genauere Ergebnisse ermittelt werden.

Ergebnisse
Die Ergebnisse der vorliegenden Studie sind als relevant einzustufen, da prinzipiell davon auszugehen ist, dass zusätzliche Fortbildungen und Materialien, seien es Feedback- oder Fördermaterialien, zu einem besseren Umgang mit den Informationen aus der Lernverlaufsdiagnostik führen sollten. Insofern sind die Ergebnisse dieser Arbeit überraschend, da keine substanziellen Unterschiede zwischen den drei Gruppen gefunden wurden. Vermutlich liegt die ermittelte Unwirksamkeit der zusätzlichen Fortbildungen, der Feedback- und Fördermaterialien, wie von Hebbecker und Souvignier angenommen, in der geringen Ausprägung der jeweiligen Implementationsmaße begründet. Anders formuliert: Wenn Lehrkräfte die Materialien nicht wie von der Studie vorgegeben im Schulalltag umsetzen beziehungsweise diese modifizieren oder gar nicht nutzen oder die Materialien nicht zum Vorgehen im Unterricht passen, können keine Effekte erzielt und gemessen werden. Zwar fiel die generelle Akzeptanz der Materialien in der ersten Fortbildung hoch aus, jedoch war die tatsächliche Nutzung im späteren Unterricht wesentlich geringer. Diese Tatsache spiegelt sich auch in Zahlen wider: Von den anfänglich 44 rekrutierten Lehrerinnen und Lehrern wurden 13 Lehrkräfte vor der Datenanalyse entfernt, da sie die Materialien nicht im Unterricht einsetzten. Dies entspricht immerhin einem Drop-out von fast 30 %, was als ein Indiz für die schwierige Implementation der geplanten Intervention gedeutet werden kann. 

Grundsätzlich können zwei elementare Erkenntnisse aus der Studie gewonnen werden: Zum einen sind größere Veränderungen im Unterrichtsalltag schwierig zu bewerkstelligen, da es nur geringe Anreize für Lehrkräfte gibt, ihren Unterricht fundamental zu ändern. Diejenigen Lehrkräfte, die quop, beziehungsweise die verschiedenen Materialien, wie intendiert eingesetzt haben, sind entweder von der Idee des formativen Assessments bereits fest überzeugt oder hoffen auf zukünftige Arbeitserleichterungen durch den Einsatz dieses Tools. Alle anderen Lehrpersonen, die Probleme oder Schwierigkeiten bei der Implementation hatten, müssen entweder (stärker) überzeugt werden oder sie benötigen noch mehr Unterstützung. In diesem Sinne muss über gewinnbringende Unterstützungs- und/oder Anreizstrukturen nachgedacht werden, damit es zu langfristigen Veränderungen auf der Unterrichtsebene kommt. Zweitens liefert das Programm quop bereits viele diagnostische Informationen für Lehrkräfte, weswegen zusätzliche Fortbildungen und Materialien auf der Ebene des Feedbacks und der Förderung – zumindest unter den Rahmenbedingungen dieser Studie – zu keinem messbaren weiteren Nutzen führen.