Fragestellungen der Studie:
Rezension zur Studie
Thomm, E., Sälzer, C., Prenzel, M. & Bauer, J. (2021). Predictors of teachers’ appreciation of evidence-based practice and educational research findings. Zeitschrift für Pädagogische Psychologie, 35(2–3), 173–184.FIS BildungFür die Verbesserung von Unterricht und die individuelle professionelle Weiterentwicklung von Lehrkräften werden die Ergebnisse der Bildungsforschung als zentrale Ressource angesehen. Um Forschungsergebnisse für das eigene unterrichtliche Handeln rezipieren zu können, sind jedoch verschiedene Voraussetzungen zentral. Neben der Wertschätzung bildungswissenschaftlicher Erkenntnisse und der wahrgenommenen Relevanz evidenzbasierter Praxis sind Prädiktoren, wie der Zugang zu wissenschaftlicher Literatur, die wahrgenommene individuelle Beschaffungskompetenz sowie die zusätzliche zeitliche Belastung und die Vertrautheit mit Forschungsmethoden/Statistik bedeutsam. Auch sind individuelle Merkmale, die eine situationsgerechte Bewertung und Beurteilung von Forschungsergebnissen ermöglichen, von großer Bedeutung, da Forschungsergebnisse oftmals vorläufig, unvollständig oder nicht unmittelbar auf den praktischen Alltag übertragbar sind.
Thomm et al. untersuchen in ihrer Studie, wie sich (a) der Zugang zur Forschungsliteratur, (b) das Vertrauen in eigenen Fähigkeiten und Zeitressourcen, um Forschungsergebnisse zu finden, und (c) die Vertrautheit mit Forschungsmethoden und Statistik auf die Wertschätzung evidenzbasierter Praxis einerseits und die wahrgenommene Irrelevanz bildungswissenschaftlicher Erkenntnisse andererseits auswirken. Die Daten stammen aus der nationalen Erweiterungsstudie der PISA-Studie 2012. Sie umfassen die Angaben von 3.223 Mathematiklehrkräften, die in der Sekundarstufe unterrichten (N = 674 im Feldversuch und N = 2.549 in der Hauptstudie).
Die Ergebnisse zweier Strukturgleichungsmodelle (Feldversuch und Hauptstudie) zeigen, dass der Zugang zu Quellen nur die Wertschätzung evidenzbasierter Praxis der Lehrkräfte beeinflusst, während der wahrgenommene Mangel an Beschaffungskompetenz/Zeit die wahrgenommene Irrelevanz von Bildungsforschungsergebnissen vorhersagt. Teilnehmende, die einen besseren Zugang zu wissenschaftlichen Quellen haben, berichten von einer größeren Wertschätzung evidenzbasierter Praxis. Ihre Wahrnehmung der Irrelevanz bleibt jedoch vom Quellenzugang unberührt. Der wahrgenommene Mangel an Beschaffungskompetenz/Zeit beeinflusst die Wertschätzung evidenzbasierter Praxis nicht, hat jedoch Einfluss auf die Wahrnehmung der Irrelevanz.
Für die Schulpraxis ergeben sich damit unter anderem die Forderungen nach einem (verbesserten) Zugang zu Forschungsliteratur sowie nach der Einbettung grundlegender forschungsbezogener Kompetenzen in die Lehrerbildung zur Ermöglichung evidenzbasierter Praxisoptimierung.
Nachfolgende Reflexionsfragen sind ein Angebot, die Befunde der rezensierten Studie auf das eigene Handeln als Lehrkraft oder Schulleitungsmitglied zu beziehen und zu überlegen, inwiefern sich Anregungen für die eigene Handlungspraxis ergeben. Die Befunde der rezensierten Studien sind nicht immer generalisierbar, was z. B. in einer begrenzten Stichprobe begründet ist. Aber auch in diesen Fällen können die Ergebnisse interessante Hinweise liefern, um über die eigene pädagogische und schulentwicklerische Praxis zu reflektieren.
Reflexionsfragen für Lehrkräfte
Reflexionsfragen für Schulleitungen
Sowohl die Bildungspolitik als auch die Bildungsforschung schätzen den Zugang zu empirischen Ergebnissen für Schulen bedeutsam ein, um Unterricht durch Evidenzbasierung zu verbessern (z.B. Rousseau & Gunia, 2016). Das unterrichtliche Handeln soll durch die Berücksichtigung forschungsbasierter Erkenntnisse optimiert und die professionelle Entwicklung des Einzelnen unterstützt werden. In der Debatte um die Lehrerprofessionalität wird davon ausgegangen, dass der Lehrberuf eine forschungsbasierte Profession darstellt. Dies bedeutet, dass die Rezeption forschungsbasierter Erkenntnisse Verbesserung und Innovationen hervorbringen kann. Um diesem Anspruch nachzukommen, ist es erforderlich, dass Handlungen auf der Grundlage des am besten zur Verfügung stehenden (forschungsbasierten) Wissens erfolgen und vor diesem Hintergrund auch Handlungen reflektiert werden, um so die berufliche Praxis zu verbessern (Bauer, Prenzel & Renkl, 2015).
Die Rezeption forschungsbasierter Erkenntnisse kann jedoch nur dann gelingen, wenn Forschung und Forschungsergebnisse als nützlich und wertvoll eingestuft werden. Insofern ist die Wertschätzung unter anderem entscheidend dafür, dass Lehrkräfte empirische Ergebnisse anerkennen und für die eigene Berufspraxis rezipieren (Lysenko et al., 2014).
Zahlreiche Studien aus der Bildungsforschung weisen darauf hin, dass Lehrkräfte in der Regel diese (forschungsbasierten) Erkenntnisquellen eher selten nutzen und ihnen auch einen geringen Wert beimessen (Dagenais et al., 2012). Üblicherweise läsen Lehrpersonen eher fachdidaktische Zeitschriften oder sprächen sich mit Kolleginnen und Kollegen ab, um ihre eigene Unterrichtstätigkeit zu reflektieren, zu analysieren und zu verbessern. Es stellt sich aus wissenschaftlicher Sicht daher die Frage, wieso Lehrkräfte eher diesen Weg beschreiten, als dass sie wissenschaftliche Befunde rezipieren. Wichtig hierbei ist zu ergänzen, dass das Forschungswissen als Ergänzung und keineswegs als Ersatz für den kollegialen Austausch sowie die berufsbezogene Erfahrung gesehen werden soll.
Bisherige Forschungsergebnisse deuten darauf hin, dass Lehrkräfte häufig voreingenommen gegenüber Erkenntnissen aus der Bildungsforschung sind (z.B. van Schaik et al., 2018), wobei sich grundlegende Kenntnisse in Forschungsmethoden und Statistik positiv auf die Wertschätzung von Forschungsergebnissen auswirken können (z.B. Marsh & Retali, 2010). Insgesamt bleibt jedoch die Tatsache, dass sich Lehrkräfte bislang nur wenig auf die Ergebnisse der Bildungsforschung beziehen (z.B. Cain, 2016; Hetmanek et al., 2015).
Um Forschungsergebnisse lesen und rezipieren zu können, sind einige Bedingungen notwendig, welche in der rezensierten Studie näher untersucht werden. Lehrkräfte bräuchten (1) einen niederschwelligen Zugang zur Forschungsliteratur, wobei hier mit der Schaffung sogenannter Clearinghäuser ein erster Schritt gegangen werde. Zudem müssten sich die Lehrkräfte (2) die Lektüre der Forschungsliteratur zutrauen und sich hierin als kompetent einschätzen. Des Weiteren sei (3) der Faktor Zeit zum Recherchieren, Beschaffen und Durcharbeiten der Literatur nicht zu vernachlässigen und als zusätzliche (zeitliche) Belastung zu sehen. Und schlussendlich sei es unerlässlich, dass (4) Lehrkräfte die gelesenen Informationen verstehen und bewerten können, um einen professionellen und situationsangepassten Transfer in die Praxis zu ermöglichen (Bauer et al., 2017). Seien die genannten Bedingungen nicht oder nicht ausreichend erfüllt, gelte es als unwahrscheinlich, dass Lehrkräfte forschungsbasierte Ergebnisse in ihre Praxis transferieren und nutzen.
Insofern ergäben sich verschiedene Barrieren, die eine Rezeption von Ergebnissen der Bildungsforschung in die Unterrichtspraxis erschweren. Diese nutzen Thomm und ihr Autorenteam als Ausgangspunkt für ihre Studie, indem sie auf die Beziehungen zwischen diesen verschiedenen Hürden fokussieren. Daher konzentriert sich diese Studie auf wichtige Bedingungen für die Rezeption von Ergebnissen der Bildungsforschung durch Lehrkräfte.
Entsprechend ergeben sich die folgenden Forschungsfragen:
Ergänzend zu den Forschungsfragen werden theoriegeleitet und basierend auf den bisherigen Forschungsergebnissen folgende Annahmen (im Folgenden auch Hypothesen genannt) formuliert, wobei die fettgedruckten Begriffe als mögliche Prädiktoren fungieren:
Bei der dritten Hypothese wird ergänzend bedacht, dass die Ausprägung der Selbsteinschätzung geschlechtsabhängig sein kann (Marsh & Retali, 2010).
Stichprobe
Das Autorenteam wertete die Daten der Lehrkräfteumfrage in Deutschland im Rahmen von PISA 2012 aus. Die teilnehmenden Lehrkräfte unterrichteten an den getesteten Schulen im Fach Mathematik in der Sekundarstufe und wurden in der nationalen Erweiterungsstudie befragt. Es lagen Daten sowohl vom Feldversuch als auch aus der Hauptstudie vor, wobei die Strukturgleichungsmodelle anhand des Feldversuches erstellt und in einem zweiten Schritt mit den Daten der Hauptstudie repliziert wurden. Im Feldversuch nahmen N = 674 Mathematiklehrkräfte (45 % männlich) aus 99 Schulen (aus vier ausgewählten Bundesländern) teil. Die Daten der Hauptstudie umfassten N = 2.549 Mathematiklehrkräfte (44 % männlich) aus 272 Schulen mit Sekundarstufe aus dem gesamten Bundesgebiet. Die Auswahl der Stichprobe erfolgte gemäß den PISA-2012-Stichprobenkriterien (Prenzel et al., 2013).
Erhebungsinstrument: Fragebogen
Die Lehrkräfte wurden mittels standardisierter Fragebögen zu folgenden Themenbereichen (Skalen) befragt:
Alle verwendeten Skalen wiesen eine gute Reliabilität (McDonald’s .77 ≤ Ω ≤ .89) auf.
Auswertungsverfahren: Strukturgleichungsmodelle
Zur Analyse der Daten wurden Strukturgleichungsmodelle mit Mplus gerechnet. Es ergaben sich gleiche Modelle für den Feld- und den Hauptversuch, wobei die Items zu den oben genannten Themenbereichen 1 bis 3 als kategoriale latente Prädiktoren für die latenten Ergebnisse (Themenbereiche 4 und 5) bezeichnet werden können. Die Variable 3 (Vertrautheit mit Forschungsmethoden/Statistik) wies eine hierarchische Struktur auf.
Aufgrund der Mehrebenenstruktur (Lehrkräfte in Schulen) wurden Intraklassenkorrelationen (ICCs) überprüft. Für die weiteren Berechnungen wurden die Standardfehler für die Mehrebenenstruktur mittels Mplus korrigiert.
Fehlende Werte wurden durch den WLSMV-Schätzer berücksichtigt und Effektgrößen wurden nach Cohen angegeben (Cohen, 1988; overall R²: .02 = small, .13 = medium, .26 = large; β: .1 = small, .3 = medium, .5 = large).
Die Intraklassenkorrelationen liegen im Feldversuch zwischen .021 und .225 (M = .082) und in der Hauptstudie zwischen .018 und .083 (M = .044).
Die deskriptiven Analysen der drei Prädiktoren (Quellenzugang, wahrgenommener Mangel an Beschaffungskompetenz/Zeit, Vertrautheit mit Forschungsmethoden/Statistik) zeigen ähnliche Ergebnisse im Feldversuch und in der Hauptstudie. Insgesamt fällt auf, dass alle Mittelwerte nahe der Skalenmitte liegen, wenngleich die Standardabweichungen vor allem beim Quellenzugang mit SD = .95 (Feldversuch) bzw. .97 (Hauptstudie) vergleichsweise groß sind. Die Standardabweichung deutet hier darauf hin, dass der Zugang zu wissenschaftlichen Quellen variiert. Während einige Teilnehmende nach eigenen Angaben drei verschiedene Optionen für den Zugang zu Quellen haben, haben andere nur eine Möglichkeit.
Im Folgenden werden jeweils in Klammern die Ergebnisse vom Feldversuch bzw. der Hauptstudie angegeben. Die deskriptiven Ergebnisse der abhängigen Variable Wertschätzung liegen nahe der Skalenmitte (M = 2.70 bzw. 2.68) und zeigen damit keinen eindeutig positiven oder negativen Trend bezüglich der Wertschätzung gegenüber der Bildungsforschung, wenngleich die Standardabweichungen (SD = .56 bzw. SD = .57) auf gewisse Schwankungen bzw. Ausreißer hindeuten. Die deskriptiven Werte hinsichtlich der wahrgenommenen Irrelevanz (M = 2.29 bzw. 2.26) von Forschung zeigen im Vergleich zur Wertschätzung (M = 2.70 bzw. 2.68) in beiden Studienteilen vergleichsweise geringere Mittelwerte, jedoch höhere Standardabweichungen auf (SD = .62 bzw. .64).
Die Strukturgleichungsmodelle zum Feldversuch und zur Hauptstudie ergeben plausible und zu den bestehenden Standards passende Ergebnisse (Brown, 2015 bzw. Berning, 2018):
Im Folgenden werden die Ergebnisse bezüglich der verschiedenen Hypothesen näher erläutert (in Klammern sind jeweils die Zusammenhangmaße vom Feldversuch bzw. der Hauptstudie angegeben).
Hypothese 1
Ein verbesserter Zugang zu wissenschaftlicher Literatur wirkt sich positiv auf die Wertschätzung evidenzbasierter Praxis aus (.21 bzw. .16, Hypothese 1a wird bestätigt). Es lassen sich jedoch keine signifikanten Auswirkungen eines verbesserten Zugangs zu Forschungsliteratur auf die wahrgenommene Irrelevanz von Ergebnissen der Bildungsforschung nachweisen (–.05 bzw. .07, Hypothese 1b wird nicht bestätigt). Ein verbesserter Zugang zu wissenschaftlicher Literatur wirkt sich positiv auf das Selbstvertrauen in Forschungsmethoden/Statistik aus (.26 bzw. .35), was Hypothese 1c bestätigt.
Hypothese 2
Der Zusammenhang eines wahrgenommenen Mangels an Beschaffungskompetenz/Zeit mit der Wertschätzung evidenzbasierter Praxis ist nicht signifikant. Jedoch korreliert der wahrgenommene Mangel an Beschaffungskompetenz/Zeit positiv mit der wahrgenommenen Irrelevanz von Ergebnissen der Bildungsforschung (.40 in beiden Studien bei mittlerer bis großer Effektstärke). Somit wird Teilhypothese 2a verworfen und 2b durch die Ergebnisse bestätigt.
Hypothese 3
Zwischen der Vertrautheit mit Forschungsmethoden/Statistik und der Wertschätzung evidenzbasierter Praxis werden in der Hauptstudie geringe positive Effekte beobachtet, wohingegen die Ergebnisse im Feldversuch nicht signifikant sind (–.04 bzw. .15). Zudem wirkt sich die Vertrautheit mit Forschungsmethodik/Statistik gering bis mittel auf die wahrgenommene Irrelevanz von Forschungsergebnissen aus (–.10 bzw. –.20), wobei lediglich die Ergebnisse der Hauptstudie signifikant sind. Hypothese 3 wird damit teilweise bestätigt.
Die Auswirkungen des Geschlechts auf die verschiedenen Faktoren sind uneinheitlich, wobei eine leichte Tendenz beobachtet werden kann, wonach männliche Lehrkräfte Evidenzbasierung eher weniger wertschätzen und die Irrelevanz von Forschungsergebnissen höher bewerten.
Ergänzend werten Thomm et al. weitere Beziehungen zwischen den verschiedenen Prädiktoren und Variablen aus:
Es besteht eine negative Korrelation des wahrgenommenen Mangels an Beschaffungskompetenz/Zeit mit der Vertrautheit mit Forschungsmethoden/Statistik (–.42 bzw. –.44) sowie mit dem Zugang zu wissenschaftlicher Literatur (–.57 bzw. –.59). Des Weiteren besteht ein großer negativer Zusammenhang zwischen der Wertschätzung evidenzbasierter Praxis und der wahrgenommenen Irrelevanz von Bildungsforschung (–.54 bzw. –.50). Dieses Ergebnis deutet darauf hin, dass die Wertschätzung evidenzbasierter Praxis und die wahrgenommene Irrelevanz von Forschung zwei unterschiedliche Konstrukte beschreiben.
Hintergrund
Nach dem Vorbild der Medizin wurden in Baden-Württemberg in den vergangenen Jahren verstärkt sogenannte Clearinghäuser (z.B. School of Education) als Institutionen der Lehrerbildung installiert und etabliert. Diese Institutionen sollen als Schnittstelle zwischen Forschung und Praxis einen Raum für Kommunikation und Transfer bieten. Wenngleich diese Institutionen im Sinne freiwilliger Angebote vielfältige Möglichkeiten für Lehrkräfte bieten, kann dennoch kein flächen- sowie themendeckender Zugang zur Wissenschaft geboten werden (Seidel et al., 2017). Des Weiteren bleiben Hürden, wie beispielsweise das forschungsbezogene Selbstvertrauen der Lehrkräfte bzw. der zusätzlich wahrgenommene Mangel an Beschaffungskompetenz und Zeit. Bezogen auf frühere Forschungen wird der Beschaffungsfähigkeit sogar die Rolle einer Schlüsselkompetenz beigemessen (Braasch et al., 2018). Auch bleibt hierbei die Veränderung der äußeren Umstände und Beschaffungsmöglichkeiten vom Lehramtsstudium über den Vorbereitungsdienst hin zum Schulalltag zu bedenken. Die Zugangsmöglichkeiten (z.B. Bibliothekszugang an der Universität) sowie auch die Vorauswahl (z.B. durch Dozenten) verändern sich diesbezüglich im Laufe einer Lehrerlaufbahn immens.
Entgegen bisherigen Forschungsergebnissen (z.B. van Schaik et al., 2018) konnte in der hier rezensierten Studie keine auffallend negative Einstellung von Lehrkräften gegenüber evidenzbasierter Praxis beobachtet werden. Auch wird Bildungsforschung nicht als irrelevant eingeschätzt. Interessant hierbei ist vor allem der Zusammenhang zwischen beiden Konstrukten sowie die Überlegung, dass die Wertschätzung und die wahrgenommene Relevanz von Bildungsforschung vermutlich mit individuellen Faktoren (z.B. Selbstvertrauen in forschungsmethodische Kenntnisse) zusammenhängt und damit indirekt auch mit der Forschungsrezeption verbunden sein kann (Rousseau & Gunia, 2016). Zusammenfassend bleibt also anzumerken, dass die rezensierte Studie ihren Beitrag zur Theoriebildung leisten kann, indem sie darauf hinweist, dass sowohl kontextuelle Faktoren (z.B. Quellenzugang) als auch individuelle Merkmale (z.B. Selbstvertrauen in individuelle Fähigkeiten) die Forschungsrezeption beeinflussen können (auch van Schaik et al., 2018).
Design
Die analysierten Daten stammen aus den PISA-Untersuchungen und werden in der rezensierten Studie einer Sekundäranalyse unterzogen. Insofern sind sowohl Anzahl und Formulierung der Items als auch die Stichprobe begrenzt bzw. vorgegeben. Wenngleich die Stichprobe sehr groß ist, besteht sie im vorliegenden Fall lediglich aus Mathematiklehrkräften, bei denen eine gewisse Grundausbildung in Statistik zu erwarten ist. Die Übertragung der erlangten Ergebnisse auf andere Stichproben bleibt damit eingeschränkt bzw. fraglich.
Die Formulierung der Hypothesen und damit die Wahl der verwendeten Prädiktoren basiert auf theoretischen Vorannahmen bzw. früheren Forschungsergebnissen und erscheint plausibel. Die Hypothesen werden gerichtet formuliert. Fraglich ist hierbei, ob eine zweiseitige Hypothesenprüfung nicht sinnvoller wäre, da beispielsweise (Hypothese 1a) eine erhöhte Wertschätzung evidenzbasierter Praxis auch dazu beitragen könnte, dass man sich eher um den Zugang zu Forschungsliteratur bemüht, als wenn keine oder nur geringe Wertschätzung evidenzbasierter Praxis besteht.
Die Itemauswahl bei der Prädiktorvariable „Zugang zu Forschungsliteratur“ basiert auf drei Items, wobei lediglich nach drei verschiedenen Zugangsarten (Originalstudien, Praxisratgeber und Zugänge zu Datenbanken) gefragt wurde. Fraglich bleibt, ob die angenommenen inhaltlichen Zusammenhänge (Hypothese 1a–c) tatsächlich lediglich durch das Vorhandensein eines entsprechenden Quellenzugangs beeinflusst werden, oder ob nicht eher nach der tatsächlichen Verwendung des Zugangs gefragt werden sollte.
Insgesamt ist das methodische Vorgehen jedoch sehr ausführlich und chronologisch nachvollziehbar formuliert, indem beispielsweise auch auf den Umgang mit fehlenden Werten (WLSMV-Schätzer) hingewiesen wird. Auch ist positiv hervorzuheben, dass die Strukturgleichungsmodelle, die anhand der Feldversuch-Daten erstellt wurden, mit Hilfe der Hauptstudie repliziert wurden. Dadurch wird eine Kreuzvalidierung – ein Verfahren zur Kontrolle der Gültigkeit – ermöglicht.
Das Ziel der Studie war es, mögliche Beziehungen zwischen den Prädiktoren und den abhängigen Variablen zu untersuchen. Auf der Grundlage umfänglicher theoretischer Annahmen und empirischer Ergebnisse werden zuerst entsprechende Prädiktoren herausgearbeitet. Die Studienautoren der rezensierten Studie betonen hierbei den explorativen Charakter in Verbindung mit möglichen Einschränkungen hinsichtlich der Interpretation und Formulierung kausaler Aussagen in einem querschnittlichen Studiendesign, wenngleich plausible Zusammenhänge zwischen den Prädiktoren beobachtet werden konnten. Ergänzend wird auch darauf hingewiesen, dass durchaus unentdeckte Wechselbeziehungen bestehen können und hier vertiefte Forschungen nötig seien. Insofern wird in der Studie ein relevanter Forschungsbeitrag geleistet, und ergänzend zu bisherigen Untersuchungen werden vor allem die Zusammenhänge der Bedingungen explizit beleuchtet.
Ergebnisse
Das Autorenteam beantwortet die gestellten Forschungsfragen ausführlich, indem die aufgestellten Hypothesen bestätigt bzw. teilweise widerlegt werden. Einerseits wird die Einstellung von Lehrkräften hinsichtlich Evidenzbasierung und Relevanz von Forschungsergebnissen und andererseits die hierfür entsprechenden Prädiktoren untersucht. Hieraus ergeben sich einige Folgerungen und Implikationen für die Lehrerbildung. Zum Ersten muss der Zugang zu wissenschaftlicher Literatur geöffnet und beworben werden. Zum Zweiten müssen bereits im Lehramtsstudium die Fähigkeiten zum Beschaffen, Lesen und Beurteilen wissenschaftlicher Quellen geschult und aufgebaut werden (z.B. Trempler et al., 2015). Ergänzend sind hierbei Initiativen wie beispielsweise der Forschungsmonitor Schule erwähnenswert, welcher Lehrkräfte dabei unterstützen soll, schulbezogene wissenschaftliche Literatur zu lesen und auf die Praxis (z.B. durch Reflexionsfragen) zu transferieren. Ziel solcher Aktivitäten muss die Förderung und Unterstützung evidenzbasierter Praxis sein.
Bezüglich möglicher Folgeforschungen wäre es hierbei interessant, inwiefern ein verbesserter Zugang sowie ein höheres Selbstvertrauen in die eigenen Fähigkeiten den wahrgenommenen Zeitmangel abmildern würden und somit Forschungsrezeption als weniger belastend wahrnehmen lassen würden.
Institut für Bildungsanalysen (IBBW)
Sie haben Fragen oder Anregungen?