Diagnostische Zielsetzung

Der „Fragebogen zur Erfassung studentischer Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium“ (BmLL; Henning-Kahmann & Hellmann, 2023) kann eingesetzt werden, um die aus wahrgenommenen Kompetenzdefiziten hervorgehenden, individuellen Bedarfe von Studierenden hinsichtlich des Erwerbs bzw. der Vertiefung medienbezogener Lehrkompetenzen im Rahmen ihres Lehramtsstudiums zu erfassen. Dabei sind medienbezogene Lehrkompetenzen definiert als jene pädagogisch-didaktischen Kompetenzen von Lehrkräften, derer es zur Gestaltung von mediengestütztem Unterricht und zur Förderung des Lernens von Schülerinnen und Schülern in digitalen Settings bedarf.

Aufbau

Der Fragebogen umfasst insgesamt 19 Items mit einer fünfstufigen Likert-Skala, die den folgenden fünf Skalen zugeordnet werden: (1) Planung (k = 3 Items), (2) Entwicklung (k = 6 Items), (3) Realisierung (k = 5 Items), (4) Evaluation (k = 2 Items), (5) Sharing (k = 3 Items). Den Items ist der Satz „Ich habe einen persönlichen Bedarf, die folgenden Lehrkompetenzen im Rahmen meines Studiums zu erwerben bzw. zu vertiefen:“ vorangestellt. Zur Auswertung wird für jede der fünf Skalen das arithmetische Mittel gebildet.

Grundlagen und Konstruktion

Der Fragebogen basiert auf der Klassischen Testtheorie. Als theoretische Grundlage diente das heuristische Rahmenmodell medienbezogener Kernkompetenzen von Lehrkräften (FLDCB, 2017). Im Rahmen konfirmatorischer Faktorenanalysen wurde die Dimensionalität des Instruments mittels des „detection of misspecification“-Ansatzes (Saris et al., 2009) untersucht und dessen Reliabilität einer erweiterten Prüfung unterzogen. Basierend auf einer Vorstudie (N = 254) wurden zunächst einige Items überarbeitet. Die Überprüfung des revidierten Instruments in der Hauptstudie (N = 232) ergab ein fünffaktorielles Modell mit den Dimensionen Planung, Entwicklung, Realisierung, Evaluation und Sharing. Zudem konnte durch ein Bifaktor-(S-1)-Modell gezeigt werden, dass ein übergeordneter Generalfaktor nicht ausreichend zur Varianzaufklärung beiträgt und statt eines Gesamttestwerts die einzelnen, reliablen Subskalenwerte verwendet werden sollten.

Empirische Prüfung und Gütekriterien

Reliabilität: Die modellbasierten Reliabilitätsschätzungen nach Omega fallen für die einzelnen Skalen mit Werten von ω = .85 (Planung), ω = .86 (Entwicklung), ω = .75 (Realisierung), ω = .70 (Evaluation) sowie ω = .74 (Sharing) hinreichend bis hoch aus.
Validität: Die Überprüfung des (revidierten) Instruments ergab ein fünffaktorielles Modell mit substanziellen bis hohen Faktorladungen sowie keinen Fehlspezifikationen und zeigte, dass sich die individuellen Bedarfe bezüglich medienbezogener Lehrkompetenzen mit Hilfe der entsprechenden Dimensionen (Planung, Entwicklung, Realisierung, Evaluation, Sharing) differenzieren lassen. Die Faktoren zeigten mit Werten von r = .44 bis r = .82 untereinander mittlere bis hohe signifikante Korrelationen. Dabei lag die Mehrzahl der Zusammenhänge klar unterhalb der Werte (.80 -.85), ab denen man von einer (zu) geringen diskriminanten Validität ausgeht (Brown, 2015). Auch trug ein übergeordneter Generalfaktor in einem Bifaktor-(S-1)-Modell nicht ausreichend zur Varianzaufklärung bei, was für die Validität der einzelnen Skalen spricht. Zudem erwies sich der direkt erfragte Wunsch nach einer besseren Vorbereitung auf den Einsatz von digitalen Medien im Unterricht als signifikanter Prädiktor für alle Bedarfsdimensionen mit teils mittleren Effekten, was als ein erster Hinweis auf die konvergente Validität des Instruments betrachtet werden kann.
Normen: Eine Testnormierung liegt bislang nicht vor. Die empirischen Mittelwerte der Hauptstudie lagen für „Planung“ zwischen 4.31 (SD = 0.89) und 4.47 (SD = 0.80), für „Entwicklung“ zwischen 4.10 (SD = 0.98) und 4.40 (SD = 0.95), für „Realisierung“ zwischen 3.88 (SD = 0.95) und 4.38 (SD = 0.82), für „Evaluation“ zwischen 3.89 (SD = 0.96) und 3.93 (SD = 0.99) und für „Sharing“ zwischen 3.88 (SD = 1.00) und 4.17 (SD = 0.94).

Testkonzept

Theoretischer Hintergrund

Um Schülerinnen und Schüler beim Erwerb erforderlicher Kompetenzen für den Umgang mit neuen, digitalen Technologien bzw. Medien adäquat zu unterstützen und diese lernförderlich im Unterricht einzusetzen, benötigen Lehrkräfte nicht nur eigene Medienkompetenzen, sondern insbesondere medienbezogene Lehrkompetenzen.
Der Fragebogen dient der Erfassung studentischer, selbsteingeschätzter Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium. Er basiert auf einem heuristischen Rahmenmodell medienbezogener Kernkompetenzen von Lehrkräften (Forschungsgruppe Lehrerbildung Digitaler Campus Bayern [FLDCB], 2017), das medienbezogene Lehrkompetenzen explizit als Teildimensionen von Problemlöseprozessen definiert und somit einer stärker kompetenzorientierten Handlungskomponente - im Vergleich zu einer Wissenskomponente (z. B. TPACK) - zuordnet. Unter Bezug auf die aktionalen Facetten des Rubikon-Modells der Handlungsphasen (Achtziger & Gollwitzer, 2018) lassen sich die 19 medienbezogenen Lehrkompetenzen in verschiedene Phasen unterrichtsbezogenen Handelns einteilen. Ziel war es, ein Instrument zur Verfügung zu stellen, das es ermöglicht, die aus wahrgenommenen Kompetenzdefiziten hervorgehenden, individuellen Bedarfe Studierender an medienbezogenen Lehrkompetenzen umfassend und reliabel zu erfassen.

Testaufbau

Der Fragebogen umfasst insgesamt 19 Items, die den folgenden fünf Skalen zugeordnet werden:
(1) Planung (PL; z. B. „Planung des Einsatzes digitaler Medien gemäß ihres didaktischen Mehr- bzw. Eigenwerts“)
(2) Entwicklung (EN; z. B. „Einbezug medialer Erfahrungen der Schülerinnen und Schüler“)
(3) Realisierung (RE; z. B. „Entwicklung bzw. Einsatz von Lösungen für typische medientechnische Probleme im Unterricht“)
(4) Evaluation (EV; z. B. „Sammlung und Auswertung von Informationen zu Lernprozessen und Lernerfolgen der Schülerinnen und Schüler beim Einsatz digitaler Medien“)
(5) Sharing (SH; z. B. „Kommunikation und Weitergabe digitaler Lehr-Lern-Szenarien im Rahmen kollegialer Kooperation“)
Den Items ist der Satz „Ich habe einen persönlichen Bedarf, die folgenden Lehrkompetenzen im Rahmen meines Studiums zu erwerben bzw. zu vertiefen:“ vorangestellt. Die Beantwortung der Items erfolgt über eine Likert-Typ-Skala mit fünf voll verbalisierten Antwortkategorien in aufsteigender Skalenorientierung (stimme nicht zu – stimme eher nicht zu – teils, teils – stimme eher zu – stimme zu) und eine zusätzliche – visuell abgehobene – nicht-inhaltliche DK-Kategorie ("Don't Know"-Kategorie; Menold & Bogner, 2015), die mit „halte ich nicht für relevant“ beschriftet ist.

Auswertungsmodus

Die Itemrohwerte für die einzelnen Skalen werden aufsummiert und es wird jeweils ein Mittelwert berechnet.

Auswertungshilfen

Aufgrund der einfachen Mittelwertberechnung finden sich unter „Normierung“ Referenzwerte (Mittelwert und SD).

Auswertungszeit

Für die Auswertung werden ca. 10 Minuten benötigt.

Itembeispiele

PL1: „Planung des Einsatzes digitaler Medien gemäß ihres didaktischen Mehr- bzw. Eigenwerts“
EN2: „Einbezug medialer Erfahrungen der Schülerinnen und Schüler“
RE4: „Entwicklung bzw. Einsatz von Lösungen für typische medientechnische Probleme im Unterricht“
EV1: „Sammlung und Auswertung von Informationen zu Lernprozessen und Lernerfolgen der Schülerinnen und Schüler beim Einsatz digitaler Medien“
SH2: „Kommunikation und Weitergabe digitaler Lehr-Lern-Szenarien im Rahmen kollegialer Kooperation“

Items

Anmerkung: Den Items ist der Satz „Ich habe einen persönlichen Bedarf, die folgenden Lehrkompetenzen im Rahmen meines Studiums zu erwerben bzw. zu vertiefen:“ vorangestellt.

Planung (PL):
PL1. Planung des Einsatzes digitaler Medien gemäß ihres didaktischen Mehr- bzw. Eigenwerts
PL2. Vorbereitung und Gestaltung mediengestützter Lehr-Lern-Szenarien
PL3. Identifikation und Einbindung von geeigneter Software bzw. medientechnischen Optionen zur Gestaltung digitaler Lehr-Lern-Szenarien

Entwicklung (EN):
EN1. Ermöglichung von selbstbestimmter, kreativer und eigenaktiver Mediennutzung der Schülerinnen und Schüler innerhalb digitaler Lehr-Lern-Arrangements
EN2. Einbezug medialer Erfahrungen der Schülerinnen und Schüler
EN3. Kenntnis und Beachtung medienrechtlicher und -ethischer Konzepte
EN4. Berücksichtigung motivationaler und emotionaler Faktoren der Schülerinnen und Schüler beim Umgang mit digitalen Medien
EN5. Entwicklung von Lehr-Lern-Szenarien zur Förderung der Reflexionsfähigkeit von Schülerinnen und Schülern über digitale Medien
EN6. Planung und Gestaltung von Lehr-Lern-Arrangements zur Förderung von Selbststeuerungskompetenzen der Schülerinnen und Schüler im Umgang mit digitalen Medien

Realisierung (RE):
RE1. Diagnose der aktuellen Medienkompetenzen der Schülerinnen und Schüler
RE2. Feststellung der Effizienz und Effektivität digitaler Lehr-Lern-Arrangements
RE3. Förderung von Lernprozessen der Schülerinnen und Schüler (bei Nutzung digitaler Medien) durch adaptive Unterstützung
RE4. Entwicklung bzw. Einsatz von Lösungen für typische medientechnische Probleme im Unterricht
RE5. Erkennen von und angemessener Umgang mit medienbezogenen Verhaltensproblemen der Schülerinnen und Schüler

Evaluation (EV):
EV1. Sammlung und Auswertung von Informationen zu Lernprozessen und Lernerfolgen der Schülerinnen und Schüler beim Einsatz digitaler Medien
EV2. Reflexion des Einsatzes digitaler Medien im Unterricht vor dem Hintergrund wissenschaftlicher Erkenntnisse und fachlicher Konzepte

Sharing (SH):
SH1. Strukturierte Beschreibung (von Zielen, Durchführung, Erfahrungen) digitaler Lehr-Lern-Szenarien
SH2. Kommunikation und Weitergabe digitaler Lehr-Lern-Szenarien im Rahmen kollegialer Kooperation
SH3. Recherche, Beurteilung und Adaption fremder digitaler Lehr-Lern-Szenarien

Durchführung

Testformen

Das Verfahren kann papierbasiert oder online administriert werden.

Altersbereiche

Der Fragebogen wurde für angehende Lehrkräfte konzipiert.

Durchführungszeit

Die Dauer der Testung beträgt ca. 10 Minuten.

Material

Neben dem Fragebogen und der Verfahrensdokumentation als Manual werden keine weiteren Unterlagen benötigt bzw. zum Download bereitgestellt.

Instruktion

Auf dem Fragebogen ist folgende Instruktion abgedruckt:
„Für das Unterrichten in einer digitalisierten Welt benötigen Lehrkräfte verschiedene medienbezogene Lehrkompetenzen. Im Folgenden finden Sie eine Auflistung solcher Lehrkompetenzen, eingeteilt in verschiedene Phasen unterrichtlichen Handelns (I bis V).
Über manche dieser Lehrkompetenzen verfügen Sie ggf. bereits, andere hingegen möchten Sie im Rahmen Ihres Studiums eventuell noch erwerben bzw. weiter vertiefen. Wir würden daher gerne erfahren, welchen konkreten persönlichen Bedarf Sie – ausgehend von Ihrem aktuellen Kompetenzstand – an verschiedenen medienbezogenen Lehrkompetenzen haben.

Wählen Sie dazu zunächst eines Ihrer Studienfächer (z. B. Mathematik, jedoch nicht Erziehungs-/Bildungswissenschaften!), auf das Sie sich bei Ihren Angaben beziehen.
Für die folgenden Aussagen beziehe ich mich auf das Studienfach _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ .

Bitte geben Sie nun für alle der folgenden Lehrkompetenzen Ihren persönlichen Bedarf an, diese im (weiteren) Verlauf Ihres Studiums zu erwerben bzw. weiter zu vertiefen.“

Durchführungsvoraussetzungen

Es gibt keine speziellen Durchführungsvoraussetzungen.

Testkonstruktion

Die Testkonstruktion basiert auf der Klassischen Testtheorie. In einem ersten Schritt wurden die 19 medienbezogenen Lehrkompetenzen des heuristischen Rahmenmodells (FLDCB, 2017) in Items überführt und sprachlich adaptiert. Die entwickelten Items wurden in einer Vorstudie mit N = 254 Lehramtsstudierenden pilotiert und die Dimensionalität des Instruments im Rahmen konfirmatorischer Faktorenanalysen mittels des „detection of misspecification“-Ansatzes (Saris, Satorra & van der Veld, 2009) untersucht. Die dadurch aufgedeckten, erforderlichen Modifikationen am Modell führten zur Überarbeitung mehrerer Items, die jedoch ausschließlich sprachliche Präzisierungen und keine Änderungen der Iteminhalte umfasste. Die Überprüfung des revidierten Instruments in der Hauptstudie (N = 232) ergab ein fünffaktorielles Modell und zeigte, dass sich die individuellen Bedarfe bezüglich medienbezogener Lehrkompetenzen mit Hilfe der entsprechenden Dimensionen (Planung, Entwicklung, Realisierung, Evaluation, Sharing) differenzieren lassen. Zudem konnte durch ein Bifaktor-(S-1)-Modell gezeigt werden, dass ein übergeordneter Generalfaktor nicht ausreichend zur Varianzaufklärung beiträgt und statt eines Gesamttestwerts die einzelnen, reliablen Subskalenwerte verwendet werden sollten.

Gütekriterien

Objektivität

Aufgrund der standardisierten Durchführung und Auswertung kann entsprechende Objektivität angenommen werden. Die Interpretation kann auf die angeführten Referenzwerte Bezug nehmen.

Reliabilität

Die modellbasierten Reliabilitätsschätzungen nach Omega fallen für die einzelnen Skalen mit Werten von ω = .85 (Planung), ω = .86 (Entwicklung), ω = .75 (Realisierung), ω = .70 (Evaluation) sowie ω = .74 (Sharing) hinreichend bis hoch aus.

Validität

Die Überprüfung des (revidierten) Instruments ergab ein fünffaktorielles Modell mit substanziellen bis hohen Faktorladungen sowie keinen Fehlspezifikationen und zeigte, dass sich die individuellen Bedarfe bezüglich medienbezogener Lehrkompetenzen mit Hilfe der entsprechenden Dimensionen (Planung, Entwicklung, Realisierung, Evaluation, Sharing) differenzieren lassen. Die Faktoren zeigten mit Werten von r = .44 bis r = .82 untereinander mittlere bis hohe signifikante Korrelationen. Dabei lag die Mehrzahl der Zusammenhänge klar unterhalb der Werte (.80 – .85), ab denen man von einer (zu) geringen diskriminanten Validität ausgeht (Brown, 2015). Auch trug ein übergeordneter Generalfaktor in einem Bifaktor-(S-1)-Modell nicht ausreichend zur Varianzaufklärung bei, was für die Validität der einzelnen Skalen spricht. Zudem erwies sich der direkt erfragte Wunsch nach einer besseren Vorbereitung auf den Einsatz von digitalen Medien im Unterricht als signifikanter Prädiktor für alle Bedarfsdimensionen mit teils mittleren Effekten, was als ein erster Hinweis auf die konvergente Validität des Instruments betrachtet werden kann.

Normierung

Eine Testnormierung liegt bislang nicht vor. Die empirischen Mittelwerte (Minimum und Maximum) der Hauptstudie lagen für „Planung“ zwischen M = 4.31 (SD = 0.89) und M = 4.47 (SD = 0.80), für „Entwicklung“ zwischen M = 4.10 (SD = 0.98) und M = 4.40 (SD = 0.95), für „Realisierung“ zwischen M = 3.88 (SD = 0.95) und M = 4.38 (SD = 0.82), für „Evaluation“ zwischen M = 3.89 (SD = 0.96) und M = 3.93 (SD = 0.99) und für „Sharing“ zwischen M = 3.88 (SD = 1.00) und M = 4.17 (SD = 0.94). Diese wurden 2021 an N = 232 Studentinnen und Studenten (87 % weiblich) gewonnen.

Anwendungsmöglichkeiten

Zu den Anwendungsbereichen des BmLL zählen Forschung und Hochschulentwicklung: Der Fragebogen eröffnet die Möglichkeit, selbsteingeschätzte Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium im Rahmen unterschiedlicher Hochschul- und Forschungskontexte reliabel und ökonomisch zu erfassen. Die gewonnenen Ergebnisse können in einem nächsten Schritt zur passgenaueren Ausgestaltung hochschulischer Lehr-Lern-Angebote für Studierende sowie weitere Forschung genutzt werden.

Bewertung

Das Instrument bietet eine Möglichkeit, selbsteingeschätzte Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium reliabel und ökonomisch zu erfassen, wodurch sich verschiedenste Anwendungsszenarien im Hochschul- und Forschungskontext eröffnen. Ein wesentlicher Vorteil ist dabei, dass man über die selbsteingeschätzten Defizite auch Informationen bezüglich der wahrgenommenen Relevanz der jeweiligen Kompetenzen erhält, da ein geäußerter individueller Bedarf stets impliziert, dass der (teils) als defizitär wahrgenommenen Kompetenz von den Befragten ein gewisses Maß an Bedeutsamkeit zugeschrieben wird. Diese subjektiv wahrgenommene Relevanz stellt v. a. für mögliche Fördermaßnahmen einen wichtigen Aspekt dar.
Limitationen ergeben sich zum einen aus der bisher noch geringen Einbindung in ein nomologisches Netzwerk, das (weitere) Belege für die Validität des Verfahrens liefern sollte. Zum anderen können aufgrund des fehlenden Nachweises der Messäquivalenz /-invarianz des Instruments sowie der eingeschränkten Repräsentativität der verwendeten Stichproben noch keine validen Gruppenvergleiche, z. B. in und/oder zwischen Hochschulen, vorgenommen werden.

Erstmals publiziert in:

• Henning-Kahmann, J. & Hellmann, K. (2023). Entwicklung und Überprüfung eines Fragebogens zur Erfassung studentischer Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium. Zeitschrift für Pädagogische Psychologie, 1-14. PSYNDEX Dok.-Nr. 0406053

Literatur

• Achtziger, A. & Gollwitzer, P. M. (2018). Motivation und Volition im Handlungsverlauf. In J. Heckhausen & H. Heckhausen (Hrsg.), Motivation und Handeln (5. Auflage, S. 355-388). Berlin: Springer. https://doi.org/10.1007/978-3-662-53927-9_12 PSYNDEX Dok.-Nr. 0340766

• Brown, T. A. (2015). Confirmatory factor analysis for applied research (2nd ed.). New York: Guilford Press.

• Forschungsgruppe Lehrerbildung Digitaler Campus Bayern. (2017). Kernkompetenzen von Lehrkräften für das Unterrichten in einer digitalisierten Welt. Merz Medien + Erziehung, Zeitschrift für Medienpädagogik, 4, 65-74.

• Henning-Kahmann, J. & Hellmann, K. (2023). Entwicklung und Überprüfung eines Fragebogens zur Erfassung studentischer Bedarfe an medienbezogenen Lehrkompetenzen im Lehramtsstudium. Zeitschrift für Pädagogische Psychologie, 1-14. https://doi.org/10.1024/1010-0652/a000358 PSYNDEX Dok.-Nr. 0406053

• Menold, N. & Bogner, K. (2015). Gestaltung von Ratingskalen in Fragebögen (GESIS Survey Guidelines). Mannheim: GESIS – Leibniz-Institut für Sozialwissenschaften. https://doi.org/10.15465/sdm-sg_015

• Saris, W. E., Satorra, A. & van der Veld, W. M. (2009). Testing structural equation models or detection of misspecifications? Structural Equation Modeling: A Multidisciplinary Journal, 16(4), 561–582. https://doi.org/10.1080/10705510903203433

Downloads

• Fragebogen BmLL [PDF]
• Verfahrensdokumentation BmLL [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen