Diagnostische Zielsetzung

Bei diesem Fragebogen handelt es sich um ein theoretisch- und empirisch-basiertes Erhebungsinstrument zur Erfassung digitaler Kompetenzen gemäß DigComp2.1-Referenzrahmen der EU (Carretero, Vuorikari & Punie, 2017), welches 2022 im bundesweiten KaWuM-Survey 2 (siehe www.kawum-online.de) eingesetzt wurde.

Aufbau

Der Fragebogen erfasst mit 15 Items alle fünf Dimensionen (Subskalen) digitaler Kompetenzen gemäß DigComp2.1. Die Subskalen sind (1) Datenverarbeitung/-bewertung, (2) Kommunikation/Kooperation, (3) Erstellen von Inhalten, (4) Sicherheit und (5) Problemlösung. Sie werden auf einer fünfstufigen Antwortskala beantwortet: 1 = in sehr hohem Maße bis 5 = gar nicht.
Zusätzlich wird eine offene Wissenstestfrage gestellt.

Grundlagen und Konstruktion

Die Itemkonstruktion basiert auf eigener Operationalisierung - angelehnt an DigComp2.1-Referenzrahmen der EU (Carretero, Vuorikari & Punie, 2017), sowie (zur Einordnung in kompetenzbereichsübergreifende Diskussion) an das Future-Skills-Paper vom Stifterverband (2018) (Krempkow, 2021; Krempkow & Petri, 2022).
Eine etwas längere Vorversion (20 Items, zzgl. fünf offenen Wissenstestfragen) wurde bereits seit 2019 für Studierendenbefragungen an mehreren großen deutschen Hochschulen über alle Fächergruppen hinweg eingesetzt (auch in englischsprachiger Fassung).
Insgesamt lieferten erste Studien Vergleichsdaten von über 1.200 Wissenschaftsmanager/-innen und über 7.000 Studierenden in Deutschland. Die Reliabilität sowie die Konstrukt- und Kriteriumsvalidität wurden empirisch überprüft.
Es wurde mittels Faktorenanalysen zunächst für die Studierendenbefragungsdaten untersucht, ob sich die Items verschiedenen Dimensionen zuordnen lassen und inwieweit diese den im Referenzrahmen DigComp2.1 postulierten Zuordnungen entsprechen (vgl. Krempkow, Gäde, Hönsch & Boschert, 2022; siehe unter „Validität“).
Für die Befragung des Wissenschaftsmanagements in Deutschland im Rahmen des KaWuM-Survey (vgl. Höhle & Krempkow, 2020, Krempkow, 2022) wurde die hier nachfolgend dokumentierte etwas verkürzte Fragebogenversion entwickelt. Die Streichungen von Items erfolgten mit Hilfe von Faktor- und Reliabilitätsanalysen (vgl. Krempkow, Gäde, Hönsch & Boschert, 2022). Darüber hinaus wurden einige Fragentexte gekürzt bzw. vereinfacht. Die durch die Faktoren erklärte Varianz steigt trotz geringerer Itemzahl etwas (von 69 % auf über 70 %) und beide o.g. Items luden auf ihre nun in DigKomp2.2.de geänderte Dimensionenzuordnung (Problemlösung) wie erwartet am höchsten, womit sich diese auch im KaWuM-Survey bestätigte.
Unabhängig von der Entscheidung für Selbsteinschätzungen wurde zudem bereits in der ersten Pilotierung des Erhebungsinstrumentes mittels Studierendenbefragungen zu ausgewählten Aspekten Testfragen entwickelt, um die Größenordnung z. T. vermuteter Selbstüberschätzungstendenzen zu erfassen. Dem entsprechend wurden zusätzlich (im DigComp2.1 nicht vorgesehene) fünf Freitextfragen zur Erfassung von Wissensbeständen eingesetzt. Die befragten Studierenden wurden hierzu im Anschluss an die betreffende Selbsteinschätzungsfrage gebeten, in einem Freitextfeld [max. 500 Zeichen] jeweils konkret zu nennen:

1. Kriterien, mit denen die Zuverlässigkeit und Glaubwürdigkeit von Informationen aus dem Internet erklärt wird,
   
2. Suchstrategien im Internet, mit denen die Suche an persönliche Bedarfe angepasst wird,
3. Kriterien für starke Passwörter,
   
4. Beispiele dafür, wie man selbst digitale Technologien zur (besseren) Wahrnehmung sozialer Verantwortung anpassen kann.
   
5. Beispiele dafür, wie man selbst digitale Technologien zur (besseren) Wahrnehmung sozialer Inklusion anpassen kann.
   

Im Ergebnis (vgl. u. a. ausführlich Krempkow, Gäde, Hönsch & Boschert, 2022) zeigen sich mit nur zwei der erfragten Aspekte, hinsichtlich derer die Befragten sich demnach überschätzten (2. und 4. Freitextfrage); und zwei, zu denen sie sich relativ realistisch einschätzten (1. und 5. Freitextfrage),1 insgesamt durchmischte Ergebnisse.2 Andererseits erfassen aber auch die Wissens-(Test-)Fragen lediglich (handlungsnahes) Wissen und nicht konkretes Handeln – was allerdings in ähnlicher Weise zugleich für viele Teststudien wie PISA, TIMSS oder andere gilt und damit eine generelle Einschränkung auch für solche Testfragen bedeutet. Die Differenz zwischen Wissens- und Handlungskompetenz wäre zwar potenziell z.B. durch Beobachtungsstudien auflösbar (vgl. für einen solchen Ansatz u. a. Krempkow, Mayweg & Reinecke, 2018), erforderte dann aber noch größeren Ressourceneinsatz.
Für die Befragung des Wissenschaftsmanagements in Deutschland im KaWuM-Survey konnte aus erhebungsökonomischen Gründen nur eine Freitextfrage als Wissenstest eingesetzt werden. Hierfür wurde die Frage nach Suchstrategien im Internet ausgewählt. Denn hier überschätzten sich die Befragten in den zuvor durchgeführten Studierendenbefragungen am deutlichsten.
Im Ergebnis konnten die Freitext-Antworten der befragten Wissenschaftsmanager/-innen mit rund 82 % relativ oft als angemessen eingestuft werden. Dies entspricht den Erwartungen, da fast alle KaWuM-Befragten ein abgeschlossenes Studium aufweisen. Die Befragten überschätzen sich insgesamt außerdem nur in relativ geringem Ausmaß: 93.6 % gaben in der vorangegangenen Selbsteinschätzungsfrage zu diesem Aspekt an, dies treffe (mindestens teilweise) zu. Damit ergibt sich hier zwar eine ähnliche Tendenz wie in den Auswertungen derselben Frage bei Studierenden (69 % angemessen vs. 89 % zutreffend), allerdings bei den KaWuM-Daten mit deutlich geringerer Selbstüberschätzung. Da wir bewusst die Frage zu Suchstrategien auswählten, weil sich hier in den zuvor durchgeführten Studierendenbefragungen die stärkste Überschätzung fand, kann für die anderen zuvor per Wissenstest überprüften Fragen von geringeren bis keinen Selbstüberschätzungseffekten ausgegangen werden.

Empirische Prüfung und Gütekriterien

Reliabilität: Zur Überprüfung der Reliabilität wurde die interne Konsistenz berechnet. Cronbachs Alpha lag über Alpha = .80 für alle Subskalen.
Validität: Die Überprüfung der Validität erfolgte in zwei Schritten: 1.) Zur Überprüfung der Konstruktvalidität wurden Faktorenanalysen berechnet (vgl. Krempkow, Gäde, Hönsch & Boschert, 2022). Im Ergebnis dieser Faktorenanalysen3 entsprachen drei von fünf Dimensionen den in DigComp2.1 postulierten Zuordnungen (Datenverarbeitung/-bewertung, Kommunikation/Ko-operation, Erstellen von Inhalten). Bei den übrigen beiden Dimensionen (Sicherheit und Problemlösung) ließ sich zwar der Großteil der Items klar den postulierten Dimensionen zuordnen, aber nicht alle: Dies betraf zwei Items (das zur Wahrnehmung sozialer Verantwortung, sowie das zum angemessensten Umgang mit I&K-Technologien, um Gesundheitsprobleme zu vermeiden), welche durch die Faktorenanalyse beide empirisch etwas stärker der Dimension Problemlösung zugeordnet werden (und nicht wie in DigComp2.1 der Dimension Sicherheit).
2.) Darüber hinaus erfolgten in einem kleineren Sample (vgl. Krempkow & Petri, 2022) erste Analysen zu Zusammenhängen digitaler Kompetenzen mit dem Studienerfolg. Hierbei zeigte sich, dass digitale Kompetenzen mit dem Studienerfolg signifikant in Zusammenhang stehen. Dies kann ebenfalls als Hinweis auf die Relevanz der erhobenen digitalen Kompetenzen (für die Hochschullehre) angesehen werden.
Normen: In der Tabelle 1 werden Mittelwerte und Standardabweichungen als Referenzwerte angegeben.

Tabelle 1
Mittelwerte (M) und Standardabweichungen (SD) der Kurzform (modifiziert nach Krempkow, 2022, S. 11)

Testkonzept

Items

Digitale Kompetenzen: Im Folgenden geht es um die Einschätzung Ihrer Fähigkeiten im Umgang mit digitalen Medien und Technologien gemäß Referenzrahmen digitale Kompetenzen der EU (DigComp2.1).

Inwieweit sind die folgenden Fähigkeiten bei Ihnen gegenwärtig ausgeprägt?

Datenverarbeitung und -bewertung:
Ich kann…
... fortgeschrittene Suchstrategien anwenden, um eine Suchanfrage im Internet einzugrenzen
… mittels Kriterien die Zuverlässigkeit von Informationen aus dem Internet erklären
… Suchstrategien im Internet an meinen persönlichen Bedarf anpassen
Welche Suchstrategien verwenden Sie hierfür? ………………………………………………….

Kommunikation/Kooperation:
Ich kann…
… unterscheiden, welche Tools geeignet sind, Inhalte gemeinsam zu erstellen/zu verwalten
… unvorhergesehene Schwierigkeiten bei der Nutzung von Kommunikations-Tools bewältigen

Erstellen von Inhalten:
Ich kann…
… fortgeschrittene Formatierungsfunktionen anwenden (z.B. Serienbriefe, Makros, usw.).
… wissen, wie man Lizenzen und Copyrights anwendet
… bei einer speziellen Aufgabe die angemessenste (Bedienungs-)Anleitung für ein Computertool bestimmen

Sicherheit:
Ich kann …
… Sicherheitseinstellungen meiner digitalen Geräte konfigurieren/ändern
… Sicherheitsrisiken in verschiedenen digitalen Umgebungen unterscheiden
… in digitalen Umgebungen den angemessensten Weg zum Schutz der Privatsphäre bestimmen

Problemlösung:
Ich kann …
… in digitalen Umgebungen Gesundheitsprobleme (physisch und psychisch) vermeiden
… die richtige Anwendung mich und für andere zur Lösung eines Problems auswählen
… Weiterentwicklungsbedarf digitaler Kompetenzen für mich oder eine andere Person bestimmen
… digitale Technologien/Services zur besseren Wahrnehmung sozialer Verantwortung anpassen

Durchführung

Altersbereiche

Der Fragebogen wurde für Erwachsene konzipiert. Darüber hinaus gibt es keine altersmäßigen Einschränkungen. Er wurde bereits für im Wissenschaftsmanagement tätige Personen aller Altersgruppen eingesetzt, sowie in einer Vorversion auch für Studierende aller Altersgruppen (inkl. Seniorstudierende).

Durchführungszeit

Es gibt keine vorgegebene Durchführungszeit. Die Bearbeitungszeit beträgt etwa 5-7 Minuten (erfahrungsbasiert).

Bewertung

Als bestehende Limitationen des gegenwärtigen Standes sind zu nennen: Mit den verfügbaren Ressourcen waren (und sind) in größerem Maßstab nur Selbsteinschätzungen erhebungsökonomisch erfassbar und auswertbar. Die Entwicklung und Umsetzung von Testinstrumenten für eine Kompetenzmessung wäre wesentlich aufwendiger – vgl. z. B. KoKoHS-Förderschwerpunkt des BMBF, wo in mehr als drei Dutzend Projekten Testentwicklungen erfolg(t)en. Allerdings bearbeitet nur eines der KoKoHS-Projekte explizit fächerübergreifende (kommunikative) Kompetenzen und auch dies eher grundlagenforschungsorientiert (vgl. z. B. Braun, Athanassiou, Pollerhof, & Schwabe, 2018). Bei den daher bislang notwendigerweise hier zu verwendenden Selbsteinschätzungen sind zwar zumindest bei Studierenden zu einigen Aspekten Selbstüberschätzungen zu erwarten (vgl. z. B. Ihme & Senkbeil, 2017). Dennoch sind diese Verfahren trotz zu berücksichtigender Schwächen „durchaus geeignet, um einen groben Trend […] zu erfassen“ (Schaper, 2012, S. 79).
Bei allen notwendigerweise zu berücksichtigenden methodischen Limitationen ist bezüglich der inhaltlichen Aussagekraft festzuhalten, dass sich auch bei den Wissens-(Test-)Fragen bestimmte Aspekte wie die zur sozialen Verantwortung und Inklusion (ähnlich wie bei den Selbsteinschätzungsfragen) als mit besonders großer Unsicherheit behaftete Aspekte herausstellten und diese somit künftig stärker in den Fokus von Fördermaßnahmen rücken sollten.
Insgesamt spiegeln die Selbsteinschätzungen die (handlungsleitende) Selbstwahrnehmung in der groben Tendenz korrekt wider (vgl. auch Schaper, 2012) und können daher dort, wo sie (selbst-)kritisch ausfallen, durchaus deren Unsicherheiten (hier: im Umgang mit digitalen Umgebungen) aufdecken, wo sie sich daher kein Handeln „unter vollständiger eigener Kontrolle“ i.S. „digitaler Souveränität“ (Blossfeld et al., 2018) zutrauen. Diese Unsicherheit zu kennen, wäre ein wichtiger Ansatzpunkt, um sie in Überlegungen verstärkter Förderung digitaler Kompetenzen bzw. bei der Konzeption von (Weiterbildungs-)Maßnahmen einzubeziehen.

Erstmals publiziert in:

• Krempkow, R. (2021). Wie digital kompetent sind Studierende? Ein Konzept und Erhebungsinstrument zur Erfassung digitaler und fächerübergreifender Kompetenzen. Qualität in der Wissenschaft (QiW), 15 (1), 22-29.

Literatur

• Blossfeld, H. P., Bos, W., Daniel, H. D., Hannover, B., Köller, O., Lenzen, D., ... & Wößmann, L. (2018). Digitale Souveränität und Bildung. Gutachten. Münster: Waxmann. PSYNDEX Dok.-Nr. 0386619

• Braun, E., Athanassiou, G., Pollerhof, K., & Schwabe, U. (2018). Wie lassen sich kommunikative Kompetenzen messen? - Konzeption einer kompetenzorientierten Prüfung kommunikativer Fähigkeiten von Studierenden. Beiträge zur Hochschulforschung, 40 (2), 34-55.

• Carretero, S., Vuorikari, R., & Punie, Y. (2017). DigComp 2.1 The Digital Competence Framework for Citizens. Science for Policy Report by the Joint Research Centre (JRC). Luxembourg: Office of the European Union.

• Höhle, E., & Krempkow, R. (2020). Die Prüfung der Datenqualität bei einer heterogenen, teilweise unbestimmten Befragtengruppe. Qualität in der Wissenschaft (QiW), 14 (2), 50-60. (Online verfügbar unter https://www.researchgate.net/publication/342987779)

• Hornbostel, S. (2001). Hochschulranking: Beliebigkeit oder konsistente Beurteilungen? Rankings, Expertengruppen und Indikatoren im Vergleich. In D. Müller-Böling, S. Hornbostel & S. Berghoff (Hrsg.), Hochschulranking - Aussagefähigkeit, Methoden, Probleme (S. 7-41). Gütersloh: Bertelsmann.

• Huber, L. (2016). „Studium Generale“ oder „Schlüsselqualifikationen“? Ein Orientierungsversuch im Feld der Hochschulbildung. In U. Konnertz & S. Mühleisen (Hrsg.), Bildung und Schlüsselqualifikationen. Zur Rolle der Schlüsselqualifikationen an den Universitäten (S. 101-122). Frankfurt a.M.: Peter Lang.

• Ihme, J. M., & Senkbeil, M. (2017). Warum können Jugendliche ihre eigenen computerbezogenen Kompetenzen nicht realistisch einschätzen? Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 49 (1), 24-37.

• Janschitz, G., Monitzer, S., Slepcevic-Zach, P., Dreisiebner, G., Stock, M., & Kopp, M. (2019). Analyse und Förderung des Erwerbs digitaler Kompetenzen von Studierenden (DiKoS). In A. Ostendorfer, M. Thoma & H. Welte (Hrsg.), Beiträge zum 13. Österreichischen Wirtschaftspädagogik-Kongress. bwp@ Spezial AT-2, 1-24.

• Krempkow, R. (2007). Leistungsbewertung, Leistungsanreize und die Qualität der Hochschullehre. Konzepte, Kriterien und ihre Akzeptanz. Bielefeld: Universitätsverlag Webler.

• Krempkow, R. (2021). Wie digital kompetent sind Studierende? Ein Konzept und Erhebungsinstrument zur Erfassung digitaler und fächerübergreifender Kompetenzen. Qualität in der Wissenschaft (QiW), 15 (1), 22-29. (Online verfügbar unter https://www.researchgate.net/publication/354656071)

• Krempkow, R. (2022). Was kennzeichnet das Wissenschafts- und Hochschulmanagement? Ausgewählte Ergebnisse aus dem „KaWuM“-Survey. Beitrag zum Online-Transfer-Workshop 3 „Hochschulpolitik“ des Verbundes „Karrierewege und Qualifikationsanforderungen im Wissenschafts- und Hochschul-Management – KaWuM, 8.3.2022, Berlin/Bremen/Speyer.

• Krempkow, R., Gäde, M., Hönsch, A. & Boschert, C. (2022). Digitale Kompetenzen von Studierenden auf dem Prüfstand. Analysen zur Zuverlässigkeit der Erfassung digitaler Kompetenzen. Qualität in der Wissenschaft (QiW), 16 (1), 20-28. (Online verfügbar unter https://www.researchgate.net/publication/359577992)

• Krempkow, R., Mayweg, E. & Reinecke, K. (2018). Improving Teaching and Learning and the Evaluation of Effects. Presentation at the EAIR – The European Higher Education Society 40th Annual Forum 2018, Central European University, Budapest. (Online verfügbar unter https://www.researchgate.net/publication/327581604)

• Krempkow, R., & Petri, P. S. (2022). Digital competences of students: How they are assessed and what they can contribute to study success. In B. Broucker, C. Milsom, R. Pritchard, & R. Krempkow (Eds.), Transformation fast and slow: Quality, trust and digitalisation in higher education (pp. 29-53). Amsterdam: Brill. (Online verfügbar unter https://www.researchgate.net/publication/361162849)

• Rindermann, H. (2001). Lehrevaluation - Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen. Landau: Empirische Pädagogik. PSYNDEX Dok.-Nr. 0144762

• Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. ausgearbeitet für die HRK von Niclas Schaper, unter Mitwirkung von Oliver Reis und Johannes Wildt sowie Eva Horvath und Elena Bender. (Online verfügbar unter www.hrk-nexus.de/fachgutachten_kompetenzorientierung/)

• Stifterverband. (2018). Future Skills: Welche Kompetenzen in Deutschland fehlen. Discussion Paper. (Online verfügbar unter: www.stifterverband.org/download/file/fid/6360)

Wichtige neuere Publikationen

• Carretero, S., Vuorikari, R. & Punie, Y. (2017). DigComp 2.1 The Digital Competence Framework for Citizens. Science for Policy Report by the Joint Research Centre (JRC). Luxembourg: Office of the European Union.

Downloads

• Fragebogen DigKomp2.2.de [PDF]
• Verfahrensdokumentation DigKomp2.2.de [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen