Diagnostische Zielsetzung

Das IEBL dient der subjektiven Evaluation von Blended Learning-Lehrveranstaltungen, die sich durch die Kombination von Online- und Präsenzlehre auszeichnen. Das Ziel ist es, über Gesamtbewertungen herkömmlicher Instrumente zur Lehrevaluation hinaus zu erfassen, inwieweit die Umsetzung der Online- und Präsenzanteile gelungen ist und inwieweit aus Sicht der Teilnehmenden an der Veranstaltung die jeweiligen Vorteile der beiden Komponenten zum Tragen gekommen sind.

Aufbau

Das Inventar umfasst insgesamt acht Skalen und 46 Items. Dabei dienen die einzelnen Skalen zur Evaluation von Lehrveranstaltungen im Ganzen (Skalen "Allgemeiner Nutzen", "Didaktische Qualität" und "Angemessenheit der Beanspruchung"), zur Evaluation der Onlineanteile (Skalen "Akzeptanz der Onlinelehre", "Fehlender sozialer Austausch" und "Nutzerfreundlichkeit") sowie zur Evaluation der Präsenzanteile (Skalen "Akzeptanz der Präsenzlehre" und "Dozent/in").

Grundlagen und Konstruktion

Items wurden in enger Anlehnung an Glowalla et al. (2009) und Kerkau (2009) entwickelt sowie aus einzelnen Kategorien des HILVE-II übernommen. Die Daten zur Konstruktion des Verfahrens wurden im Rahmen von zwei Studien an Psychologiestudierenden (Studie 1: n = 67; Studie 2: n = 64) computerbasiert erhoben; im Rahmen der Studien wurde eine Blended Learning-Lehrveranstaltung zur Vermittlung fachlicher Informationskompetenz evaluiert. Auf der Basis einer Hauptkomponentenanalyse des zusammengefassten Datensatzes (N = 131) wurde die beschriebene Struktur ermittelt.

Empirische Prüfung und Gütekriterien

Reliabilität: Die in den Studien 1-3 ermittelten internen Konsistenzen betragen für die Subskalen zur Gesamtbewertung Kennwerte nach Cronbach zwischen Alpha = .67 und Alpha = .82, für die Subskalen zur Bewertung der Online- und Präsenzlehre Kennwerte zwischen Alpha = .77 und Alpha = .91. Validität: Für die Validität des Verfahrens sprechen die veränderungssensitiven Skalen "Angemessenheit der Beanspruchung", "Akzeptanz der Präsenzlehre" und "Dozent/in" sowie signifikante Korrelationen zwischen dem objektiven Lerngewinn und den Skalen "Allgemeiner Nutzen", "Angemessenheit der Beanspruchung", "Akzeptanz der Onlinelehre" sowie "Akzeptanz der Präsenzlehre". Normen: Derzeit (März 2016) liegt keine Normierung des IEBL vor, es stehen jedoch Mittelwerte und Standardabweichungen der Konstruktionsstichprobe für eine grobe Orientierung zur Verfügung.

Testkonzept

Theoretischer Hintergrund

Das Inventar zur Evaluation von Blended Learning (IEBL; Peter, Leichner, Mayer & Krampen, 2014) dient der subjektiven Evaluation von Blended Learning-Lehrveranstaltungen, die sich durch die Kombination von Online- und Präsenzlehre auszeichnen. Das Ziel ist es, über Gesamtbewertungen herkömmlicher Instrumente zur Lehrevaluation hinaus zu erfassen, inwieweit die Umsetzung der Online- und Präsenzanteile gelungen ist und inwieweit aus Sicht der Teilnehmenden an der Veranstaltung die jeweiligen Vorteile der beiden Komponenten zum Tragen gekommen sind. Die Dimensionen des IEBL beziehen sich daher sowohl auf das Training im Ganzen als auch auf spezifische Aspekte der Online- und der Präsenzlehre.

Testaufbau

Das Inventar umfasst 46 Items, die aus Aussagen über Lehrveranstaltungen bestehen und zu acht Skalen zusammengefasst werden. Zur Evaluation von Lehrveranstaltungen im Ganzen dienen die Subskalen (1) "Allgemeiner Nutzen" (k = 6 Items), (2) "Didaktische Qualität" (k = 7 Items) und (3) "Angemessenheit der Beanspruchung" (k = 5 Items). Zur Evaluation der Onlineanteile dienen die Subskalen (4) "Akzeptanz der Onlinelehre" (k = 5 Items), (5) "Fehlender sozialer Austausch" (k = 3 Items) und (6) "Nutzerfreundlichkeit" (k = 7 Items). Die Evaluation der Präsenzanteile erfolgt durch die beiden Subskalen (7) "Akzeptanz der Präsenzlehre" (k = 5 Items) und (8) "Dozent/in" (k = 8 Items).

Auswertungsmodus

Beim überwiegenden Teil der Items ist der Grad der Zustimmung zu der jeweiligen Aussage auf einer siebenstufigen Likert-Skala anzugeben (1 = "trifft nicht zu" bis 7 = "trifft völlig zu"). Bei den Items der Subskala "Angemessenheit der Beanspruchung" indizieren niedrige Werte (1-3) Unterforderung, mittlere Werte (4) eine ausgewogene Beanspruchung und hohe Werte Überforderung (5-7). Die Items 8, 9, 20, 29, 31, 33, 35 müssen vor der Bildung der Skalen umgepolt werden. Die Items sind den einzelnen Skalen folgendermaßen zugeordnet: (1) Allgemeiner Nutzen: 9R, 14, 15, 16, 17, 18; (2) Didaktische Qualität: 1, 2, 3, 4, 5, 6, 7; (3) Angemessenheit der Beanspruchung: 8R, 10, 11, 12, 13; (4) Akzeptanz der Onlinelehre: 19, 20R, 21, 22, 23; (5) Fehlender sozialer Austausch: 24, 25, 26; (6) Nutzerfreundlichkeit: 27, 28, 29R, 30, 31R, 32, 33R; (7) Akzeptanz der Präsenzlehre: 34, 35R, 36, 37, 38; (8) Dozent/in: 39, 40, 41, 42, 43, 44, 45, 46. Umzupolende Items sind mit einem R gekennzeichnet. Als Skalenwert fungiert das arithmetische Mittel der jeweiligen Items.

Auswertungshilfen

Eine Auswertungsschablone für die Papier-und-Bleistift-Fassung kann leicht selbst angefertigt werden. Für die Auswertung mittels SPSS liegt eine Syntax vor, welche die Befehle zur Vergabe von Variablenlabels, zur Umpolung einzelner Items, zur Bildung der Skalenwerte und zur Reliabilitätsanalyse enthält.

Auswertungszeit

Die Auswertungszeit nimmt aufgrund einfacher Auswertungsregeln nur wenige Minuten in Anspruch.

Itembeispiele

1. Der inhaltliche Aufbau des Trainings ist logisch/nachvollziehbar.
2. Das Training ist gut organisiert.
3. Der Stoff wird anhand von Beispielen veranschaulicht.

Items

1. Der inhaltliche Aufbau des Trainings ist logisch/nachvollziehbar.
2. Das Training ist gut organisiert.
3. Der Stoff wird anhand von Beispielen veranschaulicht.
4. Die Bedeutung/Der Nutzen der behandelten Themen wird vermittelt.
5. Ein Bezug zwischen Theorie und Praxis/Anwendung wird hergestellt.
6. Zum Mitdenken/Durchdenken des Stoffes wird angeregt.
7. Die behandelten Themen werden kritisch/von verschiedenen Seiten beleuchtet.
8. Mein Vorwissen: 1 = zu wenig, um dem Training folgen zu können, 4 = genau richtig, 7 = alles mir schon bekannt gewesen, Besuch überflüssig.
9. Es treten oft unnötige inhaltliche Überschneidungen mit anderen Kursen auf.
10. Schwere des Stoffes als solches: 1 = viel zu wenig, 4 = genau richtig, 7 = viel zu schwer.
11. Umfang des Stoffes: 1 = viel zu wenig, 4 = genau richtig, 7 = viel zu viel.
12. Das Tempo des Trainings ist: 1 = viel zu langsam, 4 = genau richtig, 7 = viel zu schnell.
13. Die Anforderungen sind: 1 = viel zu niedrig, 4 = genau richtig, 7 = viel zu hoch.
14. Ich lerne durch das Training.
15. Mein Wissensstand ist nach dem Training viel höher als vorher.
16. Ich lerne etwas Sinnvolles und Wichtiges.
17. Das Training motiviert dazu, sich selbst mit den Inhalten zu beschäftigen.
18. Der Besuch des Trainings lohnt sich.
19. Die Lerninhalte in Online-Modulen bereitzustellen, statt sie ausschließlich durch Präsenzlehre zu vermitteln, erscheint mir sinnvoll.
20. Es wäre besser, auf die Online-Module zu verzichten und alle Lerninhalte durch Präsenzlehre zu vermitteln.
21. Der Vorteil von Online-Modulen, sein eigenes Lerntempo bestimmen zu können, kommt bei diesen Lerninhalten zur Geltung.
22. Die Lerninhalte werden in den Online-Modulen verständlich vermittelt.
23. Die Online-Übungsaufgaben sind nützlich für das Verständnis der Lerninhalte.
24. Ich hätte mir bei der Bearbeitung der Online-Module mehr direkte Hilfe seitens eines Dozierenden gewünscht.
25. Ich hätte mir bei der Bearbeitung der Online-Module mehr Kontakt mit Dozierenden gewünscht.
26. Bei der Bearbeitung der Online-Module hat mir der Kontakt mit anderen Teilnehmenden gefehlt.
27. In der Online-Lernumgebung habe ich mich bereits bei ihrer ersten Benutzung schnell zurechtgefunden.
28. Die Bedienung der Online-Lernumgebung finde ich einfach.
29. In der Online-Lernumgebung bin ich auf viele fehlerhafte Links gestoßen.
30. Die Online-Lernumgebung ist übersichtlich.
31. Die Bedienung der Online-Lernumgebung ist oft sehr verwirrend.
32. Beim wiederholten Aufrufen der Online-Lernumgebung finde ich mich schnell wieder zurecht.
33. In der Online-Lernumgebung klicke ich oft auf falsche Links und werde dann zu Seiten geführt, zu denen ich eigentlich nicht wollte.
34. Durch die Präsenzlehre wird mein Verständnis der Lehrinhalte gefestigt.
35. Die Präsenzlehre ist unnötig. Die Online-Module mit Rückmeldung zu den Übungsaufgaben reichen aus.
36. Durch die Präsenzlehre erreiche ich ein tiefergehendes Verständnis der Lehrinhalte.
37. Die Diskussionen in der Präsenzlehre sind eine sinnvolle Ergänzung zu den Online-Modulen.
38. Die Präsenzlehre ist hilfreich, weil dort offene Fragen über die Inhalte der Online-Module beantwortet werden.
39. Die Dozentin/Der Dozent spricht verständlich und anregend.
40. Die Dozentin/Der Dozent kann Kompliziertes verständlich machen.
41. Die Dozentin/Der Dozent engagiert sich bei der Lehrtätigkeit und versucht Begeisterung zu vermitteln.
42. Dem/Der Dozenten/Dozentin ist es wichtig, dass die Teilnehmer etwas lernen.
43. Die Dozentin/Der Dozent ist im Umgang mit den Studenten freundlich.
44. Die Dozentin/Der Dozent ist kooperativ und aufgeschlossen.
45. Die Dozentin/Der Dozent fördert Fragen und aktive Mitarbeit.
46. Diskussionen werden gut geleitet (Anregung von Beiträgen, Eingehen auf Beiträge, Bremsen von Vielrednern).

Durchführung

Testformen

Das Verfahren kann sowohl in Einzel- als auch in Gruppenuntersuchungen eingesetzt werden. Eine Anwendung ist sowohl im Online- als auch im Papier-und-Bleistift-Format möglich. Es existieren keine anderssprachigen Testversionen oder sonstige Adaptionen.

Altersbereiche

Das IEBL kann bei Jugendlichen und Erwachsenen eingesetzt werden. Da derzeit (März 2016) keine Normierung des Verfahrens vorliegt, sind keine spezifischen Altersgrenzen zu beachten.

Durchführungszeit

Die Bearbeitungsdauer für das IEBL beträgt etwa 5 bis 10 Minuten.

Material

Das Testmaterial besteht allein aus dem Fragebogen, zu dessen Bearbeitung in der Papier-und-Bleistift-Fassung zusätzlich ein Stift benötigt wird.

Instruktion

Die Instruktionen sind standardisiert und auf dem Fragebogen abgedruckt.

Durchführungsvoraussetzungen

Bei der Anwendung des IEBL sind keine spezifischen Durchführungsvoraussetzungen zu beachten. Ein Trainingsmanual Blended Learning von Informationskompetenz (BLInk) liegt vor (Leichner, Peter, Waeldin, Mayer & Krampen, 2015).

Testkonstruktion

Das Verfahren wurde nach Prinzipien der Klassischen Testtheorie entwickelt und psychometrisch evaluiert. Da es im deutschsprachigen Raum bereits eine Vielzahl an Instrumenten zur subjektiven Evaluation von Lehrveranstaltungen gibt, wurden die Instrumente miteinander verglichen. Das Heidelberger Inventar zur Lehrveranstaltungsevaluation - revidierte Form (HILVE-II; Buhl, 1999) wurde als Grundlage für das IEBL ausgewählt, da es im Unterschied zu anderen Instrumenten weniger stark an der Evaluation reiner Präsenzlehre ausgerichtet ist. Das HILVE-II ist die revidierte Version des Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE; Rindermann & Amelang, 1994). Die Items der HILVE-II-Kategorien "Struktur", "Auseinandersetzung", "Verarbeitung", "Thema", "Redundanz", "Anforderungen", "Lernen - quantitativ", "Lernen - qualitativ", "Interessenförderung" und "Allgemeineinschätzung" wurden für den Bereich der Gesamtbewertung übernommen. Die Grundlage der Items zur Evaluation der Online-Lehre bildeten die Kategorien "Akzeptanz der Online-Lehre" und "Nutzerfreundlichkeit" aus der Auflistung von Glowalla, Herder, Süße und Koch (2009). Die Items zur Kategorie "Nutzerfreundlichkeit" wurden nach den Kriterien von Kerkau (2009) entwickelt. Als Pendant zur Onlinelehre wurden zur Evaluation der Präsenzlehre Items der Kategorie "Akzeptanz der Präsenzlehre" gebildet. Ergänzend wurden die Items der HILVE-II-Kategorien "Lehrkompetenz", "Dozentenengagement", "Interessantheit" und "Interaktionsmanagement" zur Bewertung des Dozierenden übernommen. Die Daten zur Konstruktion wurden im Rahmen von zwei Studien an Psychologiestudierenden (Studie 1: n = 67; Studie 2: n = 64) computerbasiert erhoben; im Rahmen der Studien wurde eine Blended Learning-Lehrveranstaltung zur Vermittlung fachlicher Informationskompetenz evaluiert (z. B. Leichner, Peter, Mayer & Krampen, 2014). Auf der Basis einer Hauptkomponentenanalyse des zusammengefassten Datensatzes (n = 131) wurde die im Abschnitt "Testaufbau" beschriebene Struktur ermittelt (Peter et al., 2014).

Gütekriterien

Objektivität

Die standardisierten Instruktionen sichern zusammen mit der einfachen Auswertung sowohl Durchführungs- als auch Auswertungsobjektivität. Zur Beurteilung der Interpretationsobjektivität liegen hingegen zu wenige Informationen vor.

Reliabilität

Die Subskalen zur Gesamtbewertung weisen allgemein eine gute interne Konsistenz auf, wie in Tabelle 1 (siehe unter "Normierung") zu sehen ist. Mit Ausnahme der Skala 3 (Angemessenheit der Beanspruchung) liegen die Alpha-Werte nach Cronbach über .70; die Alpha-Werte der meisten Skalen liegen sogar über .80.

Validität

Bei Peter et al. (2014) wird mittels t-Tests gezeigt, dass die Skalen "Angemessenheit der Beanspruchung", "Akzeptanz der Präsenzlehre" und "Dozent/in" sensitiv für Veränderungen in der Gestaltung von Lehrveranstaltungen sind: Beispielsweise ist infolge einer höheren Individualisierung der Präsenzlehre eine höhere Akzeptanz der Präsenzlehre festzustellen. Ferner zeigen sich signifikante Korrelationen zwischen den inhaltlich ausgewählten Skalen "Allgemeiner Nutzen", "Angemessenheit der Beanspruchung", "Akzeptanz der Onlinelehre" und "Akzeptanz der Präsenzlehre" und dem objektiven Lerngewinn, der im Rahmen von Prä-Post-Messungen erhoben wurde: Beispielsweise gehen höhere Werte auf der Subskala "Akzeptanz der Onlinelehre" mit einem höheren Lerngewinn einher.

Normierung

Derzeit (März 2016) liegt noch keine Normierung des IEBL vor. Für eine grobe Orientierung können die in Tabelle 1 dargestellten Mittelwerte und Standardabweichungen der Konstruktionsstichprobe (Peter et al., 2014) herangezogen werden. Ergänzend liegen Daten aus einer weiteren mit n = 51 Psychologiestudierenden durchgeführten Evaluationsstudie vor, in der eine curricular integrierte Blended Learning-Lehrveranstaltung zur Vermittlung fachlicher Informationskompetenz evaluiert wurde (Studie 3).

Tabelle 1
Mittelwerte und Standardabweichungen der IEBL-Skalen in drei Studien (Studie 1 und 2: Konstruktionsstichprobe, (vgl.) Peter, Leichner, Mayer & Krampen, 2014, S. 280; Studie 3: n = 51 Psychologiestudierende)

Anmerkungen. n1 = 67, n2 = 64, n3 = 51. k = Itemanzahl, M = Mittelwert, SD = Standardabweichung, Alpha = Cronbachs Alpha. 1 = Allgemeiner Nutzen, 2 = Didaktische Qualität, 3 = Angemessenheit der Beanspruchung, 4 = Akzeptanz der Onlinelehre, 5 = Fehlender sozialer Austausch, 6 = Nutzerfreundlichkeit, 7 = Akzeptanz der Präsenzlehre, 8 = Dozent/in.

Anwendungsmöglichkeiten

Das IEBL kann zur Evaluation von Blended Learning-Lehrveranstaltungen eingesetzt werden, die sich durch eine Kombination von Online- und Präsenzlehre auszeichnen. Einsatzmöglichkeiten bestehen damit z. B. im Schul- und Hochschulkontext, in der beruflichen Aus- und Weiterbildung und in der Erwachsenenbildung. Dabei ist sowohl der Einsatz in praktischen als auch in forschungsbezogenen Kontexten denkbar.

Bewertung

Zusammenfassend stellt der IEBL ein systematisch konstruiertes Instrument dar, das ökonomisch in der Durchführung ist. Reliabilitätsanalysen weisen allgemein auf eine gute interne Konsistenz der Skalen hin. Darüber hinaus zeigen sich erste günstige Hinweise zur Validität der Skalen. Problematisch erscheint die Summenwertbildung bei den Items der Skala "Angemessenheit der Beanspruchung", da hier der optimale Wert jeweils in der Mitte liegt und hohe bzw. niedrige Werte suboptimale Bewertungen bedeuten. Eine Summenskala müsste daher von den Abweichungen von dem optimalen Wert ausgehen. Für eine weiterführende empirische Erprobung des Instruments sind die Anwendung im Rahmen thematisch abweichender Blended Learning-Lehrveranstaltungen und eine konfirmatorische Überprüfung der Faktorenstruktur zielführend.

Erstmals publiziert in:

• Peter, J., Leichner, N., Mayer, A.-K. & Krampen, G. (2014). Das Inventar zur Evaluation von Blended Learning (IEBL): Konstruktion und Erprobung in einem Training professioneller Informationskompetenz. In M. Krämer, U. Weger & M. Zupanic (Hrsg.), Psychologiedidaktik und Evaluation X (S. 275-282). Aachen: Shaker. PSYNDEX Dok.-Nr. 0293055

Literatur

• Buhl, T. (1999). HILVE II (Heidelberger Inventar zur Lehrveranstaltungsevaluation - revidierte Form). Pilot-Studie mit Meßwiederholungsdesign (Forschungsbericht). Jena: Universität, Institut für Psychologie, Lehrstuhl für Methodenlehre und Evaluationsforschung.

• Glowalla, U., Herder, M., Süße, C. & Koch, N. (2009). Methoden und Ergebnisse der Evaluation elektronischer Lernangebote. In L. J. Issing & P. Klimsa (Hrsg.), Online-Lernen. Handbuch für Wissenschaft und Praxis (S. 309-328). München: Oldenbourg. PSYNDEX Dok.-Nr. 0240524

• Kerkau, F. (2009). Usability-Testing zur Qualitätssicherung von Online-Lernangeboten. In L. J. Issing & P. Klimsa (Hrsg.), Online-Lernen. Handbuch für Wissenschaft und Praxis (S. 329-338). München: Oldenbourg. PSYNDEX Dok.-Nr. 0222081

• Leichner, N., Peter, J., Mayer, A.-K. & Krampen, G. (2014). Fostering information literacy in German psychology students using a blended learning approach. Proceedings of the 6th International Conference on Computer Supported Education, Spain, 353-359. PSYNDEX Dok.-Nr. 0306899

• Leichner, N., Peter, J., Waeldin, S., Mayer, A.-K. & Krampen, G. (2015). Trainingsmanual Blended Learning von Informationskompetenz (BLInk). Lengerich: Pabst. PSYNDEX Dok.-Nr. 0296125

• Peter, J., Leichner, N., Mayer, A.-K. & Krampen, G. (2014). Das Inventar zur Evaluation von Blended Learning (IEBL). Konstruktion und Erprobung in einem Training professioneller Informationskompetenz. In M. Krämer, U. Weger & M. Zupanic (Hrsg.), Psychologiedidaktik und Evaluation X (S. 275-282). Aachen: Shaker Verlag. PSYNDEX Dok.-Nr. 0293055

• Rindermann, H. & Amelang, M. (1994). Das Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE). Heidelberg: Asanger. PSYNDEX Dok.-Nr. 0089806

Downloads

• Inventar IEBL [DOCX] [PDF]
• Auswertungshilfe IEBL [PDF]
• Verfahrensdokumentation IEBL [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen