Diagnostische Zielsetzung

Ziel des Trainings Evaluations Inventars ist die Evaluation eines laufenden oder bereits abgeschlossenen Trainings hinsichtlich theoretisch und empirisch fundierter Trainingsoutcome- und Trainingsdesign-Dimensionen.

Aufbau

Das TEI umfasst insgesamt 45 Items auf den Levels Trainingsoutcomes und Trainingsdesign. Anzahl der Items in den fünf Outcomedimensionen (Zahl in Klammern): Subjektiver Spaß (3), Wahrgenommene Nützlichkeit (4), Wahrgenommene Schwierigkeit (4), Subjektiver Wissenszuwachs (3), Einstellung gegenüber dem Training (3).
Anzahl der Items in den Aspekten des Trainingsdesigns (Zahl in Klammern): Problembasiertes Lernen (6), Aktivierung (von Vorwissen) (5), Demonstration (7), Anwendung (5), Integration (5).

Grundlagen und Konstruktion

Die Dimensionen der Trainingsoutcomes beruhen auf dem hierarchischen Modell der Trainingsergebnisse von Kirkpatrick (1998). Nach Kirkpatrick kann Training auf Basis der vier Outcome-Levels Reaktionen, Lernen und Einstellungen, Verhalten und organisationsbezogene Ergebnisse evaluiert werden. Das Trainings Evaluations Inventar (TEI) bezieht die Dimensionen subjektiver Spaß, wahrgenommene Nützlichkeit und wahrgenommene Schwierigkeit des Levels Reaktionen ein. Darüber hinaus misst das TEI den subjektiven Wissenszuwachs und die Einstellung gegenüber dem Training als Dimensionen des Levels Lernen und Einstellungen. Die Dimensionen des Trainingsdesigns des TEI basieren auf den fünf grundlegenden Prinzipien problembasiertes Lernen, Aktivierung, Demonstration, Anwendung und Integration nach Merrill (2002).

Empirische Prüfung und Gütekriterien

Die empirische Prüfung des Inventars erfolgte anhand vier Stichproben aus den Berufsgruppen der Feuerwehr und der Flugbegleitung sowie einer zusammengeführten Gesamtstichprobe. Die Validität des Instruments wurde in Bezug auf die interne Struktur sowie auf Beziehungen zu weiteren Außenkriterien untersucht. Die Reliabilität und Validität der Skala konnte bestätigt werden.
Reliabilität: Cronbachs Alpha ≥ .73 (eine Ausnahme: α = .66)
Validität: Hinweise auf diskriminante, konvergente und Kriteriumsvalidität
Normen: Normen liegen in Form von Mittelwerten, Standardabweichungen, Schiefe und Kurtosis für die einzelnen Items (Tabelle 2) und die Dimensionen (Tabelle 9, 10) des TEI vor (siehe Rubrik "Testbeschreibung").

Testkonzept

Theoretischer Hintergrund

Das Training Evaluations Inventar (TEI) ist ein Instrument zur Evaluation von Interventionen wie Trainings oder Seminaren. Aufgrund des stetigen technologischen Fortschrittes, struktureller Veränderungen auf dem Arbeitsmarkt sowie alternder Erwerbsbevölkerung in den letzten Jahrzehnten besteht die Notwendigkeit kontinuierlicher beruflicher Weiterbildung, um Innovation und Produktivität zu gewährleisten (Billett, 2008; European Centre for the Development of Vocational Training, 2010). Angesichts der Bedeutung beruflicher Aus- und Weiterbildung besteht die ständige Notwendigkeit, Trainings zu evaluieren, um größtmögliche Effizienz gewährleisten zu können.
Ziel der Entwicklung des TEI war die Förderung eines Trainingsprogramms, das auf nicht-technische Teamarbeitskenntnisse, Fähigkeiten und Einstellungen (z. B. Entscheidungsfindung, Kommunikation oder Koordination) von Angestellten abzielt.

Ausgangspunkt für die meisten Evaluationsansätze ist das hierarchische Modell der Trainingsergebnisse nach Kirkpatrick (1998), welches eine grobe Taxonomie für Trainingskriterien bietet (Alliger & Janak, 1989; Shelton & Alliger, 1993). Nach Kirkpatrick (1998) kann Training auf Basis von vier Outcome-Levels evaluiert werden: 1) Reaktionen, 2) Lernen und Einstellungen, 3) Verhalten, und 4) Organisationsbezogene Ergebnisse. Auf diesem Modell zur Kategorisierung von Trainingsergebnissen basiert das Training Evaluations Inventar.
Zum Level Reaktionen gehören die Dimensionen Spaß am Training (affektive Reaktion), Nützlichkeit des Trainings (Nützlichkeitsreaktion) und wahrgenommene Schwierigkeit (Alliger, Tannenbaum, Bennett & Shotland, 1997; Warr & Bunce, 1995). Aus den Erkenntnissen der für die Entwicklung des TEI durchgeführten Literaturrecherche wird geschlossen, dass Daten der Ebene Reaktionen wertvolle Informationen hinsichtlich der Trainingsevaluation liefern können, insbesondere dann, wenn nicht nur affektive-, sondern auch Nützlichkeitsreaktionen und die wahrgenommene Schwierigkeit erhoben werden.
Auf der Ebene Lernen und Einstellungen liegt der Schwerpunkt auf dem Erwerb von deklarativem sowie prozeduralem Wissen, aber auch auf der Veränderung der persönlichen Einstellung der Trainingsteilnehmenden. Eine differenziertere Klassifizierung für die Ebene Lernen und Einstellungen unterscheidet zwischen kognitiven (Wissen oder kognitiven Strategien), kompetenzbasierten (Vorgehensweisen, Automatismen, etc.) sowie affektiven Ergebnissen (Einstellungen, Motivation, Selbstwirksamkeit, etc.; Kraiger, Ford & Salas, 1993). Im TEI wird der subjektive Wissenszuwachs der Trainingsteilnehmenden als Outcome-Variable berücksichtigt, um Informationen zu erhalten, die in einem allgemeingültigen Evaluationssetting auf keinem anderen Wege erhoben werden können.
Die Ebene Verhalten deckt berufsbezogenes Verhalten und Leistung nach dem Training ab und gibt den Transfer vom Training zum tatsächlichen Beruf an (Warr, Allan & Birdi, 1999). Die letzte Ebene der organisationsbezogenen Ergebnisse, wie zum Beispiel Verminderung von Kosten, Erhöhung der Produktions- oder Verkaufszahlen oder eine Verminderung von Unfällen setzen das Training in Bezug zu den spezifischen Zielen der jeweiligen Organisation. Zur Überprüfung der Konstruktvalidität (Nunnally, 1978) wurden folgende Hypothesen formuliert:

1. Die drei durch den TEI erhobenen Reaktionskomponenten Spaß, wahrgenommene Nützlichkeit sowie wahrgenommene Schwierigkeit stehen in signifikant positivem Zusammenhang zu Lernen, Einstellungen und Verhaltenstransfer.
   
2. Der subjektive Wissenszuwachs (so wie durch den TEI erhoben) steht in signifikant positivem Zusammenhang zu objektiven Lernmaßen als Kriterien des Trainingsoutcomes.
   
3. Die durch das TEI gemessenen Einstellungen gegenüber dem Training stehen in signifikant positivem Zusammenhang zu den Einstellungen gegenüber spezifischen Themen, die im Training behandelt werden. Zusammenfassend wurden die Dimensionen subjektiver Spaß, wahrgenommene Nützlichkeit und wahrgenommene Schwierigkeit als Reaktionskomponenten in das TEI aufgenommen. Darüber hinaus misst das TEI den subjektiven Wissenszuwachs und Einstellungen gegenüber dem Training als Lernkomponenten. Diese fünf Konstrukte werden im Folgenden als Trainingsoutcome-Dimensionen bezeichnet.
   
   Neben den Outcome-Dimensionen sollte das TEI zusätzlich Dimensionen bezüglich des Trainingsdesigns abdecken. Zu diesem Zweck wurden ein normativer Ansatz gewählt und allgemeingültige sowie anerkannte Instruktionsprinzipien spezifiziert, um diese im Fragebogen zu operationalisieren. Merrill (2002) identifizierte fünf grundlegende Prinzipien in dem Bemühen, die Grundlage eines breiten Spektrums neuerer Theorien des Instruktionsdesigns aufzustellen. Die „fünf ersten Training Evaluations Inventar (TEI)-Instruktionsprinzipien“ sind die Folgenden: Problembasiertes Lernen, Aktivierung, Demonstration, Anwendung und Integration.
   Problembasiertes Lernen unterstellt, dass das Lernen erleichtert wird, wenn Lernende reale Fälle oder Probleme behandeln. Das Prinzip besagt außerdem, dass Lernenden gezeigt werden sollte, welche neuen Kenntnisse sie nach Abschluss eines Trainings innehaben werden. Das Prinzip Aktivierung besagt, Lernen würde gefördert, wenn Vorerfahrungen der Lernenden aktiviert werden oder Lernende relevante Erfahrungen sammeln können, die im Weiteren als Grundlage neuer Kenntnisse (oder Fähigkeiten sowie Einstellungen) dienen können.
   Demonstration ist ein Prinzip, das herausstellt, dass Lernenden der Lerninhalt demonstriert, statt nur berichtet werden sollte. Dabei sollten unterschiedliche Darstellungen und geeignete Medien verwendet werden. Eine Demonstration sollte mit den Lernzielen übereinstimmen und die Aufmerksamkeit auf relevante Informationen lenken. Das Prinzip Anwendung besagt, dass Lernen erleichtert wird, wenn Lernende ihr neu erlangtes Wissen kohärent zu den Lernzielen einüben können und (schrittweise abnehmendes) Feedback erhalten.
   Das letzte Prinzip Integration beinhaltet, dass Lernen neuen Wissens durch Integration in Vorwissen und Übertragbarkeit auf den Alltag gefördert wird. Integration von Wissen wird nach dem Prinzip begünstigt durch Diskussionen, das Schaffen neuer und eigener Wege zur Nutzung des erlangten Wissens oder die Möglichkeit neues Wissen und neue Fähigkeiten zu demonstrieren.
   Die Prinzipien werden im Folgenden als Trainingsdesign-Dimensionen bezeichnet. Bezüglich der genannten Dimensionen soll eine weitere Hypothese zur Überprüfung der Konstruktvalidität getestet werden:
   
4. Die Dimensionen des Trainingsdesigns dienen als Grundlage der Trainingsoutcomes. Diese werden durch die Trainingsdesigndimensionen vorhergesagt. Je höher die Bewertung des Trainingsdesigns, desto besser bewerten die Trainingsteilnehmenden im TEI die Trainingsergebnisse.
   Die Bewertung der Hypothesen erfolgt unter dem Punkt Validität in dieser Dokumentation.

Testaufbau

Das Trainings Evaluations Inventar umfasst Items in fünf Trainingsoutcome-Dimensionen und fünf Dimensionen bezüglich des Trainingsdesigns. Die Items in Form von Aussagen werden den Teilnehmenden als Paper-Pencil-Fragebogen vorgelegt und anhand einer fünfstufigen Likert-Skala bewertet. Die Skala umfasst Antwortmöglichkeiten von 1 = „stimme überhaupt nicht zu“ bis 5 = „stimme sehr zu“. Der Fragebogen umfasst 45 Items (Itemzahl in Klammern):
Outcome-Variablen
(1) Subjektiver Spaß (k = 3),
(2) Wahrgenommene Nützlichkeit (k = 4),
(3) Wahrgenommene Schwierigkeit (k = 4),
(4) Subjektiver Wissenszuwachs (k = 3),
(5) Einstellung gegenüber dem Training (k = 3).

Trainingsdesigns
(1) Problembasiertes Lernen (k = 6),
(2) Aktivierung (von Vorwissen) (k = 5),
(3) Demonstration (k = 7),
(4) Anwendung (k = 5),
(5) Integration (k = 5).

Auswertungsmodus

In der Auswertung des TEI wird für jede der fünf Outcome-Variablen sowie die fünf Aspekte des Trainingsdesigns über alle Daten der Teilnehmenden eines Trainingsprogrammes hinweg ein Mittelwert gebildet und separat interpretiert. Die Dimensionen werden auf der Inhaltsebene interpretiert. So ist zum Beispiel im Hinblick auf die Trainingsoutcome-Dimensionen ein hoher Gesamtwert für die Skala Nützlichkeit erstrebenswert, während das Maß an Schwierigkeit geringgehalten werden sollte. Für Vergleichsnormwerte der Berufsbranche Flugbegleitung siehe Tabelle 9.

Auswertungshilfen

Es liegen keine speziellen Auswertungshilfen vor. Bei großen Stichproben wird aus zeitökonomischen Gründen empfohlen, die Berechnung der Dimensionswerte mithilfe einer Statistik-Software vorzunehmen. Eine händische Auswertung ist ebenfalls möglich.

Auswertungszeit

Die manuelle Berechnung der Subskalenwerte beansprucht etwa 4 Minuten pro Fall. Bei Verwendung einer Statistik-Software kann sich die Auswertungszeit verkürzen.

Itembeispiele

Die eckigen Klammern markieren Bereiche, in denen die Items an den jeweiligen Kurstyp (z. B. Training, Seminar, Workshop, …) und dessen Inhalt angepasst werden müssen.

Repräsentative Beispielitems für die Outcome-Variablen:
Dimension Subjektiver Spaß: „Das [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] hat mir generell gefallen.“
Dimension Wahrgenommene Nützlichkeit: „Zeit in dieses [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] zu investieren war sinnvoll.“
Dimension Wahrgenommene Schwierigkeit: „Die Sprache (Fremd- und Fachwörter) war verständlich.“
Dimension Subjektiver Wissenszuwachs: „Ich habe den Eindruck, mein Wissen hat sich langfristig erweitert.“
Dimension Einstellung gegenüber dem Training: „Ich würde dieses [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] meinen Kollegen empfehlen.“

Repräsentative Beispielitems für die fünf Aspekte des Trainingsdesigns:
Dimension Problembasiertes Lernen: „Im [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] wurden Situationen vorgestellt, die wir dann auf [THEMENASPEKTE – z. B. Teamarbeits-Aspekte] hin genauer betrachteten.“
Dimension Aktivierung (von Vorwissen): „Auf meine bisherigen Erfahrungen zu den behandelten Themen ist eingegangen worden.“
Dimension Demonstration: „Am Anfang des [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] wurden die Ziele bekannt gegeben, die mit dem [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] erreicht werden sollten.“
Dimension Anwendung: „Ich konnte das Gelernte im [BEZEICHNUNG AUSBILDUNGSGEFÄSS – z. B. Training] üben.“
Dimension Integration: „Mir ist klar geworden, wie ich die behandelten Inhalte im Arbeitsalltag anwenden kann.“

Items

Tabelle 1
Items des Training Evaluations Inventars (TEI)

Tabelle 2
Mittelwerte, Standardabweichungen, Schiefe und Kurtosis der TEI-Items (Stichprobe TrS1, Flugbegleitung) (Ritzmann, Hagemann, & Kluge, 2014)

Durchführung

Testformen

Das TEI kann den Teilnehmenden eines Trainings sowohl einzeln als auch in Gruppen vorgelegt werden. Dabei ist eine Durchführung als Paper-Pencil-Version oder im computergestützten Format möglich, z. B. mit einer Umfragesoftware. Das TEI existiert in englischer und deutscher Sprache.

Altersbereiche

Das TEI ist für eine Altersgruppe ab 18 Jahren bzw. für Berufstätige (aber auch z. B. für Auszubildende ab 16 Jahren) vorgesehen.

Durchführungszeit

Die Beantwortung des TEI ist durch keine vorgeschriebene Durchführungszeit begrenzt. Die Bearbeitung dauert etwa 6-8 Minuten.

Material

Zur Durchführung des TEI werden die Fragebogenitems auf Papier sowie ein Stift benötigt. Im Falle der Durchführung der Skala im Online-Survey wird eine entsprechende Fragebogen-Software sowie auf Seiten der Proband/-innen ein internetfähiges Gerät (z. B. Smartphone, PC, Tablet) benötigt. Vor der Durchführung müssen die durch eckige Klammern markierten Bereiche im Fragebogen an den jeweiligen Kurstyp (z. B. Training, Seminar, Workshop, …) und dessen Inhalte angepasst werden.

Instruktion

Das Inventar ist selbsterklärend. Es sind keine gesonderten Instruktionen durch die Testleitung notwendig.

Durchführungsvoraussetzungen

Aufgrund der selbsterklärenden Struktur des Inventars werden keine Instruktionen benötigt und es gibt keinen Einfluss des/r Testleiter/-in auf die Testdurchführung. Es ist daher keine spezielle Qualifikation oder Schulung des/r Testleiter/-in erforderlich. Die Testleitung sollte lediglich mit dem Kurstyp und dessen Inhalten vertraut sein, um ggf. die entsprechenden Anpassungen im Fragebogen an den Kurstyp vorzunehmen.
Proband/-innen müssen an dem zu evaluierenden Training teilgenommen haben und sollten in der Lage sein, die Testitems selbstständig zu verstehen sowie zu beantworten. Es wird empfohlen das TEI unter angemessenen Testbedingungen vorzulegen, bspw. sollte für Ruhe und angenehme Lichtverhältnisse gesorgt werden.

Testkonstruktion

Fragebogenentwicklung
Die Fragebogenentwicklung erfolge im Rahmen einer großen Studie in Zusammenarbeit mit einer europäischen Fluggesellschaft mit rund 5000 Mitarbeitenden sowie einer deutschen Feuerwehr mit 700 Mitarbeitenden. Bei den Trainingsprogrammen, die als Datenquellen dienten, handelte es sich jeweils um Teamtrainingsprogramme, die darauf abzielen, Teamkoordination, Teamfähigkeit und Teamleistung zu verbessern, um von Menschen verursachte Fehler zu reduzieren und die Sicherheit in Organisationen im Hoch-Risikobereich zu erhöhen (Helmreich, Merritt & Wilhelm, 1999; Salas, Wilson, Burke & Wightman, 2006). Die Trainingsinhalte bezogen sich auf Teamarbeitskompetenzen wie Kommunikationsfähigkeiten, Bewusstsein für eine Situation oder Entscheidungsfindung (Salas et al., 1999). Die Entwicklung des Fragebogens begann im Jahr 2008 und orientierte sich an den folgenden vordefinierten Anforderungen an das Instrument:
(1) Es soll auf empirischen Ergebnissen sowie theoretischen Überlegungen hinsichtlich Trainingsevaluation und -design basieren, um bezüglich der Qualität und Effekte des evaluierten Trainings möglichst aussagekräftig zu sein.
(2) Das TEI soll einen Vergleich unterschiedlicher Trainingsmodule mit unterschiedlichem Inhalt und Gegenstand für unterschiedliche Zielgruppen unterschiedlicher Organisationseinheiten ermöglichen. Es soll demnach allgemeingültig und unabhängig bezüglich des Trainingsinhalts sein.
(3) Der Fragebogen soll Trainingsergebnisse und Trainingsdesign-Variablen gleichermaßen erheben.
(4) Das TEI soll von Mitgliedern von Organisationen (sowohl Entscheidungsträger/-innen als auch Trainer/-innen und Trainings-Teilnehmenden) als sinnvoll und realisierbar empfunden werden.
Auf Basis dieser Voraussetzungen wurde Literatur zum Thema Trainingsevaluation gesichtet, um passende, im Paper-Pencil-Format umsetzbare Konstrukte zu finden, die Teilnehmenden eines Trainings unmittelbar nach dem Training vorgelegt werden können. Diese wurden anschließend mit Faktorenanalysen untersucht. Auf Grundlage der Literaturrecherche wurden Hypothesen bezüglich der im Fragebogen untersuchten Konstrukte und ihrer Zusammenhänge formuliert. Durch Testen der Hypothesen wurde die Konstruktvalidität des Instrumentes überprüft (Nunnally, 1978).
Die Entwicklung des Fragebogens umfasste drei Hauptphasen. In der ersten Phase wurden die Items für die fünf Trainingsergebnisse und die fünf Dimensionen des Trainingsdesigns in Form von Aussagen formuliert (z. B. „Inhalte wurden mit konkreten Beispielen verdeutlicht“). Als Antwortformat diente eine fünfstufige Likert-Skala von 1 („stimme überhaupt nicht zu“) bis 5 („stimme sehr zu“). Das Ziel dieser Phase bestand darin, ein kurzes und prägnantes Instrument mit einer möglichst geringen Anzahl von Items zu entwickeln. Dies führte zu einer ersten Version des Fragebogens mit 26 Items, wobei die Anzahl der Items (in Klammern) wie folgt auf die Dimensionen verteilt war: Subjektiver Spaß (k = 3), Wahrgenommene Nützlichkeit (k = 3), Wahrgenommene Schwierigkeit (k = 5), Subjektiver Wissenszuwachs (k = 2), Einstellung gegenüber dem Training (k = 3), Problembasiertes Lernen (k = 2), Aktivierung (von Vorwissen) (k = 2), Demonstration (k = 3), Anwendung (k = 1) und Integration (k = 2).
Die erste Version wurde in einer Vorstudie in vier verschiedenen Teamtrainingsmodulen mit unterschiedlichem Inhalt getestet (55 Teilnehmende insgesamt; 68.5 % männlich). Das Durchschnittsalter betrug M = 33.1 Jahre (SD = 9.3). Die Analyse der Reliabilität der Dimensionen (Interne Konsistenz: Cronbachs α) ergab, dass drei Dimensionen eine Interne Konsistenz von kleiner als α = .6 aufwiesen (siehe Tabelle 5), was laut Literatur als niedrigster akzeptabler Wert für Low-Stakes-Instrumente gilt, die für die programmatische Entscheidungsfindung entwickelt wurden, und wie auch in diesem Fall, keine direkten Konsequenzen für Individuen haben (Wasserman & Bracken, 2003). Darüber hinaus zeigten die Beobachtungen der Trainings durch die Autorinnen, dass die vorhandenen Items nicht alle relevanten Aspekte der verschiedenen Dimensionen des Trainingsdesigns abdeckten (z. B. in der Dimension Demonstration den Aspekt Trainingsziele oder den Feedback-Aspekt in der Dimension Anwendung). Auch an den Dimensionen der Trainingsoutcomes wurden geringfügige Änderungen vorgenommen. Obwohl der Fragebogen sehr präzise war und die Bearbeitungszeit weniger als zehn Minuten betrug, wurde entschieden, dass die Inklusivität von höherer Priorität war.
In der zweiten Phase wurden 20 zusätzliche Items in acht Skalen formuliert sowie ein Item entfernt. Im Anschluss wurden zwei Studien mit den erweiterten Skalen mit 482 bzw. 470 Trainingsteilnehmenden durchgeführt. Beide Studien werden im Folgenden ausführlicher vorgestellt. Die Reliabilität der erweiterten Skalen wurde als akzeptabel erachtet und das Feedback der Interessenvertreter in den Organisationen war positiv im Hinblick auf die Anwendbarkeit des Fragebogens und die Schlussfolgerungen, die aus den Ergebnissen gezogen werden konnten. Der gesamte Fragebogen in seiner erweiterten Form wurde anschließend zwei Trainingsstichproben vorgelegt. Auch diese Stichproben werden unten näher erläutert. Für den gesamten Fragebogen siehe Punkt 1.7 Items.
In der dritten und letzten Phase wurden die Daten aus der zweiten Studie zwei konfirmatorischen Faktorenanalysen unterzogen, um die Faktorstruktur des Inventars zu untersuchen. Die endgültigen Modelle werden im Abschnitt Itemanalysen beschrieben.
Eine Missing-Value Analyse mithilfe der Software SPSS Statistics 20 zeigte, dass Werte im Datensatz zufällig fehlten (Little’s MCAR-Test: χ2 = 6624.7, df = 6.629, p = .51). Aufgrund dessen wurden nur vollständige Fälle (N = 245) einbezogen, um Fehler durch Datenimputationsverfahren zu vermeiden (Tabachnick & Fidell, 2007). Die Skalen der beiden Fragebogenteile (Trainings-Outcomes und Trainingsdesign) wurden getrennt analysiert, da sie konzeptionell unterschiedliche Aspekte abdecken. Die Daten wurden in SPSS in eine Korrelations-Kovarianzmatrix transformiert und in Amos importiert. Die Modellkonvergenz war ein iterativer Prozess. Als Schätzmethode wurde die Maximum-Likelihood-Methode (ML) angewandt, da sie auch für kleine Stichproben geeignet ist. Zur Bestimmung der Anpassungsgüte wurden die Modellanpassungsindikatoren Comparative Fit Index (CFI), Tucker Lewis Index (TLI), Root Mean Square Error of Approximation (RMSEA) und Standardized Root Mean Residual (SRMR) verwendet. Eine Modellanpassung von CFI und TLI über .80 wird als akzeptabel angesehen, über .90 ist die Anpassung gut. Ein RMSEA schwächer als .08 ist akzeptabel, während ein Wert von .06 und niedriger gut ist. SMRS-Werte unter .08 sind gut. Bezüglich Chi 2 sollte sich aus der Division des Wertes durch die Freiheitsgrade ein Wert zwischen 1 und 3 ergeben (für eine detaillierte Beschreibung der Modellanpassungsindikatoren siehe Hu & Bentler, 1999). Hu und Bentler (1999) empfehlen insbesondere die Kombination der beiden Indikatoren TLI/CFI und SRMR zu untersuchen.

Datenerfassung
Das TEI wurde zwischen 2008 und 2010 in vier Stichproben eingesetzt, wovon zwei große Untersuchungsstichproben waren und die anderen zwei quasi-experimentelle Trainingsstudien. In den Untersuchungsstichproben wurde ausschließlich der TEI eingesetzt, während in den kleineren Trainingsstichproben zusätzliche Variablen erhoben wurden. In den Trainingsstichproben sollte der Zusammenhang der Trainingsoutcome-Dimensionen zu einander sowie zu anderen Outcome-Maßen wie dem objektiven Lernen untersucht werden. Die konkret untersuchten Hypothesen werden unter dem Punkt "Theoretischer Hintergrund" beschrieben. Hypothese 4 wurde anhand einer kombinierten Stichprobe aus beiden Untersuchungsstichproben sowie einer der Trainingsstichproben untersucht. Die zweite Trainingsstichprobe wurde nicht in den kombinierten Datensatz aufgenommen. Aufgrund des Settings dieser Trainingsstichprobe wurden keine Daten bezüglich der Trainingsdesign-Dimension des Problembasierten Lernens erhoben.

Untersuchungsstichproben
Die Daten für die erste Untersuchungsstichprobe (U1; siehe Tabelle 3 für deskriptive Statistiken) wurden von April bis Dezember 2008 erhoben. Ziel der Untersuchung war es, ein vollständiges Bild des Status quo aller Teamtrainingsmaßnahmen der kooperierenden Fluggesellschaft hinsichtlich der subjektiven Wahrnehmung des Trainingsdesigns, der Reaktionen sowie Lernen und Einstellungen der Teilnehmenden zu gewinnen. Basierend auf den Ergebnissen wurden Modifikationen einiger Trainingsmaßnahmen geplant (für die Ergebnisse bzgl. Kabinen- und Cockpit-Crew siehe Ritzmann, Kluge & Hagemann, 2009; Ritzmann, 2012). Dreizehn Teamtrainingsmodule wurden einbezogen und Daten von N = 482 Kursteilnehmenden wurden gesammelt. Teilnehmende stammten aus den Berufsgruppen Pilot/-innen, Kabinenbesatzungsmitglieder, Wartungstechniker/-innen sowie Fluglots/-innen. Die Kursdauer variierte von einem halben Tag bis zu drei Tagen. Die Kursleitenden sammelten alle Fragebögen und leiteten diese regelmäßig per Post an die Autorinnen des TEI weiter. Die Daten für die zweite Untersuchungsstichprobe (U2; siehe Tabelle 3 für deskriptive Statistiken) wurden im Oktober und November 2009 (N = 190 Kabinenbesatzungsmitglieder) sowie von April bis Juli 2010 (N = 196 Kabinenbesatzungsmitglieder) mit Teilnehmenden jährlich stattfindender Auffrischungs-Teamtrainings erhoben. Ziel dieser zweiten Umfrage war der Vergleich des Trainingsmoduls von 2009 mit dem Trainingsmodul 2010 hinsichtlich der im Fragebogen erfassten Dimensionen des Trainingsdesigns und der Trainings-Outcomes. Die beiden Trainingsmodule unterschieden sich in Format und Trainingsdesign. Das Modul von 2010 war stärker problemorientiert und verknüpfte das Training nicht-technischer Fertigkeiten mit dem Training technischer-sicherheitsorientierter Fertigkeiten, um eine integrierte Trainingserfahrung zu schaffen (Ritzmann, Kluge, Hagemann & Tanner, 2011). In beiden Datenerhebungsphasen wurden die Trainer/-innen gebeten, in drei von vier Kursen pro Woche Fragebögen auszugeben. Die ausgefüllten Fragebögen wurden gesammelt und den Autorinnen des TEI ausgehändigt. Das Training dauerte einen halben Tag.

Trainingsstichproben
Die erste Trainingsstudienstichprobe (TrS1) wurde von Juni bis September 2010 erhoben. Teilnehmende waren vier Klassen neu eingestellter Junior-Flugbegleiter/-innen (n = 81; für deskriptive Statistiken siehe Tabelle 3) in einem vierwöchigen Einführungskurs für Kabinenbesatzungsmitglieder. Die Daten wurden unmittelbar im Anschluss an das eintägige-anfängliche Teamtrainingsmodul gesammelt. Ziel der Studie war es, die Effekte zweier verschiedener Teamtrainingsbedingungen (einstellungsorientiertes vs. Kompetenzbasiertes Training) zu vergleichen. Die Trainingsbedingungen und -ergebnisse werden in einer Studie von Ritzmann (2012) beschrieben. Der/die Trainer/-in wurde für alle vier Gruppen konstant gehalten, um den Einfluss des Trainerstils auf die Trainingsteilnehmenden zu minimieren (Sitzmann, Brown, Casper, Ely & Zimmermann, 2008). Neben dem TEI wurden die Einstellung zur Teamarbeit, Wissen und Verhaltensabsichten erfasst. Die Daten wurden vor dem Training (T0, um eine Baseline zu erfassen), direkt nach dem Training (T1) und erneut nach acht Wochen (T2) erhoben. Zwischen dem Training und der Datenerhebung acht Wochen später, absolvierten die Junior-Flugbegleiter/-innen eine Phase von Einführungsflügen (für weitere Informationen, siehe Ritzmann, 2012).
Die Daten für die zweite Trainingsstudienstichprobe (TrS2) wurden im Juli 2010 in Zusammenarbeit mit einer deutschen Feuerwehr erhoben. Die Teilnehmenden, alle vollständig ausgebildete Feuerwehrleute (n = 46, für deskriptive Statistiken siehe Tabelle 3), absolvierten ein halbtägiges Teamtrainingsmodul in Gruppen von 10-15 Personen. Die Fragebögen wurden einen Tag nach dem Training absolviert. Ziel der Studie war, die Evaluation der Akzeptanz und des Erfolges des Teamtrainings innerhalb der Feuerwehr zu evaluieren (Für die Ergebnisse siehe Hagemann, 2011; Hagemann, Kluge & Greve, 2012). Auch in dieser Stichprobe wurde der/die Trainer/-in für alle vier Gruppen konstant gehalten, um den Einfluss des Trainerstils zu minimieren (Sitzmann et al., 2008). Aufgrund der unterschiedlichen Berufsgruppen wurde der Wortlaut einiger Fragebogenitems bei Bedarf angepasst (z. B. „Ich kenne die Bedeutung der verschiedenen Themen des Crew Resource Management in unterschiedlichen Situationen“ vs. „Ich kenne die Bedeutung verschiedener Teamkompetenzen in unterschiedlichen Situationen“). Aus Zeitgründen konnte der Aspekt des problembasierten Lernens nicht in das Training implementiert werden, weshalb die entsprechende Skala des Trainingsoutcomes für diese Stichprobe nicht erfasst wurde. Neben dem TEI wurden zusätzlich Wissen über und Einstellung zu Führung, Nachbesprechung, Einschätzung von Stress und menschlicher Fehlbarkeit erhoben (für weitere Informationen siehe Hagemann, 2011). Die Daten wurden vor dem Training (T0) erhoben, um eine Baseline zu erfassen sowie erneut einen Tag nach dem Training (T1). Vor der zweiten Erhebung nach dem Training (T2) fand eine zusätzliche experimentelle Variation mit Auswirkung auf Wissen und Einstellungen (eine Art Team-Debriefing) statt. Aufgrund dessen wurden die Daten von T2 nicht verwendet, da sie zusätzlich von der zweiten experimentellen Variation beeinflusst wurden (siehe Hagemann, 2011).

Gesamtstichprobe
Um Hypothese 4 zu überprüfen, wurden die Daten der Stichproben TrS1, U1 und U2 in einem Datensatz zusammengeführt. Stichprobe TrS2 wurde nicht einbezogen, da in diesen Daten bezüglich der Dimension Problembasiertes Lernen fehlen. Der zusammengeführte Datensatz umfasst N = 1 041 Teilnehmende (43.1 % männlich). Das mittlere Alter liegt bei M = 33.5 Jahren (SD = 11.1). Etwa zwei Drittel der Teilnehmenden (75.9 %) haben Vorerfahrungen mit Teamtraining.

Tabelle 3
Deskriptive Statistiken bzgl. Berufsgruppe, Geschlecht und Alter der Stichproben TrS1, TrS2, U1 und U2 (Ritzmann, Hagemann, & Kluge, 2014)

Maße
In allen vier Stichproben wurde das TEI zur Erhebung von Daten über die Wahrnehmung der Teilnehmenden über das entsprechende Trainingsdesign und die Trainingsoutcomes eingesetzt. Die deskriptiven Statistiken und Reliabilitäten der Skalen sind in Tabelle 5 dokumentiert. Alle Items des TEI werden auf einer fünfstufigen Likert-Skala von 1 („trifft überhaupt nicht zu“) bis 5 („trifft sehr zu“) beantwortet. Mit Ausnahme der Dimension Wahrgenommene Schwierigkeit, bei der eine höhere Punktzahl eine geringere Schwierigkeit repräsentiert, stellen höhere Skalenwerte bessere Bewertungen der zugeordneten Skalen dar. Zur Überprüfung der Hypothesen 1 bis 3 wurden zusätzliche Skalen bezüglich externer Trainingsoutcomes erhoben, die in Tabelle 4 näher beschrieben werden.

Tabelle 4
Beschreibung externer Trainingsoutcomemaße, verwendet in den Stichproben TrS1 und TrS2(Ritzmann, Hagemann, & Kluge, 2014)

Itemanalysen
Die Ergebnisse der konfirmatorischen Faktorenanalysen sind in den Abbildung 1 und 2 dargestellt. Die Faktorladungen aller Items (außer einem) sind größer als .40 und signifikant. Die Indikatoren der Modellanpassung zeigen akzeptable Modellpassung für die fünf Dimensionen des Trainings-Outcomes (χ2 = 261.02, df = 101, p = .000, χ2/df = 2.58, CFI = .97, TLI = .95, RMSEA = .059, CI = .050–.067, SRMR = .055). Darüber hinaus zeigen die Indikatoren eine akzeptable Modellpassung für die fünf Trainingsdesign-Dimensionen (χ2 = 708.22, df = 302, p = .000, χ2/df = 2.35, CFI = .92, TLI = .92, RMSEA = .054, CI = .049–.059, SRMR = .062). Durch diese sowie die unter dem Abschnitt Reliabilität beschriebenen Werte kann die theoretisch entwickelte Struktur der beiden Teile des TEI zur Messung der Trainings-Outcomes sowie des -designs gestützt werden.

Gütekriterien

Objektivität

Aufgrund der selbsterklärenden Teststruktur des TEI und der eindeutigen Formulierung der Testitems sind keine gesonderten Instruktionen oder sonstige Hilfestellungen der Testleitung erforderlich. Die Durchführungsobjektivität kann als gegeben betrachtet werden, da weitestgehend auf eine Interaktion zwischen Testperson und Versuchsleiter/-in verzichtet wird und Versuchsleitereffekte somit minimiert werden. Da die Antworten der Teilnehmenden auf die TEI-Items standardisiert und unabhängig von der Testleitung in einen Wert zwischen 1 und 5 übersetzt werden und quantitativ zu Gesamtskalenwerten für die einzelnen Dimensionen verrechnet werden, ist die Auswertungsobjektivität als hoch zu bewerten. Um Fehler in der Berechnung per Hand zu vermeiden und die Auswertungsobjektivität zu erhöhen, können die Skalenwerte mithilfe einer Statistiksoftware (z. B. SPSS) berechnet werden.

Reliabilität

Nach Hair, Black, Babin, Anderson und Tatham (2006) zeigt ein Konstrukt konvergente Validität, wenn die Maße der durchschnittlich erfassten Varianz (DEV) das 50 Prozent Level überschreiten und der Wert für Cronbachs α größer ist als .70. Reliabilitätsschätzer zeigen für die Dimensionen des Trainings-Outcomes DEV-Werte von knapp unter dem 50 % Level oder höher: Subjektiver Spaß (46%), Wahrgenommene Nützlichkeit (66%), Wahrgenommene Schwierigkeit (46%), Subjektiver Wissenszuwachs (59%) und Einstellung gegenüber dem Training (60%). Ähnliche Werte für die DEV zeigen sich für die Dimensionen des Trainingsdesigns: Problembasiertes Lernen (46%), Aktivierung (49%), Demonstration (44%), Anwendung (64%) und Integration (45%). Aufgrund der Relevanz der Items für das Training wurden keine weiteren Variablenindikatoren zugunsten einer höheren DEV ausgeschlossen. Alle Werte für Cronbachs α bis auf der Wert für die Trainingsdesign-Dimension Integration sind größer als Alpha = .70.
Reliabilitätswerte für alle Stichproben und die mittlere Gesamt-Reliabilität sind in Tabelle 5 dargestellt.

Tabelle 5
Deskriptive Statistiken und Reliabilität (Interne Konsistenz: Cronbachs α) aller TEI Dimensionen für die Vorstudie und die Stichproben U1, U2, TrS1 und TrS2

Validität

Korrelationsanalysen der Trainingsoutcome-Dimensionen und externen Trainingsoutcome-Maßen
Es wurden zur Testung der Hypothesen Korrelationsanalysen durchgeführt, die die Trainingsoutcome-Dimensionen des TEI und die in den Stichproben der Trainingsstudie erhobenen externen Outcome-Maßen einbeziehen. Die deskriptiven Statistiken und Korrelationen sind in den Tabellen 6 und 7 dargestellt.
Partielle Korrelationen erster Ordnung wurden zwischen den Dimensionen des Trainingsergebnisses und den externen Outcome-Maßen nach dem Training (Zeitpunkt T1 und T2) berechnet. Dabei wurde nach der Baseline zu Zeitpunkt T0 kontrolliert, um Effekte des Trainings isolieren zu können, die unabhängig von vorherigen Einstellungen, Kenntnissen oder Verhaltensintentionen sind (siehe Warr et al., 1999). Tabelle 6 zeigt diese partiellen Korrelationen der fünf Trainingsoutcome-<7span>Dimensionen mit den Maßen der Trainingseffektivität, die in den beiden Trainingsstichproben erhoben wurden. Signifikant positive Zusammenhänge mit kleinen bis größeren Effektgrößen können beobachtet werden. Dabei gilt r = .10 als kleiner Effekt, r = .30 gilt als mittlerer und r = .50 als großer Effekt (Cohen, 1992).
Bezüglich der Hypothese 1, ob ein signifikant positiver Zusammenhang zwischen den drei vom TEI erfassten Reaktionskomponenten Subjektiver Spaß, Wahrgenommene Nützlichkeit und Wahrgenommene Schwierigkeit mit den Variablen Lernen, Einstellung und Verhaltenstransfer besteht, wurden die entsprechenden Korrelationen überprüft. Zusammenfassend konnten signifikante Zusammenhänge zwischen den mit dem TEI gemessenen Reaktionen und Lernen und Einstellungen nach dem Training, gemessen mithilfe anderer Instrumente, beobachtet werden. Die Dimension Subjektiver Spaß zeigt die meisten signifikanten Korrelationen, die Dimension Wahrgenommene Schwierigkeit die wenigsten. Entgegen der Erwartungen, gibt es keine signifikanten Zusammenhänge zwischen Reaktionen und Verhaltensabsichten. Die Korrelationen waren über die Stichproben hinweg nicht konsistent. Die oben genannte Hypothese 1 ist demnach zum Teil bestätigt.
Des Weiteren wird angenommen, dass die im TEI erfasste Dimension Subjektiver Wissenszuwachs in Zusammenhang zu objektiven Lernmaßen steht (Hypothese 2). Diese Annahme stützend, zeigen sich signifikante Korrelationen zwischen Subjektivem Wissenszuwachs und Kenntnissen über den Trainingsinhalt in den Stichproben TrS1 und TrS2. In der Flugbegleiter/-innen-Stichprobe TrS1 ist der Zusammenhang lediglich acht Wochen nach dem Training (Zeitpunkt T2) signifikant. Bezüglich der diskriminanten Validität der Dimension Subjektiver Wissenszuwachs können keine Korrelationen zu weiteren externen Outcome-Kriterien (z. B. Einstellungen oder Verhaltensabsichten) beobachtet werden. Die Ergebnisse stützen die Hypothese 2 demnach stark, wenn auch nicht vollständig.
Hypothese 3 wurde getestet, indem die Zusammenhänge zwischen den vom TEI erfassten Einstellungen gegenüber dem Training mit den Einstellungen gegenüber den Trainingsinhalten in den beiden Trainingsstichproben untersucht wurden. In Stichprobe TrS1 zeigen sich signifikante Korrelationen der Dimension mit Einstellungen gegenüber Teamarbeit zu beiden Zeitpunkten nach dem Training (T1 und T2). Je positiver die Einstellung gegenüber dem Training im Ganzen war, desto positiver zeigte sich die spezifische Einstellung gegenüber Teamarbeit. In der Feuerwehr-Stichprobe TrS2 korreliert die Einstellung gegenüber dem Training signifikant mit Einstellungen gegenüber menschlicher Fehlbarkeit. Die übrigen Einstellungsmaße zeigen keine signifikanten Korrelationen zur TEI-Dimension. Zwei der drei Korrelationen zeigen mittlere Effektgrößen von etwa r = .30. Bezüglich der diskriminanten Validität der Dimension konnten in beiden Stichproben signifikante Korrelationen mit Kenntnissen über den Trainingsinhalt beobachtet werden. Die diskriminante Validität ist demnach weniger stark als die der Dimension Subjektiver Spaß. Zusammenfassend konnte Hypothese 3 teilweise durch Stichprobe TrS1 sowie eingeschränkt durch Stichprobe TrS2 bestätigt werden.

Tabelle 6
Korrelationen der Trainingsoutcome-Dimensionen mit externen Outcomemaßen der Trainingsstichproben TrS1 und TrS2 (paarweises N ist unter dem Korrelationskoeffizienten angegeben)

Tabelle 7
Korrelationen der Trainingsdesign Dimensionen mit externen Outcomemaßen der Trainingsstichproben TrS1 und TrS2 (paarweises N ist unter dem Korrelationskoeffizienten angegeben)

Multiple Regressionsanalysen wurden durchgeführt, um Hypothese 4 zu überprüfen, welche annimmt, dass die Trainingsdesigndimensionen als Prädiktoren der Trainings-Outcomes dienen. Für die Überprüfung wurden Scores auf den Dimensionen sowie demographische Informationen über Geschlecht, Alter und Vorerfahrungen mit Teamtraining aller Stichproben in einem Datensatz zusammengeführt. Die Daten der Stichprobe TrS2 wurden nicht einbezogen, da diese keine Informationen bezüglich der Dimension Problembasiertes Lernen enthalten. Für eine Beschreibung der Gesamtstichprobe siehe den entsprechenden Punkt unter Testkonstruktion. Interkorrelationen der TEI-Dimensionen wurden berechnet. Aufgrund der großen Stichprobengröße sind fast alle der 55 Korrelationen signifikant, zeigen jedoch keine Multikollinearität. Alle Korrelationen zwischen den TEI-Dimensionen sind signifikant (Schwankung von r = .13 bis r = .82, p < .01), mit Ausnahme der Dimensionen Anwendung und Wahrgenommene Schwierigkeit (r = .02, ns). Alter als Variable zeigt in acht von zehn Fällen zwar kleine, aber signifikante Korrelationen mit den Dimensionen des TEI (von r = .15 bis r = .21).
Es wurden fünf hierarchische, multiple Regressionsanalysen anhand des zusammengeführten Datensatzes durchgeführt. Einbezogen wurden die demographischen Variablen sowie die fünf Dimensionen des Trainingsdesigns als Prädiktoren und den Trainingsoutcome-Dimensionen als Kriterien. Demographische Variablen wurden in die Regression aufgenommen, um Effekte „dritter Variablen“ zu kontrollieren (Field, 2005). Die Ergebnisse der multiplen Regressionsanalyse sind in Tabelle 8 dargestellt. In der Analyse sind männliche Teilnehmende als 0 kodiert (45.4 % der Teilnehmenden) und weibliche Teilnehmerinnen als 1. Keine Vorerfahrungen mit Teamtraining sind als 0 kodiert (27.5 % der Stichprobe) und vorhandene Vorerfahrungen als 1.
Die Trainingsdesign-Dimensionen erklären etwa 25 % der Varianz der Outcome-Dimensionen, wenn die Varianzaufklärung durch die demographischen Variablen konstant gehalten wird. Davon ausgenommen ist die Variable Wahrgenommene Schwierigkeit. Unter Berücksichtigung der vielen möglichen Faktoren, die neben dem Trainingsdesign einen Einfluss auf die Ergebnisse eines Trainings haben können (z. B. Motivation des Teilnehmenden oder Faktoren bezüglich des Organisationskontexts, siehe Cannon-Bowers, Salas, Tannenbaum & Mathieu, 1995), kann dieser Wert als hoch beurteilt werden. Die wichtigsten Trainingsdesign-Dimensionen zur Vorhersage von Reaktion, Lernen und Einstellung sind Demonstration, Anwendung und Integration. Im Allgemeinen führte eine Berücksichtigung dieser Trainingsdesign-Prinzipien zu positiveren Reaktionen, größerem Wissenszuwachs und einer positiveren Einstellung dem Training gegenüber. Eine Ausnahme bildet der Effekt der Dimension Anwendung auf die wahrgenommene Schwierigkeit, indem höhere Anwendungsanteile im Training in einer subjektiv stärker empfundenen Schwierigkeit resultieren. Die übrigen beiden Trainingsdesign-Dimensionen zeigen einen positiven Effekt von problembasierten Lernen auf den subjektiven Wissenszuwachs sowie den wahrgenommenen Wissenszuwachs und einer Reduktion der wahrgenommenen Schwierigkeit durch stärkere Aktivierung von Vorwissen. Alle Modelle zeigen mittlere bis große Effektgrößen (Cohen, 1992). Hypothese 4 wird durch diese Ergebnisse unterstützt. Je höher die Bewertungen der Trainingsdesign-Dimensionen, desto positiver wurden auch die Trainingsergebnisse bewertet. Anwendung machte ein Training subjektiv gesehen schwieriger.

Tabelle 8
Multiple Regression der demographischen Variablen und Trainingsdesigndimensionen auf die Dimensionen der Trainingsoutcomes

Post-hoc Analysen
Um den Geltungsbereich von Hypothese 4 zu erweitern, wurden die Korrelationen zwischen den Dimensionen des Trainingsdesigns und der externen Trainingsoutcome-Maße in einer Post-hoc-Analyse untersucht. Das Verfahren soll das Risiko einer Bestätigung der Hypothese aufgrund gemeinsamer Methodenvarianz vermeiden, welches dadurch bestehen könnte, dass die Dimensionen des Trainingsdesigns und der Trainingsoutcomes mithilfe des gleichen Fragebogens erhoben wurden (Podsakoff, MacKenzie, Lee & Podsakoff, 2003).
Die Korrelation zwischen Trainingsdesign und externen Maßen des Trainingsoutcomes sind in den Tabellen 5 und 6 dargestellt. Zusammenfassend zeigen die Trainingsdesign-Dimensionen in der Flugbegleiter/-innen-Stichprobe TrS1 hauptsächlich einen Einfluss auf den Wissensstand der Teilnehmenden nach acht Wochen. Die Dimension Anwendung zeigt zusätzlich einen Einfluss auf das Wissen direkt nach dem Training. Teilnehmende, die das Training als gut konzipiert wahrnahmen, zeigten größeren Erfolg darin behandelte Themen besser zu behalten. Außerdem besteht in der Stichprobe ein positiver Zusammenhang zwischen der Integration von neu Gelerntem in das eigene Wissen und erfolgreichen Verhaltensintentionen. Integration ist die einzige Dimension des TEI, die in Stichprobe TrS1 einen Einfluss auf die Verhaltensintentionen zeigt.
In der Feuerwehr-Stichprobe TrS2 zeigen zusammenfassend drei von vier Trainingsdesign-Dimensionen einen positiven Zusammenhang zum Wissen der Teilnehmenden (das gleiche Ergebnis zeigte Stichprobe TrS1). Darüber hinaus zeigt das Trainingsdesign einen positiven Einfluss auf die persönlichen Einstellungen, insbesondere auf die Einstellung gegenüber menschlicher Fehlbarkeit. Insgesamt zeigte sich Evidenz dafür, dass ein gut geplantes Trainingsdesign mit einem Fokus auf Instruktionsdesignprinzipien einen positiven Effekt auf (externe) Trainingsoutcomes zeigt. Effekte zeigen sich vor allem bezüglich der wissensbezogenen Maße und weniger auf Einstellungen und Verhalten.

Normierung

Für Mittelwerte, Standardabweichungen, Schiefe und Kurtosis der TEI-Dimensionen siehe Tabelle 9.

Tabelle 9
Mittelwerte (M), Standardabweichungen (SD), Schiefe und Kurtosis der TEI-Dimensionen (für die Gesamtstichprobe)

Anwendungsmöglichkeiten

Das Trainings Evaluations Inventar kann, unabhängig vom Trainingsinhalt, in den formativen, also fortlaufenden, aber auch in den abschließenden summativen Trainingsevaluationsprozess eingebunden werden. Durch die theoretische und empirische Fundierung und seine große Akzeptanz unter den entsprechenden Beteiligten in Organisationen (Trainer/-innen, Trainees, Entscheidungsträger/-innen in Trainingsfragen) ist das TEI sowohl für den Einsatz in Forschungsprojekten als auch für die Evaluation von Trainingsinterventionen im organisationalen Kontext geeignet. Weiterhin ist mit dem TEI auch ein Vergleich von verschiedenen Trainingsmodulen möglich. Des Weiteren weist das TEI eine Effizienz auf, die in der Praxis geschätzt wird.

Bewertung

Mit dem Training Evaluations Inventar liegt ein validiertes Instrument vor, das sich zur Evaluation eines laufenden oder bereits abgeschlossenen Trainings oder Seminars auf Basis empirischer und theoretischer Grundlagen eignet.
Forschende, die sich mit der Entwicklung und Wirksamkeit von Trainings befassen, können mithilfe des TEI Daten auf strukturierte Weise sammeln. In der Praxis können auf Grundlage der inhaltlichen Interpretation der TEI-Dimensionen gemäß den Bedürfnissen der Organisationen, Trainer/-innen sowie Trainingsteilnehmenden trainingsbezogene Entscheidungen getroffen werden, zum Beispiel über Änderung, Fortlauf oder Abbruch eines Trainingsprogramms.

Erstmals publiziert in:

• Ritzmann, S., Hagemann, V., & Kluge, A. (2014). The Training Evaluation Inventory (TEI) – Evaluation of Training Design and Measurement of Training Outcomes for Predicting Training Success. Vocations and Learning, 7, 41–73. https://doi.org/10.1007/s12186-013-9106-4

Literatur

• Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42, 331–342. https://doi.org/10.1111/j.1744-6570.1989.tb00661.x

• Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, A. (1997). A meta-analysis of the relations among training criteria. Personnel Psychology, 50, 341–358. https://doi.org/10.1111/j.1744-6570.1997.tb00911.x

• Billett, S. (2008). Welcome to the new journal. Vocations and Learning, 1, 1–5. https://doi.org/10.1007/s12186-007-9005-7

• Cannon-Bowers, J. A., Salas, E., Tannenbaum, S. I., & Mathieu, J. E. (1995). Toward theoretically based principles of training effectiveness: a model and initial empirical investigation. Military Psychology, 7(3), 141–164. https://doi.org/10.1207/s15327876mp0703_1

• Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037/0033-2909.112.1.155

• European Centre for the Development of Vocational Training. (2010). Employer-provided vocational training in Europe. Evaluation and interpretation of the third continuing vocational training survey. Luxembourg: Publications Office of the European Union.

• Field, A. (2005). Discovering statistics using SPSS. London: Sage Publications Ltd.

• Hagemann, V. (2011). Trainingsentwicklung für High Responsibility Teams [Training development for High Responsibility Teams]. Lengerich: Pabst Science Publishers.

• Hagemann, V., Kluge, A., & Greve, J. (2012). Measuring the effects of team resource management training for the fire service. Proceedings of the 56th Annual Meeting of the Human Factors and Ergonomics Society (HFES), Boston, 56, 1, 2442–2446. https://doi.org/10.1007/s12186-013-9106-4

• Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2006). Multivariate data analysis (6th ed.). Upper Saddle River: Prentice Hall.

• Helmreich, R. L., Merritt, A. C., & Wilhelm, J. A. (1999). The evolution of crew resource management training in commercial aviation. The International Journal of Aviation Psychology, 9(1), 19–32. https://doi.org/10.1207/s15327108ijap0901_2

• Hu, L. & Bentler, B. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1–55. https://doi.org/10.1080/10705519909540118

• Kirkpatrick, D. L. (1998). Evaluating training programs: The four levels (2nd ed.). San Francisco: Berrett-Koehler Publishers.

• Kraiger, K., Ford, J. K., & Salas, E. (1993). Application of cognitive, skill-based, and affective theories of learning outcomes to new methods of training evaluation. Journal of Applied Psychology, 78(2), 311–328. https://doi.org/10.1037/0021-9010.78.2.311

• Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43–59. https://doi.org/10.1007/BF02505024

• Nunnally, J. C. (1978). Psychometric theory. New York: McGraw-Hill.

• Podsakoff, P. M., MacKenzie, S. B., Lee, J.-Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended remedies. Journal of Applied Psychology, 88(5), 879–903. https://doi.org/10.1037/0021-9010.88.5.879

• Ritzmann, S. (2012). Entwicklung und Evaluation von Crew Resource Management Training für Flight Attendants [Development and evaluation of crew resource management training for flight attendants]. Lengerich: Pabst Science Publishers.

• Ritzmann, S., Kluge, A., & Hagemann, V. (2009). Crew Resource Management für Kabinenbesatzungen: Ein konzeptbasierter Ansatz. [Crew Resource Management for cabin crews: A conceptual approach.]. In M. Grandt & A. Bauch (Eds.), Kooperative Arbeitsprozesse [Cooperative work processes] (DGLR-Report 2009–02) (pp. 261–277). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

• Ritzmann, S., Kluge, A., Hagemann, V., & Tanner, M. (2011). Integrating safety and crew resource management (CRM) aspects in the recurrent training of cabin crew members. Aviation Psychology and Applied Human Factors, 1(1), 45–51. https://doi.org/10.1027/2192-0923/a00007 PSYNDEX Dok.-Nr. 0244824

• Salas, E., Prince, C., Bowers, C. A., Stout, R. J., Oser, R. L., & Cannon-Bowers, J. A. (1999). A methodology for enhancing crew resource management training. Human Factors, 41, 161–172. https://doi.org/10.1518/001872099779577255

• Salas, E., Wilson, K. A., Burke, C. S., & Wightman, D. (2006). Does crew resource management work? An update, an extension, and some critical needs. Human Factors, 48(2), 392–412. https://doi.org/10.1518/001872006777724444

• Sexton, J. B., Helmreich, R. L., Glenn, D., Wilhelm, J. A. & Merritt, A. C. (2000). Operating Room Management Attitudes Questionnaire (ORMAQ). The University of Texas at Austin, Human Factors Research Project.

• Shelton, A., & Alliger, G. M. (1993). Who’s afraid of level 4 evaluation? A practical approach. Training and Development, 47, 43–46.

• Sitzmann, T., Brown, K. G., Casper, W. J., Ely, K., & Zimmerman, R. D. (2008). A review and meta-analysis of the nomological network of trainee reactions. Journal of Applied Psychology, 93(2), 280–295. https://doi.org/10.1037/0021-9010.93.2.280

• Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics. Boston: Pearson Education.

• Warr, P., Allan, C., & Birdi, K. (1999). Predicting three levels of training outcome. Journal of Occupational and Organizational Psychology, 72, 351–375.

• Warr, P., & Bunce, D. (1995). Trainee characteristics and the outcomes of open learning. Personnel Psychology, 48(2), 347–375. https://doi.org/10.1111/j.1744-6570.1995.tb01761.x

• Wasserman, J. D., & Bracken, B. A. (2003). Psychometric characteristics of assessment procedures. In J. R. Graham & J. A. Naglieri (Eds.), Handbook of psychology: Assessment psychology (Volume 10) (pp. 43–66). Hoboken: Wiley. https://doi.org/10.1002/0471264385.wei1003

• Yule, S., Flin, R., Paterson-Brown, S. & Maran, N. (2004). Surgeons’ attitudes to teamwork and safety. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 48(16), 2045–2049. https://doi.org/10.1177/154193120404801655

Downloads

• Inventar TEI (Deutsch) [PDF]
• Inventar TEI (Englisch) [PDF]
• Verfahrensdokumentation TEI [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen