Diagnostische Zielsetzung

Das Team-Arbeit-Kontext-Analyse Inventar (TAKAI) dient der Erhebung des Arbeitsumfeldes und der Anforderungen an Mitarbeiter*innen bzw. Teams in Hochrisiko Organisationen oder klassischer Teams außerhalb solcher Organisationen. Mit Hilfe des TAKAI können Job-Profile erstellt und der Trainingsbedarf ermittelt werden.

Aufbau

Das TAKAI besteht aus 62 Fragen (siebenstufige Antwortskala), die vier zentrale Kategorien des Arbeitsumfeldes (Komplexität, Kontextkriterien, Shared Mental Model, Adaptive Behaviors) mit 14 Itemgruppen und 12 Einzelitems als Indikatoren erfassen, die in ungefähr 20 Minuten bearbeitet werden können.

Grundlagen und Konstruktion

Für die Fragebogenentwicklung wurde sich grundsätzlich an den drei Konstruktionsstrategien für die Entwicklung von Fragebogeninventaren orientiert (vgl. Bühner, 2004, Kap. 3.1; Amelang & Zielinski, 1997, Kap. 2.2). Die entsprechenden Erhebungskategorien wurden nach weitreichender Literaturrecherche, Besichtigungen verschiedener HROs, Hospitationen bei CRM-Trainings und anschließender Überprüfung der daraus resultierenden Itemgruppenstruktur, festgehalten. Auf Basis der inhaltlichen Definitionen der Kategorien und ihren Itemgruppen wurden die vorläufigen Items entwickelt. Bei der Generierung und Formulierung der Items wurde sich an den in der Wissenschaft weit verbreiteten Empfehlungen zur Konstruktion von Testfragen orientiert (Bortz & Döring, 2006; Bühner, 2004). Die erste Version des TAKAI wurde in einer Vorstudie von 23 Personen aus HROs und Nicht-HROs bearbeitet. Aufgrund dieser Vorstudie wurden einige Veränderungen am TAKAI vorgenommen, denen das Feedback der Teilnehmenden und die Berechnung von testtheoretischen Gütekriterien zu Grunde lagen. Die resultierende erste Revision des TAKAI wurde im Anschluss an einer größeren Stichprobe (N = 563) getestet. Anhand dieser Stichprobe erfolgte eine erneute Überprüfung der Anwendbarkeit und der testtheoretischen Gütekriterien des TAKAI. Die empirische Prüfung des Inventars erfolgte anhand einer Stichprobe von 563 Proband*innen aus sechs verschiedenen High Responsibility Teamarbeitskontexten. Die diskriminante Validität für die Prüfung der Konstruktvalidität wurde untersucht. Die Reliabilität und Validität der Skala konnte bestätigt werden.

Empirische Prüfung und Gütekriterien

Reliabilität: Die interne Konsistenz liegt bei Cronbachs Alpha > = .60 (drei Ausnahmen: .50 > Alpha < .60).
Validität: Die diskriminante Validität wurde überprüft.
Normen: Referenzwerte liegen in Form von Mittelwerten und Standardabweichungen vor.

Testkonzept

Theoretischer Hintergrund

Das Team-Arbeit-Kontext-Analyse Inventar (TAKAI) ist ein Instrument zur Erhebung des Arbeitskontextes von Teams in High Reliability Organizations (HROs; Weick & Sutcliffe, 2003), sowie von klassischen Teams außerhalb solcher Organisationen. Das Ziel des Instrumentes ist es, anhand der Ergebnisse Hinweise auf die Entwicklung und Gestaltung von Trainings für Teams zu bekommen.
Die effektive Zusammenarbeit eines Teams ist Voraussetzung für eine erfolgreiche Bewältigung bestimmter Anforderungen (Cannon-Bowers & Bowers, 2011; Driskell, Salas & Driskell, 2018; O`Neill & Salas, 2018; Salas, Sims & Burke, 2005). Studien konnten aufzeigen, dass die Unfallrate in HROs aufgrund von Fehlern an der Maschine bzw. der Technik immer weiter sank, wohingegen der Mensch bzw. die Teaminteraktion zu 60 % bis 70 % als verursachender Faktor ausgemacht werden konnte (Wiegmann & Shappell, 2001; Helmreich & Foushee, 1993). Daraufhin wurden über die Jahre hinweg Konzepte für geeignete Team-Trainings entwickelt und die Bedeutung sogenannter Crew Resource Management Trainings (CRM-Trainings, Flin, O'Connor & Mearns, 2002; Helmreich, Merritt & Wilhelm, 1999) immer mehr erkannt. Dabei gibt es nicht das eine CRM-Training, sondern es ist ein Trainingskonzept, welches auf spezifische Inhalte fokussiert und dabei diverse Methoden und Techniken nutzt (Hagemann, 2011).

Gut funktionierende Teamarbeit innerhalb einer Organisation resultiert in erhöhter Effektivität, verbesserter Erfolgsquote und einem produktiven Arbeitsklima. Besonders Teams in HROs, sogenannte High Responsibility Teams (HRTs; Hagemann, 2011), müssen zuverlässig arbeiten, schnell eingreifen können und unterschiedlichsten Anforderungen gerecht werden, um die Anzahl an Unfällen und teils lebensentscheidenden Fehlhandlungen möglichst gering zu halten. Die Teams müssen Ziele bilden, Schwerpunkte in den gemeinsamen sowie individuellen Handlungen setzen und Aufgaben priorisieren, Informationen sammeln und im Team austauschen und integrieren, um untereinander geteilte mentale Modelle aufzubauen. Dem Kontext entsprechend müssen Prognosen und häufig unter Zeitdruck und Ungewissheit Entscheidungen getroffen und das eigene Handeln überprüft werden (Dörner & Schaub, 1995; Hagemann & Kluge, 2017). Zudem ist für die Teams besonders wichtig, Informationen aus der Umwelt und von den eigenen Teammitgliedern kommend aufzunehmen, zu interpretieren und dadurch auch zukünftige Zustände zu antizipieren sowie ständig neu gewonnene Informationen zu nutzen, um ein aktuelles Bild der Situation zu gewährleisten (Endsley & Bolstadt, 1994; Badke-Schaub, 2012). An die Führung der Teams werden gewisse Ansprüche gestellt, da es für eine umfassende Nutzung aller Ressourcen wichtig ist, dass jedes Teammitglied seinen Beitrag leisten kann und gehört wird, und demzufolge die hierarchische Struktur einer teamarbeitsförderlichen Art und Weise ausgeprägt ist (Sexton, Thomas & Helmreich, 2000). Besonders wichtig ist auch die Kommunikation, Kooperation und Koordination innerhalb der Teams (Hagemann & Kluge, 2017), weil es auf einen effizienten Informationsaustausch zwischen allen beteiligten Teammitgliedern ankommt und die entsprechende Zusammenarbeit essentiell ist (Badke-Schaub, 2012).
Da die Teams jedoch in unterschiedlichen Umgebungen und unter diversen Umständen arbeiten und diese Faktoren einen großen Einfluss auf die Teamarbeit ausüben, brauchen sie ein für sie maßgeschneidertes Trainingskonzept. Nach Goldstein und Ford (2002) kann eine Trainingsgestaltung in vier Phasen und entsprechende Untereinheiten aufgeteilt werden. In dem von ihnen entwickelten Instructional System Model lauten diese Phasen 1) Needs Assessment, 2) Training and Development, 3) Evaluation und 4) Training Validity. Das Testkonzept des TAKAI ist folglich der ersten Phase zuzuordnen. Zur Needs Assessment zählt die Sicherstellung der organisationalen Unterstützung, sowie vor allem die Aufgaben- und Umfeldanalyse. Aus den Ergebnissen dieser Analyse werden im Anschluss die Instructional Objectives, also die Trainings- bzw. Instruktionsziele abgeleitet – die Ergebnisse hier auf das Duisburger CRM-Rahmenmodell übertragen (siehe unter „Auswertung“). Für die Gestaltung eines Trainingskonzepts spielt der jeweilige Arbeitskontext eine wichtige Rolle, weshalb es von großer Bedeutung ist, das Arbeitsumfeld eines Teams im Vorfeld zu erheben, um anschließend aus den extrahierten Anforderungen an die Teamarbeit Ableitungen für ein an die Zielgruppe angepasstes Training ziehen zu können (Hagemann, 2011).

Ziel des TAKAI ist es, diese Anforderungen zu erfassen, die aufgrund der Charakteristika des Arbeitskontextes auf die Teams bzw. ihre Leistungen einwirken. Anhand der Ergebnisse können Job-Profile erstellt werden, aus denen sich Team-Interventionen und dementsprechend eine maßgeschneiderte Trainingsgestaltung ableiten lässt. Das TAKAI beinhaltet vier Erhebungskategorien (siehe Abbildung 1), welche Erkenntnisse über psychologische Anforderungen an Teams sichtbar machen und Implikationen für eine entsprechende Trainingsgestaltung liefern:

1. Komplexität ist ein auf der Oberflächenstruktur angesiedeltes Merkmal, durch das viele Systeme und Situationen heutzutage gekennzeichnet sind und weshalb Teamarbeit erforderlich ist. Gemeint ist damit, dass Situationen bspw. undurchsichtig sind, Informationen nicht vorliegen oder sich einzelne Variablen gegenseitig beeinflussen.
   
2. Kontextkriterien sind auf der Oberflächenstruktur angesiedelte Kriterien, die den Team-Arbeits-Kontext weiter charakterisieren und die einen Einfluss auf eine Trainingsgestaltung ausüben und somit berücksichtigt werden müssen. Sie beschreiben spezifische Eigenschaften des Umfeldes eines Teams.
   
3. Shared Mental Model (SMM) sind auf der Tiefenstruktur angesiedelte Modelle, die sich auf die organisierten Wissensstrukturen der einzelnen Teammitglieder, die miteinander geteilt werden und die es ihnen erlauben zielgerichtet miteinander zu interagieren, beziehen. Generell dienen mentale Modelle dazu, etwas zu beschreiben, etwas zu erklären und etwas vorherzusagen (Mathieu, Goodwin, Heffner, Salas & Cannon-Bowers, 2000).
   
4. Adaptive Behaviors sind auf der Tiefenstruktur angesiedelte Verhaltensweisen, die einem Team helfen, sich in verändernden Situationen den neuen Umständen entsprechend anzupassen und angemessen darauf zu reagieren. In stressigen und kritischen Situationen ist es bspw. wichtig, dass ein Team sein Kommunikations- und sein Koordinationsverhalten anpasst und auf Strategien zurückgreifen kann, die es sich in weniger belastenden Situationen, eher in Routinesituationen, angeeignet hat (Entin & Serfaty, 1999; Waller, Gupta & Giambatista, 2004).
   

Abbildung 1. Zusammenhänge der Kategorien (siehe Datei unter "Downloads")

Testaufbau

Das Team-Arbeit-Kontext-Analyse Inventar umfasst vier übergeordnete Kategorien (Komplexität, Kontextkriterien, Shared Mental Model, Adaptive Behaviors), welche mit 14 Itemgruppen und 12 Einzelitems als Indikatoren, insgesamt 62 Items, den Arbeitskontext eines Teams erheben.
Die jeweiligen Subskalen lauten:
Transparenz, Vernetztheit: Abteilungen, Vernetztheit: Informationsfluss, Eigendynamik, Polytelie, Verzögerte Rückmeldung, Geschwindigkeit der Bewegung des Teams, Systemgröße, Geschwindigkeit der Systemveränderungen, Persönliche Bedrohung, Ausprägung der Hierarchie, Hierarchie: Followership, Hierarchie: Leadership, Umweltfaktoren, Beeinträchtigung der Kommunikation, Bekanntheit der Arbeitsumgebung, Shared Mental Model Task und Team, Informationssammlung, Aufgabenpriorisierung, Aufgabenverteilung.
Siehe hierzu auch unter „Itembeispiele“.

Die Items sind teilweise durchmischt und teilweise nach Themengebieten geordnet. Die Items werden den Befragten unipolar vorgegeben (d. h. es gibt keine gegensätzlichen Extremausprägungen), da Häufigkeiten von Situationen und Verhaltensweisen bewertet sowie Zustimmungen gegeben werden sollen. Zudem ist jede Stufe der Ratingskala mit einer Ziffer gekennzeichnet (von 0 bis 6) und exakt benannt, was sie bedeutet. Die Skalenstufen lauten:
(0) trifft nie zu;
(1) trifft fast nie zu;
(2) trifft selten zu;
(3) trifft manchmal zu;
(4) trifft oft zu;
(5) trifft fast immer zu;
(6) trifft immer zu;
bzw.
(0) stimme nicht zu;
(1) stimme eher nicht zu;
(2) stimme weniger zu;
(3) weder noch;
(4) stimme etwas zu;
(5) stimme eher zu;
(6) stimme voll zu.
Dieses Vorgehen verbessert die Reliabilität und Validität von Instrumenten (Bühner, 2004).

Auswertungsmodus

Die Ergebnisse des TAKAI zeigen auf, welche Schwerpunkte in den Teamtrainings gesetzt werden müssen. Für die Erstellung des Job-Profils der jeweiligen Teams müssen für alle Itemgruppen sowie für die Einzelitems die arithmetischen Mittel auf Ebene des Teams gebildet werden. Hierfür müssen zwei Schritte befolgt werden:
(1) Es werden für jede der 14 Itemgruppen Gruppensummenwerte pro Person gebildet. Dies ist für die 12 Einzelitems nicht nötig (hier wird der absolute Wert pro Person in Betracht gezogen). Negativ gepolte Items werden umgepolt. In diesem Fall wird der erreichte Itemwert von dem maximal zu erreichenden Wert 6 subtrahiert. Es handelt sich dabei um die Items 4, 7, 12, 18, 19, 33, 34, 36, 43 (siehe Tabelle 1). Anschließend wird der Mittelwert der Itemgruppe pro Person berechnet - der jeweilige Itemgruppensummenwert durch die Anzahl an Items dividiert.
(2) Im zweiten Schritt werden die Mittelwerte der Itemgruppen und der Einzelitems auf Teamebene berechnet. Hierzu werden die Mittelwerte der Itemgruppen bzw. die absoluten Werte der Einzelitems über alle Personen im Team addiert und durch die Zahl der befragten Personen dividiert.

Die Mittelwerte der Itemgruppen und Einzelitems werden in das Profilblatt übertragen (siehe unter „Auswertung“). Für die Interpretation der Ergebnisse wird der Bereich, in welchem der berechnete Wert eines Teams liegt, in Betracht gezogen. Je nachdem, ob dieser im oberen oder unteren Bereich der Skala liegt, hat das unterschiedliche Auswirkungen auf die Trainingsgestaltung. Liegt der erreichte Wert in einem kritischen Bereich, ist der Analyseaspekt von hoher Relevanz für eine Team-Intervention. Kritische Bereiche sind im Profilblatt farbig hinterlegt.

Auswertungshilfen

Bei großen Stichproben wird aus zeitökonomischen Gründen empfohlen, die Berechnungen der arithmetischen Mittel auf Ebene des Teams mithilfe einer Statistik-Software vorzunehmen. Eine händische Berechnung ist ebenfalls möglich. Für die Auswertung kann sich an dem Profilblatt des TAKAI (siehe Abbildungen 2 & 3) orientiert werden. Dieses veranschaulicht die unterschiedlichen kritischen Bereiche (grau hinterlegt) der vier untersuchten Kategorien. Fällt ein untersuchtes Team in diesen Bereich, ist dieser Analyseaspekt von hoher Relevanz für eine Team-Intervention und zwar umso mehr, je weiter der erreichte Wert von dem weißen Bereich entfernt ist. Das Duisburger CRM-Modell, welches einen idealen Teamarbeitskreislauf darstellt (Abbildung 4), wurde in diesem Zusammenhang entwickelt und hilft bei der Interpretation der Job-Profile in Bezug auf die Trainingsrelevanz der einzelnen Aspekte. Es ist ein Rahmenmodell für einen optimal ablaufenden Teamarbeitsprozess, wenn es zu keinen Störungen kommen würde.

Abbildung 2. Profilblatt des TAKAI mit Profil des Cockpits (blaue Linie) für den Vergleich (siehe Datei unter "Downloads")

Abbildung 3. Profilblatt des TAKAI mit Profil der Feuerwehr (blaue Linie) für den Vergleich (siehe Datei unter "Downloads")

Das Duisburger Crew Resource Management (CRM)-Modell stellt einen idealen Teamarbeitskreislauf dar. Es basiert auf einem Regelkreis, in den zu Beginn Informationen über die individuelle Situation Awareness (SA) fließen, welche die Grundlage einer erfolgreichen Teamarbeit ist (Hagemann, 2011; Hagemann & Kluge, 2017).
SA besteht aus drei Stufen: 1) der Wahrnehmung und Sammlung von Information 2) der Interpretation von Information und 3) der Antizipation der Entwicklung einer Situation oder eines Zustandes (Endsley, 1999; Flin, O'Connor, & Crichton, 2008). Die SA jedes einzelnen Teammitglieds ist in diesem Modell Ausgangs- und Endpunkt. Sie ist eine Lagebeurteilung, die Teams brauchen, da sie hoch arbeitsteilig aber zugleich interdependent arbeiten und jedes Teammitglied seine korrekte SA versuchen muss zu erlangen, um sie dann im Team zu teilen. Je nach Arbeitskontext sind für ein Team verschiedene Aspekte von SA relevant. Für Pilotinnen und Piloten ist bspw. der Zustand des Flugzeugs und seiner technischen Systeme von Interesse, wohingegen Anästhesistinnen und Anästhesisten den Zustand ihres Patienten überwachen müssen und die Feuerwehr bspw. die Umwelt, wie Winde, genau analysieren und ihren Einfluss auf einen Brand antizipieren muss.

Abbildung 4. Das Duisburger CRM-Modell – ein idealer Teamarbeitskreislauf (siehe Datei unter "Downloads")

Diese individuelle SA wird im Weiteren durch Informationsweitergabe von den Teammitgliedern zu einer Shared Situation Awareness (SSA) abgeglichen, da gerade CRM bedeutet, dass durch das gemeinsame Nutzen aller Ressourcen eine optimale Leistung im Team erreicht werden soll. Hierfür werden die sich überlappenden Teilausschnitte der individuellen SAs im Team abgeglichen und in ein großes Ganzes zusammengesetzt. Unter SSA wird das Teilen einer gemeinsamen Perspektive der Teammitglieder bezüglich aktueller Ereignisse in ihrer Umwelt, deren Bedeutung und deren zukünftiger Entwicklung (Antizipation) verstanden. Diese geteilte Perspektive ermöglicht den Teammitgliedern durch übereinstimmende und zielgerichtete Verhaltensweisen eine hohe Leistung zu erzielen (Cannon-Bowers, Salas & Converse, 1993).
Auf die SA, die Informationsweitergabe und den Prozess des Abgleichens wirken gewisse Wahrnehmungsprozesse der einzelnen Teammitglieder auf Basis individueller mentaler Modelle und interpositional Knowledge ein. Mentale Modelle dienen Teammitgliedern dazu etwas zu beschreiben, etwas zu erklären und etwas vorherzusagen (Mathieu et al., 2000). Sie sind Mechanismen, mit denen Menschen Beschreibungen von Systemen generieren, Erklärungen für das Funktionieren und den Status des Systems suchen und Vorhersagen zur Entwicklung des Systemzustands machen. Sie sind dynamische Einheiten, die sich fortlaufend verändern und anpassen (Rouse & Morris, 1986). In mentalen Modellen sind die Wissenselemente enthalten, die von den Teammitgliedern gebraucht werden, um die aktuelle Lage situationsbewusst im Sinne der SA zu erfassen. Diese neu aufgenommenen Informationen fließen wiederum in die individuellen mentalen Modelle ein und erweitern sie so. Interpositional Knowledge bedeutet, ein individuelles Verständnis über die Aufgaben und Verantwortlichkeiten der anderen Teammitglieder zu besitzen, und ein Verständnis davon zu haben, wie sich die eigenen Handlungen auf die Handlungen der Teammitglieder auswirken. Es ist sozusagen ein positionsübergreifendes Wissen. Es hilft dem Team, den Informationsbedarf anderer zu ermitteln, Teammitglieder zu unterstützen und Teamkonflikte zu vermeiden (Smith-Jentsch, Baker, Salas & Cannon-Bowers, 2001). Somit bezieht es sich ebenfalls auf eine Wissensstruktur, allerdings eher auf das Team hin ausgerichtet. Dieses Wissen darüber, welche Informationen die anderen im Team auf ihrer Position brauchen, um ihre Arbeit so gut wie möglich zu machen, ist eine wichtige Voraussetzung dafür, dass ein Teammitglied den richtigen Ausschnitt seiner SA über die Informationsweitergabe an die anderen im Team weitergeben kann.
Auf Basis des Prozesses des Abgleichens erfolgt im Team eine Entscheidung über "Spielzüge", die im Weiteren ausgeführt werden. Hier geht es um Prozeduren, Standardized Operation Procedures (SOPs) und Taktiken, die ausgeführt werden sollen. Oft ist es in Teams bspw. aus HROs hoch trainiert, welcher Spielzug wann geeignet ist und ausgeführt wird (hoch prozeduralisiertes Wissen). Das Team koordiniert sich sozusagen implizit, denn jedes Teammitglied weiß, was in einer bestimmten Situation auf seiner Position zu tun ist, was von ihm erwartet wird und wie das allgemeine Zusammenspiel im Team funktioniert. Treten hingegen ungewöhnliche Ereignisse auf, wird in der SA sozusagen etwas Neues/Ungewöhnliches wahrgenommen, koordiniert sich das Team explizit durch Absprachen. In dieser Phase werden dann Aspekte wie Hierarchie und Führung relevant, denn eine Person muss die Koordination eines neuen Spielzuges leiten bzw. diesen zuerst entwickeln.
In die Entscheidungsfindung und Handlungsausführung ist auf Basis des Prozesses des Abbleichens die Aufgabenpriorisierung und -verteilung im Team integriert (Waller et al., 2004). Je nach Verlauf einer Situation kann es auch wieder zu Repriorisierungen im Team kommen. Eine ausgewogene Aufgabenverteilung beachtet den Workload im Team und die Fähigkeiten der einzelnen Teammitglieder. Durch das Abgleichen im Team entsteht als wichtige Ausgangslage für die weiteren Entscheidungen eine geteilte Vorstellung des Problems, der Ziele und der aktuellen Lage im Sinne eines Shared Mental Models (SMM). SMMs sind gemeinsame in einem Team geteilte mentale Modelle und beziehen sich auf die organisierten Wissensstrukturen der einzelnen Teammitglieder, die miteinander geteilt werden und die es ihnen erlauben, zielgerichtet miteinander zu interagieren. (Mathieu et al., 2000). Für ein SMM ist es wichtig, dass die Teammitglieder ihr Wissen über die zu erledigenden Aufgaben, die Strategien und die Technologien, die zur Erledigung der Aufgaben genutzt werden und über ihre eigenen Stärken und Schwächen und die der anderen im Team miteinander teilen. SMMs helfen einem Team sich bei hohem Workload schnell und effizient an die neue Situation anzupassen (Waller et al., 2004). Zudem belegen Studien, dass sie zu einer verbesserten Leistung im Team und zu verbesserten Kommunikationsstrukturen führen (Cannon-Bowers et al., 1993; Mathieu et al., 2000). Gerade unter Zeitdruck, in kritischen Situationen oder in denen wenig miteinander kommuniziert werden kann, haben sie einen großen Nutzen für das Team, denn mit ihrer Hilfe können die Teammitglieder sich implizit koordinieren.
Das Abgleichen von gemeinsamen Zielen ist dabei Teil des Erreichens eines geteilten Verständnisses. Für den Schritt des Abgleichens sind Kommunikations-, Koordinations- und Kooperationsprozesse zentral (Hagemann & Kluge, 2017). Die Koordination kann je nach Grad des geteilten Wissens und Situationsverständnisses implizit aufgrund von im Team bekannten Abläufen und geteilten Annahmen erfolgen, oder auch explizit durch Kommunikation oder Führung. Generell kann der Prozess des gesamten Rahmenmodells implizit wie auch explizit erfolgen.
Kooperation beinhaltet vor allem back-up-Verhalten der einzelnen Teammitglieder und ständiges Reagieren auf das kollektive Geschehen, so dass Hilfestellungen für Teammitglieder unter Druck durch frühzeitige Antizipation möglich sind und die Leistung des Teams ebenso wie das Wohlbefinden des Einzelnen bestmöglich aufrechterhalten werden kann (Badke-Schaub, 2008).
Das Ergebnis der Entscheidungsfindung und Handlungsausführung fließt nun wieder in die individuelle SA zurück und wird mit den gegebenen Zielen verglichen. Das gesamte CRM-Modell ist somit ein Regelkreis mit zentralen Feedbackschlaufen, der es einem Team ermöglicht, sich flexibel an sich verändernde Umwelten oder Ziele anzupassen. Die Aktivitäten des Teams wirken auf die individuellen mentalen Modelle und das interpositional Knowledge der Teammitglieder zurück. Der gegenseitige Abgleich führt dazu, dass die individuelle SA beeinflusst und eventuell revidiert wird. Individuelle Einflüsse auf die SA wie z.B. Vorannahmen der Teammitglieder können durch den Input der Gruppe bei Bedarf korrigiert werden. Obwohl sich das Team hier als Ganzes in einem fortlaufenden Prozess befindet, findet die Rückkopplung wieder durch die individuelle Person statt. Erst ein erneuter Abgleich in der Gruppe führt wieder zu einem neuen gemeinsamen Bild der Situation.
Gewisse Einflussfaktoren wie bspw. die Komplexität des Arbeitsfeldes, die Art und Weise der Teamführung, die Bekanntheit der Arbeitsumgebung oder die Beeinträchtigung der Kommunikation können in das Modell eingeordnet werden. Wird dieses Modell nun auf die unterschiedlichen Teams und ihre Arbeitsfelder angewandt, können auf Basis der Teamarbeitskontextanalyse spezifische für eine Intervention relevante Teamaspekte definiert werden.

Auswertungszeit

Die manuelle Berechnung der Subskalenwerte beansprucht etwa 8 Minuten pro Fall. Bei Verwendung einer Statistiksoftware kann sich die Auswertungszeit verkürzen. Die Verwendung einer Statistiksoftware wird empfohlen.

Itembeispiele

Repräsentative Beispielitems der Kategorie Komplexität (6 Subskalen):
Transparenz (4 Items):
Wir haben in unserer Arbeit alle Daten und Fakten, die uns helfen schnell und richtig zu entscheiden.

Vernetztheit: Abteilungen (2 Items):
Für eine erfolgreiche Erfüllung der Aufgabe ist die Zusammenarbeit von mehreren Abteilungen bei uns nötig.

Vernetztheit: Informationsfluss (2 Items):
In Problemsituationen werden Informationen zwischen verschiedenen Positionsinhabern weitergegeben.

Eigendynamik (4 Items):
In unserer Arbeit verändern sich Situationen auch ohne unser Handeln.

Polytelie (4 Items):
In unserer Arbeit stehen Ziele, die zur Lösung einer Problemsituation erreicht werden müssen, miteinander in Konkurrenz.

Verzögerte Rückmeldung (3 Items):
In der Arbeit haben unsere Handlungen direkte Konsequenzen, so dass wir sofort wissen, was wir bewirkt haben. (Dieses Item muss recodiert werden.)

Repräsentative Beispielitems der Kategorie Kontextkriterien (10 Subskalen):
Geschwindigkeit der Bewegung des Teams (2 Einzelitems):
Die Proband*innen werden gefragt, ob sie sich im Team fortbewegen und wenn ja, können sie ankreuzen, wie schnell.

Systemgröße (Einzelitem):
Die Proband*innen werden gebeten die Größe ihres Teams einzutragen.

Geschwindigkeit der Systemveränderungen (4 Items):
In unserer Arbeit stellt sich eine Veränderung in den Bedingungen der Situation von jetzt auf gleich ein.

Persönliche Bedrohung (2 Items):
In unserer Arbeit steht die erfolgreiche Bewältigung einer Problemsituation in direktem Zusammenhang zu unserem eigenen Überleben.

Ausprägung der Hierarchie (3 Items):
Auf die Einhaltung des Dienstweges wird in unserer Arbeit großen Wert gelegt.

Hierarchie: Followership (Einzelitem):
Während der Arbeit werden Anweisungen von oben hinterfragt, wenn das für eine Lösung der Situation bedeutend ist.

Hierarchie: Leadership (Einzelitem):
In der Arbeit werden Informationen und Anmerkungen von Rangniedrigeren in die Lösungsfindung mit einbezogen.

Umweltfaktoren (6 Items):
Während der Arbeit können wir nichts oder nicht richtig sehen.

Beeinträchtigung der Kommunikation (3 Items):
In Problemsituationen ist der Austausch von Informationen zwischen den handelnden Personen völlig barrierefrei. (Dieses Item muss recodiert werden.)

Bekanntheit der Arbeitsumgebung (4 Items):
Während der Arbeit wechseln wir in eine Arbeitsumgebung, die uns unbekannt ist. (Dieses Item muss recodiert werden.)

Repräsentative Beispielitems der Kategorie Shared Mental Model (2 Subskalen):
Task (4 Items):
Es ist von großer Bedeutung eine volle Kenntnis der beruflichen Ausrüstung zu haben sowie das Wissen der Kollegen darüber zu erfahren.

Team (4 Items):
Im Team ist es wichtig zu wissen, welche Rollen und Verantwortlichkeiten die einzelnen Mitglieder haben.

Repräsentative Beispielitems der Kategorie Adaptive Behaviors (3 Subskalen) :
Informationssammlung (3 Items):
Die erhobenen Informationen müssen in den Arbeits- /Situationskontext eingebettet und darin interpretiert werden, um zu verstehen was sie bedeuten.

Aufgabenpriorisierung (3 Items):
Es hilft uns Aufgaben während nicht belastenden Situationen zu priorisieren, da wir dieses Schema auf kritische Situationen übertragen und abarbeiten können.

Aufgabenverteilung (2 Items):
Eine effektive Aufgabenverteilung über alle Teammitglieder ist sehr wichtig.

Items

Im Folgenden werden die Items tabellarisch aufgeführt (siehe Tabelle 1). Die Reihenfolge der Itemdarbietung ist auf dem Fragebogen ersichtlich.

Tabelle 1
Itemgruppen des TAKAI mit korrespondierenden Items

Durchführung

Testformen

Das TAKAI kann Teammitgliedern als Einzel- oder Gruppentest vorgelegt werden. Die Befragungen finden entweder in Papierform oder am Computer via einer Online-Software, in die die Items eingepflegt werden, statt. Eine Kurzform existiert nicht. Im Anschluss an die Konzeption des TAKAI wurde dieses ins Englische übersetzt und ist somit international einsetzbar.

Altersbereiche

Das TAKAI ist für Berufstätige in der Altersgruppe ab 18 Jahren vorgesehen. Darüber hinaus ist es wichtig, dass die befragten Personen eine gewisse Berufserfahrung von ca. zwei Jahren aufweisen, damit sie unterschiedliche Situationen in der Arbeit erleben konnten und ihr Arbeitsumfeld auch exakt beschreiben können.

Durchführungszeit

Die Durchführungszeit des TAKAI ist nicht vorgeschrieben. Durchschnittlich beträgt sie ca. 20 Minuten.

Material

Für die Durchführung des TAKAI im Paper-Pencil-Format werden dementsprechend Papier sowie ein Stift benötigt. Für die Durchführung im Online-Format wird eine Fragebogen-Software sowie ein internetfähiges Gerät (z.B. Smartphone, PC, Tablet) benötigt.

Instruktion

Auf der ersten Seite des TAKAI wird den Proband/-innen das Ziel des Inventars, der thematische Hintergrund sowie die anschließende Vorgehensweise kurz erläutert. Es wird darauf hingewiesen, dass die Teilnahme freiwillig ist und alle Daten und Angaben vertraulich und anonym behandelt werden. Kontaktdaten sollten angegeben werden, an die sich bei Problemen oder Fragen gewandt werden kann. Zudem kommen im Paper-Pencil-Format zusätzliche Instruktionen bezüglich der Durchführung: „[…] Bitte beantworten Sie alle Fragen. Setzen Sie Ihr Kreuz in ein Kästchen und nicht dazwischen. Kreuzen Sie immer nur ein Kästchen an. Falls Sie ein Kreuz gesetzt haben und sich umentscheiden, ziehen Sie bitte um das Kästchen mit dem richtigen Kreuz einen Kreis.“
Vor der Durchführung werden die Proband*innen darauf hingewiesen, die oben genannten Instruktionen der ersten Seite zu lesen. Es wird ihnen mitgeteilt, dass die Bearbeitungszeit unbegrenzt ist und sie im Anschluss die Möglichkeit haben, weitere Fragen zu stellen.
Um eine zuverlässige Messung und Interpretation der Ergebnisse zu ermöglichen, sollte das TAKAI standardisiert eingesetzt werden.

Durchführungsvoraussetzungen

Es ist keine spezielle Qualifikation oder Schulung des/r Versuchsleiters/in erforderlich, da ausreichende Instruktionen dem TAKAI beigefügt sind. Wenn es eine/n Versuchsleiter/in gibt, sollte diesem/r das allgemeine Vorgehen bekannt sein. Es gibt dementsprechend keinen Einfluss des/der Versuchsleiters/in auf die Testdurchführung.
Proband/-innen sollten Mitglieder bestimmter Teams sein. Diese können aus Hoch Risiko Organisationen (HROs) sowie Nicht-HROs stammen. Proband*innen sollten mindestens zwei Jahre Berufserfahrung in ihrem Berufsfeld haben. Voraussetzungen sind zudem ausreichende Zeit sowie Materialien. Es wird empfohlen, das TAKAI unter angemessenen Testbedingungen vorzulegen, bspw. sollte für Ruhe und angenehme Lichtverhältnisse gesorgt werden.

Testkonstruktion

Entwicklung des Verfahrens
Für die Fragebogenentwicklung wurde sich grundsätzlich an den drei Konstruktionsstrategien für die Entwicklung von Fragebogeninventaren orientiert (vgl. Bühner, 2004, Kap. 3.1; Amelang & Zielinski, 1997, Kap. 2.2). Dabei sieht die externale Konstruktion bzw. kriteriumsbezogene Skalenentwicklung vor, möglichst viele Items ohne expliziten Rückgriff auf eine zugrundeliegende psychologische Theorie zu generieren und diese unterschiedlichen Gruppen von Personen vorzulegen. Hier werden die Items zu einer Skala zusammengefasst, die mit einem spezifischen Kriterium korrelieren und zwischen den Gruppen gut diskriminieren.
Bei der induktiven Skalenkonstruktion wird der Fokus allein auf die Interkorrelation der vorab formulierten Items gelegt. Es liegt der Skalenkonstruktion wiederum keine psychologische Theorie zugrunde, aber es wird sich auch nicht an vorfindbaren Personengruppen orientiert. Auf der Basis faktorenanalytischer Ladungsmuster werden dann die Struktur und die Skalen des Inventars festgelegt.
Die rationale Konstruktion oder auch deduktive Methode setzt demgegenüber eine psychologische Theorie voraus, auf deren Basis viele Items formuliert werden, die die zu messenden Konstrukte abbilden.

Auswahl der Erhebungskategorien
Einen großen Beitrag für die Auswahl der mit dem TAKAI zu erfassenden Konstrukte lieferte eine Analyse der einschlägigen Literatur zu Teamarbeit, zu Teams in HROs, zu Komplexität sowie zu Human Factors und Crew Resource Management Themen aus den unterschiedlichen Bereichen der Aviatik, der Feuerwehr, der Polizei, der Kernkraft und der Chirurgie sowie der Anästhesiologie (siehe z. B. Buerschaper, Harms, Hofinger & Rall, 2003; Dörner & Schaub, 1995; Fletcher et al., 2003; Flin et al., 2008; Flin, O'Connor & Mearns, 2002; Flin & Yule, 2005; Fletcher, McGeorge, Flin, Glavin & Maran, 2002; Mathieu et al., 2000; Müller et al., 2007; Salas, Bowers & Edens, 2001; Morgan, Salas & Glickman, 1993; Omodei, McLennan & Reynolds, 2005; Okray & Lubnau II, 2004; Patankar & Taylor, 2008; Sexton et al., 2000; Taylor, 2000; Waller et al., 2004; Yule, Flin, Paterson-Brown & Maran, 2006). Weiterhin wurden unterschiedliche HROs, wie bspw. verschiedene Feuerwehren oder Anästhesieteams im OP besichtigt und die Teams während der Arbeit beobachtet. Ebenso wurde in verschiedenen Seminaren, Übungen und Trainings von Teams in HROs hospitiert. Darüber hinaus wurden in elf problemzentrierter leitfadengestützter Interviews mit Sicherheitsexperten und Trainern der unterschiedlichen HROs Aspekte und Themen identifiziert, die für eine maßgeschneiderte Team-Trainingsgestaltung relevant sind (Hagemann, 2011). Die Zusammenfassung der Ergebnisse erfolgte auf qualitative Art und Weise. Die ausgearbeitete Itemgruppenstruktur des TAKAI wurde daraufhin im Forscherteam und mit HF- und CRM-Expertinnen und -Experten aus der Forschung und der Praxis diskutiert. Im weiteren Verlauf der Entwicklung des Inventars erfolgte eine Überprüfung der Items und ihrer Zugehörigkeit zu den Gruppen, was zu Veränderungen und Anpassungen führte.

Entwicklung des Itempools
Auf Basis der inhaltlichen Definitionen der Kategorien und ihren Itemgruppen wurden die vorläufigen Items entwickelt. Bei der Generierung und Formulierung der Items wurde sich an den in der Wissenschaft weit verbreiteten Empfehlungen zur Konstruktion von Testfragen orientiert (Bortz & Döring, 2006; Bühner, 2004). Es wurde versucht, eine möglichst gute Verständlichkeit der Fragen und eine mittlere Itemschwierigkeit zu erzielen. Zudem wurden negativ und positiv gepolte Items formuliert, um einer Zustimmungs- oder Ja-Sage-Tendenz entgegenzuwirken. Es konnte allerdings nicht für jede Itemgruppe ein ausgewogenes Verhältnis von positiv und negativ formulierten Aussagen erzielt werden, da eine Umpolung die Bedeutung einiger Aussagen verändert hätte. Da die Validität eines Instrumentes unter einer unvorteilhaften Itemformulierung allerdings mehr leidet als unter einer unausgewogenen Polung der Items in einer Gruppe, wurden die zum Teil ungleichen Verhältnisse in einer Itemgruppe akzeptiert. Die Items sind nicht als Fragen, sondern als Aussagen formuliert worden und enthalten teilweise konkrete Verhaltensbeispiele für eine stärkere Veranschaulichung. Den Items des Shared Mental Models und der Adaptive Behaviors kann mehr oder weniger zugestimmt werden. Bezüglich der Items der Komplexität und der Kontextkriterien geben die Befragten hingegen an, wie häufig oder selten gewisse Situationen oder Verhaltensweisen in ihrem Arbeitsumfeld auftreten. Im Anschluss wurden alle Aussagen des Itempools Praktikerinnen und Praktikern aus den einzelnen Berufsfeldern und Wissenschaftlerinnen und Wissenschaftlern vorgelegt. Diese beurteilten sie in Hinblick auf Verständlichkeit, Sinnhaftigkeit und Nützlichkeit.

Erstellung der vorläufigen Version und Änderungen
Die erste Version des TAKAI wurde in einer Vorstudie von 23 Personen aus HROs und Nicht-HROs bearbeitet. 13 Personen gehörten den Nicht-HROs an und 10 Personen kamen aus den Bereichen der Medizin und der Aviatik. Die ursprüngliche Version des TAKAI umfasste 225 zu bewertende Aussagen und die Bearbeitungszeit nahm eine Stunde in Anspruch. Die Befragten nahmen freiwillig teil. Aufgrund dieser Vorstudie wurden Veränderungen am TAKAI vorgenommen, denen das Feedback der Teilnehmenden und die Berechnung von testtheoretischen Gütekriterien zu Grunde lagen. Items wurden umformuliert, die ursprüngliche 5-stufige Likert-Skala zu einer 7-stufigen Likert-Skala erweitert und die Anzahl der Items auf 62 reduziert.
Die resultierende erste Revision des TAKAI wurde im Anschluss an einer größeren Stichprobe getestet. Diese bestand aus 563 Personen (106 weiblich) aus unterschiedlichen HROs. Das Durchschnittsalter der Stichprobe betrug 37,5 Jahre und die durchschnittliche Arbeitserfahrung 13,2 Jahre. Aus dem Bereich Feuer haben 63 Personen, Polizei 170 Personen, Anästhesiologie 76 Personen, Flugzeugtechnik 115 Personen, Cockpit 76 Personen und Kabine 51 Personen teilgenommen.
Anhand dieser Stichprobe erfolgte eine erneute Überprüfung der Anwendbarkeit und der testtheoretischen Gütekriterien des TAKAI. Aufgrund der erneuten Berechnung der Reliabilitäten und der Durchführung einer explorativen Faktorenanalyse wurden zwei ursprüngliche Itemgruppen der Kontextkriterien, nämlich die beiden Gruppen "Geschwindigkeit der Entscheidungsfindung" und "Geschwindigkeit der ablaufenden Prozesse", zu einer Itemgruppe zusammengefasst und insgesamt zwei Items eliminiert. Die explorative Faktorenanalyse brachte zum Vorschein, dass die vier positiv formulierten Items der beiden Gruppen und die zwei negativ formulierten Items der beiden Gruppen jeweils hoch auf einem Faktor luden. Da es keinen Sinn machte, das gleiche Konstrukt anhand von zwei Itemgruppen zu erfassen, deren Unterschied nur darin bestand, in einer unterschiedlichen Richtung zu fragen, wurden die beiden negativ gepolten Items und somit eine Itemgruppe entfernt. Die finale Itemgruppe besteht somit aus insgesamt vier Items und lautet "Geschwindigkeit der Systemveränderungen". Darüber hinaus führten die Reliabilitäts- und Faktorenanalysen dazu, dass das Shared Task Mental Model ein Item mehr umfasst als das Shared Team Mental Model, da das Item 59 des Shared Team Mental Models ebenfalls in das Shared Task Mental Model mit einberechnet wird. Die Adaptive Behaviors werden zudem zwar inhaltlich, aber nicht statistisch zu Itemgruppen zusammengefasst, sondern einzeln als Indikatoritems ausgewertet und so interpretiert.

Gütekriterien

Objektivität

Die Durchführungsobjektivität des TAKAI ist bei einer persönlichen Anwendung durch den/die Inventarnutzer/-in höher als bei einer postalischen Befragung, die von jemand Drittem durchgeführt wird. Eine face-to-face-Erhebungssituation ist mit weniger Messfehlern behaftet. Wichtig ist, dass sich die Person, die die Befragung durchführt, möglichst nah an den Instruktionen zur Verfahrensdurchführung orientiert, so dass die Befragungssituation für alle Teams die gleiche ist. Bekommen die Teams den TAKAI postalisch zugesandt oder können ihn ausfüllen wann und wo sie wollen (bspw. im Büro, zu Hause, im Zug usw.), kann die individuelle Situation stark variieren (Lärm, Hitze, Zeitdruck …), was zu Messfehlern führt, die kaum kontrolliert werden können.
Zudem gilt es, sich an den Richtlinien zur Auswertung des TAKAI zu orientieren, damit die Ergebnisse unabhängig von dem Befragungsverantwortlichen und in jeder Situation auf die gleiche Art und Weise ermittelt werden können.

Reliabilität

Reliabilitäten können auf unterschiedliche Arten bestimmt werden. Die hier vorliegenden Werte beziehen sich auf die interne Konsistenz einer Itemgruppe. Somit wurde für jede Itemgruppe ein Cronbachs Alpha berechnet. In Tabelle 2) sind die entsprechenden Kennwerte für 14 Itemgruppen des TAKAI abgebildet. Die Werte variieren zum Teil und einige Gruppen weisen geringe Reliabilitäten auf, was auf der Diversität von Items einer Itemgruppe beruht, welche aufgrund inhaltlicher Überlegungen aber von Nutzen ist. Für die drei Itemgruppen der Adaptive Behaviors (Informationssammlung, Aufgabenpriorisierung & Aufgabenverteilung) wurden keine Reliabilitäten berechnet, da diese Items einzeln in die Auswertung eingehen und aufgrund ihrer inhaltlichen Aussagen nicht statistisch zu Gruppen zusammengefasst werden. Die Bestimmung der Reliabilitäten basiert auf allen Messwerten der bei der ersten Revision des TAKAI erhobenen Proband*innen.

Tabelle 2
Die Reliabilitäten der Itemgruppen des TAKAI (Cronbachs Alpha)

Da das TAKAI dafür konzipiert ist, Gemeinsamkeiten innerhalb eines Arbeitsfeldes aufzudecken, aber auch Unterschiede zwischen unterschiedlichen Arbeitsfeldern aufzeigen soll, muss ebenfalls die Übereinstimmung der individuellen Werte von Personen innerhalb einer Gruppe überprüft werden. Zudem ist die Distinktheit der Werte auf Gruppenebene, also zwischen den Arbeitsfeldern, von Bedeutung.
Das TAKAI ist ein nützliches Inventar, wenn innerhalb einer Gruppe ein hoher Konsens in Bezug auf die Merkmale besteht und wenn zwischen verschiedenen Gruppen diskriminiert werden kann. Verschiedene Gruppen sollten sich also auf mehreren Merkmalen voneinander unterscheiden. Innerhalb einer Gruppe sollte es zu keinen bedeutenden Unterschieden kommen, so dass die Mitglieder derselben Gruppe keine unterschiedlichen Messwerte erzeugen. Demgegenüber sollte das TAKAI aber sensitiv genug sein, um zwischen den Gruppen unterscheiden zu können. Um dieses zu überprüfen, wurden Intraklassenkorrelationen und der Average Deviation (AD) Index berechnet. Die Intraklassenkorrelationen (ICC(1)) können nach Bliese (2000) bestimmt werden. Diese beruhen auf der Berechnung von Varianzanalysen und stellen die Varianz innerhalb der Gruppen der Varianz zwischen den Gruppen gegenüber. Sie können ebenfalls als Reliabilitätsindex verstanden werden und geben den Anteil der Varianz wieder, die durch die Gruppenzugehörigkeit erklärt wird. In der Regel liegen die Werte der ICC(1) zwischen 0.05 und 0.30. Werte von ICC(1) über 0.30 sind sehr hoch. Da die Gruppengröße einen Effekt auf die Schiefe der Daten ausüben kann, wird sie in die Berechnung mit aufgenommen. Die Werte der ICC(1) sind äquivalent zu dem Effektstärkenmaß Eta2. Liegt der Wert der ICC(1) bspw. bei 0.29, bedeutet dies, dass 29 % der Varianz in den individuellen Werten der Gruppenmitglieder auf die jeweilige Gruppenzugehörigkeit zurückzuführen ist. Die Intraklassenkorrelation kann bspw. sehr gut ausfallen, obwohl die interne Konsistenz schlecht ist und umgekehrt. Kommt es hier darauf an, dass die Personen einer Gruppe die gleichen Werte für die gleichen Kriterien vergeben, berechnet die interne Konsistenz, ob die Werte in die gleichen Richtungen variieren. Die zweite Intraklassenkorrelation (ICC(2)) ist ähnlich dem Reliabilitätsindex zu betrachten und gibt an, wie gut die Skalen zwischen den Gruppen trennen. Der F-Wert ist für die Berechnung der ICC(2) ausschlaggebend. Wie bei der Reliabilität sollten die Werte über .7 liegen (Field, 2005).
Der AD Index wurde berechnet, um die Ergebnisse mit denen der ICC(1) zu vergleichen und die Beurteilerübereinstimmung bezüglich der Itemgruppen und Einzelitems zu unterstützen. Die Nützlichkeit des AD Indexes wurde von Burke, Finkelstein und Dusig (1999) belegt. Die Berechnung der Beurteilerübereinstimmung basiert auf den metrischen Einheiten der Ursprungsskala. Die AD Indexes wurden in dieser Studie in Bezug auf das arithmetische Mittel - nicht den Median - berechnet. Zudem wurde Cronbachs Alpha als Maß für die interne Konsistenz für jede Itemgruppe bestimmt. Diese Kennwerte sind wichtig zu bestimmen, da die Beurteilerzuverlässigkeit verschieden von der Beurteilerübereinstimmung ist und die Werte sich demzufolge nicht entsprechen müssen. Die Übereinstimmung bezieht sich auf das Ausmaß, in dem die Beurteiler exakt die gleichen Bewertungen für die zu interessierenden Objekte abgeben, wohingegen Zuverlässigkeit sich auf die relative Bewertung (Rangreihung) der zu bewertenden Objekte bezieht (Burke et al., 1999).
Tabelle 3 gibt einen Überblick über die ICC(1)-, ICC(2)-, F-Werte und ADM Indizes des TAKAI in der Gesamtstichprobe. In der Gesamtstichprobe liegen die Werte der Intraklassen Korrelationen (ICC(1)) der TAKAI-Itemgruppen und der Einzelitems im Durschnitt bei 0.28, was sehr gute Werte sind. Lediglich zwei Einzelitems (Hierarchie: Followership & Re-Priorisierungen in kritischen Phasen) erreichen nicht den häufig gefundenen untersten Wert von 0.05. In vielen Studien werden allerdings auch Werte von unter 0.05 berichtet. Sechs Itemgruppen und vier Einzelitems weisen hingegen sogar ICC(1)-Werte von über 0.30 auf. Der durchschnittliche Wert der ADM für die Itemgruppen und Einzelitems liegt bei 0.95 (ausgenommen Systemgröße wegen der unterschiedlichen Metrik) und ist ebenfalls zufriedenstellend. Da der ADM Index ein Maß der Nicht-Übereinstimmung ist, bedeuten niedrigere Werte eine höhere Übereinstimmung (Dunlap, Burke & Smith-Crowe, 2003).
Die ADM für ein Item beinhaltet die Bestimmung des Ausmaßes, in dem jede einzelne Beurteilung einer Person von der gemittelten Beurteilung des Items über alle hinweg abweicht. Dann werden die absoluten Werte dieser Abweichungen aufsummiert (Plus- oder Minuszeichen werden ignoriert) und die Summe wird durch die Anzahl der Abweichungen (Zahl der Beurteiler) dividiert (Burke & Dunlap, 2002). Für eine Gruppe von Items wurden alle ADM Werte der einzelnen Items summiert und durch die Anzahl der Items dividiert. Da die ADM Werte verständlicherweise für jedes Arbeitsfeld berechnet werden mussten, wurden alle ADM Werte für die Itemgruppen und Einzelitems summiert und durch die Anzahl der Arbeitsfelder dividiert. Diese Werte sind in Tabelle 11 abgebildet. Da alle ADM Werte signifikant wurden, bedeutet dies, dass innerhalb der Arbeitsfelder eine hohe Beurteilerübereinstimmung besteht. Um Signifikanz zu erreichen, darf ein kritischer Wert nicht überschritten werden. Dieser kritische Wert ist auf dem 5 % Alphafehlerniveau definiert und hängt von der Anzahl der Kategorien (c) bzw. Antwortoptionen der Likert-Skala und der Stichprobengröße ab (Burke & Dunlap, 2002; Dunlap et al., 2003). Damit kann die Übereinstimmung im Antwortverhalten der Arbeitsfelder bezüglich der Itemgruppen und der Einzelitems des TAKAI als hoch bewertet werden.
Alle F-Werte sind größer als 1.00 und bis auf einen auch alle signifikant. Die entsprechenden ICC(2)-Werte sind sehr gut und liegen im Durchschnitt bei 0.85. 13 ICC(2)-Werte liegen sogar über 0.9 und lediglich eine Itemgruppe (Shared Mental Model Team) sowie drei Einzelitems (Zustände antizipieren, Re-Priorisierungen und Anpassung der Aufgabenverteilung) weisen Werte unter 0.7 auf. Der F-Wert des Einzelitems Re-Priorisierungen in kritischen Phasen ist im Gegensatz zu allen anderen F-Werten nicht signifikant. Dies bedeutet, dass die unterschiedlichen Arbeitsfelder dieses Item sehr ähnlich beantworten, bzw., dass sich die Personen innerhalb eines Arbeitsfeldes nicht einig sind in Bezug auf diese Verhaltensweise. Da dieses Ergebnis sehr aufschlussreich für eine Trainingsgestaltung ist, bleibt es im TAKAI enthalten. Zusammenfassend gesagt lassen sich durch die Anwendung des TAKAI hohe Anteile an der Varianz zwischen den Teams gemessen an der Gesamtvarianz aufklären.

Tabelle 3
Zuverlässigkeit der Gruppenmittelwerte des TAKAI

Validität

Die diskriminante Validität für die Prüfung der Konstruktvalidität des TAKAI kann bestimmt werden, indem die Interkorrelationen der Itemgruppen und Einzelitems betrachtet werden. Nach der Multitrait-Multimethod (MTMM) Technik von Campbell und Fiske (1959) ist die diskriminante Validität u. a. den Korrelationen im Heterotrait Heteromethod-Block der MTMM-Matrix abzulesen. Diese Korrelationen spiegeln die Zusammenhänge zwischen unterschiedlichen Konstrukten wieder, die mit unterschiedlichen Methoden erhoben worden sind und sollten deshalb möglichst klein sein. Der Tabelle 4 sind diese Korrelationen zu entnehmen. Da es bisher keinen eindeutigen Standard gibt, ab welcher Größenordnung die Interkorrelationen zu hoch sind, wird sich diesbezüglich an der üblichen Methode in der Literatur orientiert. Hier wird davon ausgegangen, dass Skalen unterschiedliche Konstrukte erheben, wenn ihre Interkorrelationen nicht .70 (49 % geteilte Varianz) überschreiten (vgl. Yukl, Seifert & Chavez, 2008). Die Interkorrelationen in Tabelle 4 zeigen sehr gute Werte für alle Itemgruppen und Einzelitems des TAKAI. Lediglich sieben Korrelationen der insgesamt 276 Korrelationen liegen über .40 (16 % geteilte Varianz) und nur zwei Korrelationen liegen zum einem bei .60 (36 % geteilte Varianz) und zum anderen bei .69 (48 % geteilte Varianz).

Tabelle 4
Interkorrelationen der Itemgruppen und Einzelitems des TAKAI

Normierung

Für 15 Itemgruppen und 10 Einzelitems des TAKAI werden in den folgenden Tabellen 5 bis 11 die wichtigsten Kennziffern im Überblick wiedergegeben. Die Itemgruppenstatistiken werden einmal für die Gesamtstichprobe und zudem für jede Substichprobe getrennt berichtet. Für die Itemgruppen der Eigendynamik, der Polytelie, der Geschwindigkeit der Systemveränderungen und des Shared Mental Models sowie der Adaptive Behaviors konnte eine leichte Rechtsschiefe der Verteilung nachgewiesen werden. Dieses lässt sich wohl darauf zurückführen, dass ausschließlich HROs in die Stichprobe eingegangen sind und sie eben durch diese Merkmale weitestgehend in die gleiche Richtung gekennzeichnet sind. Nahm man hingegen die Substichprobe der Nicht HROs aus der Vorstudie hinzu, zeigte sich, dass die Verteilungen weniger schief ausfielen und eher einer Normalverteilung ähnelten.

Tabelle 5
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (gesamt)

Tabelle 6
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Polizei)

Tabelle 7
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Feuerwehr)

Tabelle 8
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Cockpit)

Tabelle 9
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Kabine)

Tabelle 10
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Maintenance)

Tabelle 11
Itemgruppen‐ und Einzelitemstatistiken des TAKAI (Anästhesiologie)

Anwendungsmöglichkeiten

Das Team-Arbeit-Kontext-Analyse Inventar kann in Bereichen wie Branchen (Feuerwehr, Luftfahrt, Polizei und andere HROs sowie Non-HROs), verschiedener Ebenen der Organisation (Gesamtunternehmung, Abteilung, Team) und unterschiedlicher Berufsgruppen (Führungsgruppen, Fachkräfte) angewendet werden. Anwendungsmöglichkeiten sind hierbei die Erhebung der Arbeitsbedingungen bzw. des Arbeitskontextes in einer HRO oder Non-HRO und der Vergleich verschiedener HROs bzw. Vergleich mit dem Profil einer HRO. Die Ergebnisse des TAKAI dienen außerdem als Grundlage für eine Trainingsbedarfsermittlung.
Das Instrument kann sowohl in der Forschung, als auch im praktischen Kontext angewendet werden.

Bewertung

Mit dem Team-Arbeit-Kontext-Analyse Inventar liegt ein validiertes Instrument vor, das sich für die Erhebung des Arbeitsumfeldes und der Anforderungen an Teams, der Erstellung von Job-Profilen, sowie der Ermittlung des entsprechenden Trainingsbedarfs eignet.

In der Praxis kann das TAKAI genutzt werden, um die Trainingsgestaltung bestimmter Teams zu verbessern. Gut funktionierende Teamarbeit innerhalb einer Organisation resultiert in erhöhter Effektivität, verbesserter Erfolgsquote und verbessertem Arbeitsklima. Da sich diese Punkte bei einigen HROs darin widerspiegeln, inwiefern Unfälle und teils lebensentscheidende Fehlhandlungen verringert werden können, ist eine gelungene Trainingsgestaltung besonders in diesen Fällen von großem Wert.

Erstmals publiziert in:

• Hagemann, V. (2010). Das Team-Arbeit-Kontext-Analyse Inventar (TAKAI) [Fragebogen, Manual und Online-Software]. Bremen: Universität Bremen, Fachgebiet Wirtschaftspsychologie und Personalwesen. PSYNDEX Dok.-Nr. 9008266

Literatur

• Amelang, M. & Zielinski, W. (1997). Psychologische Diagnostik und Intervention. Berlin, Heidelberg, New York: Springer-Verlag. PSYNDEX Dok.-Nr. 0121823

• Badke-Schaub, P. (2012). Handeln in Gruppen. In P. Badke-Schaub, G. Hofinger & K. Lauche (Hrsg.), Human Factors. Psychologie sicheren Handelns in Risikobranchen (S. 121-139). Heidelberg: Springer Medizin Verlag. https://doi.org/10.1007/978-3-642-19886-1_7

• Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Heidelberg: Springer Medizin Verlag.

• Buerschaper, C., Harms, H., Hofinger, G. & Rall, M. (2003). Problemlösefähigkeiten in der Anästhesie. Forum Qualitative Sozialforschung/ Forum: Qualitative Social Research, 4(3), Art. 11. https://doi.org/10.17169/fqs-4.3.675 PSYNDEX Dok.-Nr. 0172389

• Bühner, M. (2004). Einführung in die Test- und Fragebogenkonstruktion. München: Pearson Studium. PSYNDEX Dok.-Nr. 0169582

• Burke, M. J. & Dunlap, W. P. (2002). Estimating interrater agreement with the Average Deviation Index: A User's guide. Organizational Research Methods, 5(2), 159-172. https://doi.org/10.1177/1094428102005002002

• Burke, M. J., Finkelstein, L. M., & Dusig, M. S. (1999). On average deviation indices for estimating interrater agreement. Organizational Research Methods, 2(1), 49-68. https://doi.org/10.1177/109442819921004

• Campbell, D. T. & Fiske, D. W. (1959). Convergent and Discriminant Validation by the Multitrait-Multimethod Matrix. Psychological Bulletin, 56, 81-105. https://doi.org/10.1037/h0046016

• Cannon-Bowers, J. A., & Bowers, C. (2011). Team development and functioning. In S. Zedeck (Ed.), APA handbooks in psychology®. APA handbook of industrial and organizational psychology, Vol. 1. Building and developing the organization (p. 597–650). American Psychological Association. https://doi.org/10.1037/12169-019

• Cannon-Bowers, J. A., Salas, E. & Converse, S. (1993). Shared Mental Models in Expert Team Decision Making. In N. J. Jr. Castellan (Hrsg.), Individual and Group Decision Making (S. 221-246). Hillsdale, New Jersey: Lawrence Erlbaum Associates, Inc.

• Dörner, D. & Schaub, H. (1995). Handeln in Unbestimmtheit und Komplexität. Zeitschrift für Organisationentwicklung, 3, 34-47. PSYNDEX Dok.-Nr. 0096834

• Driskell, J. E.; Salas, E. & Driskell, T. (2018). Foundations of Teamwork and Collaboration. American Psychologist, 73, 334-348. https://doi.org/10.1037/amp0000241

• Dunlap, W. P., Burke, M. J. & Smith-Crowe, K. (2003). Accurate tests of statistical significance for r(wg) and average deviation interrater agreement indices. Journal of Applied Psychology, 88(2), 356-362. https://doi.org/10.1037/0021-9010.88.2.356

• Endsley, M. R. (1999). Situation Awareness in Aviation Systems. In D. J. Garland, J. A. Wise & V. D. Hopkin (Hrsg.), Handbook of Aviation Human Factors (S. 257-276). Mahwah: Lawrence Erlbaum Associates Publishers.

• Endsley, M. R. & Bolstad, C. A. (1994). Individual differences in pilot situation awareness. The International Journal of Aviation Psychology, 4, 241-264. https://doi.org/10.1207/s15327108ijap0403_3

• Entin, E. E. & Serfaty, D. (1999). Adaptive Team Coordination. Human Factors, 41(2), 312-325. https://doi.org/10.1518%2F001872099779591196

• Field, A. (2005). Discovering Statistics Using SPSS. London: Sage Publications Ltd.

• Fletcher, G., Flin, R., McGeorge, P., Glavin, R., Maran, N. & Patey, R. (2003). Anesthetists' Non-Technical Skills (ANTS): evaluation of a behavioural marker system. British Journal of Anaesthesia, 90(5), 580-588. https://doi.org/10.1093/bja/aeg112

• Fletcher, G., McGeorge, P., Flin, R., Glavin, R. & Maran, N. (2002). The role of non-technical skills in anaesthesia: a review of current literature. British Journal of Anaesthesia, 88(3), 418-429.

• Flin, R., O'Connor, P. & Crichton, M. (2008). Safety at the Sharp End. A Guide to Non-Technical Skills. Aldershot: Ashgate.

• Flin, R. H. & Yule, S. (2005). Advances in patient safety: non-technical skills in surgery. Surgeon's education, 4(3), 83-85.

• Flin, R., O'Connor, P. & Mearns, K. (2002). Crew resource management: improving team work in high reliability industries. Team Performance Management: An International Journal, 8, 68-78. https://doi.org/10.1108/13527590210433366

• Goldstein, I. & Ford, J. K. (2002). Training in Organizations (4. Ausg.). Belmont: Wadsworth.

• Hagemann, V. (2011). Trainingsentwicklung für High Responsibility Teams - Eine systematische Analyse von High Responsibility Team-Arbeitskontexten und Ableitung der High Responsibility Team-spezifischen kritischen Situationen sowie der Trainingsziele mit anschließender Trainingsevaluation. Lengerich: Pabst.

• Hagemann, V. & Kluge, A. (2017). Complex Problem Solving in Teams: The influence of collective orientation on team process demands. Frontiers in Psychology, Cognitive Science, 8, 1730. https://doi.org/10.3389/fpsyg.2017.01730

• Helmreich, R. L., Merritt, A. C. & Wilhelm, J. A. (1999). The Evolution of Crew Resource Management Training in Commercial Aviation. The International Journal of Aviation psychology, 9(1), 19-32. https://doi.org/10.1207/s15327108ijap0901_2

• Helmreich, R. L. & Foushee, H. C. (1993). Why crew resource management? Empirical and theoretical bases of human factors training in aviation. In E. L. Wiener, B. G. Kanki & R. L. Helmreich (Hrsg.), Cockpit Resource Management (S. 3-45). San Diego: Academic Press.

• Mathieu, J. E., Goodwin, G. F., Heffner, T. S., Salas, E. & Cannon-Bowers, J. A. (2000). The Influence of Shared Mental Models on Team Process and Performance. Journal of Applied Psychology, 85(2), 273-283. https://doi.org/10.1037/0021-9010.85.2.273

• Morgan, B. B., Salas, E. & Glickman, A. S. (1993). An Analysis of Team Evolution and Maturation. The Journal of General Psychology, 120(3), 277-291. https://doi.org/10.1080/00221309.1993.9711148

• Müller, M. P., Hänsel, M., Stehr, S. N., Fichtner, A., Weber, S., Hardt, F., Bergmann, B. & Koch, T. (2007). Six steps from head to hand: A simulator based transfer oriented psychological training to improve patient safety. Resuscitation, 73, 137-143. https://doi.org/10.1016/j.resuscitation.2006.08.011 PSYNDEX Dok.-Nr. 0198675

• Okray, R. & Lubnau II, T. (2004). Crew Resource Management for the Fire Service. Tulsa, Oklahoma: Pennwell.

• Omodei, M. M., McLennan, J. & Reynolds, C. (2005). Identifying Why Even Well-Trained Firefighters Make Unsafe Decisions: A Human Factors Interview Protocol. In B. W. Butler & M. E. Alexander (Eds.). Eights International Wildland Firefighter Safety Summit - Human Factors - 10 Years later, April 26-28, 2005 Missoula, MT. The International Association of Wildland Fire, Hot Springs, SD.

• O'Neill, T. A., & Salas, E. (2018). Creating high performance teamwork in organizations. Human Resource Management Review, 28(4), 325-331. https://doi.org/10.1016/j.hrmr.2017.06.002

• Patankar, M. S. & Taylor, J. C. (2008). MRM Training, Evaluation, and Safety Management. The International Journal of Aviation Psychology, 18(1), 61-71. https://doi.org/10.1080/10508410701749449

• Rouse, W. B. & Morris, N. M. (1986). On Looking Into the Black Box: Prospects and Limits in the Search for Mental Models. Psychological Bulletin, 100(3), 349-363. https://psycnet.apa.org/doi/10.1037/0033-2909.100.3.349

• Salas, E., Sims, D. & Burke, S. (2005). Is there a "Big Five” in Teamwork? Small Group Research, 36(5), 555-599.

• Salas, E., Bowers, C. A. & Edens, E. (2001). Improving Teamwork in Organizations. Applications of Resource Management Training. Mawah, New Jersey: Lawrence Erlbaum Associates, Inc.

• Smith-Jentsch, K. A., Baker, D. P., Salas, E. & Cannon-Bowers, J. A. (2001). Uncovering differences in team competency requirements: The case of air traffic control teams. In E. Salas, C. A. Bowers, & E. Edens (Hrsg.), Improving Teamwork in Organizations. Applications of Resource Management Training (S. 31-54). Mahwah: Lawrence Erlbaum Associates Publishers.

• Sexton, J. B., Thomas, E. J. & Helmreich, R. L. (2000). Error, stress and teamwork in medicine and aviation: cross sectional surveys. British Medical Journal, 320, 745-749. https://doi.org/10.1136/bmj.320.7237.745

• Taylor, J. C. (2000). The evolution and effectiveness of Maintenance Resource Management (MRM). International Journal of Industrial Ergonomics, 26, 201-215. https://doi.org/10.1016/S0169-8141(99)00066-9

• Waller, M. J., Gupta, N. & Giambatista, R. C. (2004). Effects of Adaptive Behaviors and Shared Mental Models of Control Crew Performance. Management Science, 50, 1534-1544. https://doi.org/10.1287/mnsc.1040.0210

• Weick, K. E. & Sutcliffe, K. M. (2003). Das Unerwartete Managen. Wie Unternehmen aus Extremsituationen lernen. Stuttgart: Klett-Cotta.

• Wiegmann, D. A. & Shappell, S. A. (2001). A Human Error Analysis of Commercial Aviation Accidents Using the Human Factors Analysis and Classification System (HFACS). (Report Number DOT/FAA/AM-01/3). Washington DC: Federal Aviation Administration.

• Yukl, G, Seifert, C. S. & Chavez, C. (2008). Validation of the extended Influence Behavior Questionnaire. The Leadership Quarterly, 19, 609-621. https://doi.org/10.1016/j.leaqua.2008.07.006

• Yule, S., Flin, R., Paterson-Brown, S. & Maran, N. (2006). Non-technical skills for surgeons in the operating room: A review of the literature. Surgery, 129(2), 140-149. https://doi.org/10.1016/j.surg.2005.06.017

Downloads

• TAKAI - Testbogen [PDF]
• TAKAI - Profilblatt [PDF]
• TAKAI - Verfahrensdokumentation [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen