Testinstrumente sortiert
Ansprechpartnerin
Gülay Karadere (Dipl.-Psych.)
Zuständigkeit: Open Test Archive
+49 (0)651 201-4934 (Mi-Do vormittags)
guek@leibniz-psychology.org
Nachweise und Beschreibungen weiterer Testverfahren bei PubPsych
VA-MeCo
Video-Based Assessment of Medical Communication Competence
Kurzabstract
Der VA-MeCo erfasst basale medizinische Gesprächsführungskompetenz von Medizinstudierenden. Er basiert auf etablierten Standards der Ärzt/-innen-Patient/-innen-Kommunikation (Calgary-Cambridge-Guide, CanMeds Framework) sowie auf dem Münchner Modell der professionellen Gesprächsführungskompetenz. Er umfasst 11 Testaufgaben auf den Ebenen Inhalt voranbringen, Strukturieren sowie Arbeitsbeziehung aufbauen. Reliabilität: Die interne Konsistenz nach McDonald’s Ω liegt bei ΩGeamt= .94, ΩInhalt = .82, ΩStruktur = .88 und ΩBeziehung = .88. Validität: Für die Inhaltsvalidität liegen Befunde aus Expert/-innenbefragungen vor. Eine konfirmatorische Faktorenanalyse bestätigte die angenommene dreifaktorielle interne Struktur. Hinsichtlich der Konstruktvalidität konnte ein größtenteils erwartungstreues Befundmuster an Korrelationen mit den Konstrukten Patientenorientierung, Empathie, Vorwissen/Vorerfahrung, Intelligenz, soziale Kompetenz sowie mit den Big Five-Persönlichkeitsvariablen gefunden werden. Normen: Es liegt ein erster Normvorschlag aus einer Stichprobe mit N = 395 Medizinstudierenden vor.
Leibniz-Institut für Psychologie (ZPID). (2022). Open Test Archive: VA-MeCo. Video-Based Assessment of Medical Communication Competence. Verfügbar unter: https://www.testarchiv.eu/de/test/9008435
Zitierung
Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P. O., Gartmeier, M., & Bauer, J. (2022). VA-MeCo. Video-Based Assessment of Medical Communication Competence [Verfahrensdokumentation auf Deutsch und Englisch, Videomaterial (11 Aufgaben), Beispielitem, Instruktion und Items, SPSS-Syntax, Testauswertung , Instruktions- und Durchführungsanleitung]. In Leibniz-Institut für Psychologie (ZPID) (Hrsg.), Open Test Archive. Trier: ZPID.
https://doi.org/10.23668/psycharchives.14472
Kurzinformationen
Kurzname VA-MeCo
Engl. Name Video-Based Assessment of Medical Communication Competence
Autoren Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P. O., Gartmeier, M. & Bauer, J.
Erscheinungsjahr im Testarchiv 2022
Copyright/Lizenz Copyright AutorInnen; CC-BY-SA 4.0
Schlagworte Medizinstudierende; Ärztinnen und Ärzte; Medizinische Patientinnen und Patienten; Medizinische Ausbildung; Kommunikationsfertigkeiten; Berufliche Kompetenz
Sprachversionen deu
Konstrukt Medizinische Gesprächsführungskompetenz
Altersbereich Medizinstudierende (ab 17 Jahren).
Itemzahl 11 Aufgaben
Subskalen Subtests: 1 Inhalt, 2 Struktur, 3 Beziehung
Durchführungszeit ca. 40 Minuten
Auswertungsdauer wenige Minuten pro Fall
Interne Konsistenz: Nach McDonald’s Omega liegt sie bei ΩGeamt= .94, ΩInhalt = .82, ΩStruktur = .88 und ΩBeziehung = .88.
Hinweise zur inhaltlichen, faktoriellen und Konstruktvalidität.
N = 395. Referenzwerte: Mittelwerte und SD.
Anwendungsbereich Forschung, Lehre
Ältere Versionen
https://doi.org/10.23668/psycharchives.6598
Diagnostische Zielsetzung
Der VA-MeCo ist ein video-basierter Situational Judgement Test zur Erfassung basaler medizinischer Gesprächsführungskompetenz von Medizinstudierenden.
Aufbau
Er umfasst 11 Testaufgaben mit jeweils 3-5 Antwortoptionen, in denen das situative Gesprächsverhalten der dargestellten Ärzt/-innen auf den Ebenen Inhalt voranbringen, Strukturieren sowie Arbeitsbeziehung aufbauen beurteilt wird.
Grundlagen und Konstruktion
Der VA-MeCo basiert auf etablierten Standards der Ärzt/-innen-Patient/-innen-Kommunikation (Calgary-Cambridge-Guide, CanMeds Framework), welche auch im Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM) umgesetzt sind, sowie auf dem Münchner Modell der professionellen Gesprächsführungskompetenz.
Empirische Prüfung und Gütekriterien
Reliabilität: Der VA-MeCo ist hoch reliabel (McDonald’s Ω = .94 für die Gesamtskala sowie für die drei Ebenen: ΩInhalt = .82, ΩStruktur = .88 und ΩBeziehung = .88).
Validität: Für die Inhaltsvalidität liegen Befunde aus Expert/-innenbefragungen vor. Eine konfirmatorische Faktorenanalyse bestätigte die angenommene dreifaktorielle interne Struktur. Hinsichtlich der Konstruktvalidität konnte ein größtenteils erwartungstreues Befundmuster an Korrelationen mit den Konstrukten Patientenorientierung, Empathie, Vorwissen/Vorerfahrung, Intelligenz, soziale Kompetenz sowie mit den Big Five-Persönlichkeitsvariablen gefunden werden.
Normen: Es liegt ein erster Normvorschlag aus einer Stichprobe mit N = 395 Medizinstudierenden vor.
Testkonzept
Theoretischer Hintergrund
Der VA-MeCo dient der Erfassung basaler medizinischer Gesprächsführungskompetenz von Medizinstudierenden. Die theoretische Grundlage des VA-MeCo bildet das Münchner Modell der professionellen Gesprächsführungskompetenz (Gartmeier, Bauer, Fischer, Karsten & Prenzel, 2011; Gartmeier et al., 2015). Dieses versteht professionelle Kommunikationskompetenz als hierarchisches, multidimensionales Konstrukt, das drei Ebenen umfasst: 1) den Inhalt des Gesprächs und eine gemeinsame Problemlösung voranbringen, 2) das Gespräch aktiv und für das Gegenüber nachvollziehbar zu strukturieren und 3) eine konstruktive Arbeitsbeziehung aufbauen und erhalten. Diese drei Ebenen (Subtests) bilden die Zielstruktur des VA-MeCo. Zudem lassen sich die drei Ebenen zu einem additiven Gesamtscore für die Gesprächsführungskompetenz verbinden.
Zur Auswahl und Gestaltung der spezifischen Kommunikationsaufgaben in den Testitems wurden etablierte Standards der Ärzt/-innen-Patient/-innen-Kommunikation (Calgary Cambridge Guide (Kurtz, Silverman, Benson & Draper, 2003) und CanMeds Framework (Frank & Danoff, 2007) und deren Implementation im Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM; MFT, 2015) herangezogen. Diese Standards legen auch kommunikative Qualitätsmerkmale fest.
Der Antwortschlüssel des VA-MeCo basiert auf Werten, die empirisch im Rahmen einer Expert/-innenbefragung ermittelt wurden (Reiser et al., 2021).
Testaufbau
Der VA-MeCo umfasst 11 Testaufgaben mit jeweils 3-5 Antwortoptionen. Jede Testaufgabe besteht aus einer kurzen Patient/-innenbeschreibung, einem Videoausschnitt eines Ärzt/-innen-Patient/-innen-Gesprächs, einem ärztlichen Kommunikationsziel und mehreren schriftlichen Antwortoptionen des Arztes oder der Ärztin. Letztere werden hinsichtlich ihrer Effektivität für die Erreichung des ärztlichen Kommunikationsziels auf einer sechsstufigen Skala beurteilt. Pro Antwortoption werden die Effektivitätseinschätzungen auf allen drei Ebenen der Gesprächsführung 1) Inhalt voranbringen, 2) Strukturieren und 3) Arbeitsbeziehung aufbauen (im Folgenden: Inhalt, Struktur, Beziehung) vorgenommen.
Auswertungsmodus
Zur Auswertung des VA-MeCo wird die Scoring-Methode des Raw Consensus Scoring verwendet (Weng, Lievens, & McDaniel, 2018). Dabei werden je Item die Expert/-innenlösungen von den Antworten der Studierenden subtrahiert und die Differenzwerte quadriert (Abweichungswerte der Studierenden von den Expert/-innen mit stärkerer Gewichtung auf größeren Abweichungen). Zur besseren Interpretierbarkeit werden anschließend die Abweichungswerte von dem Maximalscore des Items subtrahiert, sodass eine höhere Punktzahl eine höhere Kompetenz ausdrückt (Umpolung). Die Formel für das Scoring des VA-MeCo lautet somit:
Itemwert = theoretischer Maximalscore - (Antwort der Studierenden – Expert/-innenlösung)². Es wird empfohlen eine Syntax für die Auswertung des VA-MeCo in einer Statistiksoftware zu verwenden. Die dafür notwendigen Werte finden sich im Dokument „VA-MeCo Testauswertung“. Die Items je Ebene (Inhalt, Struktur, Beziehung) werden zu Summenscores zusammengefasst.
Auswertungshilfen
Die für die Berechnung der Summenscores notwendigen Kennzahlen finden sich im Dokument „VA-MeCo Testauswertung“. Eine Syntax für die Statistiksoftware SPSS findet sich im Dokument „VA-MeCo SPSS-Syntax“.
Auswertungszeit
Pro Fall beträgt die Auswertungszeit unter Zuhilfenahme einer Syntax nur wenige Minuten.
Itembeispiele
Im Folgenden wird eine Beispielaufgabe dargestellt.
Beispielaufgabe VA-MeCo:
Items
Eine Auflistung aller Items findet sich im Dokument „VA-MeCo Instruktion und Items“.
Durchführung
Testformen
Der VA-MeCo wird online durchgeführt. Er wurde ursprünglich zur effizienten Gruppentestung mit großen Gruppen an Studierenden entwickelt. Er kann jedoch prinzipiell auch als Einzeltest durchgeführt werden.
Altersbereiche
Medizinstudierende (ab 17 Jahren).
Durchführungszeit
Die durchschnittliche Bearbeitungszeit liegt bei ca. 40 Minuten.
Material
Die Instruktion sowie Aufgaben des VA-MeCo finden sich im Dokument „VA-MeCo Instruktion und Items“. Der Test muss vorbereitend auf einer Umfrageplattform implementiert werden (z. B. Questback Unipark, LimeSurvey). Zur Durchführung des VA-MeCo sind für die Teilnehmenden eine stabile Internetverbindung und ein PC oder Tablet als Endgerät notwendig. Die Durchführung auf Smartphones ist denkbar, aber darstellungsmäßig nicht optimal. Browseranforderungen richten sich nach der eingesetzten Umfragesoftware. Die für eine Auswertung notwendigen Informationen finden sich in den beiden Dokumenten „VA-MeCo Testauswertung“ und „VA-MeCo SPSS-Syntax“. Hierbei ist zu beachten, dass die 11 Aufgaben des VA-MeCo hier nicht konsekutiv durchnummeriert sind, um die Konsistenz der Itemnummern mit bereits bestehenden Publikationen zu erhalten (Reiser et al., 2021, 2022a).
Instruktion
Der Test wird online durchgeführt. Die Instruktion für die Medizinstudierenden ist standardisiert und findet sich im Dokument „VA-MeCo Instruktion und Items“.
Durchführungsvoraussetzungen
Die Testdurchführung sollte von qualifiziertem Personal geleitet werden (i. d. R. Dozierende im Bereich ärztliche Gesprächsführung mit unterschiedlichem fachlichen Hintergrundwissen, z.B. Medizin, Psychologie). Der Test kann von Medizinstudierenden ab 17 Jahren bearbeitet werden. Es sind keine spezifischen Voraussetzungen von Seiten der Studierenden notwendig. Für die Bearbeitung des Tests ist eine stabile Internetverbindung notwendig; die Bearbeitung an einem PC oder Tablet wird empfohlen.
Testkonstruktion
Die Entwicklung sowie Evaluation des VA-MeCo erfolgte im Rahmen des BMBF-Projekts voLeA (FKZ: 16DHB2134): Entwicklung videobasierter Lehr- und Assessmentmodule zur Gesprächskompetenz im Medizinstudium – Teilprojekt: Testentwicklung. Die Gütekriterien des VA-MeCo wurden in einer Pilotierungs- (N = 117; Reiser et al., 2021; Reiser et al., 2022b) und einer Skalierungsstudie (Reiser et al., 2022c) mit N = 395 Medizinstudierenden überprüft. Wir beziehen uns hier, sofern nicht anders angegeben, auf Ergebnisse der Skalierungsstudie. Eine Publikation mit detaillierten Ergebnissen ist aktuell in Vorbereitung (Reiser et al., in Vorb.).
Stichprobe. Von den untersuchten Studierenden waren 70.33 % weiblich, 29.04 % männlich und 0.63 % divers. Das Alter der Teilnehmenden lag zwischen 17 und 43 Jahren (M = 23.47; SD = 3.86). Die Teilnehmenden befanden sich im 1. bis 15. Fachsemester (M = 5.77; SD = 3.55).
Itemkennwerte. Im Folgenden werden pro Ebene (Inhalt, Struktur, Beziehung) die Itemkennwerte (Mittelwerte, Standardabweichungen, Trennschärfe, Schwierigkeit) angegeben.
Einzelne Items gehen aufgrund unzureichender Trennschärfe für eine oder mehrere spezifische Ebenen nicht in die Auswertung ein.
Tabelle 1
Itemkennwerte (Mittelwerte (M), Standardabweichungen (SD), Trennschärfe (rit) und Schwierigkeit (p)) für die Inhaltsebene (N = 47 Items) (Reiser et al., 2022c)
Inhaltsebene | ||||
---|---|---|---|---|
M | SD | rit | p | |
1bI | 6.47 | 2.60 | .32 | .72 |
1dI | 7.29 | 1.84 | .34 | .81 |
1eI | 6.05 | 2.87 | .32 | .67 |
2aI | 7.57 | 1.69 | .24 | .84 |
2bI | 7.45 | 1.66 | .35 | .83 |
2cI | 6.93 | 2.33 | .34 | .77 |
2dI | 7.20 | 2.14 | .26 | .80 |
2eI | 14.83 | 2.18 | .24 | .93 |
3aI | 14.46 | 2.30 | .14 | .90 |
3bI | 7.37 | 1.68 | .36 | .82 |
3cI | 5.99 | 2.96 | .33 | .67 |
3dI | 14.81 | 2.14 | .28 | .93 |
3eI | 5.51 | 3.28 | .37 | .61 |
4aI | 6.65 | 2.50 | .40 | .74 |
4bI | 6.59 | 2.43 | .31 | .73 |
4cI | - | - | - | - |
4dI | 5.35 | 3.18 | .20 | .59 |
4eI | 13.42 | 3.55 | .36 | .84 |
5aI | 13.69 | 3.57 | .11 | .86 |
5bI | 14.13 | 3.12 | .16 | .88 |
5cI | 6.93 | 2.50 | .26 | .77 |
5dI | - | - | - | - |
6aI | 6.85 | 2.43 | .17 | .76 |
6bI | 5.28 | 3.12 | .30 | .59 |
6dI | 7.26 | 1.95 | .11 | .81 |
6eI | 14.21 | 3.17 | .28 | .89 |
7aI | 14.33 | 2.75 | .21 | .90 |
7bI | 12.10 | 4.72 | .37 | .76 |
7cI | 7.50 | 1.79 | .27 | .83 |
7dI | 14.67 | 2.30 | .18 | .92 |
7eI | 6.72 | 2.49 | .29 | .75 |
8aI | 23.05 | 4.50 | .13 | .92 |
8bI | 6.58 | 2.61 | .21 | .73 |
8cI | 6.48 | 2.63 | .36 | .72 |
8dI | 7.42 | 2.07 | .14 | .82 |
8eI | 6.57 | 2.57 | .31& | .73 |
10aI | 7.52 | 1.79 | .12 | .84 |
10bI | 7.22 | 1.86 | .27 | .80 |
10cI | 10.07 | 5.22 | .35 | .63 |
10dI | 13.27 | 3.95 | .36 | .83 |
10el | 6.17 | 2.97 | .30 | .69 |
12aI | 7.20 | 2.27 | .30 | .80 |
12bI | 4.76 | 3.31 | .35 | .53 |
12cI | 6.81 | 1.85 | .21& | .76 |
12dI | 13.43 | 3.67 | .36 | .84 |
12eI | 7.23 | 1.72 | .25 | .80 |
14bI | 7.45 | 1.65 | .19 | .83 |
14cI | 5.91 | 3.03 | .31 | .66 |
14eI | 6.30 | 2.82 | .36 | .70 |
Anmerkungen. – = Item wird aufgrund unzureichender Trennschärfe (rit ≤ .10) nicht gescort. Der Buchstabe I in der Itembenennung (z. B. 1bI) steht für die Inhaltsebene.
Tabelle 2
Itemkennwerte (Mittelwerte (M), Standardabweichungen (SD), Trennschärfe (rit) und Schwierigkeit (p)) für die Strukturebene (N = 37 Items) (Reiser et al., 2022c)
Strukturebene | ||||
---|---|---|---|---|
Item | M | SD | rit | p |
1bS | - | - | - | - |
1dS | 5.79 | 3.11 | .33 | .64 |
1eS | 6.96 | 2.40 | .37 | .77 |
2aS | 6.11 | 2.89 | .43 | .68 |
2bS | 5.70 | 3.01 | .32 | .63 |
2cS | 12.08 | 4.27 | .45 | .75 |
2dS | 12.41 | 4.31 | .51 | .78 |
2eS | - | - | - | - |
3aS | - | - | - | - |
3bS | 5.75 | 3.26 | .38 | .64 |
3cS | 6.49 | 2.81 | .40 | .72 |
3dS | - | - | - | - |
3eS | 6.89 | 2.52 | .51 | .77 |
4aS | 6.89 | 2.48 | .49 | .77 |
4bS | 12.44 | 4.20 | .44 | .78 |
4cS | 7.47 | 1.62 | .27 | .83 |
4dS | 7.41 | 1.63 | .19 | .82 |
4eS | 13.70 | 3.52 | .55 | .86 |
5aS | - | - | - | - |
5bS | - | - | - | - |
5cS | 6.89 | 2.59 | .28 | .77 |
5dS | 6.98 | 2.38 | .33 | .78 |
6aS | 6.96 | 2.47 | .35 | .77 |
6bS | 6.14 | 2.95 | .37 | .68 |
6dS | 7.09 | 2.40 | .42 | .79 |
6eS | 14.32 | 3.20 | .48 | .89 |
7aS | - | - | - | - |
7bS | 7.02 | 2.49 | .36 | .78 |
7cS | 6.11 | 3.04 | .33 | .68 |
7dS | - | - | - | - |
7eS | - | - | - | - |
8aS | 14.91 | 1.79 | .11 | .93 |
8bS | 6.69 | 2.48 | .41 | .74 |
8cS | 12.26 | 4.47 | .48 | .77 |
8dS | 7.21 | 2.27 | .30 | .80 |
8eS | 7.13 | 2.21 | .36 | .79 |
10aS | - | - | - | - |
10bS | - | - | - | - |
10cS | 12.23 | 4.41 | .48 | .76 |
10dS | 13.71 | 3.40 | .50 | .86 |
10eS | 6.78 | 2.62 | .28 | .75 |
12aS | 7.43 | 2.05 | .27 | .83 |
12bS | 7.08 | 1.95 | .19 | .79 |
12cS | 6.86 | 1.72 | .17 | .76 |
12dS | 13.56 | 3.76 | .46 | .85 |
12eS | - | - | - | - |
14bS | 7.48 | 1.63 | .17 | .83 |
14cS | 7.34 | 1.85 | .13 | .82 |
14eS | 5.89 | 3.18 | .36 | .65 |
Anmerkungen. – = Item wird aufgrund unzureichender Trennschärfe (rit ≤ .10) nicht gescort. Der Buchstabe S in der Itembenennung (z. B. 1bS) steht für die Strukturebene.
Tabelle 3
Itemkennwerte (Mittelwerte (M), Standardabweichungen (SD), Trennschärfe (rit) und Schwierigkeit (p)) für die Beziehungsebene (N = 33 Items) (Reiser et al., 2022c)
Beziehungsebene | ||||
---|---|---|---|---|
Item | M | SD | rit | p |
1bB | 7.03 | 2.40 | .38 | .78 |
1dB | - | - | - | - |
1eB | 7.08 | 2.38 | .31 | .79 |
2aB | 7.24 | 2.21 | .31 | .80 |
2bB | - | - | - | - |
2cB | 12.48 | 4.48 | .43 | .78 |
2dB | 6.91 | 2.43 | .36 | .77 |
2eB | - | - | - | - |
3aB | - | - | - | - |
3bB | 7.47 | 1.85 | .15 | .83 |
3cB | 6.74 | 2.74 | .29 | .75 |
3dB | - | - | - | - |
3eB | 7.08 | 2.62 | .56 | .79 |
4aB | 13.25 | 3.89 | .43 | .83 |
4bB | 13.18 | .93 | .51 | .82 |
4cB | - | - | - | - |
4dB | 6.80 | 1.75 | .16 | .76 |
4eB | 22.83 | 5.00 | .64 | .91 |
5aB | - | - | - | - |
5bB | - | - | - | - |
5cB | 6.65 | 2.80 | .36 | .74 |
5dB | 7.32 | 2.09 | .26 | .81 |
6aB | 14.42 | 2.92 | .11 | .90 |
6bB | 11.30 | 4.75 | .42 | .71 |
6dB | - | - | - | - |
6eB | 23.12 | 4.30 | .59 | .92 |
7aB | - | - | - | - |
7bB | 13.16 | 4.34 | .52 | .82 |
7cB | - | - | - | - |
7dB | - | - | - | - |
7eB | 6.53 | 2.72 | .16 | .73 |
8aB | - | - | - | - |
8bB | 13.43 | 3.98 | .61 | .84 |
8cB | 7.18 | 2.22 | .39 | .80 |
8dB | 7.40 | 2.07 | .36 | .82 |
8eB | 13.76 | 3.77 | .67 | .86 |
10aB | - | - | - | - |
10bB | 7.25 | 1.83 | .21 | .81 |
10cB | 12.89 | 4.06 | .60 | .81 |
10dB | 14.47 | 2.74 | .53 | .90 |
10eB | 7.40 | 1.68 | .27 | .82 |
12aB | 14.21 | 3.21 | .56 | .89 |
12bB | 5.78 | 3.20 | .31 | .64 |
12cB | - | - | - | - |
12dB | 13.28 | 4.04 | .33 | .83 |
12eB | 7.04 | 1.84 | .13 | .78 |
14bB | - | - | - | - |
14cB | 11.04 | 4.83 | .32 | .69 |
14eB | 6.68 | 2.81 | .27 | .74 |
Anmerkungen. – = Item wird aufgrund unzureichender Trennschärfe (rit ≤ .10) nicht gescort. Der Buchstabe B in der Itembenennung (z. B. 1bB) steht für die Beziehungsebene.
Gütekriterien
Objektivität
Durch die standardisierte Instruktion, die eindeutigen Antwortkategorien sowie den expert/-innenbasierten Auswertungsschlüssel mit hoher Beurteiler/-innenübereinstimmung können die Durchführungs- als auch die Auswertungsobjektivität als gegeben beurteilt werden.
Reliabilität
In der Skalierungsstichprobe betrug die interne Konsistenz (McDonalds Ω) der Gesamtskala Ω = .94 sowie für die Inhaltsebene Ω = .82, für die Strukturebene Ω = .88 und für die Beziehungsebene Ω = .88 (Reiser et al., in Vorb.). Die Höhe dieser Reliabilitäten fiel analog zu den im Rahmen der Pilotstudie (Reiser et al., 2021) ermittelten Werten von Cronbachs α aus.
Validität
Faktorielle Validität. In einer konfirmatorischen Faktorenanalyse mit der Skalierungsstichprobe konnte die 3-Faktoren-Struktur des VA-MeCo (Inhalt, Struktur, Beziehung) bestätigt werden (Reiser et al., in Vorbereitung). Die Dimensionen waren jedoch teils hoch korreliert (r > .80). Die Testinterpretation kann folglich sowohl auf Gesamttestebene (Gesprächsführungskompetenz) als auch separat für die Subtests pro Ebene erfolgen. Bei Letzterem sollte die Korreliertheit der Ebenen berücksichtigt werden.
Inhaltsvalidität. Die Inhaltsvalidität wird durch die theoriebasierte Konstruktion unter Einbezug curricularer Normen gestützt (siehe „Theoretischer Hintergrund“). Zudem liegen unterstützende Befunde aus Expert/-innenbefragungen vor (Reiser et al., 2021).
Konstruktvalidität. Zur Überprüfung der Validität wurden jeweils Pearson-Korrelationen zwischen dem VA-MeCo und konvergenten als auch diskriminanten Konstrukten berechnet (detaillierte Ergebnisse s. Reiser et al., in Vorb.). Es zeigten sich erwartete signifikante positive Zusammenhänge mit Empathie (zwei Subskalen des IRI: Empathic Concern, Perspective Taking; Davis, 1980) und Patientenorientierung (PPOS-D12; Subskalen Sharing und Caring; Kiessling, Fabry, Fischer, Steiner & Langewitz, 2014). Weiterhin zeigen signifikante positive Korrelationen mit dem Vorwissen bzw. Vorerfahrung der Studierenden im Bereich professioneller Gesprächsführung (z.B. aufgrund vorheriger Kurse), dass der VA-MeCo zwischen Gruppen differenziert, bei denen eine unterschiedliche Kompetenzausprägung zu erwarten ist. Geringe bis mittlere Korrelationen mit Intelligenz (DESIGMA A+; Becker & Spinath, 2014) und sozialer Kompetenz (ISK-K; Kanning, 2009) zeigen, dass die mit dem VA-MeCo gemessene Gesprächsführungskompetenz hinreichend von diesen Konstrukten abgrenzbar ist. Für die fünf Subskalen der Persönlichkeit, gemessen mittels BFI-K (Rammstedt & John, 2005), zeigen sich für die Extraversion und Neurotizismus Korrelationen nahe Null. Für Verträglichkeit, Gewissenhaftigkeit als auch Offenheit zeigen sich jeweils geringe positive Korrelationen für jede der drei Ebenen. Insgesamt lieferten die Analysen zur Konstruktvalidität ein größtenteils erwartungstreues Befundmuster, wobei teilweise Abweichungen von den erwarteten Höhen der Korrelationen auftraten.
Normierung
Auf Basis der Skalierungsstichprobe wurde eine vorläufige Normierung des VA-MeCo vorgenommen. Die Werte beziehen sich jeweils auf die Summenscores je Ebene (Inhalt, Struktur, Beziehung), welche mit Hilfe des Raw Consensus Scorings erzielt wurden (Itemwert = theoretischer Maximalscore - (Antwort der Studierenden – Expert/-innenlösung)²). Höhere Werte geben dabei eine bessere Leistung wieder. In den u.s. Tabellen (Tabelle 5-7) unterscheiden sich die Itemanzahlen je Ebene aufgrund des verwendeten Ausschlusskriteriums bei der Itemselektion.
Tabelle 5
Gesamtstichprobe (N = 395) (Reiser et al., 2022c)
VA-MeCo | M | SD |
---|---|---|
I (47 Items) | 421.04 | 42.66 |
S (37 Items) | 314.14 | 45.21 |
B (33 Items) | 342.41 | 47.53 |
Anmerkungen. M = Mittelwert, SD = Standardabweichung, I = Inhalt, S = Struktur, B = Beziehung.
Anhand des Fachsemesters wurde ein Mediansplit durchgeführt. Im 1. bis 5. Semester befinden sich 47.97 % der Stichprobe, 52.03 % der Stichprobe befinden sich im 6. bis 15. Fachsemester.
Tabelle 6
Fachsemester (Reiser et al., 2022c)
Niedrigeres Fachsemester | Höheres Fachsemester | |||
---|---|---|---|---|
VA-MeCo | M | SD | M | SD |
I (47 Items) | 410.96 | 45.15 | 430.34 | 38.00 |
S (37 Items) | 300.94 | 50.12 | 326.30 | 36.21 |
B (33 Items) | 326.89 | 56.53 | 356.72 | 31.25 |
Anmerkungen. M = Mittelwert, SD = Standardabweichung, I = Inhalt, S = Struktur, B = Beziehung.
Tabelle 7
Geschlecht (Reiser et al., 2022c)
|
Frauen | Männer | ||
---|---|---|---|---|
VA-MeCo | M | SD | M |
SD |
I (47 Items) | 418.00 | 44.46 | 429.02 | 36.81 |
S (37 Items) | 311.85 | 46.83 | 319.97 | 40.86 |
B (33 Items) | 340.09 | 49.37 | 348.44 | 42.38 |
Anmerkungen. M = Mittelwert, SD = Standardabweichung, I = Inhalt, S = Struktur, B = Beziehung.
Zur Interpretation der Testwerte können die Scores der Teilnehmenden mit folgender Formel z- transformiert werden: z = (Testwert – MReferenzgruppe)/SD
Sollen Testwerte an Studierende rückgemeldet werden, empfehlen wir zur besseren Interpretierbarkeit die Transformation in eine gängige Normwert-Skala (z. B. Standard-Werte mit M = 100 und SD = 10; Lenhard & Lenhard, 2015) oder in Perzentile.
Anwendungsmöglichkeiten
Der VA-MeCo ist ein Test zur lernbegleitenden Diagnostik medizinischer Gesprächsführungskompetenz im Medizinstudium. In der Lehre bietet er sich als Screening und als Ergänzung zu etablierten Verfahren des Assessments der Gesprächsführungskompetenz an. Zudem kann er für die Sensibilisierung von ärztlicher Gesprächsführung verwendet werden. Von der Anwendung zu Prüfungszwecken und anderen high stakes-Zwecken (z. B. Studierendenselektion) raten wir vor dem Hintergrund des vorläufigen Erkenntnisstands zur Validität ab. Darüber hinaus kann der VA-MeCo zu Forschungszwecken im Bereich ärztlicher Gesprächsführung eingesetzt werden.
Bewertung
Der VA-MeCo ist ein video-basierter Test zur Messung medizinischer Gesprächsführungskompetenz bei Medizinstudierenden. Er ist hinreichend inhaltsvalide, hat eine hohe Usability und gute Reliabilität. Zudem liegen positive Befunde hinsichtlich der faktoriellen und der Konstruktvalidität vor.
Mögliche Kritikpunkte und Einschränkungen: Die im Test abgebildete Kommunikationssituation ist eine Anamnese in einem ersten Gespräch zwischen Ärzt/-innen und Patient/-innen. Damit bildet der Test einen wichtigen Teil ärztlicher Gespräche ab, jedoch keine Gesprächskompetenzen im weiteren Behandlungsverlauf oder andere Gesprächsinhalte, wie z.B. das Überbringen schlechter Nachrichten. Der VA-MeCo ist so angelegt, dass Aufgaben zu weiteren Inhalten ergänzt werden können.
Da medizinische Fakultäten die curricularen Vorgaben zur Vermittlung medizinischer Gesprächsführungskompetenzen unterschiedlich umsetzen, kann die Passung der Testinhalte jeweils unterschiedlich gut ausfallen.
Es sollte berücksichtigt werden, dass verschiedenes Gesprächsverhalten ähnlich effektiv sein und von verschiedenen Adressat/-innen unterschiedlich wahrgenommen werden kann. Deshalb basiert der Scoringschlüssel des VA-MeCo auf einer Bandbreite von Expert/-inneneinschätzungen. Zudem wird nicht eine beste Antwortoption als Lösung zur Kodierung herangezogen, sondern jede Antwortoption in ihrer Effektivität eingeschätzt und eine Differenz zur Expert/-innenlösung gebildet.
Wie alle SJTs ist der VA-MeCo aufgrund des Aufgabenformats kein völlig konstruktreiner Test. Die vorliegenden Daten weisen auf einen positiven Zusammenhang der Testleistung mit Intelligenz hin. Außerdem hat sich gezeigt, dass Studierende mit nicht-deutscher Muttersprache signifikant schlechter im Test abschneiden. Dies ist bei einem Einsatz des Tests zu beachten.
Bisher liegen keine Daten zur prädiktiven Validität vor, sodass keine Aussagen über die zukünftige Jobperformanz möglich sind. Ein Einsatz zur Notenvergabe oder als Selektionsinstrument kann aktuell nicht empfohlen werden.
Vorzüge: Der VA-MeCo ist ein konstruktbasierter, curricular valider Test. Als Online-Verfahren mit automatisierbarer Auswertung kann er leicht für große Studierendengruppen genutzt werden. Durch die Einbettung der Aufgaben in videobasierte Patient/-innenszenarien bildet der Test realistische Kommunikationsaufgaben ab. Bisherige Befunde und Rückmeldungen zeigen, dass er für Dozierende und Studierende ansprechend gestaltet ist.
Fazit: Der VA-MeCo ist ein Test zur lernbegleitenden Diagnostik medizinischer Gesprächsführungskompetenz im Medizinstudium. Er bietet sich als Screening und als Ergänzung, zu etablierten Verfahren des Assessments ärztlicher Gesprächsführungskompetenz an.
Erstmals publiziert in:
Reiser, S., Schacht, L., Thomm, E., Figalist, C., Janssen, L., Schick, K., Dörfler, E., Berberat, P. O., Gartmeier, M. & Bauer, J. (2021). A video-based situational judgment test for medical student's communication competence in patient encounters: Development and first evaluation. Patient Education and Counseling, 105(5), 1283-1289.
Literatur
Frank, J. R., & Danoff, D. (2007). The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Medical Teacher, 29(7), 642–647. https://doi.org/10.1080/01421590701746983
Gartmeier, M., Bauer, J., Fischer, M. R., Hoppe-Seyler, T., Karsten, G., Kiessling, C., Möller, G. E., Wiesbeck, A., & Prenzel, M. (2015). Fostering professional communication skills of future physicians and teachers: effects of e-learning with video cases and role-play. Instructional Science, 43, 443–462. https://doi.org/10.1007/s11251-014-9341-6 PSYNDEX Dok.-Nr. 0296831
Gartmeier, M., Bauer, J., Fischer, M. R., Karsten, G., & Prenzel, M. (2011). Modellierung und Assessment professioneller Gesprächsführungskompetenz von Lehrpersonen im Lehrer-Elterngespräch. In O. Zlatkin-Troitschanskaia (Ed.), Stationen Empirischer Bildungsforschung. Traditionslinien und Perspektiven (pp. 412–424). Wiesbaden: VS-Verlag. PSYNDEX Dok.-Nr. 0332440
Kurtz, S., Silverman, J., Benson, J., & Draper, J. (2003). Marrying content and process in clinical method teaching: enhancing the Calgary–Cambridge Guides. Academic Medicine, 78 (8), 802-809. https://doi.org/10.1097/00001888-200308000-00011
Reiser, S., Schacht, L., Thomm, E., Figalist, C., Janssen, L., Schick, K., Dörfler, E., Berberat, P. O., Gartmeier, M., & Bauer, J. (2021). A video-based situational judgment test for medical student’s communication competence in patient encounters: Development and first evaluation. Patient Education and Counseling. Advance online publication. https://doi.org/10.1016/j.pec.2021.08.020
Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P., Gartmeier, M., & Bauer, J. (2022). Datasets for: Scaling-up study - validation of the Video-Based Assessment of Medical Communication Competence - VA-MeCo. [Data set]. PsychArchives. https://doi.org/10.23668/psycharchives.5337
Literatur
Becker, N., & Spinath, F. M. (2014). Design a Matrix – Advanced. Ein distraktorfreier Matrizentest zur Erfassung der allgemeinen Intelligenz. Manual. Hogrefe. PSYNDEX Dok.-Nr. 9006885
Davis, M. (1980). A multidimensional approach to individual differences in empathy. JSAS Catalog of Selected Documents in Psychology, 10, 85, 1-17.
Frank, J. R., & Danoff, D. (2007). The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Medical Teacher, 29(7), 642–647. https://doi.org/10.1080/01421590701746983
Gartmeier, M., Bauer, J., Fischer, M. R., Hoppe-Seyler, T., Karsten, G., Kiessling, C., Möller, G. E., Wiesbeck, A., & Prenzel, M. (2015). Fostering professional communication skills of future physicians and teachers: effects of e-learning with video cases and role-play. Instructional Science, 43, 443–462. https://doi.org/10.1007/s11251-014-9341-6 PSYNDEX Dok.-Nr. 0296831
Gartmeier, M., Bauer, J., Fischer, M. R., Karsten, G., & Prenzel, M. (2011). Modellierung und Assessment professioneller Gesprächsführungskompetenz von Lehrpersonen im Lehrer-Elterngespräch. In O. Zlatkin-Troitschanskaia (Hrsg.), Stationen Empirischer Bildungsforschung. Traditionslinien und Perspektiven (S. 412–424). Wiesbaden: VS-Verlag. PSYNDEX Dok.-Nr. 0332440
Kanning, U. P. (2009). Inventar zur Messung sozialer Kompetenzen in Selbst- und Fremdbild (ISK-360°): Manual. Hogrefe. PSYNDEX Dok.-Nr. 9002711
Kiessling, C., Fabry, G., Fischer, M. R., Steiner, C., & Langewitz, W. A. (2014). Deutsche Übersetzung und Konstruktvalidierung des „Patient-Provider-Orientation Scale“ (PPOS-D12). Psychotherapie Psychosomatik Medizinische Psychologie, 64 (3/4), 122-127. https://doi.org/10.1055/s-0033-1341455 PSYNDEX Dok.-Nr. 9006847
Kurtz, S., Silverman, J., Benson, J., & Draper, J. (2003). Marrying content and process in clinical method teaching: enhancing the Calgary–Cambridge Guides. Academic Medicine, 78 (8), 802-809. https://doi.org/10.1097/00001888-200308000-00011
Lenhard, W. & Lenhard, A. (2015). Normwertrechner. verfügbar unter: https://www.psychometrica.de/normwertrechner.html. Bibergau: Psychometrica. https://doi.org/10.13140/RG.2.1.4592.6363
MFT / Medizinischer Fakultätentag der Bundesrepublik Deutschland e.V. (2015). Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM). Online verfügbar unter: https://www.medstudek.uni-freiburg.de/studienganguebergreifende-bereiche/kompetenzzentrum/bmbf-verbundprojekt-merlin/nklm-final (Stand: 18.07.2022)
Rammstedt, B., & John, O. P. (2005). Kurzversion des Big Five Inventory (BFI-K): Entwicklung und Validierung eines ökonomischen Inventars zur Erfassung der fünf Faktoren der Persönlichkeit. Diagnostica, 51(4), 195-206. https://doi.org/10.1026/0012-1924.51.4.195 PSYNDEX Dok.-Nr. 0183769
Reiser, S., Schacht, L., Thomm, E., Figalist, C., Janssen, L., Schick, K., Dörfler, E., Berberat, P. O., Gartmeier, M., & Bauer, J. (2021). A video-based situational judgment test for medical student’s communication competence in patient encounters: Development and first evaluation. Patient Education and Counseling , 105(5), 1283-1289. https://doi.org/10.1016/j.pec.2021.08.020
Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P., Gartmeier, M., & Bauer, J. (2022a). Dataset for: Expert study – development and evaluation of the Video-Based Assessment of Medical Communication Competence - VA-MeCo. [Data set]. PsychArchives. https://doi.org/10.23668/psycharchives5338
Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P., Gartmeier, M., & Bauer, J. (2022b). Dataset for: Pilot study - development and evaluation of the Video-Based Assessment of Medical Communication Competence - VA-MeCo. [Data set]. PsychArchives. https://doi.org/10.23668/psycharchives.5339
Reiser, S., Schacht, L., Thomm, E., Janssen, L., Schick, K., Berberat, P., Gartmeier, M., & Bauer, J. (2022c). Datasets for: Scaling-up study - validation of the Video-Based Assessment of Medical Communication Competence - VA-MeCo. [Data set]. PsychArchives. https://doi.org/10.23668/psycharchives.5337
Reiser, S., Schacht, L., Thomm, E., Schick, K., Berberat, P. O., Gartmeier, M., & Bauer, J. (in Vorb.). On the validity of assessing medical students’ communication competence in physician-patient encounters by a video-based situational judgment test.
Weng, Q., Yang, H., Lievens, F., & McDaniel, M. A. (2018). Optimizing the validity of situational judgment tests: The importance of scoring methods. Journal of Vocational Behavior, 104, 199–209. https://doi.org/10.1016/j.jvb.2017.11.005
Downloads
- VA-MeCo Aufgabe 1 [WEBM]
- VA-MeCo Aufgabe 2 [WEBM]
- VA-MeCo Aufgabe 3 [WEBM]
- VA-MeCo Aufgabe 4 [WEBM]
- VA-MeCo Aufgabe 5 [WEBM]
- VA-MeCo Aufgabe 6 [WEBM]
- VA-MeCo Aufgabe 7 [WEBM]
- VA-MeCo Aufgabe 8 [WEBM]
- VA-MeCo Aufgabe 10 [WEBM]
- VA-MeCo Aufgabe 12 [WEBM]
- VA-MeCo Aufgabe 14 [WEBM]
- VA-MeCo Instruktion und Items [PDF]
- VA-MeCo Testauswertung [PDF]
- VA-MeCo SPSS-Syntax [PDF]
- VA-MeCo Beispielitem [PDF]
- VA-MeCo Verfahrensdokumentation [PDF]
- VA-MeCo Instruktions- und Durchführungsanleitung [PDF]
- VA-MeCo Abstract auf Englisch [PDF]
Rückmeldeformular
Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen
Kontaktdaten
Sabine Reiser, M. Sc., Universität Erfurt, Erziehungswissenschaftliche Fakultät, Professur für Bildungsforschung und Methodenlehre, Nordhäuserstraße 63, D-99089 Erfurt
Dr. phil. Eva Thomm, Universität Erfurt, Erziehungswissenschaftliche Fakultät, Nordhäuserstraße 63, D-99089 Erfurt
Laura Janssen, Technische Universität München Medical Education Center, Lehrstuhl für Medizindidaktik, medizinische Lehrentwicklung und Bildungsforschung, Klinikum rechts der Isar, Nigerstraße 3, D-81675 München
Kristina Schick, Technische Universität München Medical Education Center, Ismaningerstraße 22, D-81675 München
Laura Schacht, Universität Erfurt; Erziehungswissenschaftliche Fakultät; Professur für Bildungsforschung und Methodenlehre; Nordhäuser Straße 63, D-99089 Erfurt
PD Dr. phil. habil. Martin Gartmeier, Teamleiter Forschung, Klinikum rechts der Isar, TUM Medical Education Center, Ismaninger Straße 22, D-81675 München
Prof. Dr. med. Pascal Berberat, Direktor, Technische Universität München Medical Education Center, Ismaningerstraße 22, D-81675 München
Prof. Dr. Johannes Bauer, Universität Erfurt, Professur für Bildungsforschung und Methodenlehre, Nordhäuser Straße 63, D-99082 Erfurt