Diagnostische Zielsetzung

Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks et al., 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.

Aufbau

Es handelt sich um 14 Items in Form antonymer Adjektivpaare, die auf drei Dimensionen verteilt sind (6 Items zu Expertise, 4 Items zu Integrität, 4 Items zu Wohlwollen).

Grundlagen und Konstruktion

Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen. Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet. Die Zahl der Items beträgt 14 Items. Mittels explorativer und konfirmatorischer Faktorenanalysen wurden die drei Faktoren des METI in zwei unabhängigen Stichproben gefunden.

Empirische Prüfung und Gütekriterien

Reliabilität: In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten, finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75. Validität: Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Validität und Sensitivität des METI wurde in einer Studie nachgewiesen, in der die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs Bedingungen variiert wurde: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen. Normen: Das Verfahren ist nicht normiert.

Testkonzept

Theoretischer Hintergrund

Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks, Kienhues & Bromme, 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen (z. B. Experten). Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Diese Urteile sollen mithilfe des Inventars METI erfasst werden. Die Einschätzung der epistemischen Vertrauenswürdigkeit differenziert sich in "Expertise" (Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen?), "Integrität" (Handelt die Person nach den Regeln und Normen ihrer Profession?) und "Wohlwollen" (Handelt die Person zum Wohl Anderer?). Dies wird durch die drei Dimensionen des METI reflektiert.

Testaufbau

Das METI umfasst mit insgesamt 14 Items die drei Dimensionen Expertise, Integrität und Wohlwollen. (1) Expertise: Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen? (6 Items); (2) Integrität: Handelt die Person nach den Regeln und Normen ihrer Profession? (4 Items); (3) Wohlwollen: Handelt die Person zum Wohl Anderer? (4 Items). Die Items sind in Form antonymer Adjektivpaare auf einer siebenstufigen Skala zu beantworten (z. B. kompetent 1 - 2 - 3 - 4 - 5 - 6 - 7 inkompetent).

Auswertungsmodus

Die Items werden in der Art eines siebenstufigen semantischen Differentials dargestellt. Hierbei befindet sich eine Hälfte des Itempaars links, die andere Hälfte rechts von sieben Antwortoptionen, von denen eine markiert werden muss - es ist darauf zu achten, dass alle Items gleich gepolt sind (z.B. links positiv formulierte Adjektive, rechts negativ formulierte Adjektive). Markierungen nahe des positiv formulierten Adjektivs (z. B. kompetent) weisen auf eine hohe Zuweisung epistemischer Vertrauenswürdigkeit auf der jeweiligen Dimension (hier Expertise) hin; Markierungen nahe des negativ formulierten Adjektivs (z. B. inkompetent) auf niedrige Zuweisung epistemischer Vertrauenswürdigkeit. Die Auswertung erfolgt anhand einer Zuweisung numerischer Werte zu den Stufen der Skala. Damit hohe Werte auch mit hohen Vertrauenswürdigkeitseinschätzungen übereinstimmen, kann die Skala zur Berechnung entsprechend umkodiert werden. Zur inferenzstatistischen Auswertung werden Mittelwerte der einzelnen Items jeder Dimension (Expertise, Integrität, Wohlwollen) pro Person generiert.

Auswertungshilfen

Schablonen zur raschen Auswertung können leicht selbst angefertigt werden.

Auswertungszeit

Die Auswertung beträgt wenige Minuten.

Itembeispiele

Als Beispielitem eignet sich "seriös-unseriös". Dies kann bereits in der Art eines semantischen Differentials präsentiert werden, damit die Bearbeitenden die Gelegenheit haben, das Ausfüllen zu üben, bevor sie mit der Bearbeitung der Testitems beginnen. Das Beispielitem wird nicht ausgewertet.

Items

Tabelle 1 enthält alle Items in deutscher und in englischer Sprache.

Tabelle 1
Items des METI in deutscher und englischer Sprache (Hendriks, Kienhues & Bromme, 2014, 2015a)

Durchführung

Testformen

Das Inventar ist sowohl als Online-Fragebogen als auch in einer Paper-Pencil-Version einsetzbar. Die TeilnehmerInnen sollten es individuell ausfüllen.

Altersbereiche

Das Verfahren ist für Erwachsene ab 16 Jahren geeignet. Wegen des verwendeten Vokabulars wird ein geringeres Alter der TeilnehmerInnen nicht empfohlen.

Durchführungszeit

Es gibt keine Zeitbegrenzung. Den Probanden soll genügend Zeit gegeben werden, um alle Einschätzungen vorzunehmen.

Material

Als Material steht der Fragebogen zur Verfügung. Für die Paper-Pencil-Version wird ein Schreibgerät benötigt; für die Onlineversion ein Computer.

Instruktion

Die Instruktion des Verfahrens ist standardisiert und lautet: "Ihre Aufgabe besteht darin für [Person] anzugeben, wie Sie diese/diesen mit Hilfe der Skalen beschreiben würden. Geben Sie bitte auf jeder Skala an, wie Sie [Person] einschätzen. Möglicherweise scheinen Ihnen einige Adjektivpaare nicht immer angemessen zu sein. Bitte treffen Sie trotzdem für jedes Paar eine persönliche Entscheidung. Bei der Beantwortung geht es ausschließlich um Ihre eigenen Ansichten und Einschätzungen, es gibt also keine richtigen oder falschen Antworten." (Kurzinstruktion).

Durchführungsvoraussetzungen

Es gibt keine besonderen Durchführungsvoraussetzungen.

Testkonstruktion

Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen (Berlo, Lemert & Mertz, 1969; McCroskey & Teven, 1999). Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet. Die Onlineversion des Verfahrens wurde mit einer Software für Online-Umfragen entwickelt und an N = 237 Probanden (Alter: 19-47 Jahre, M = 25.39, SD = 4.38; 76% weiblich, 27% männlich) dahingehend überprüft, welche Faktorenzahl am besten mit den Items vereinbar ist (Hendriks et al., 2015a, S. 4-5). In einer Folgestudie mit N = 345 Probanden (Alter: M = 21.27, SD = 3.93; 69% weiblich, 31% männlich) wurde eine konfirmatorische Faktorenanalyse durchgeführt (siehe unter "Validität"), die die Dreifaktorenlösung bestätigte. Durch die beiden Faktoranalysen wurden weiterhin Items ausgeschlossen, die nicht stabil genug mit den drei Faktoren des METI (Expertise, Integrität, Wohlwollen) korrelierten. Die endgültige Zahl der Items beträgt 14 Items.

Gütekriterien

Objektivität

Objektivität in Durchführung, Auswertung und Interpretationen werden durch standardisierte Instruktionen, vorgegebene Auswertungsschritte und Interpretationshinweise angestrebt.

Reliabilität

Als Nachweis für die Reliabilität wurde die interne Konsistenz (Cronbachs Alpha) überprüft, die hinreichend ausfällt. In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten (Hendriks, Kienhues & Bromme, 2016a, 2016b) finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75.

Validität

Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Hendriks et al. (2015a, S. 5-6) fanden in Studie 1 eine Dreifaktorenlösung, nachdem zwei Items eliminiert wurden. Unter den verbleibenden Items gab es keine Mehrfachladungen unter den Items. Die drei Faktoren klären 62% der Varianz auf. Eine Korrelationsberechnung zwischen den drei Faktoren ergab Werte von r = .37 (Expertise-Wohlwollen), r = .51 (Expertise-Integrität) und r = .63 (Integrität-Wohlwollen). In einer weiteren Studie wurde erneut eine konfirmatorische Faktorenanalyse durchgeführt. Zwei weitere Items wurden hierbei ausgeschlossen. Der Fit des Modells zu den Daten war gut (CFI = .97, TLI = .96, RMSEA = .06, SRMR = .06). Dabei wurden wiederum Korrelationen zwischen den Faktoren nachgewiesen (r = .52-.71; S. 7-8). Validität und Sensitivität des METI wurde durch eine Studie an N = 152 Probanden im durchschnittlichen Alter von M = 26.22 Jahren (SD = 5.24) und einem 75%igen Anteil an Frauen nachgewiesen (Studie 3 in Hendriks et al., 2015a). Hierbei wurde die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs messwiederholten Bedingungen variiert: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen. Die Ergebnisse (Haupteffekt, Interaktionseffekte) für alle drei Dimensionen waren signifikant, mit teilweise großen Effektstärken (Hendriks et al., 2015a, S. 12-14).

Normierung

Das Verfahren ist nicht normiert. Die drei vorhandenen Forschungsdatensätze finden sich im Psychologischen Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID (Hendriks, Kienhues & Bromme, 2015b).

Anwendungsmöglichkeiten

Das METI ist ein Inventar zur Erfassung epistemischer Vertrauenswürdigkeit. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.

Bewertung

Das Inventar wurde zur Messung epistemischer Vertrauenswürdigkeit entwickelt. Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Dieses Urteil soll mithilfe des METI auf den drei Dimensionen Expertise, Integrität und Wohlwollen erfasst werden. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben. Die hohen Korrelationen zwischen den drei Skalen zeigen allerdings, dass die Bewertungen nicht unabhängig sind.

Erstmals publiziert in:

• Hendriks, F., Kienhues, D. & Bromme, R. (2014). The Muenster Epistemic Trustworthiness Inventory (METI). Münster: Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie.

Literatur

• Berlo, D. K., Lemert, J. J. B. & Mertz, R. J. R. (1969). Dimensions for evaluating the acceptability of message sources. Public Opinion Quarterly, 33 (4), 563-576.

• Hendriks, F., Kienhues, D. & Bromme, R. (2014). The Muenster Epistemic Trustworthiness Inventory (METI). Münster: Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie.

• Hendriks, F., Kienhues, D. & Bromme, R. (2015a). Measuring laypeople's trust in experts in a digital age: The Muenster Epistemic Trustworthiness Inventory (METI). PLoS ONE, 10 (10), No. e0139309. [English items included in online materials] (DOI: 10.1371/journal.pone.0139309) PSYNDEX Dok.-Nr. 0305481

• Hendriks, F., Kienhues, D. & Bromme, R. (2015). Wie sich das von Laien in Experten gesetzte Vertrauen im digitalen Zeitalter messen lässt: "The Muenster Epistemic Trustworthiness Inventory (METI)": Drei Forschungsdatensätze (Version 1) [Files auf CD-ROM]. Trier: Psychologisches Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID. Online im Internet, URL: https://dx.doi.org/10.5160/psychdata.hsfe15mu08 (Stand: 21.12.2016)

• Hendriks, F., Kienhues, D. & Bromme, R. (2016a). Disclose your flaws! Admission positively affects the perceived trustworthiness of an expert science blogger. Studies in Communication Sciences, 16 (2), 124-131. (DOI: 10.1016/j.scoms.2016.10.003)

• Hendriks, F., Kienhues, D. & Bromme, R. (2016b). Evoking vigilance: would you (dis)trust a scientist who discusses ethical implications of research in a science blog? Public Understanding of Science, 25 (8), 992-1008. (DOI: 10.1177/0963662516646048) PSYNDEX Dok.-Nr. 0321267

• McCroskey, J. C. & Teven, J. J. (1999). Goodwill: A reexamination of the construct and its measurement. Communications Monographs, 66, 90-103.

Downloads

• Fragebogen METI [DOCX] [PDF]
• Verfahrensdokumentation METI [PDF]

Rückmeldeformular

Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen