Testinstrumente sortiert
Ansprechpartnerin
Gülay Karadere (Dipl.-Psych.)
Zuständigkeit: Open Test Archive
+49 (0)651 201-4934 (Mi-Do vormittags)
guek@leibniz-psychology.org
Nachweise und Beschreibungen weiterer Testverfahren bei PubPsych
ODAS
Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen
Kurzabstract
Das Instrument ODAS zur Organisationsdiagnose an Schulen wurde als Survey-Feedback-Instrument entwickelt, das ein Screening der relevanten Dimensionen der Organisation Schule ermöglicht und somit Grundlage für schulische Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen sein kann. ODAS besteht aus einem Interviewleitfaden für ein Gespräch mit der Schulleitung, bei dem objektive Daten über die Schule erhoben werden und eine eventuelle Anpassung der Fragebögen an die Schule besprochen wird, und aus Fragebogenversionen für Lehrer, Schüler und Eltern (mind. 75 Fragen, inkl. weitere 36 Fragen für Lehrer). Reliabilität: Die internen Konsistenzen der Skalen liegen bei Cronbachs Alpha = .64-.87. Validität: Neben der Sicherung der Inhaltsvalidität durch Expertengespräche bei der Itemkonstruktion fand eine kommunikative Validierung bei der Datenrückmeldung und bei anschließenden Gesprächen mit den Schulmitgliedern statt. Bezüglich der Konstruktvalidität belegen die Ergebnisse der explorativen Faktorenanalyse, dass heterogene Bereiche erfasst werden und sinnvolle Faktoren resultieren. Normen: Vergleichsdaten anderer Schulen können bezogen werden.
Leibniz-Institut für Psychologie (ZPID). (2019). Open Test Archive: ODAS. Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen. Verfügbar unter: https://www.testarchiv.eu/de/test/9004179
Zitierung
Ulber, D. (2001). ODAS. Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen [Verfahrensdokumentation, Eltern-Fragebogen, Lehrer/-innen-Fragebogen und Schüler/-innen-Fragebogen]. In Leibniz-Institut für Psychologie (ZPID) (Hrsg.), Open Test Archive. Trier: ZPID.
https://doi.org/10.23668/psycharchives.4576
Kurzinformationen
Kurzname ODAS
Engl. Name Survey Feedback Inventory für Organizational Diagnosis at Schools
Autoren Ulber, D.
Erscheinungsjahr im Testarchiv 2001
Copyright/Lizenz Copyright Autor; CC-BY-SA 4.0
Schlagworte Eltern, Lehrer, Schüler und Studierende, Schulen, Schulumwelt, Organisationsklima, Organisationsstruktur, Organisationsentwicklung, Arbeitsbedingungen
Sprachversionen deu
Konstrukt Schulorganisation
Altersbereich Schüler ab der 7. Klasse und Erwachsene
Itemzahl mind. 75 Items (+ 36 Items: Lehrer-Version)
Subskalen (1) Ausstattung und Angebot der Schule, (2) Arbeitsbedingungen und Unterricht, (3) Außenkontakte, (4) Kommunikation, (5) Umgang miteinander, (6) Einflussmöglichkeiten, (7) Lehrer/-innen und Schulleitung, (8) Probleme an der Schule, (9) Zufriedenheit mit der Schule, (10) Zusammenarbeit in Gremien, (11) Ziele der Schule
Durchführungszeit 15-25 Min.
Auswertungsdauer 5 Minuten pro Fall für die Eingabe in Auswertungsprogramm
Interne Konsistenz: Cronbachs Alpha = .64-.87.
Befunde zur Inhalts- und Konstruktvalidität.
Keine; Referenzdaten: Mittelwerte und Standardabweichungen.
Anwendungsbereich Schulorganisation, Schulforschung und -evaluation
Diagnostische Zielsetzung
Das Instrument ODAS zur Organisationsdiagnose an Schulen wurde als Survey-Feedback-Instrument entwickelt, das ein Screening der relevanten Dimensionen der Organisation Schule ermöglicht und somit Grundlage für schulische Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen sein kann.
Aufbau
ODAS besteht aus einem Interviewleitfaden für ein Gespräch mit der Schulleitung, bei dem objektive Daten über die Schule erhoben werden und eine eventuelle Anpassung der Fragebögen an die Schule besprochen wird, und aus Fragebogenversionen für Lehrer, Schüler und Eltern. Die Fragebögen bestehen überwiegend aus geschlossenen Fragen. In der Auswertung werden einerseits die zentrale Tendenz der Antworten, andererseits Intergruppenunterschiede bei Lehrern, Schülern und Eltern berücksichtigt.
Grundlagen und Konstruktion
Dem Instrument zugrunde liegt das systemische Organisationsmodell von Harrison (1994), das an die Spezifika der Schulorganisation angepasst wurde. Nach einer Voruntersuchung und Revision wurde das Instrument an 14 Schulen unterschiedlichen Schultyps in verschiedenen Bundesländern erprobt, beteiligt waren 479 Lehrer, 2778 Schüler und 1526 Elternteile. Aus einer explorativen Faktorenanalyse resultieren Skalen für alle Schulmitglieder (Partizipationsmöglichkeiten, Lehrerverhalten Schülern und Eltern gegenüber/Unterricht, Ausstattung der Schule, Klima bei den Schülern, Wichtigkeit verschiedener Schulziele, Grad der Zielerreichung, Gesamtbewertung der Schule, Handlungsspielraum/Flexibilität, Organisation/Transparenz), Skalen für die Lehrkräfte (Schulleitung/Verwaltung, Klima im Kollegium, Erfahrene Anerkennung/Burnout, Fortbildungen, Arbeitsbedingungen) sowie Skalen zur Beurteilung der einzelnen Gremien.
Empirische Prüfung und Gütekriterien
Reliabilität: Die interne Konsistenz dieser Skalen liegt zwischen .64 und .87. Validität: Neben der Sicherung der Inhaltsvalidität durch Expertengespräche bei der Itemkonstruktion fand eine kommunikative Validierung bei der Datenrückmeldung und bei anschließenden Gesprächen mit den Schulmitgliedern statt. Bezüglich der Konstruktvalidität belegen die Ergebnisse der explorativen Faktorenanalyse, dass heterogene Bereiche erfasst werden und sinnvolle Faktoren resultieren. Normen: Vergleichsdaten anderer Schulen können bezogen werden.
Testkonzept
Theoretischer Hintergrund
Das Instrument ODAS (Ulber, 1999) wurde entwickelt als Survey-Feedback-Instrument, das Grundlage für eine von den Schulmitgliedern getragene Handlungsplanung und -durchführung von Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen sein kann. Um dieser Zielstellung gerecht zu werden, soll ODAS die folgenden Ansprüche erfüllen:
- Einen umfassenden Überblick über alle relevanten beeinflussbaren Bereiche der Organisation Schule ermöglichen, Ergebnis ist entsprechend eine Globaldiagnose und keine Detaildiagnose.
- Aufzeigen von Stärken und Schwächen.
- Die Wahrnehmungen aller beteiligten Gruppen einbeziehen, nämlich der Schüler, Lehrer und Eltern.
- Rückspiegelung subjektiver Wahrnehmungen: In Anlehnung an die interpretative Ausrichtung organisationstheoretischer Forschung wird organisationale Wirklichkeit als sozial konstruiert und bewusstseinsabhängig gesehen (Türk, 1989). Veränderungen sind in Organisationen - als selbstorganisierende, komplexe Systeme - nur möglich, wenn sie in Anknüpfung an die Konstruktionen der Systemmitglieder erfolgen und demzufolge auch von ihnen mitgetragen werden können. Anspruch ist entsprechend keine objektive, externe Bewertung der Schulen im Sinne von "gute Schule", "mittlere Schule" oder ein Vergleich von Schulen (i.S. von z.B. an Schule A ist der Unterricht besser als an Schule B).
- Hohe Augenscheinvalidität und Durchschaubarkeit von Durchführung, Auswertung und Interpretation: Für die Schulmitglieder soll der gesamte Inhalt und Ablauf der Erhebung verständlich und nachvollziehbar sein. Die Auswahl der zu erfassenden Bereiche erfolgte in Anlehnung an das systemische Organisationsmodell von Harrison (1994). Das Modell basiert auf der organisationspsychologischen Systemtheorie, wie sie von Katz und Kahn (1966) sowie von Nadler und Tushman (1980) vertreten wird. Organisation wird aufgefasst als komplexes soziales System, das aus vielen Elementen besteht, die durch dynamische Beziehungen verknüpft sind, wobei sich diese Beziehungen nicht in einfachen Ursache-Wirkungsschemata darstellen lassen. Organisationen sind offen und stehen im ständigen Austausch mit ihrer Umwelt, wobei sie trotz ständiger Umweltveränderungen ihre Eigenart bewahren. Da das Ziel der Analyse in der Erhebung spezifischer Stärken und Schwächen einer einzelnen Schule liegt, wurden nur diejenigen Variablen übernommen, durch die sich Schulen voneinander unterscheiden können und die im Rahmen einer Organisationsentwicklungsmaßnahme verändert werden können (aus diesem Grund bleiben Variablen wie gesellschaftlicher Kontext, Entlohnungssystem und die formale Hierarchie außen vor). Das Instrument erfasst demgemäß die folgenden Variablen:
- Umwelt: Qualität der Kontakte zur Umwelt (wie Elternverbände, Gewerkschaften...);
- Inputs: physikalische Umgebung (Schulgelände, Klassenräume...); Weiterbildung, Engagement und Burnout der Lehrer; Sachmittel für den Unterricht;
- Wichtigkeit verschiedener Schulziele;
- Kultur: Flexibilität der Schule (als relevanter Teilaspekt der Kultur für Organisationsentwicklungsmaßnahmen);
- Verhalten und Prozesse: Klima im Kollegium; Klima bei den Schüler; Erreichbarkeit und Gesprächsbereitschaft; Informationsfluss; Qualität der Zusammenarbeit; Führung und Partizipation; Umgang mit Konflikten und Problemen;
- Arbeitsprozess: Arbeitsbedingungen und Qualität des Unterrichts;
- Organisationsstruktur: außerunterrichtliche Aktivitäten; Ausführung der Verwaltungsaufgaben; informelle Struktur; Belohnungssystem (Anerkennung); Elternsprechtag;
- Outputs: Grad der Erreichung der Schulziele; Zufriedenheit; Image.
Testaufbau
ODAS besteht aus einem Interviewleitfaden für ein Gespräch mit der Schulleitung, bei dem objektive Daten über die Schule erhoben werden und eine eventuelle Anpassung der Fragebögen an die Schule besprochen wird, und aus Fragebogenversionen für Lehrer, Schüler und Eltern, die aus den folgenden Teilen bestehen:
- geschlossene Fragen: mind. 75 Fragen, für Lehrer, Eltern und Schüler (die Anzahl der Fragen variiert mit der Anzahl der besuchten Gremien und der zusätzlich vereinbarten Fragen);
- 36 geschlossene Fragen, die nur von den Lehrern zu beantworten sind, z.B. zu ihren Arbeitsbedingungen oder ihrem Verhältnis zu Schulleitung. Je Item gibt es vier bipolare Antwortvorgaben - meist "stimmt genau", "stimmt eher", "stimmt eher nicht", "stimmt nicht". Die Items bestehen aus Statements, die die Schule betreffende Meinungen oder Bewertungen beinhalten. Zusätzlich gibt es drei offene Fragen zu Stärken, Schwächen und Besonderheiten der Schule.
Auswertungsmodus
Der Schwerpunkt liegt auf der Auswertung der geschlossenen Fragen, die einzeln ausgewertet werden. Je Frage werden die Prozentwerte der Antworten getrennt nach den Gruppen Lehrer, Schüler und Eltern berechnet. Die Antworten auf die offenen Fragen werden ausgezählt und in Kategorien zusammengefasst. Die Rückmeldung erfolgt optimalerweise in zwei Schritten:
- Rückmeldung an das Kollegium: alle Bereiche werden berichtet;
- Rückmeldung an interessierte Schüler und Eltern, hierbei werden die nur vom Kollegium beantworteten Items ausgespart (wie z.B. Klima im Kollegium). Für die Datenrückmeldung werden die Ergebnisse nach dem folgenden Schema zusammengefasst:
Zustimmung bzw. Ablehnung | > = 70% | ++ (positiv) |
60% - 69% | + (eher positiv) | |
41% - 59% | ~ (mittel) | |
31% - 40% | - (eher negativ) | |
< = 30% | -- (negativ) |
Beispiel Ergebnispräsentation
Physikalische Umgebung | nur L | |
Möglichkeiten zur Pausengestaltung | ~ (LS), - (E) | |
Klassenräume | -- (L), - (SE) | |
Schulgelände und Schulgebäude | ++ (SE), + (L) | |
Lehrerzimmer | -- | x |
Exploratorische Faktorenanalysen ergaben die folgenden Subskalen, die die Bildung von Scores sowie deren Vergleich mit den Werten anderer Schulen ermöglichen:
- Skalen für alle Schulmitglieder:
I Partizipationsmöglichkeiten,
II Lehrerverhalten Schülern und Eltern gegenüber/Unterricht,
III Ausstattung der Schule,
IV Klima bei den Schülern,
V Wichtigkeit verschiedener Schulziele,
VI Grad der Zielerreichung,
VII Gesamtbewertung der Schule,
VIII Handlungsspielraum/Flexibilität,
IX Organisation/Transparenz.
- Skalen für die Lehrkräfte:
LI Schulleitung/Verwaltung,
LII Klima im Kollegium,
LIII Erfahrene Anerkennung/Burnout,
LIV Fortbildungen,
LV Arbeitsbedingungen.
- Skalen zur Beurteilung der einzelnen Gremien.
Auswertungshilfen
Es liegen keine speziellen Auswertungshilfen vor.
Auswertungszeit
Da es sich bei ODAS um ein Instrument der Organisationsdiagnose (und nicht der Individualdiagnose) handelt, werden pro Fall (eine ganze Schule) eine beträchtliche Anzahl von Fragebögen verwendet; die Anzahl variiert mit der Schulgröße und der Art der Stichprobenziehung. Im Allgemeinen wird eine Vollerhebung der Lehrkräfte und eine Klumpen- oder Zufallsstichprobe bei Schülern und Eltern gezogen, wobei darauf zu achten ist, dass alle Jahrgänge beteiligt sind. Für Dateneingabe und Auswertung bietet es sich deshalb an, ein geeignetes Computerprogramm (z.B. SPSS oder EXCEL) zu verwenden. Die Eingabe eines Fragebogens dauert ca. 5 Minuten.
Itembeispiele
- Die meisten Klassenräume sind so ausgestattet, dass man sich in ihnen wohlfühlt.
- Der Unterricht an dieser Schule ist meistens interessant und abwechslungsreich.
- Wenn an dieser Schule wichtige Entscheidungen getroffen werden, werden sie begründet und damit nachvollziehbar gemacht.
- Vielen Schülerinnen und Schülern ist es sehr wichtig, besser in der Schule als die anderen zu sein.
- An dieser Schule fährt man am besten, wenn man die eigene Meinung für sich behält und keinerlei Kritik übt.
- Ich bin froh, dass ich diese Schule besuche. (Schülerversion)
L10. An der Schule gibt es umständliche Routinevorgehensweisen, die effektiver gehandhabt werden könnten. (Lehrerversion)
L16. Im Kollegium findet eine gut funktionierende und produktive fachliche Zusammenarbeit statt (z.B. Besprechen der Notengebung, klassenübergreifender Projektunterricht, Austausch von selbst erstellten Unterrichtsmaterialien).(Lehrerversion)
(Zur Fachkonferenz, Lehrerversion:) c Die Zusammenkünfte ziehen in der Regel wichtige Konsequenzen nach sich.
Items
Die ODAS-Versionen beinhalten folgende Subskalen:
(1) Ausstattung und Angebot der Schule
(2) Arbeitsbedingungen und Unterricht
(3) Außenkontakte
(4) Kommunikation
(5) Umgang miteinander
(6) Einflussmöglichkeiten
(7) Lehrer/-innen und Schulleitung
(8) Probleme an der Schule
(9) Zufriedenheit mit der Schule
(10) Zusammenarbeit in Gremien
(11) Ziele der Schule
(12) Weitere Fragen (Stärken/Schwächen der Schule; Verständnisfragen, demografische Fragen, fehlende Fragen zur Schule)
Alle Items finden sich unter Downloads.
Durchführung
Testformen
Es gibt Fragebogenversionen für Lehrer, Eltern und Schüler, die an die spezifischen Gegebenheiten der Schule (z.B. bzgl. Gremien oder spezieller Schulziele) angepasst werden können. Die Bearbeitung der Fragebögen ist sowohl in Einzel- als auch Gruppentestung möglich. Parallelformen liegen nicht vor.
Altersbereiche
Schüler ab der 7. Klasse und Erwachsene.
Durchführungszeit
Die Testung dauert 15-25 Minuten.
Material
Fragebogen und Schreibgerät.
Instruktion
Den Fragebögen ist eine schriftliche Instruktion vorangestellt.
Durchführungsvoraussetzungen
Es sind keine besonderen Qualifikationen erforderlich.
Testkonstruktion
Die Testkonstruktion orientierte sich an den Kriterien der Klassischen Testtheorie, wobei z.T. den Spezifika eines Organisationsdiagnoseinstruments Rechnung getragen wurde. Auf der Grundlage des Organisationsmodells von Harrison (1994) wurde eine Vorversion der Fragebögen erstellt. Diese Vorversion wurde von Experten aus der Pädagogischen Psychologie, Schulpsychologie und Pädagogik, Lehrern verschiedener Schulen und 145 Schülern einer Hauptschule bezüglich Vollständigkeit und Verständlichkeit geprüft. Mit den Experten und Lehrern fanden Besprechungen statt, die Lehrer und Schüler füllten die Fragebögen aus und nannten fehlende Bereiche und unverständliche Items. Auf der Grundlage der Stellungnahmen und Verbesserungsvorschläge wurde eine Itemrevision vorgenommen. Das überarbeitete Instrument wurde an 14 Schulen verschiedenen Schultyps erprobt. Es wurden meist Lehrer, Schüler und Eltern mit einbezogen, mit den folgenden Ausnahmen: An einer Hauptschule wurden nur die Lehrer befragt, an einer anderen auf Wunsch des Kollegiums nur die Lehrer und Schüler. An einer Grundschule konnten die Kinder nicht befragt werden, weil sie mit den Fragebögen überfordert gewesen wären und an einer Berufsschule wurde von der Organisationsentwicklungsgruppe die Meinung der Eltern für nicht wichtig gehalten. Bei den Lehrkräften handelt es sich durchweg um Vollerhebungen, an den Orientierungsstufen, der Gesamtschule, der Realschule und der Grundschule wurden ebenfalls bei den Schülern sowie den Eltern Vollerhebungen durchgeführt; bei den übrigen Schulen wurden bei diesen Gruppen nur Stichproben befragt (i.A. Klumpenstichproben: Schüler und Eltern je einer Klasse pro Klassenstufe). Insgesamt wurden 4783 Personen in die Erhebung mit einbezogen: 479 Lehrer, 2778 Schüler und 1526 Elternteile. Bezüglich der Items wurde zunächst betrachtet, inwieweit der Antwortbereich ausgeschöpft wurde. Bei allen Items wurden alle Antwortvorgaben genutzt. Weiterhin wurde geprüft, inwieweit die Items zwischen Schulen und den Gruppen Lehrer/Schüler/Eltern trennen können. Dazu wurde die Gesamtstichprobe in 37 Untergruppen getrennt nach Schule und Gruppenzugehörigkeit aufgeteilt. Es wurde für jedes der 111 Items geprüft, ob der Range über diese 37 Gruppen von ++ bis - reicht, d.h. ob das Item von mindestens einer Untergruppe mit großer Mehrheit positiv bewertet wird und von mindestens einer anderen Untergruppe mit großer Mehrheit negativ gesehen wird. Über die Daten, die von allen Schulmitgliedern (Lehrer/innen, Schüler/innen und Eltern) bearbeitet wurden, wurde eine Hauptkomponentenanalyse mit Varimaxrotation über die Items berechnet. Zur Bestimmung der Faktorenanzahl wurde der Screetest verwendet. Auf der Grundlage der Faktoren wurden Skalen gebildet, wobei diejenigen Items Bestandteil einer Skala sind, die mit mindestens .4 auf demselben Faktor laden und eine part-whole-korrigierte Trennschärfe von mindestens .3 aufweisen. Analog wurde für die Items vorgegangen, die nur von den Lehrkräften beantwortet wurden. Bei der Bestimmung der Skalen zu den Schulgremien wurde deduktiv vorgegangen, um eine einfache inhaltliche Interpretierbarkeit der Skalen zu gewährleisten. Je Skala sind die gleichen 6 Items zur Beurteilung eines bestimmten Schulgremiums enthalten (bei Faktorenanalysen über alle Items luden sie zwar meist auch auf gemeinsamen Faktoren, aber unsystematisch, z.B. einerseits Faktoren mit Items zu verschiedenen Gremien, andererseits Faktoren mit Items zu einem einzelnen Gremium). In Tabelle 1 sind die Kennwerte der Skalen sowie die jeweilige Itemanzahl dargestellt.
Tabelle 1
Kennwerte der Skalen sowie die jeweilige Itemanzahl n (I)
Skala | n(I) | M | SD |
---|---|---|---|
I Partizipationsmöglichkeiten | 8 | 19.38 | 4.10 |
II Lehrer/innenverhalten Schüler/innen und Eltern gegenüber/Unterricht | 12 | 26.79 | 5.91 |
III Ausstattung der Schule | 5 | 12.06 | 3.26 |
IV Klima bei den Schueler/innen | 5 | 15.08 | 3.06 |
V Wichtigkeit verschiedener Schulziele | 6 | 9.27 | 2.63 |
VI Grad der Zielerreichung | 6 | 14.21 | 3.29 |
VII Gesamtbewertung der Schule | 3 | 6.38 | 2.24 |
VIII Handlungsspielraum/Flexibilitaet | 5 | 11.69 | 3.46 |
IX Organisation/Transparenz | 5 | 10.96 | 2.89 |
LI Schulleitung/Verwaltung | 10 | 20.45 | 5.82 |
LII Klima im Kollegium | 4 | 9.32 | 2.82 |
LIII Erfahrene Anerkennung/Burnout | 6 | 11.24 | 2.62 |
LIV Fortbildungen | 4 | 10.28 | 2.11 |
LV Arbeitsbedingungen | 5 | 12.39 | 3.27 |
GI Gesamtkonferenz | 6 | 14.48 | 3.00 |
GII Fachkonferenz | 6 | 11.84 | 3.10 |
GIII Klassenkonferenz | 6 | 11.29 | 3.00 |
GIV Elternvertretung | 6 | 12.78 | 1.89 |
Gütekriterien
Objektivität
Aufgrund der Fragebogenform, der standardisierten Vorgehensweise und der schriftlichen Instruktion kann das Verfahren Objektivität hinsichtlich seiner Durchführung und Auswertung in Anspruch nehmen.
Reliabilität
Zur Bestimmung der Reliabilität wurde die Split-half-Korrelation zwischen den Itemsummen der halbierten Befragtengruppen berechnet. Die Idee dazu ist die folgende: Da die einzelne Schule (und nicht der oder die einzelne Befragte) Untersuchungsobjekt ist, kann die Korrelation zwischen den Befragten Aufschluss über den wahren Wert geben (analog dazu, wie es sonst die Korrelation zwischen den Aufgaben tut). Zudem kann geprüft werden, ob der Verzicht auf Vollerhebungen statthaft ist oder ob das Ergebnis dadurch verzerrt wird. Es wurde wie folgt vorgegangen: Diejenigen Untergruppen, die mindestens n = 20 Befragte enthalten, wurden per Zufall in zwei Teile unterteilt. Für jeden dieser Teile wurden je Variable die Punktsummen aufsummiert und die Korrelation zwischen diesen Variablensummen berechnet. Es ergeben sich die folgenden r-Werte:
- für Lehrer (mit 9 Untergruppen): durchschnittlich .85 (von .75 - .92);
- für Schüler (12 Untergruppen): durchschnittlich .97 (von .93 - .99);
- für Eltern (11 Untergruppen): durchschnittlich .94 (von .86 - . 99).
Kritisch anzumerken bei diesem Verfahren ist der Zusammenhang mit der Stichprobengröße (analog zum Zusammenhang zwischen Testlänge und Reliabilität bei der klassischen Reliabilitätsbestimmung). Tabelle 2 enthält die internen Konsistenzen der einzelnen Skalen.
Tabelle 2
Interne Konsistenzen der einzelnen Skalen
Skala | interne Konsistenz |
---|---|
I Partizipationsmöglichkeiten | .83 |
II Lehrer/innenverhalten Schüler/innen und Eltern gegenüber/ Unterricht | .83 |
III Ausstattung der Schule | .75 |
IV Klima bei den Schüler/innen | .74 |
V Wichtigkeit verschiedener Schulziele | .73 |
VI Grad der Zielerreichung | .77 |
VII Gesamtbewertung der Schule | .83 |
VIII Handlungsspielraum/Flexibilitaet | .69 |
IX Organisation/Transparenz | .64 |
LI Schulleitung/Verwaltung | .87 |
LII Klima im Kollegium | .80 |
LIII Erfahrene Anerkennung/Burnout | .75 |
LIV Fortbildungen | .67 |
LV Arbeitsbedingungen | .73 |
GI Gesamtkonferenz | .75 |
GII Fachkonferenz | .82 |
GIII Klassenkonferenz | .80 |
GIV Elternvertretung | .66 |
Validität
Neben der Sicherung der Inhaltsvalidität durch Expertengespräche bei der Itemkonstruktion fand eine kommunikative Validierung bei der Datenrückmeldung und bei anschließenden Gesprächen mit den Schulmitgliedern statt. Inwieweit die Diagnoseergebnisse auch handlungsleitend sind und Veränderungen in den Organisationen auslösen, wurde in einer schriftlichen Nachbefragung ein Jahr nach der Ergebnispräsentation geklärt. Die Ergebnisse dieser Befragung liegen noch nicht vollständig vor, im bisherigen Rücklauf werden unterschiedliche Aktivitäten an den Schulen genannt, beispielsweise schulinterne Lehrerfortbildungen, Umgestaltung des Schulgebäudes, Absprachen mit anderen Schulen zur Zusammenarbeit, Einführung fächerübergreifenden Unterrichts und neuer Arbeitsgemeinschaften, gemeinsame Gremienvorbereitung und Moderation, neue Formen der Konfliktbearbeitung. Bezüglich der Konstruktvalidität belegen die Ergebnisse der explorativen Faktorenanalyse (siehe unter "Testkonstruktion"), dass heterogene Bereiche erfasst werden und sinnvolle Faktoren resultieren.
Normierung
Eine Normierung wurde nicht durchgeführt. Mittelwerte und Standardabweichungen verschiedener Schulen, getrennt nach der Gruppenzugehörigkeit Lehrer, Eltern, Schüler, können von der Autorin bezogen werden.
Anwendungsmöglichkeiten
Schulberater und Schulangehörige können ODAS als umfassende Ist-Analyse der Schulorganisation verwenden und Organisationsentwicklungsmaßnahmen, Profilbildungen und Schulprogrammentwicklungen zugrunde legen. Das Instrument gibt hierfür einen umfassenden Überblick über wahrgenommene Stärken und Schwächen einer Schule sowie über Unterschiede in den Wertungen zwischen Lehrern, Schülern und Eltern. Auf der Grundlage der Ergebnisse kann eine Entscheidung über die zu verändernden (und auch über die beizubehaltenden) Bereiche getroffen werden. Weitere Anwendungsmöglichkeiten des Verfahrens liegen in der Schulforschung und -evaluation.
Bewertung
Das Survey-Feedback-Instrument ODAS zur Organisationsdiagnose an Schulen stellt ein taugliches Instrument sowohl für die Systemberatung und -entwicklung von Schulen als auch für die Schulforschung dar: Für den Praxisbereich ermöglicht ODAS einen verständlichen und ökonomischen Überblick über die Sichtweisen der Schulbeteiligten auf die für einen Organisationsentwicklungsprozess relevanten Dimensionen der Schulorganisation, für die Forschung stellt ODAS mehrere Skalen zu relevanten Konstrukten der Schulforschung zur Verfügung, deren Inhaltsvalidität und interne Konsistenz abgesichert sind. Im Bereich der Schulentwicklung hat eine breite Erprobung des Instruments stattgefunden, deren Ergebnisse die Brauchbarkeit des Instruments nahe legen. Speziell für den Forschungszusammenhang stellt der bisherige Verzicht auf Außenkriterien bei der Validierung sowie auf eine Normierung ein Manko dar. Diskussionswürdig bleibt, inwieweit die Kriterien der klassischen Testtheorie, die sich auf Individualdiagnostik beziehen und von einem "wahren Wert" ausgehen, auf die Diagnose von Organisationen entsprechend einer interpretativen, konstruktivistischen Ausrichtung anwenden lassen.
Erstmals publiziert in:
Ulber, D. (1998). Survey-Feedback-Instrument zur Organisationsdiagnose an Schulen. Berlin: Freie Universität, Institut für Allgemeine Pädagogik. PSYNDEX Dok.-Nr. 9004179
Literatur
Harrison, M.I. (1994). Diagnosing organizations: Methods, models, and processes (2nd ed.). Thousand Oaks Park, CA: Sage Publications.
Katz, D. & Kahn, R.L. (1966). The social psychology of organizations. New York: Wiley.
Nadler, D. & Tushman, M. (1980). A model for diagnosing organizational behavior: Applying a congruence perspective. Organizational Dynamics, 9 (3), 35-51.
Türk, K. (1989). Neuere Entwicklungen in der Organisationsforschung: Ein Trend Report. Stuttgart: Enke.
Ulber, D. (1999). Survey-Feedback-Instrument ODAS zur Organisationsdiagnose an Schulen. In G. Krampen, H. Zayer, W. Schönpflug & G. Richardt (Hrsg.), Beiträge zur angewandten Psychologie (S. 419-421). Bonn: Deutscher Psychologen Verlag.
Wichtige neuere Publikationen
Heise, E. & Rahm, T. (2007). Schulzufriedenheit: Eine empirische Untersuchung an Schülerinnen und Schülern zweier Gymnasien. Psychologie in Erziehung und Unterricht, 54 (1), 15-29. PSYNDEX Dok.-Nr. 0194056
Ulber, D. (2001). Survey-Feedback-Instrument ODAS zur Organisationsdiagnose an Schulen. In C. Hanckel, B. Jötten & K. Seifried (Hrsg.), Berichte aus der Schulpsychologie. Schule zwischen Realität und Vision. Kongressbericht der 14. Bundeskonferenz 2000 in Berlin (S. 96-102). Bonn: Deutscher Psychologen Verlag.
Ulber, D. (2006). Organisationsdiagnose an Schulen. Entwicklung eines Survey-Feedback-Instruments zur Bestandsaufnahme im Schulentwicklungsprozess. Unveröffentlichte Dissertation, Universität Bamberg, Fakultät Pädagogik, Philosophie, Psychologie.
Ulber, D. (2006). Organisationsdiagnose an Schulen. Entwicklung eines Survey-Feedback-Instruments zur Bestandsaufnahme im Schulentwicklungsprozess. Münster: Waxmann. PSYNDEX Dok.-Nr. 0185794
Rezensionen
Imhof, M. (2007). Ulber, D. (2006). Organisationsdiagnose an Schulen. Entwicklung eines Survey-Feedback-Instruments zur Bestandsaufnahme im Schulentwicklungsprozess (Buchbesprechungen). Zeitschrift für Pädagogische Psychologie, 21 (2), 187-189.
Rückmeldeformular
Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen
Kontaktdaten
Prof. Dr. Daniela Ulber, Hochschule für Angewandte Wissenschaften Hamburg (HAW), Hamburg University of Applied Sciences, Fakultät Wirtschaft und Soziales, Alexanderstraße 1, D-20099 Hamburg