Das Coaching-Index-Qualitätsmodell. Teil 1

Der deutschsprachige Coaching-Weiterbildungsmarkt ist in den letzten Jahren deutlich expandiert und bietet eine schwer überschaubare Fülle unterschiedlicher Angebote. Vielen Interessenten fällt es schwer, das passende Angebot zu finden oder sich in der Vielzahl der Anbieter zu entscheiden. Zwar gibt es eine Menge unterschiedliche Zertifikate, die von verschiedenen Verbänden und nahezu jedem Anbieter ausgestellt werden – ein wissenschaftlichen Kriterien genügendes System zur Messung der Qualität von Coaching-Weiterbildungen fehlte jedoch bisher. Im Rahmen meiner Dissertation über Qualitätsstandards von Coaching-Weiterbildungen habe ich daher das Coaching-Index-Qualitätsmodell entwickelt, das seriöse und inhaltlich relevante Aussagen erlaubt, die darüber hinaus statistisch abgesichert sind. Im folgenden soll das Qualitätsmodell vorgestellt werden. 

Im Gegensatz zu physikalischen Gütern ist die Qualität von Weiterbildungen nicht ohne weiteres definierbar. Hier gibt es keine Einheiten von Millimeter, Gramm oder Kubikzentimeter, die relativ genau messbar sind. Zwar wird immer wieder über Qualität bzw. Qualitätsmanagement gesprochen, was sich letztlich jedoch hinter dem Begriff der Qualität verbirgt, erweist sich bei genauerer Betrachtung überwiegend als unklar. Bei einem vergleichsweise einfachen physikalischen Objekt – z.B. einer Schraube – lässt sich die Qualität einfach definieren. Je näher die Schraube an den Vorgaben einer technischen Spezifikationen liegt (z.B. ihre genaue Größe, Gewicht, Materialzusammensetzung), desto höherwertig ist ihre Qualität. Die Spezifikation wiederum setzt sich zusammen aus den gewünschten Produkteigenschaften. Eine Schraube, die z.B. Salzwasserkontakt hat, sollte aus anderem Material bestehen als eine Schraube, die große Hitzbeständigkeit aufweisen soll.

Überträgt man diese Gedanken auf den Bereich von Coaching-Weiterbildungen, bedeutet dies, dass man zunächst klären muss, was genau überhaupt als qualitätsbestimmend anzusehen ist; und weiterhin benötigt man ein Messverfahren, das in der Lage ist, diese qualitätsbestimmenden Faktoren zuverlässig zu erfassen. Und schließlich sollte dieses Messverfahren – wenn am Markt zu irgendeiner Orientierung taugen sollte – Vergleiche zulassen, die eine Einschätzung der am Markt vorhandenen Coaching-Weiterbildungen ermöglichen.

Um ein derartiges Verfahren zu entwickeln, das sowohl qualitativ als auch quantitativ abgesichert die Qualität von Coaching-Weiterbildungen erfassen kann, wurden von mir mehrere Untersuchungen durchgeführt. Ziel der Untersuchungen war es, die für Coaching-Weiterbildungen tatsächlich relevanten Qualitätsdimensionen zu identifizieren und ein inhaltlich relevantes und statistisch abgesichertes Messverfahren zu entwickeln, welches die Güte von Coaching-Weiterbildungen zuverlässig erfasst.

Ferner sollte das Modell Hinweise geben, wie sich Coaching-Weiterbildungen in qualitativer Hinsicht unterscheiden und mit welchen Maßnahmen sich die Qualität von Coaching-Weiterbildungen effektiv steigern lässt, damit den Coaching-Weiterbildungsanbietern ein Instrument zur systematischen Optimierung ihrer Weiterbildung gegeben werden kann.

Leider sind bisher am Markt vorhandene Verfahren oft von Einzelinteressen geleitet und ihre Entstehung entzieht sich jeglicher Überprüfung auf inhaltliche und formale Plausibilität. Dies gilt z.B. häufig für Modelle, die mit Zertifizierungsstufen o.ä. arbeiten oder bei denen wenige Experten die Beurteilung vornehmen. Die inhaltliche Ausprägung der Stufen und deren Unterschiede leiten sich dabei letztlich meist aus willkürlichen Annahmen ab, die primär Lobbyinteressen widerspiegeln. Aussagekraft und Vergleichbarkeit, Reliabilität, Validität und Objektivität und der tatsächliche Nutzen sind oftmals fragwürdig.

Ein weiterer gängiger Fehler bestehender Zertifizierungsverfahren ist, dass diese keine Rücksicht auf individuelle Unterschiede nehmen, z.B. im konzeptionellen Ablauf einer Coaching-Weiterbildung, sondern stattdessen durch inhaltliche Normierungen und vorgegebene Standards Qualität suggerieren wollen. Dies wird oftmals mit dem Hinweis auf den "Bologna-Prozess" zu begründen versucht, was jedoch keine Begründung ist. Es handelt sich hierbei um einen politischen und keinen wissenschaftlichen Ansatz, der formal-reduktionistisch orientiert ist. In solchen Normierungsprozessen geht jedoch meist genau das verloren, was in Weiterbildungen als inhaltlich wertvoll angesehen werden kann. Im Endergebnis wird eine Scheinqualität produziert und ausgewiesen, die eine willkürliche Form von Qualität beschreibt, faktisch aber ihrer inhaltlichen Aussage beraubt wurde und keine Akzeptanz im Markt findet.

Fast alle Zertifizierungsverfahren fokussieren zudem einseitig auf die Ergebnisqualität, d.h. auf die Fähigkeiten und Eigenschaften der Absolventen. Solche Fähigkeits-Eigenschaftsmodelle entsprechen dem wissenschaftlichen Stand der 60er Jahre und können als antiquiert betrachtet werden. Derartige Kompetenzmodelle sind für für die Beurteilung einer Coaching-Weiterbildung schlichtweg ungenügend. Selbst wenn eine Weiterbildung durchgängig hervorragende Absolventen vorweisen kann, belegt dies nicht zwingend die Güte der Weiterbildung. Es wäre z.B. auch denkbar, dass die Absolventen bereits vor der Weiterbildung hochkompetent waren.

Entscheidend für die Güte einer Weiterbildung ist vielmehr, wie und in welcher Weise dort Befähigung ermöglicht wird (ansonsten zertifiziert man Auswahlprozesse - auch ein wichtiges Themenfeld, aber nicht der Kern von Weiterbildung). Kurzum: Bei Weiterbildungen müssen daher auch Aspekte von Struktur- und Prozessqualität erfasst werden – dies belegen auch die wissenschaftlichen Untersuchungen zur Qualität von Coachings von Heß & Roth (2000), Schmidt (2003) und Jansen, Mäthner & Bachmann (2004) (siehe www.coaching-literatur.de).

Ausgehend von einer zweijährigen Literaturrecherche in den Jahren 2003–2004 (bzgl. Coaching-Wirksamkeitsforschung, Qualitätsmanagement in der Weiterbildung, Qualitätsstandards in der Psychotherapieausbildung und Qualitätsstandards in der Supervisionsausbildung) konnten 326 potenzielle Qualitätskriterien identifiziert werden. Über eine Befragung von 72 Coaching-Experten (Frühjahr bis Herbst 2005) wurden diese 326 potenziellen Qualitätskriterien um weitere, den Experten wichtig erscheinende Aspekte ergänzt und sämtliche Kriterien hinsichtlich ihrer Bedeutsamkeit bewertet. Anschließend wurden alle irrelevanten Qualitätskriterien ausgefiltert und dieses Vorgehen mittels einer Effektgrößenanalyse abgesichert und bestätigt.

In einer weiteren, vollständig offenen Befragung mit zehn Coaching-Experten wurden zudem weitere potenzielle Qualitätskriterien ungestützt abgefragt und bewertet. Zielsetzung dieser Befragung war es, keine relevanten Qualitätskriterien zu übersehen und die bisherigen Ergebnisse zu überprüfen. Als Ergebnis dieser Befragungen konnten die vorhandenen Kriterien abermals ergänzt und bzgl. ihrer Bedeutsamkeit bewertet werden. Auf der Basis dieser Angaben konnte ein Fragebogen für die folgende Hauptuntersuchung konstruiert werden, der die 158 bedeutsamsten Qualitätskriterien umfasste.

In der Hauptuntersuchung wurden im Zeitraum von Oktober 2005 bis Juli 2006 insgesamt 975 Teilnehmer von Coaching-Weiterbildungen sowie 87 Dozenten per Fragenbogen (Papier- und Onlineversion) anonym befragt. Die Teilnehmer und Dozenten wurden über zahlreiche Medien und Berufsverbände informiert. Zudem haben sich 43 Coaching-Weiterbildungsanbieter im Direktkontakt bereit erklärt, ihren Teilnehmern den Fragebogen in einer Printversion auszuhändigen. Unter Berücksichtigung der Verschiedenheit und der Reichweite der Informationskanäle kann davon ausgegangen werden, das ein überwiegender Teil des Marktes über die Untersuchung informiert war. Die Stichprobe kann somit als repräsentativ angesehen werden, zumal sie insgesamt die Angaben von über 180 Coaching-Weiterbildungsanbietern umfasst – bei einem Gesamtmarkt von ca. 300 Anbietern.

Den Ausbildungsanbietern war es durch die offene Form der Befragung nicht möglich, unliebsames Feedback zu unterdrücken.

Mit den in der Hauptuntersuchung gewonnen Daten – insgesamt über 170.000 Einzelantworten – wurde eine explorative Faktorenanalyse gerechnet. Dabei handelt es sich um ein statistisches Verfahren, das die Auswertung auch großer Datenmengen ermöglicht und mit dem einzelne Bewertungskriterien zu Faktoren zusammengestellt werden können. Mit Hilfe des Varimax-Rotationsverfahrens wurden die Faktoren dabei so konstruiert, dass sie statistisch weitgehend unabhängig voneinander sind. Jeder Faktor besitzt somit einen eigenständigen Informationsgehalt. D.h. das aus der Ausprägung eines bestimmten Faktors kann nicht automatisch auf die Ausprägung eines anderen Faktors geschlossen werden.

Als Ergebnis der Faktorenanalyse mit Varimax-Rotation konnten 12 Faktoren identifiziert werden, die über 50% der Datenvarianz aufklären und mit denen die Qualität von Coaching-Weiterbildungen beschrieben werden kann. Der erste Faktor (Generalfaktor) wurde in vier Subfaktoren zerlegt, um eine bessere inhaltliche Interpretation zu gewährleisten. Die weiteren elf Faktoren konnten erhalten bleiben. Auf diese Weise ergaben sich 15 Faktoren, die klar den Qualitätsdimensionen der Struktur-, Prozess- und Ergebnisqualität zugeordnet werden konnten. Damit bestätigte sich auch die Annahme, dass zur Beurteilung der Qualität von Coaching-Weiterbildungen die Ergebnisqualität nicht ausreicht.

Das mit Hilfe der explorativen Faktorenanalyse entwickelte Coaching-Index-Modell zeigt, dass Qualität im Verständnis der Teilnehmer aus unterschiedlichen Faktoren besteht, die unabhängig voneinander sind. Ein hoher Faktorwert bedeutet also nicht automatisch auch ein gutes Abschneiden in den anderen Faktoren, so dass sehr spezifische Profilbildungen möglich sind.Dieses Modell bleibt auch dann stabil, wenn man die Einschätzungen der Ausbildungsanbieter mit einbezieht. Die Vorstellung über dass, was in dem Modell für die Qualität als bedeutsam angesehen wird, ist somit zum einen differenziert ausgeprägt und zum anderen gibt es keine Hinweise darauf, dass Ausbilder Qualität anders verstehen als die Teilnehmer. Stattdessen scheint es eine große Übereinstimmung über die Faktoren zu geben, welche die Qualität einer Coaching-Weiterbildung bestimmen.

Darüber hinaus sind die Reliabilitätswerte für die einzelnen Faktoren überwiegend gut bis sehr gut, was eine entsprechend zuverlässige Messung ermöglicht (im Gegensatz zu anderen Verfahren, die z.B. "Tagesform" messen).

Um die Ergebnisse der Faktorenanalyse zu überprüfen, wurden vom Oktober 2006 bis Juni 2007 vier Coaching-Weiterbildungsgruppen mit insgesamt 42 Personen befragt. Die Gruppen bestanden aus Personen, die am Ende ihrer Coaching-Weiterbildung standen und zuvor an keiner Befragung im Rahmen der vorigen Untersuchungen teilgenommen hatten. Die Personen wurden offen befragt, woran sie als Teilnehmer einer Coaching-Weiterbildung erkennen, welche Qualität diese hat und woran konkret sich die Qualität erkennen lässt. Im Ergebnis konnten alle Qualitätsfaktoren des Coaching-Index-Modells bestätigt werden.

Mit dem Coaching-Index-Qualitätsmodell liegt nun ein Messverfahren vor, welches nach wissenschaftlichen Prinzipien entwickelt wurde. Die Faktoren, die die Qualität bestimmen, wurden nicht allein durch Experten- oder Einzelmeinungen geschaffen, sondern basieren auf der empirischen Basis der Angaben von 975 Teilnehmern von Coaching-Weiterbildungen und 187 Ausbildungsanbietern. D.h. das Verfahren erfasst, was der gesamte Markt und nicht einzelne Interessengruppen als qualitätsrelevant erachten.

Durch die breite Datenbasis liegen Benchmarkdaten vor, die den Ausbildungsanbietern nun eine direkte Rückmeldung darüber ermöglichen, wo sie im Markt stehen. Durch die Gewichtung der Faktoren ist es ferner möglich, Ausbildungsanbietern ein gezieltes Controlling-Instrument an die Hand zu geben, das ihnen zeigt, in welchem Bereich Qualitätsverbesserungen de größte Hebelwirkung entfalten. Denn nicht jede Qualitätsverbesserung wird auch notwendigerweise als solche wahrgenommen. Das Coaching-Index-Modell zeigt, an welcher Stelle Qualität tatsächlich spürbar wahrgenommen wird und ggf. verbessert werden kann. Somit eröffnet sich für die Interessenten die Möglichkeit, gezielt die Ausbildungen ausfindig zu machen, die ihren Qualitätsansprüchen am ehesten gerecht werden.

Die Vorteile des Coaching-Index-Qualitätsmodells im Überblick:

- Inhaltlich und statistisch abgesichert- Konstruktion der Faktoren gemäß Sparsamkeitsprinzip
- Benchmarkdaten für den deutschsprachigen Markt vorhanden
- Geeignet zur Evaluation und zum Bildungs
-Controlling
- Individuelle Profilbildung möglich

Im nächsten Coaching-Newsletter werden die einzelnen Qualitätsfaktoren und weitere Details des Coaching-Index-Modells detailliert vorgestellt.