Coaching-Evaluation unter Real-Life-Bedingungen

Zum Glück gibt es in letzter Zeit vermehrt Evaluationsstudien im Coaching. Doch was wirklich fehlt, sind randomisierte kontrollierte Untersuchungsdesigns. Dies hat jüngst auch der Osnabrücker Psychologie-Professor Siegfried Greif reklamiert. Victoria Ellam-Dyson und Stephen Palmer wollten deshalb einmal eine besonders aussagekräftige Pre-Post-Untersuchung mit Kontrollgruppe „in freier Wildbahn“ durchführen. Doch dabei erlebten sie diverse „blaue Wunder“. Sie berichten darüber in der aktuellen Ausgabe der Zeitschrift „The Coaching Psychologist“ (2/2008).

Was wirkt am besten bei wem und wann? Zu dieser Frage gibt es im Feld der Beratung und Psychotherapie vielfältige wissenschaftliche Untersuchungen. Es ist Zeit, diese Frage auch für das Coaching zu beantworten. Ellam-Dyson und Palmer interessierte beispielsweise, ob und wie die Glaubenssätze von Managern des mittleren und Top-Managements durch Coaching verändert werden könnten. Insbesondere wollten sie wissen, ob eine Veränderung von Überzeugungen durch Coaching sich in verändertem Verhalten niederschlagen würde. Dazu sollten natürlich auch die jeweiligen Coaching-Techniken kontrolliert werden.

Obwohl angeblich 71 Prozent der UK-Unternehmen Coaching einsetzen, war es sehr schwer, eine Untersuchungsgruppe zu rekrutieren. Alle möglichen Unternehmen und Institutionen lobten zwar das Vorhaben als wichtig, ließen sich aber auch von den „Risiken und Nebenwirkungen“ beeindrucken. Doch zum Schluss ergab sich eine Möglichkeit, auf eine Gruppe von 41 Nachwuchsmanagern zuzugreifen, die soeben durch ein Assessment-Center liefen, um ausgewählt zu werden. Sie sollten im Anschluss ein sechsstündiges Coaching erhalten, um sie auf die neuen Karriereanforderungen vorzubereiten. Es wurde also geplant, deren Überzeugungen und Verhalten vor und nach dem Coaching zu messen. Ersteres mit einem Fragebogen, das Verhalten durch eine 360-Grad-Beurteilung. Zusätzlich sollten die Coachs nach jeder Coaching-Einheit Checklisten ausfüllen, in denen sie Auskunft über die verwandten Techniken geben sollten.

Das erste Problem entstand dabei, eine geeignete Kontrollgruppe zu finden. Auf die Gruppe der im AC nicht ausgewählten Manager konnte man nicht zurückgreifen. Erstens gab es ja einen Grund dafür, dass sie nicht ausgewählt worden waren, nämlich mangelnde Eignung. Sie waren also nicht gleichwertig. Außerdem wäre es unethisch gewesen, sie trotzdem einzuspannen und über das wahre Ziel im Dunkeln zu lassen. Als cleverer Ausweg wurde daher überlegt, die Coaching-Gruppe nach Zufall zu splitten und das Coaching zeitversetzt stattfinden zu lassen. Doch dies scheiterte an der internen Personalentwicklung. Sie argumentierte, die zweite Coaching-Kohorte würde sich benachteiligt fühlen, wenn sie warten müsste. Außerdem würde der neue Job nicht warten.

So startete man das Coaching mit der gesamten Gruppe – ohne Kontrollgruppe; und natürlich mit einem „weinenden Forscherauge“. Das nächste Problem entstand beim Einsatz des 360-Grad-Verfahrens. Es musste zwei Mal stattfinden. Das fanden viele schwer beschäftigte Manager, die die Beurteilungen abgeben sollten, einfach zu viel. Auch die Versuchspersonen zeigten ähnliche Reaktionsmuster. In der AC-Situation, wo sie alle zusammen waren, war es einfach, deren Fragebogen ausgefüllt zu bekommen. Doch im Zeitpunkt T2 – im Job – sollten sie den Fragebogen zum zweiten Mal ausfüllen. Man wollte es ihnen leicht machen damit und bot das web-gestützt an. Das hieß aber im Gegenzug, die Forscher hatten weniger Einfluss- und Kontrollmöglichkeiten. Und die Kandidaten hatten deutlich weniger Motivation dazu. Sollte man sie nun mit Incentives zum Ausfüllen locken? War das nicht gegen die Compliance-Regeln der Organisation? Und welchen Einfluss würde es auf das Antwortverhalten haben? Die Forscher realisierten also unerfreuliche Drop-out-Raten.

Eine weitere Schwierigkeit ergab sich mit den Coachs. Sie sollten ja die eingesetzten Techniken notieren. Doch manche Coachs taten sich schwer damit, diese anzugeben: Weil sie beispielsweise gleichzeitig verschiedene Techniken oder Mischformen und Eigenentwicklungen anwandten. Es war auch nicht auszuschließen, dass die Coachs befürchteten, selbst evaluiert zu werden, und sich deshalb weitgehend bedeckt halten wollten. Nun rächte es sich auch, dass die Forscher Angaben zum Forschungsdesign sparsam kommuniziert hatten, um Unvoreingenommenheit zu verhindern. Sie ernteten stattdessen Vorbehalte. An dieser Stelle musste dann ein Kompromiss geschlossen werden…

Grandios gescheitert? Die Forscher resümieren ihr Projekt, damit andere, alle Seiten, davon lernen können. Und sie sind sicher, dass man sicher noch weitere Schwierigkeiten ausmachen könnte, die man eigentlich auch noch kontrollieren müsste, wie mangelndes Fitting von Coach und Klient und so weiter. – Wirklich ein sehr lehrreicher Beitrag. (tw)

Weitere Informationen:
www.bps.org.uk/document-download-area/document-download$.cfm?file_uuid=15557098-1143-DFD0-7E68-141619F24388&ext=pdf