Podcast: Play in new window | Download

Screenshot 2013-04-07 bei 9.14.53 PM

von David DuBois

Eine der häufigsten Frustrationen, die ich von Leuten in der Praxis und Advocacy-Rollen in unserem Bereich gehört habe, ist, dass die Maßnahmen, die bei der Bewertung von Programmen verwendet werden, für die die Vorteile, die ein qualitativ hochwertiges Mentoring jungen Menschen bieten kann. Es ist verlockend für uns als Forscher, solche Gefühle einfach als ein mangelndes Verständnis der Art und Weise abzutun, in der strenge Bewertungsmethoden (z. B. die Messung des Nutzens nicht nur als Veränderungen, die für Interventionsteilnehmer beobachtet werden, sondern vielmehr das Ausmaß, in dem diese übertreffen diejenigen, die für Nicht-Teilnehmer offensichtlich sind) können Interventionen oft als wesentlich weniger wirksam erweisen, als es Anekdoten oder Erfahrungen vermuten lassen. Dies zu tun, wäre jedoch nach meiner Einschätzung ein Fehler. Eine Reihe von Überlegungen führen mich zu dieser Ansicht. Es kann beispielsweise keine Bewertung mit Zuversicht in Anspruch genommen werden, um eine Bestandsaufnahme der gesamten Bandbreite von Ergebnissen vorzunehmen, die durch die Beteiligung eines Jugendlichen an einem Mentoring-Programm gestärkt werden können. Es kann auch nicht davon ausgegangen werden, dass die Ergebnisse, die Aufmerksamkeit erhalten, mit ausreichender Präzision oder zu den kritischsten Zeitpunkten gemessen wurden, die erforderlich sind, um den Nutzen des Programms genau zu messen. Die Liste könnte weitergehen. Für die vorliegenden Zwecke werde ich mich jedoch nur auf eine zusätzliche Überlegung konzentrieren: Das Potenzial für Mentoring, einzelnen Jugendlichen auf unterschiedliche (und möglicherweise auch mehrfache) Weise von Nutzen zu sein. Dies ist ein Axiom, das nur wenige erfahrene Praktiker diskutieren würden. In der Tat sind es ihre Beobachtungen, die im Laufe der Jahre informell gehört wurden, die mir den Anstoß gegeben haben, nach Wegen zu suchen, über die traditionellen Bewertungsmethoden hinauszugehen, um eine größere Sensibilität für die vielfältigen und vielfältigen Vorteile zu erreichen, die sich für einen bestimmten Jugendlichen als Reaktion auf Mentoring ergeben können. Bei herkömmlichen Ansätzen zur Bewertung liegt der Fokus auf den durchschnittlichen Veränderungen, die ganze Stichproben (oder Untergruppen) von Jugendlichen zeigen Ergebnisse und jedes Ergebnis wird tendenziell getrennt von den anderen betrachtet. Wenn betreute Jugendliche beispielsweise in mindestens einem Bereich davon profitieren, dieser Bereich jedoch von Jugend zu Jugend sehr unterschiedlich ist, lassen sich mit solchen traditionellen Methoden möglicherweise keine Programmeffekte feststellen. Es kann auch nicht geklärt werden, inwieweit dieselbe Jugend in mehreren Bereichen Gewinne erzielt.

Mein erster Ausflug in alternative Methoden zur Bewertung von Programmeffekten war eine metaanalytische Überprüfung der Evaluierungen von Jugendmentoring-Programmen, die mit Jean Rhodes und Kollegen durchgeführt wurden (DuBois, Portillo, Rhodes, Silverthorn, & Valentine, 2011). Wie in solchen Überprüfungen üblich, berichteten wir über die durchschnittlichen Auswirkungen (über alle Bewertungen hinweg), die Programme auf die Ergebnisse in verschiedenen Bereichen hatten (z. B. Akademiker, psychische Gesundheit, Beteiligung am Problemverhalten). Wir untersuchten jedoch auch, ob die Jugendlichen, die an einem bestimmten Programm teilnahmen, Anzeichen für eine günstige Veränderung in mehreren Ergebnisbereichen zeigten (z. B. verbesserte Noten und geringere Beteiligung an delinquentem Verhalten). Ein solches Muster war in der Tat bei Programmjugendlichen in etwa der Hälfte (52%) der Bewertungsstichproben offensichtlich. Es ist eine Realität, dass Mentoring-Programme Vorteile in bestimmten Bereichen bieten können, die nicht so ausgeprägt sind wie die von Programmen mit exklusiver Ausrichtung auf diese Bereiche (z. B. Nachhilfe für akademische Leistungen; Prävention von Drogenmissbrauch zur Reduzierung des Problemverhaltens). Wenn das Ziel jedoch darin besteht, die Ergebnisse in mehreren Bereichen der Entwicklung und Anpassung von Jugendlichen ganzheitlicher zu stärken, legen unsere Ergebnisse nahe, dass Mentoring immer noch eine bevorzugte Interventionsmethode sein kann. Sie helfen auch nicht zu verstehen, ob betreute Jugendliche in mindestens einem Bereich eher Gewinne erzielen als nicht betreute Jugendliche, wenn auch mit Unterschieden zwischen den Jugendlichen in diesem Bereich. Diese Probleme konnten in einer kürzlich durchgeführten Bewertung der Auswirkungen von Mentoring-Programmen auf Jugendliche mit höherem Risiko angegangen werden, an der ich mit Carla Herrera und Jean Grossman zusammengearbeitet habe (Herrera, DuBois, & Grossman, 2013). In dieser Studie haben wir ein Maß erstellt, das einfach eine Zählung der Anzahl der Ergebnisse (von 10 möglichen) war, bei denen ein Jugendlicher positive Veränderungen zeigte. Die Ergebnisse zeigten, dass signifikant größere Anteile der betreuten Jugendlichen sowohl in der Zufallszuweisung als auch in den quasi-experimentellen Teilen der Bewertung (26 bzw. 32 Prozent) eine Veränderung bei mindestens einer Ergebnismessung zeigten als nicht betreute Jugendliche (20 Prozent). Betreute Jugendliche zeigten auch signifikant häufiger Verbesserungen bei mehreren Ergebnissen. Diese Art von facettenreichen Gewinnen war jedoch nur für eine relativ kleine Minderheit der betreuten Jugendlichen offensichtlich (3 und 7 Prozent für zwei betreute Gruppen bzw. 1 Prozent für die nicht betreuten Jugendlichen). Darüber hinaus schien die Programmteilnahme die Anzahl der Ergebnisse, bei denen Jugendliche eine Verschlechterung aufwiesen, nicht zu verringern (negative Veränderungen wie erhöhte Depressionssymptome oder rückläufige Noten).

Natürlich müssen alle Ergebnisse, die ich zusammengefasst habe, als vorläufig angesehen werden. Ich hoffe in der Tat, dass diese ersten Bemühungen dazu beitragen werden, das Interesse an der Verwendung ähnlich zielgerichteter Bewertungsmethoden zu wecken und dadurch unser Wissen darüber zu erweitern, wie das Leben und die Zukunft von Jugendlichen durch Mentoring gestaltet werden können. Mit den Prioritäten und Erkenntnissen aus der Praxis Schritt zu halten, ist eine ständige Herausforderung, aber wenn sie angenommen werden, können Sie dazu beitragen, das Beste aus uns als Forschern herauszuholen. Doch wie das vorliegende Beispiel hoffentlich zeigt, kann in einigen Fällen sogar ein bisschen einfaches Zählen eine große Hilfe sein!

DuBois, DL, Portillo, N., Rhodes, JE, Silverthorn, N., & Valentine, JC (2011). Wie effektiv sind Mentoring-Programme für Jugendliche? Eine systematische Bewertung der Evidenz. Psychologische Wissenschaft im öffentlichen Interesse, 12, 57-91. Verfügbar unter http://www.psychologicalscience.org/index.php/publications/journals/pspi/mentoring.html

Herrera, C., DuBois, D. L., & Grossman, J. B. (2013). Die Rolle des Risikos: Mentoring-Erfahrungen und -Ergebnisse für Jugendliche mit unterschiedlichen Risikoprofilen. New York, NY: Ein öffentliches / privates Ventures-Projekt, das von MDRC veröffentlicht wurde. Abgerufen von http://www.mdrc.org/role-risk