Podcast: spil i nyt vindue | Hent

skærmbillede 2013-04-07 kl 9.14.53 PM

af David DuBois

en af de mest almindelige frustrationer, jeg har hørt udtrykt af folk i praksis og advokatroller inden for vores felt, er, at de foranstaltninger, der anvendes i evalueringer af programmer, ikke synes tilstrækkelige til opgaven at fange de fordele, som mentorordninger af høj kvalitet kan tilbyde unge mennesker. Det er fristende for os som forskere at afvise sådanne følelser som blot at afspejle en mangel på fuld forståelse af de måder, hvorpå strenge evalueringsmetoder (f.eks. måling af fordele som ikke blot ændringer observeret for interventionsdeltagere, men snarere i hvilket omfang disse overgår dem, der er tydelige for ikke-deltagere) kan ofte afsløre interventioner at have betydeligt mindre indflydelse end hvad anekdote eller erfaring kan antyde. At gøre det, imidlertid, efter min vurdering ville være en fejltagelse. En række overvejelser får mig til at holde dette synspunkt. Ingen evaluering, for eksempel, kan hævdes med tillid til at gøre status over hele spektret af resultater, der kan styrkes af en unges engagement i et mentorprogram. Det kan heller ikke antages, at de resultater, der fik opmærksomhed, blev målt med tilstrækkelig præcision eller på de mest kritiske tidspunkter, der var nødvendige for nøjagtigt at måle programfordele. Listen kunne fortsætte. Men til nuværende formål vil jeg kun fokusere på en yderligere overvejelse: potentialet for mentorordninger til gavn for den enkelte ungdom på forskellige (og muligvis også flere) måder. Dette er et aksiom, som få erfarne praktikere ville diskutere. Ja, det er deres observationer hørt uformelt gennem årene, der har givet mig drivkraft til at lede efter måder at gå ud over traditionelle evalueringsmetoder for at opnå større følsomhed over for de forskellige og mangesidede fordele, der kan opstå for enhver given ungdom som reaktion på mentorordninger. I konventionelle tilgange til evaluering er fokus på de gennemsnitlige ændringer, som hele prøver (eller undergrupper) af unge udviser på resultater, og hvert resultat har tendens til at blive betragtet separat fra de andre. Hvis mentoreret ungdom har tendens til at drage fordel af mindst et område, for eksempel, men dette område adskiller sig ganske lidt fra ungdom til ungdom, programeffekter afsløres muligvis ikke med sådanne traditionelle metoder. Det kan heller ikke afklares, i hvilket omfang den samme ungdom udviser gevinster på flere områder.

min første strejftog i alternative metoder til vurdering af programeffekter var i en meta-analytisk gennemgang af evalueringer af ungdomsmentorprogrammer udført med Jean Rhodes og kolleger (DuBois, Portillo, Rhodes, Silverthorn, & Valentine, 2011). Som det er typisk i sådanne anmeldelser, rapporterede vi de gennemsnitlige effekter (på tværs af alle evalueringer), som programmer havde på resultater inden for hvert af flere domæner (f.eks. Vi kiggede dog også på, om de unge, der deltog i et givet program, viste tegn på gunstig ændring i flere udfaldsdomæner (f.eks. Et sådant mønster var faktisk tydeligt for programungdom i ca.halvdelen (52%) af evalueringsprøverne. Det er en realitet, at mentorprogrammer kan tilbyde fordele på specifikke områder, der ikke er så udtalt som dem, der leveres af programmer med mere eksklusiv målretning af disse områder (f.eks. vejledning til akademisk præstation; forebyggelse af stofmisbrug til reduktion af problemadfærd). Men hvis målet er at styrke resultaterne mere holistisk på tværs af flere domæner af ungdoms udvikling og tilpasning, tyder vores resultater på, at mentorordninger stadig kan være en foretrukken interventionsmåde

hvad ovenstående resultater ikke adresserer er, om bestemte unge har tendens til at opleve gevinster i flere udfald område i forbindelse med mentorordninger. De hjælper heller ikke med at forstå, om mentoreret ungdom kan være mere tilbøjelige til at vise gevinster på mindst et område end ikke-mentoreret ungdom, omend med forskelle på tværs af unge i, hvad dette område kan være. Disse spørgsmål kunne løses i en nylig evaluering af virkningerne af mentorprogrammer på unge med højere risiko, som jeg samarbejdede med Carla Herrera og Jean Grossman (Herrera, DuBois, & Grossman, 2013). I denne forskning skabte vi en foranstaltning, der simpelthen var et tal af antallet af resultater (ud af 10 mulige), hvor en ungdom viste positiv forandring. Resultater viste, at signifikant større andele af mentoreret ungdom i både den tilfældige opgave og kvasi-eksperimentelle dele af evalueringen (henholdsvis 26 og 32 procent) for at vise ændring på mindst et resultatmål end ikke-mentoreret ungdom (20 procent). Mentorerede unge var også signifikant mere tilbøjelige til at vise forbedring på flere resultater. Disse typer af mangesidede gevinster var imidlertid tydelige for kun et relativt lille mindretal af mentorerede unge (henholdsvis 3 og 7 procent for to mentorgrupper og 1 procent for den ikke-mentorerede ungdom). Af yderligere note syntes programdeltagelse ikke at reducere antallet af resultater, for hvilke unge udviste forringelse (negativ ændring, såsom øgede symptomer på depression eller faldende karakterer).

det er klart, at alle de resultater, jeg har opsummeret, skal betragtes som foreløbige. Mit håb er faktisk, at disse indledende bestræbelser vil bidrage til at skabe interesse for brugen af lignende tilsigtede evalueringsmetoder og derved øge vores viden om de måder, hvorpå unges liv og fremtid kan formes ved hjælp af mentorordninger. At holde trit med de prioriteter og indsigter, der kommer fra praksis, er en løbende udfordring, men når man omfavner, kan det hjælpe med at få det bedste ud af os som forskere. Endnu, som det nuværende eksempel forhåbentlig illustrerer, i nogle tilfælde kan endda en smule simpel optælling være en stor hjælp!

DuBois, D. L., Portillo, N., Rhodes, J. E., Silverthorn, N.,& Valentine, J. C. (2011). Hvor effektive er mentorprogrammer for unge? En systematisk vurdering af beviserne. Psykologisk Videnskab i offentlighedens interesse, 12, 57-91. Tilgængelig på http://www.psychologicalscience.org/index.php/publications/journals/pspi/mentoring.html

Herrera, C., DuBois, D. L., & Grossman, J. B. (2013). Risikoens rolle: Mentorerfaringer og resultater for unge med forskellige risikoprofiler. Et offentligt / privat Ventures-projekt udgivet af MDRC. Hentet fra http://www.mdrc.org/role-risk