Podcast: Play in new window | Download

Screen Shot 2013-04-07 at 9.14.53 pm

door David DuBois

een van de meest voorkomende frustraties die ik heb horen uiten door mensen in de praktijk en belangenbehartiging rollen binnen ons veld is dat de maatregelen die worden gebruikt in evaluaties van programma ‘ s lijken niet adequaat om de taak van het vastleggen van de voordelen die hoge-kwaliteit mentorschap kan jongeren bieden. Het is verleidelijk voor ons als onderzoekers om dergelijke sentimenten af te wijzen als gewoon een gevolg van een gebrek aan volledig begrip van de manieren waarop rigoureuze evaluatiemethoden (bijvoorbeeld het meten van voordelen als niet alleen veranderingen waargenomen voor interventie deelnemers, maar eerder de mate waarin deze overtreffen die voor niet-deelnemers duidelijk zijn) vaak kunnen onthullen interventies aanzienlijk minder impact hebben dan wat anekdote of ervaring zou kunnen suggereren. Dat zou naar mijn mening echter een vergissing zijn. Een aantal overwegingen leiden mij tot deze opvatting. Zo kan geen enkele evaluatie met vertrouwen worden geclaimd om de balans op te maken van het volledige scala aan resultaten dat kan worden versterkt door de betrokkenheid van jongeren bij een mentorprogramma. Evenmin kan worden aangenomen dat de resultaten die aandacht kregen met voldoende precisie werden gemeten of op de meest kritieke punten in de tijd die nodig zijn om de voordelen van het programma nauwkeurig te meten. De lijst kan doorgaan. Maar, voor de huidige doeleinden, zal ik me richten op slechts een extra overweging: het potentieel voor mentorschap om van nut te zijn voor individuele jongeren op verschillende (en mogelijk ook meerdere) manieren. Dit is een axioma dat weinig ervaren beoefenaars zouden debatteren. Hun opmerkingen die in de loop der jaren informeel zijn gehoord, hebben mij ertoe aangezet te zoeken naar manieren om verder te gaan dan de traditionele evaluatiemethoden om meer begrip te kweken voor de uiteenlopende en veelzijdige voordelen die een bepaalde jeugd in antwoord op mentorschap kan opleveren. Bij conventionele evaluatiebenaderingen ligt de nadruk op de gemiddelde veranderingen die hele steekproeven (of subgroepen) van jongeren vertonen op de uitkomsten en elke uitkomst neigt apart van de andere te worden beschouwd. Als begeleide jongeren de neiging hebben om te profiteren in ten minste één gebied, bijvoorbeeld, maar dit gebied verschilt nogal van jeugd tot jeugd, programma-effecten kunnen niet worden onthuld met dergelijke traditionele methoden. Ook kan niet worden verduidelijkt in hoeverre dezelfde jongeren op meerdere gebieden winst boeken.

mijn eerste onderzoek naar alternatieve methodologieën voor het beoordelen van programma-effecten was in een meta-analytische review van jeugd mentorprogramma-evaluaties uitgevoerd met Jean Rhodes en collega ‘ s (DuBois, Portillo, Rhodes, Silverthorn, & Valentine, 2011). Zoals typisch is in dergelijke beoordelingen, rapporteerden we de gemiddelde effecten (over alle evaluaties) die programma ‘ s hadden op de resultaten in elk van de verschillende domeinen (bijvoorbeeld academici, geestelijke gezondheid, probleemgedrag betrokkenheid). We hebben echter ook gekeken of de jongeren die deelnamen aan een bepaald programma bewijs vertoonden van gunstige veranderingen in meerdere uitkomstdomeinen (bijvoorbeeld verbeterde cijfers en verminderde betrokkenheid bij delinquent gedrag). Een dergelijk patroon was inderdaad duidelijk voor programmajongeren in ongeveer de helft (52%) van de evaluatiemonsters. Het is een realiteit dat mentorprogramma ’s voordelen kunnen bieden op specifieke gebieden die niet zo uitgesproken zijn als die van programma’ s met meer exclusieve targeting van die gebieden (bijvoorbeeld bijles voor academische prestaties; preventie van middelenmisbruik voor probleemgedrag reductie). Maar, als het doel is om de resultaten meer holistisch te versterken over meerdere domeinen van de ontwikkeling en aanpassing van jongeren, suggereren onze bevindingen dat mentorschap nog steeds een voorkeursmethode van interventie kan zijn

wat de bovenstaande bevindingen niet aanpakken is of bepaalde jongeren de neiging hebben om winsten te ervaren op meerdere uitkomstgebieden in combinatie met mentorschap. Ze helpen ook niet om te begrijpen of mentored youth meer kans heeft om winst te laten zien op ten minste één gebied dan niet-mentored youth, zij het met verschillen tussen jongeren in wat dat gebied zou kunnen zijn. Deze kwesties konden worden behandeld in een recente evaluatie van de effecten van mentorprogramma ‘ s op jongeren met een hoger risico, waaraan ik samenwerkte met Carla Herrera en Jean Grossman (Herrera, DuBois, & Grossman, 2013). In dit onderzoek hebben we een maat gemaakt die simpelweg een telling was van het aantal uitkomsten (van de 10 mogelijke) waarop een jeugd een positieve verandering vertoonde. Uit de bevindingen bleek dat significant grotere proporties van begeleide jongeren in zowel de willekeurige toewijzing en quasi-experimentele delen van de evaluatie (respectievelijk 26 en 32 procent) om verandering te laten zien op ten minste één uitkomstmaat dan niet-begeleide jongeren (20 procent). Mentored youth was ook significant meer kans om verbetering te laten zien op meerdere resultaten. Deze vormen van veelzijdige winsten waren echter duidelijk voor slechts een relatief kleine minderheid van de begeleide jongeren (3 en 7 procent voor twee begeleide groepen, respectievelijk, en 1 procent voor de niet-begeleide jongeren). Verder bleek deelname aan het programma niet het aantal resultaten te verminderen waarvoor jongeren verslechtering vertoonden (negatieve verandering, zoals verhoogde symptomen van depressie of dalende cijfers).het is duidelijk dat alle bevindingen die ik heb samengevat als voorlopig moeten worden beschouwd. Ik hoop in feite dat deze eerste inspanningen ertoe zullen bijdragen de belangstelling te wekken voor het gebruik van soortgelijke evaluatiemethoden en daardoor onze kennis over de manieren waarop het leven en de toekomst van jongeren door mentorschap vorm kunnen krijgen, te vergroten. Het bijhouden van de prioriteiten en inzichten die voortkomen uit de praktijk is een voortdurende uitdaging, maar wanneer omarmd kan helpen om het beste van ons als onderzoekers naar boven te halen. Maar, zoals het huidige voorbeeld hopelijk illustreert, kan in sommige gevallen zelfs een beetje eenvoudig tellen een grote hulp zijn!DuBois, D. L., Portillo, N., Rhodes, J. E., Silverthorn, N., & Valentine, J. C. (2011). Hoe effectief zijn mentorprogramma ‘ s voor jongeren? Een systematische beoordeling van het bewijsmateriaal. Tijdschrift voor Criminologie, 12, 57-91. Beschikbaar onder http://www.psychologicalscience.org/index.php/publications/journals/pspi/mentoring.html

Herrera, C., DuBois, D. L., & Grossman, J. B. (2013). De rol van risico: begeleiding van ervaringen en resultaten voor jongeren met verschillende risicoprofielen. New York, NY: A Public/Private Ventures project published by MDRC. Opgehaald uit http://www.mdrc.org/role-risk