Laden...

Evaluatieonderzoek innovatieve projecten in de rechtspraak

Dit is een afdruk van een pagina op Rechtspraak.nl. Kijk voor de meest actuele informatie op Rechtspraak.nl (http://www.rechtspraak.nl). Deze pagina is geprint op 01-01-1970.

Skip Navigation LinksKwaliteit van de rechtspraak > Maatschappelijk effectieve rechtspraak > Evaluatieonderzoek innovatieve projecten in de rechtspraak

Een handreiking

Deze handreiking is bedoeld voor projectteams binnen de Rechtspraak die bezig zijn met de ontwikkeling van een innovatief project of voor hen die reeds een project hebben lopen.

Voor elke fase van een pilot (de ontwikkeling, uitvoering en de afrondende fase) worden richtlijnen gegeven en concrete aandachtspunten benoemd die tot doel hebben kwalitatief hoogwaardig evaluatieonderzoek mogelijk te maken.

 

 

Formulier en toelichting

Deze handreiking bevat allereerst een formulier. Dit formulier is bedoeld om vooraf heldere afspraken op te tekenen over de evaluatie zodat vooraf en tijdens het project de benodigde informatie wordt verzameld opdat deze tijdens en achteraf de pilot bijdraagt aan het lerend vermogen van de Rechtspraak.

Dit formulier is voorzien van een uitgebreide toelichting die kan worden benut bij het invullen ervan. Vele van de voor evaluatieonderzoek relevante activiteiten kunnen door de projectteams zelf worden verricht. Dat zal niet altijd voor alle activiteiten gelden. Aan het einde van de toelichting op het formulier we daarom stil bij de vraag hoe de uitvoering van het evaluatieonderzoek het beste aangepakt kan worden en wie waarvoor verantwoordelijk is. Maar om te beginnen willen we twee algemene principes benadrukken voor het evalueren van innovatieve projecten.

 

Principe 1: Een goede evaluatie begint bij de start van het innovatieve project!

De gedachte aan evaluatieonderzoek komt over het algemeen pas op aan het einde van een innovatief project. Logisch! Want je kunt pas evalueren wat de opbrengst van een project is als hiermee al de nodige tijd ervaring is opgedaan. Toch is het essentieel om al direct bij aanvang van een project het belang van evaluatieonderzoek goed voor ogen te houden. Zo dienen de doelstellingen van een project helder – en meetbaar - te worden geformuleerd. Immers, aan het einde van de pilot dienen de ervaringen die zijn opgedaan te worden afgezet tegen deze beoogde resultaten. En ook gedurende de looptijd van een project is evaluatieonderzoek een belangrijk aandachtspunt. Zo dient tijdens de uitvoering van een project monitoringinformatie te worden verzameld. Dit materiaal is nodig om na afloop inzicht te krijgen in hoe het project is verlopen en of de doelstellingen zijn behaald.

 

Principe 2: Een evaluatie van innovatieve project versterkt het lerend vermogen

Deze handreiking heeft betrekking op de evaluatie van innovatieve projecten/ pilots. Dit maakt dat er aan de evaluatie doelstellingen verbonden zijn die niet (allemaal) gelden voor “gewone” projecten. Hoewel evaluaties altijd bedoeld zijn om ervan te leren, geldt dit in versterkte mate voor evaluaties van innovatieve projecten. Evaluatiestudies naar pilots zijn veel meer dan gebruikelijk gericht op het generen van inzichten voor de toekomst. Dit met het oog op het introduceren van de innovatieve werkwijze op grotere schaal, het in kaart brengen van de behoefte aan eventuele aanvullende pilots, of de noodzaak tot aanpassing van beleid, wet- en regelgeving. En als evaluatieonderzoek gedurende de looptijd van een pilot wordt uitgevoerd, is dit onderzoek vaak ook gericht op het tussentijds leren - en als gevolg daarvan bijstellen - van de innovatieve werkwijze. Samenvattend dient evaluatieonderzoek naar innovatieve pilots dan ook de volgende doelen: 

  • Inzicht in de werking en de resultaten van de pilot;
  • Inzicht ten behoeve van de nadere vormgeving (aanpassing, fine-tuning) van de pilot, soms ook al gedurende de looptijd van de pilot;
  • Inzicht in de behoeft aan eventuele aanvullende pilots;
  • Kennisontwikkeling ten behoeve van de besluitvorming over de opschaling van innovaties;
  • Kennisontwikkeling die relevant is voor beleid, wet- en regelgeving.

 

 

 Evaluatieformulier innovatieve projecten binnen de rechtspraak

>Alles uitklappen
  • De vragen hieronder dienen vóór de start van het innovatieve project te worden ingevuld.

    A.1 Doelstellingen, veronderstellingen en voormeting

    • Wat is de algemene doelstelling van het project? (SMART geformuleerd)
    • Welke tussendoelstellingen kunnen worden geïdentificeerd?
      • Tussendoelstelling 1 (SMART geformuleerd)
      • Tussendoelstelling 2 (SMART geformuleerd)
    • Welk probleem binnen de rechtspraak lost de innovatie op welke manier op?
    • Welke mogelijkheden zijn er om de innovatie bij succes op te schalen?
    • Welke gegevens zijn er nodig voor de nulmeting? Hoe worden deze verzameld?
    • Is er voor de pilot relevante literatuur beschikbaar? Hoe worden de (theoretische en praktische) inzichten daarvan gebruikt?
    • Welke kosten en baten kunnen op voorhand worden ingeschat?

    A.2 Beslissingen over gegevensregistratie tijdens project

    • Welke informatie wordt bijgehouden in een proceslogboek?
    • Wie is hiervoor verantwoordelijk?
    • Welke harde (objectieve) gegevens worden op welk moment verzameld?
    • Wie is hiervoor verantwoordelijk?
    • Hoe worden de kosten van de innovatie bijgehouden?
    • Wie is hiervoor verantwoordelijk?

    A.3 Beslissingen m.b.t. de uitvoering van het evaluatieonderzoek

    • Is er een tussenevaluatie voorzien?
    • Zo ja wanneer?
    • Op welke vragen moet deze tussenevaluatie een antwoord geven?
    • Op welke moment vindt de afrondende evaluatie plaats?
    • Op welke vragen moet de afrondende evaluatie een antwoord geven?
  • Tijdens de looptijd van een pilot dient informatie te worden verzameld die niet of heel lastig aan het einde van de pilot verkregen kan worden. En het in veel gevallen zal het wenselijk zijn om een tussenevaluatie uit te voeren.

    B.1 Gegevensregistratie

    • Bijhouden van procesverloop en aanpassingen van (werk)processen in proceslogboek
    • Monitoring van relevante gegevens, zoals bijv.:
      • aantal aangemelde/ behandelde zaken;
      • kenmerken geschil;
      • kenmerken partijen, incl. contactgegevens;
      • uitkomsten van zittingen;
      • uurbesteding betrokkenen bij pilot (ook externe partijen);
      • ervaringen van rechtzoekenden
    • Kostenregistratie:
      • Kosten eigen organisatie
      • Kosten ander (keten)organisaties

    B.2 Tussentijdse evaluatie

    • Hoe is de ontwikkeling van de innovatieve werkwijze verlopen?
    • Is de interventie uitgevoerd volgens plan?
    • In hoeverre worden de beoogde doelstellingen gerealiseerd?
    • Hoe kan het innovatieve project worden bijgesteld om het effect te vergroten?
  • De vragen hieronder dienen na afloop (of op een eerder evaluatiemoment) van het innovatieve project te worden ingevuld.

    C.1 Procesevaluatie

    • Hoe is de ontwikkeling van de innovatieve werkwijze verlopen?
    • Is de interventie uitgevoerd volgens plan?
    • Hoe ervaren/waarderen de betrokkenen de pilot?
    • Wat is het bereik van de interventie?
    • Wat zijn de succes- en faalfactoren?
    • Welke aanbevelingen kunnen er worden gedaan voor verbetering van de interventie?     

    C.2 Effectevaluatie

    • Wat zijn de concrete uitkomsten/ effecten van de innovatie werkwijze?
    • Hoe verhouden de uitkomsten/effecten zich tot doelstellingen van het project?
    • Welke onvoorziene – positieve dan wel negatieve – neveneffecten hebben zich voorgedaan?
    • Welke aanbevelingen kunnen er aan de hand van de effectevaluatie worden gedaan voor verbetering van de interventie?     

    C.3 Kosten-batenanalyse

    • Waaruit bestaan de personele kosten die gemoeid zijn met de uitvoering? Maak daarbij een onderscheid tussen:
      • de ontwikkelfase
      • de invoeringsfase
      • de uitvoeringsfase
    • Waaruit bestaan de materiele kosten die gemoeid zijn met de uitvoering?
    • Waaruit bestaan de baten die voortvloeien uit de uitvoering? Maak daarbij een onderscheid tussen:
      • baten voor de rechtzoekende
      • baten voor de Rechtspraak en andere betrokken organisaties
      • maatschappelijke baten (inschatting)
    • Wat is de uiteindelijke kosten-batenverhouding?

 Toelichting op het formulier

>Alles uitklappen
  • A.1 Doelstellingen, veronderstellingen en voormeting

    • Formuleer de doelstelling en tussendoelstellingen zo SMART mogelijk

    Een pilotopzet is gebaat bij een zo helder mogelijke doelstelling en zo concreet mogelijke tussendoelstellingen. Het zo precies mogelijk formuleren van (tussen)doelstellingen helpt namelijk bij het inhoudelijk richting geven aan de pilot. Maar ook voor onderzoek zijn heldere (tussen)doelstellingen onontbeerlijk. Immers, alleen bij goed geoperationaliseerde doelstellingen is het mogelijk om achteraf te meten wat er van de doelstellingen terecht is gekomen. Formuleer (tussen)doelstellingen daarom altijd SMART:

    S =  specifiek
    M = meetbaar
    A = acceptabel
    R = realistisch
    T = tijdgebonden

    • Omschrijf zo helder mogelijk hoe - naar verwachting - de innovatie gaat bijdragen aan de oplossing van het probleem

    Hiervoor geldt hetzelfde als voor de doelstelling: het goed in kaart brengen voorafgaand aan de pilot van de veronderstellingen over de ‘werkzame ingrediënten’ van de pilot geeft richting aan de vormgeving van de een pilot, maar het is ook onontbeerlijk voor een goede evaluatie. Immers, het maakt duidelijk op welke veronderstelde relaties het onderzoek zich dient te richten.

    • Denk na over de mogelijkheden van opschaling

    Reeds bij aanvang van een pilot moet nagedacht worden over de vraag of, als de innovatie een succes blijkt, deze bredere toepassing kan krijgen. En als op voorhand te voorzien is dat dit niet zo is, bijvoorbeeld omdat de kosten bij de grootschalige introductie van de innovatie te hoog zouden op lopen, of dat specifieke lokale omstandigheden een voorwaarde zijn voor succes, kan dat een reden zijn om af te zien van experimenteren met de nieuwe innovatieve werkwijze.

    • Begin al direct tijdens de ontwikkeling van de pilot met onderzoek

    a. Voer een nulmeting uit. Met een nulmeting wordt op relevante punten de oude situatie in kaart gebracht. Dit om te later te kunnen vaststellen of op deze punten inderdaad de gewenste verandering zich heeft voorgedaan. Bijvoorbeeld als het doel van de pilot is om de doorlooptijden te verkorten, dan worden deze – voor hetzelfde type zaken als waarop de pilot zich richt - voorafgaand aan de pilot in kaart gebracht en na afloop vergeleken met de doorlooptijden van de pilotzaken.

    b. Betrek de inzichten van relevant (wetenschappelijk) onderzoek. Vaak is er relevant wetenschappelijk onderzoek voorhanden dat behulpzaam kan zijn bij een goede inrichting van de pilot. Het toepassen van (gedrags-)wetenschappelijke inzichten kan de kans op succes van pilots aanzienlijk vergroten. Zo richten diverse pilots zich op een actievere rol van de rechtzoekende ter zitting. Dit sluit aan bij kennis uit wetenschappelijk onderzoek dat aandacht voor de procedurele vaardigheid (in dit geval meer ‘voice’) de acceptatie van de uitkomst vergroot.

    c. Voer een ex ante kosten-baten analyse uit. Een succesvolle pilot is een pilot die financieel gezien haalbaar is. Maak vooraf een inschatting van de kosten en de opbrengsten van de pilot. Belangrijk is daarbij om over de eigen organisatiegrenzen heen te kijken en ook de kosten en baten voor andere betrokken organisaties mee te nemen. Het kan namelijk best zo zijn dat de organisatie die het meest investeert in de pilot en de organisatie die (financieel) het meest gebaat is met de pilot, niet dezelfde is. Voorts is het van belang na te denken over wat de mogelijke maatschappelijke baten zijn, ook al zullen die vaak moeilijk te kwantificeren en lastig in geld uit te drukken. Voor het in kaart brengen van de kosten de pilot kan gebruik worden gemaakt van dit format, met bijbehorende toelichting.

    A.2 Verzamelen van gegevens tijdens project

    • Bedenk op voorhand welke informatie gedurende de pilot moet worden bijgehouden

    Veel van de voor de evaluatie van de pilot relevante informatie is alleen te verzamelen gedurende de looptijd van de pilot. Welke informatie dat is, daarover moet dus voorafgaand aan de pilot goed worden nagedacht. Deze gegevens dienen bijgehouden te worden in een proceslogboek, een monitoringsysteem en een kostenoverzicht. (Zie verder B.1)

    A.3 Beslissingen met betrekking tot de uitvoering van evaluatieonderzoek

    • Bedenk op voorhand het moment van (tussen)evaluatie, formuleer de centrale vragen en beslis wie de (tussen)evaluatie gaat uitvoeren

    Bedenk op voorhand of, en zo ja: wanneer, er een tussenevaluatie moet worden uitgevoerd. Ook het moment van eindevaluatie moet op voorhand worden vastgesteld. Daarbij dienen ook de vragen die bij de tussen- en eindevaluatie aan bod komen reeds bij aanvang van de pilot – op hoofdlijnen - te worden geformuleerd. Het goed doordenken van deze vragen in deze (voorbereidende) fase van het project, helpt doorgaans bij het verder aanscherpen van de doelstelling van de pilot en het expliciteren van de verwachtingen over hoe de innovatie kan bijdragen aan de oplossing van het probleem. De beslissing over wie verantwoordelijk is voor de tussen- en eindevaluatie dient ook bij aanvang van de pilot te worden genomen en dit moet vervolgens ook worden georganiseerd (bijvoorbeeld door onderzoekers aan te trekken die verantwoordelijk zijn voor de uitvoering van de evaluatie).

  • Tijdens de fase van de uitvoering van de pilot dient informatie te worden verzameld die niet, of heel lastig, aan het einde van de pilot verzameld kan worden. Het gaat daarbij zowel om het goed registeren van informatie over het proces als het bijhouden van informatie waarmee uitspraken gedaan kunnen worden over het effect van de pilot. Ook is het van belang de kosten goed te registeren.

    B. Gegevensregistratie

    • Houdt een proceslogboek bij

    Een goed logboek van het procesverloop van de pilot is van onschatbare waarde. Bij de ontwikkeling van de pilot worden allerlei inrichtingskeuzes gemaakt. Gedurende de pilots worden processen vaak aangepast. Dat is logisch. Juist omdat het gaat om nieuwe processen, om werkwijzen die nog niet eerder zijn uitgeprobeerd, is op voorhand niet te voorzien hoe deze in praktijk precies zullen uitpakken. De huidige ervaring met innovatieve pilots in de Rechtspraak is dan ook dat bijstelling van de eerder bedachte werkprocessen regelmatig nodig is.
    Juist omdat onderzoek naar innovatieve projecten in het teken staat van leren, is het zo belangrijk dat keuzes met betrekking tot de inrichting en beslissingen om het werkproces aan te passen, goed worden gedocumenteerd. Dit biedt inzicht in de procesonderdelen die niet goed werkten en waarom. Een goede documentatie voorkomt dat wanneer de pilot navolging krijgt, andere rechtbanken opnieuw het wiel hoeven uitvinden.

    • Richt een monitoringsysteem in

    Een goed ingericht monitoringsysteem maakt het leven van degenen die het evaluatieonderzoek doen, een stuk gemakkelijker. Want een goed monitoringssysteem zorgt ervoor dat veel informatie die nodig is om de onderzoeksvragen te beantwoorden, bij de start van het onderzoek al kant-en-klaar voorhanden is. Daarbij is het belangrijk te realiseren dat sommige informatie alleen maar tijdens de uitvoering van de pilot te verzamelen is, en waarvoor geldt dat het niet (of niet goed) mogelijk is die achteraf nog in kaart te brengen.

    Wat zijn relevante onderwerpen waarover informatie na afloop van de pilot beschikbaar moet zijn? En welke informatie moet dus gedurende de looptijd van het project bijgehouden worden? Het antwoord op deze vragen verschilt natuurlijk per pilot, maar er kan onder meer aan de volgende zaken worden gedacht:

    • aantal aangemelde/ behandelde zaken;
    • kenmerken geschil;
    • kenmerken partijen, incl. contactgegevens;
    • uitkomsten van zittingen;
    • uurbesteding van rechters en overige medewerkers binnen de rechtspraak evenals de uurbesteding van betrokken (keten)partners;
    • ervaringen van rechtzoekenden (bijvoorbeeld d.m.v. korte vragenlijst).
    • Houdt de kosten bij

    Bij de beoordeling van de vraag of een pilot gecontinueerd moet worden en/of navolging verdient, zal altijd worden gekeken naar de kosten. Want alleen als de baten opwegen tegen de kosten, is de innovatieve werkwijze levensvatbaar. Om de kosten gedurende de uitvoering van de pilot goed bij te houden is het volgende format ontwikkeld, met bijbehorende toelichting. Uiteraard kan dit format naar behoefte worden aangepast.

    B.2 Tussenevaluatie

    • Creëer de mogelijkheid van tussentijdse bijsturing

    Het is zeer aan te bevelen om een tussenevaluatie uit te voeren. Hiermee ontstaat immers de mogelijkheid om tussentijds het project bij te stellen. Mede afhankelijk van de duur van het project kan het bij de tussenevaluatie gaan om een snelle evaluatie op hoofdlijnen tot een meer uitgebreide evaluatie waarbij ook al veel vragen aan bod komen die bij de eindevaluatie (nogmaals) gesteld worden. Het accent bij de tussentijdse evaluatie ligt, gezien de doelstelling van tussentijdse bijsturing, op de evaluatie van het procesverloop van de pilot (en dus minder op de effecten).

  • Aan het einde van de pilot, of op eerder bepaald moment, vindt de daadwerkelijke evaluatie plaats. Daarbij kan een onderscheid worden gemaakt tussen een proces- en effectevaluatie. Een procesevaluatie brengt het verloop van de pilot systematisch in kaart. Het maakt duidelijk wat er goed of minder goed gaat bij de uitvoering en wat de randvoorwaarden zijn voor een goede uitvoering van het project. Daarmee biedt de procesevaluatie handvatten voor het verbeteren van de innovatieve werkwijze en voor (tussentijds) bijsturen. Met een effectevaluatie wordt vastgesteld of de interventie, de innovatieve werkwijze, heeft opgeleverd van wat men bij aanvang ermee beoogde. Daarbij wordt ook in kaart gebracht wat de verklaringen zijn voor de mate van doelbereik. Het is belangrijk om bij de effectevaluatie ook de resultaten van de procesevaluatie te betrekken. Als de doelen niet bereikt zijn, hoeft dit niet per se te betekenen dat de innovatie een slecht idee is, het zou ook kunnen liggen aan een slechte uitvoering van de evaluatie.

    Hieronder worden enkele specifieke aandachtspunten benoemd voor evaluatieonderzoek naar innovatieve projecten. Daarna volgt een handreiking met onderzoeksvragen die kunnen dienen als kader voor de proces- en effectevaluatie. Tot slot staan we stil bij de kosten-batenanalyse.

    Specifieke aandachtspunten

    Bij het uitvoeren van het evaluatieonderzoek naar pilots geldt, vanwege het innovatieve karakter ervan, een aantal specifieke aandachtspunten.

    • Een werkwijze in beweging. Innovatie houdt in dat gewerkt wordt met nieuwe en vernieuwende werkwijzen. Elementen van de werkwijze kunnen anders uitpakken dan op voorhand voorzien. Dit leidt er regelmatig toe dat de werkwijze gedurende de uitvoering van een project wordt aangepast. Daarmee moet bij de opzet van het onderzoek rekening gehouden worden.
    • Voorziene én onvoorziene effecten. Voorafgaand aan een innovatie dienen de beoogde effecten omschreven te worden. Bij de evaluatie wordt in kaart gebracht of deze zijn gerealiseerd. Maar juist vanwege het vernieuwende karakter van innovaties, zullen zich ook onverwachte effecten voordoen. Voor elk project moet daarom worden gekeken of, en zo ja welke, neveneffecten optreden. Het kan daarbij gaan om positieve en negatieve neveneffecten.
    • Objectieve meting én waardering van stakeholders. Meting aan de hand van harde cijfers en objectieve indicatoren is belangrijk. Maar minstens even belangrijk is hoe betrokkenen (zoals rechtzoekenden, professionele partners, betrokken rechters) oordelen over de werking en de effectiviteit van de innovatie. Zij zijn immers de (ervarings-)experts. Ook deze (expert) opinions dienen dus bij het onderzoek betrokken te worden.

    C.1 De procesevaluatie

    Hieronder volgen vragen die doorgaans bij een procesevaluatie beantwoord moeten worden*. Het gaat daarbij om een kader waaraan, afhankelijk van de specifieke karakter van de pilot, vragen aan toegevoegd kunnen worden.

    1. Hoe is de ontwikkeling van de innovatieve werkwijze verlopen?

    • Wie waren er bij de ontwikkeling van de innovatieve werkwijze betrokken?
    • Met toepassing van welke technieken is de innovatieve werkwijze ontwikkeld?
    • Wat waren de cruciale beslismomenten bepalend voor de aard van de innovatieve werkwijze?
    • In hoeverre was er overeenstemming tussen betrokken partijen over de gemaakte cruciale keuzes?

    2. Is de interventie uitgevoerd volgens plan?

    • Welke activiteiten zijn wel en welke niet uitgevoerd?
    • Zijn de activiteiten uitgevoerd zoals ze bedoeld waren?
    • Hielden de samenwerkingspartners en beslissers zich aan de afspraken?
    • Waarom zijn activiteiten niet of niet zoals gepland uitgevoerd?
    • Is het proces in tussentijd bijgesteld, en zo ja, op welke punten en met welke reden?

    3. Hoe ervaren/waarderen de betrokkenen de pilot?

    • Hoe hebben betrokkenen (deelnemers en uitvoerders van de interventie) het proces waarmee uitvoering wordt gegeven aan de interventie ervaren?
    • Is de interventie begrepen en gewaardeerd door de uitvoerders en de deelnemers?
    • Is de interventie ‘werkbaar’, als in goed uit te voeren, volgens de betrokken uitvoerders?

    3. Wat is het bereik van de interventie?

    • Wordt de beoogde doelgroep van deelnemers bereikt?
    • Om hoeveel personen gaat het?
    • Hoe representatief zijn de bereikte deelnemers voor de doelgroep van de interventie?
    • Voor zover de doelgroep niet of lastig wordt bereikt, wat zijn daarvan de redenen?
    • Hoe verhoudt het bereik van de interventie zich tot de omvang van het vraagstuk
      (zoveel mogelijk in concrete getallen)?

    4. Wat zijn de succes- en faalfactoren??

    • Welke factoren hebben bijgedragen aan een (niet) goede werking van het project?
    • Factoren kunnen bijvoorbeeld betrekking hebben op: motieven en belangen van partners of initiatiefnemers, draagvlak, besluitvorming, middelen, faciliteiten, organisatiekenmerken van uitvoerders.
    • Heeft de interventie ongewenste of juist gewenste onvoorziene processen op gang gebracht en zo ja, welke?
    • Zijn er tijdens de uitvoering van de interventie externe gebeurtenissen geweest die (waarschijnlijk) invloed hebben gehad op het proces?

    5. Welke aanbevelingen kunnen er aan de hand van de procesevaluatie worden gedaan voor verbetering van de interventie?

    C.2 De effectevaluatie

    Hieronder volgen vragen die doorgaans bij een effectevaluatie beantwoord moeten worden. Net als bij de procesevaluatie geldt dat aan dit kader, afhankelijk van het specifieke karakter van de pilot, vragen toegevoegd kunnen worden.

    1. Wat zijn de concrete uitkomsten/ effecten van de innovatie werkwijze?

    Welke concrete uitkomsten/effecten in kaart worden gebracht, is afhankelijk van de bij aanvang van het project beoogde doelstellingen. Voorbeelden van vragen die gesteld kunnen worden zijn:

    • Hoeveel zaken zijn er gedurende de pilot behandeld?
    • Wat is de concrete uitkomst in zaken (bijv. schikking of (aard van) de beslissing)?
    • Hoe tevreden is de doelgroep over de innovatie werkwijze?
    • Hoe tevreden zijn de professionele betrokkenen over de werkwijze?

    Bij het in kaart brengen van de effecten kunnen drie niveaus worden onderscheiden: output, outcome en impact.
    Effecten op het niveau van output, ofwel de concrete prestaties/ producten als gevolg van de interventie, zijn het gemakkelijkst in kaart te brengen. Effecten op het niveau van outcome, hebben betrekking op het daadwerkelijke doelbereik. Het gaat om de vraag of de doelstelling van de pilot als gevolg van de gehanteerde werkwijze daadwerkelijk is gerealiseerd. Dan zijn er ook nog effecten op het niveau van impact (bijvoorbeeld toegenomen vertrouwen in de rechtspraak, veiligheid in de wijk, welzijn van doelgroep). Dergelijke effecten zijn erg lastig vast te stellen en bij de meeste evaluatieonderzoeken naar pilots in de rechtspraak zal dit niveau buiten beschouwing blijven.

    2. Hoe verhouden deze uitkomsten/effecten zich tot de doelstellingen zoals die aan het begin van het project zijn geïdentificeerd?

    Bij de beantwoording van deze vraag worden de uitkomsten van de onderzoeksvragen onder vraag 1 vergeleken met de doelstellingen zoals die voorafgaand aan de pilot zijn geformuleerd. Als er een nulmeting is gedaan, dienen de resultaten daarvan bij deze vergelijking betrokken te worden.

    3. Welke onvoorziene – positieve dan wel negatieve – neveneffecten hebben zich voorgedaan?

    Juist omdat innovaties het onderwerp van onderzoek zijn, is het op voorhand niet mogelijk op alle mogelijke effecten van het nieuwe werkwijze te anticiperen. In het onderzoek dient aandacht besteed te worden aan onvoorziene effecten. Deze kunnen onder andere in kaart worden gebracht door de stakeholders hiernaar te vragen.

    4. Welke aanbevelingen kunnen er aan de hand van de effectevaluatie worden gedaan voor verbetering van de interventie?

    C.3 De kosten-baten analyse

    Op basis van het materiaal dat met de proces- en effectevaluatie is verkregen, kan de kosten-batenanalyse worden uitgevoerd. Het gaat daarbij om een eindoordeel over hoe de investeringen (financieel en anderszins) opwegen tegen de opbrengsten.

    1. Waaruit bestaan de personele kosten die gemoeid zijn met de uitvoering van de innovatieve werkwijze?

    • Wie zijn er bij de uitvoering van de pilot betrokken (rechters, juridisch medewerkers, communicatieadviseurs)?
    • Wat is hun inzet (in uren per week) voor welke specifieke periode?
    • Tot welke waardering in geld leidt deze inzet in tijd?

    Van belang is om voor elke fase van de innovatie (de ontwikkelfase, de invoeringsfase en de uitvoeringsfase) deze kosten goed in beeld te brengen. Daarbij is het ook van belang om de kostenontwikkeling door de tijd heen vast te stellen. Vaak zal er sprake zijn van afnemende kosten op termijn (omdat men ervaring opdoet met de nieuwe werkwijze en met de uitvoering ervan minder tijd is gemoeid).

    2. Waaruit bestaan de materiele kosten die gemoeid zijn met de uitvoering van de innovatieve werkwijze?

    Bij deze kosten kan bijvoorbeeld worden gedacht aan de kosten voor huisvesting of de aanschaffing van materiaal (zoals bijv. mobiele printers voor zaken die op locatie worden afgedaan).

    3. Waaruit bestaan de baten die voortvloeien uit de uitvoering van de innovatieve werkwijze?

    Het vertrekpunt voor het in kaart brengen van de baten zijn de bij de effectevaluatie in kaart gebrachte positieve resultaten van de pilot. Het gaat daarbij dan primair om de baten voor rechtzoekenden en de baten voor betrokken organisaties (Rechtspraak en betrokken (keten)partners). Naast de Rechtspraak gaat het hier om betrokken (keten)partners. Het zogenaamde “silodenken” (waarbij alleen de kosten en baten van de eigen organisatie worden betrokken) moet worden voorkomen. Indien mogelijk moeten de geïnventariseerde baten financieel worden gewaardeerd. Dit zal niet altijd mogelijk zijn.

    Naast de baten die direct kunnen worden toegeschreven aan de innovatie in kwestie, kan er ook sprake zijn van meer algemene maatschappelijke baten. Een voorbeeld is dat door het oplossen van conflicten, ziekteverzuim afneemt. Hoewel het doorgaans niet eenvoudig is, dient met name bij de meer grootschalige pilots in het onderzoek aandacht besteed te worden aan de maatschappelijke baten. Dit kan door de diverse betrokken organisaties bij een pilot te bevragen op deze potentiële baten.

    4. Hoe valt de uiteindelijke kosten-batenverhouding van de innovatieve werkwijze uit?

    Als alle kosten en baten, zowel direct als indirect, zowel financieel waardeerbaar als niet financieel waardeerbaar, in kaart zijn gebracht, kan de balans worden opgemaakt.


     

    *Bij de tekst over de vragen die onderdeel uitmaken van de procesevaluatie, vormden de vragen die opgenomen in de brochure van Movisie ‘Procesevaluatie bij de beoordeling van interventies’, het vertrekpunt. Vragen uit de brochure zijn deels overgenomen, deels geherformuleerd en deels aangevuld.

Praktische overwegingen

Wie is verantwoordelijk voor wat?

Veel van de activiteiten die in het kader van de evaluatie verricht moeten worden, kunnen door de projectteams zelf ter hand worden genomen. Voor sommige activiteiten ligt de inzet van externe onderzoekers voor de hand.

 

Onderdeel A: activiteiten voorafgaand aan de start van de pilot.

De activiteiten onder 1 helpen om aan de voorkant van een project duidelijk te krijgen op welke aspecten de evaluatie zich dient te richten. Het doordenken ervan geeft ook focus bij de ontwikkeling van de pilot. De primaire verantwoordelijkheid voor de verschillende activiteiten voorafgaand aan de start van de pilot (onderdeel 1) ligt dan ook bij het projectteam van verantwoordelijk is voor de innovatie. De rol van externe onderzoekers, als hiervan al sprake is, zal in deze fase beperkt zijn tot een adviseursrol.

 

Onderdeel B: activiteiten tijdens de looptijd van de pilot

Ook voor de activiteiten die tijdens de looptijd van de pilot ten behoeve van het onderzoek worden ontplooid, geldt dat het projectteam hiervoor primair verantwoordelijk is. Zeker als het gaat om de activiteiten die de gegevensregistratie betreffen. Als het gaat om het uitvoeren de tussenevaluatie kan het ook een keuze zijn deze te beleggen bij externe onderzoekers. Bij kleinere projecten ligt een tussentijdse zelfevaluatie meer voor de hand.

 

Onderdeel C: voorkeur voor de inzet van externe onderzoekers

In het algemeen geldt dat voor de feitelijke uitvoering van het evaluatieonderzoek het de voorkeur heeft deze te laten uitvoeren door externe onderzoekers. Dit uit oogpunt van expertise, objectiviteit en legitimiteit. Bij kleinere innovatieve projecten zullen de vragen die onderdeel uitmaken van de proces- en effectevaluatie en de kostenbatenanalyse evenwel ook door het projectteam zelf beantwoord kunnen worden. Wel is het in dat geval wenselijk een externe onderzoeker dit evaluatieproces te laten begeleiden. Voor de grotere innovaties geldt (nadrukkelijk) de voorkeur dat een externe partij verantwoordelijk is voor de proces- en effectevaluatie en de kosten-batenanalyse. Dit uit oogpunt van expertise, objectiviteit en legitimiteit.

De inzet van externe onderzoekers hoeft niet altijd te gaan om een grootschalig, wetenschappelijk onderzoek of onderzoek dat wordt uitgevoerd door een duur onderzoeksbureau. In sommige gevallen behoort bijvoorbeeld onderzoek door studenten ook tot de mogelijkheden

Meer informatie

Neem voor meer informatie over MER contact op via mer@rechtspraak.nl

Wij beantwoorden uw vraag binnen vijf werkdagen.

 

 

Neem contact op met het Rechtspraak Servicecentrum

Sociale media

Stel uw vraag via:
InstagramInstagram

Pas op met het delen van privé-gegevens op sociale media.

Telefoon

Bereikbaar maandag t/m donderdag van 8:00 uur tot 20:00 uur en op vrijdag van 8:00 uur tot 17:30 uur.