A.1 Doelstellingen, veronderstellingen en voormeting

• Formuleer de doelstelling en tussendoelstellingen zo SMART mogelijk

Een pilotopzet is gebaat bij een zo helder mogelijke doelstelling en zo concreet mogelijke tussendoelstellingen. Het zo precies mogelijk formuleren van (tussen)doelstellingen helpt namelijk bij het inhoudelijk richting geven aan de pilot. Maar ook voor onderzoek zijn heldere (tussen)doelstellingen onontbeerlijk. Immers, alleen bij goed geoperationaliseerde doelstellingen is het mogelijk om achteraf te meten wat er van de doelstellingen terecht is gekomen. Formuleer (tussen)doelstellingen daarom altijd SMART:

S =  specifiek
M = meetbaar
A = acceptabel
R = realistisch
T = tijdgebonden

• Omschrijf zo helder mogelijk hoe - naar verwachting - de innovatie gaat bijdragen aan de oplossing van het probleem

Hiervoor geldt hetzelfde als voor de doelstelling: het goed in kaart brengen voorafgaand aan de pilot van de veronderstellingen over de ‘werkzame ingrediënten’ van de pilot geeft richting aan de vormgeving van de een pilot, maar het is ook onontbeerlijk voor een goede evaluatie. Immers, het maakt duidelijk op welke veronderstelde relaties het onderzoek zich dient te richten.

• Denk na over de mogelijkheden van opschaling

Reeds bij aanvang van een pilot moet nagedacht worden over de vraag of, als de innovatie een succes blijkt, deze bredere toepassing kan krijgen. En als op voorhand te voorzien is dat dit niet zo is, bijvoorbeeld omdat de kosten bij de grootschalige introductie van de innovatie te hoog zouden op lopen, of dat specifieke lokale omstandigheden een voorwaarde zijn voor succes, kan dat een reden zijn om af te zien van experimenteren met de nieuwe innovatieve werkwijze.

• Begin al direct tijdens de ontwikkeling van de pilot met onderzoek

a. Voer een nulmeting uit. Met een nulmeting wordt op relevante punten de oude situatie in kaart gebracht. Dit om te later te kunnen vaststellen of op deze punten inderdaad de gewenste verandering zich heeft voorgedaan. Bijvoorbeeld als het doel van de pilot is om de doorlooptijden te verkorten, dan worden deze – voor hetzelfde type zaken als waarop de pilot zich richt - voorafgaand aan de pilot in kaart gebracht en na afloop vergeleken met de doorlooptijden van de pilotzaken.

b. Betrek de inzichten van relevant (wetenschappelijk) onderzoek. Vaak is er relevant wetenschappelijk onderzoek voorhanden dat behulpzaam kan zijn bij een goede inrichting van de pilot. Het toepassen van (gedrags-)wetenschappelijke inzichten kan de kans op succes van pilots aanzienlijk vergroten. Zo richten diverse pilots zich op een actievere rol van de rechtzoekende ter zitting. Dit sluit aan bij kennis uit wetenschappelijk onderzoek dat aandacht voor de procedurele vaardigheid (in dit geval meer ‘voice’) de acceptatie van de uitkomst vergroot.

c. Voer een ex ante kosten-baten analyse uit. Een succesvolle pilot is een pilot die financieel gezien haalbaar is. Maak vooraf een inschatting van de kosten en de opbrengsten van de pilot. Belangrijk is daarbij om over de eigen organisatiegrenzen heen te kijken en ook de kosten en baten voor andere betrokken organisaties mee te nemen. Het kan namelijk best zo zijn dat de organisatie die het meest investeert in de pilot en de organisatie die (financieel) het meest gebaat is met de pilot, niet dezelfde is. Voorts is het van belang na te denken over wat de mogelijke maatschappelijke baten zijn, ook al zullen die vaak moeilijk te kwantificeren en lastig in geld uit te drukken. Voor het in kaart brengen van de kosten de pilot kan gebruik worden gemaakt van dit format, met bijbehorende toelichting.

A.2 Verzamelen van gegevens tijdens project

• Bedenk op voorhand welke informatie gedurende de pilot moet worden bijgehouden

Veel van de voor de evaluatie van de pilot relevante informatie is alleen te verzamelen gedurende de looptijd van de pilot. Welke informatie dat is, daarover moet dus voorafgaand aan de pilot goed worden nagedacht. Deze gegevens dienen bijgehouden te worden in een proceslogboek, een monitoringsysteem en een kostenoverzicht. (Zie verder B.1)

A.3 Beslissingen met betrekking tot de uitvoering van evaluatieonderzoek

• Bedenk op voorhand het moment van (tussen)evaluatie, formuleer de centrale vragen en beslis wie de (tussen)evaluatie gaat uitvoeren

Bedenk op voorhand of, en zo ja: wanneer, er een tussenevaluatie moet worden uitgevoerd. Ook het moment van eindevaluatie moet op voorhand worden vastgesteld. Daarbij dienen ook de vragen die bij de tussen- en eindevaluatie aan bod komen reeds bij aanvang van de pilot – op hoofdlijnen - te worden geformuleerd. Het goed doordenken van deze vragen in deze (voorbereidende) fase van het project, helpt doorgaans bij het verder aanscherpen van de doelstelling van de pilot en het expliciteren van de verwachtingen over hoe de innovatie kan bijdragen aan de oplossing van het probleem. De beslissing over wie verantwoordelijk is voor de tussen- en eindevaluatie dient ook bij aanvang van de pilot te worden genomen en dit moet vervolgens ook worden georganiseerd (bijvoorbeeld door onderzoekers aan te trekken die verantwoordelijk zijn voor de uitvoering van de evaluatie).

Tijdens de fase van de uitvoering van de pilot dient informatie te worden verzameld die niet, of heel lastig, aan het einde van de pilot verzameld kan worden. Het gaat daarbij zowel om het goed registeren van informatie over het proces als het bijhouden van informatie waarmee uitspraken gedaan kunnen worden over het effect van de pilot. Ook is het van belang de kosten goed te registeren.

B. Gegevensregistratie

• Houdt een proceslogboek bij

Een goed logboek van het procesverloop van de pilot is van onschatbare waarde. Bij de ontwikkeling van de pilot worden allerlei inrichtingskeuzes gemaakt. Gedurende de pilots worden processen vaak aangepast. Dat is logisch. Juist omdat het gaat om nieuwe processen, om werkwijzen die nog niet eerder zijn uitgeprobeerd, is op voorhand niet te voorzien hoe deze in praktijk precies zullen uitpakken. De huidige ervaring met innovatieve pilots in de Rechtspraak is dan ook dat bijstelling van de eerder bedachte werkprocessen regelmatig nodig is.
Juist omdat onderzoek naar innovatieve projecten in het teken staat van leren, is het zo belangrijk dat keuzes met betrekking tot de inrichting en beslissingen om het werkproces aan te passen, goed worden gedocumenteerd. Dit biedt inzicht in de procesonderdelen die niet goed werkten en waarom. Een goede documentatie voorkomt dat wanneer de pilot navolging krijgt, andere rechtbanken opnieuw het wiel hoeven uitvinden.

• Richt een monitoringsysteem in

Een goed ingericht monitoringsysteem maakt het leven van degenen die het evaluatieonderzoek doen, een stuk gemakkelijker. Want een goed monitoringssysteem zorgt ervoor dat veel informatie die nodig is om de onderzoeksvragen te beantwoorden, bij de start van het onderzoek al kant-en-klaar voorhanden is. Daarbij is het belangrijk te realiseren dat sommige informatie alleen maar tijdens de uitvoering van de pilot te verzamelen is, en waarvoor geldt dat het niet (of niet goed) mogelijk is die achteraf nog in kaart te brengen.

Wat zijn relevante onderwerpen waarover informatie na afloop van de pilot beschikbaar moet zijn? En welke informatie moet dus gedurende de looptijd van het project bijgehouden worden? Het antwoord op deze vragen verschilt natuurlijk per pilot, maar er kan onder meer aan de volgende zaken worden gedacht:

• aantal aangemelde/ behandelde zaken;
• kenmerken geschil;
• kenmerken partijen, incl. contactgegevens;
• uitkomsten van zittingen;
• uurbesteding van rechters en overige medewerkers binnen de rechtspraak evenals de uurbesteding van betrokken (keten)partners;
• ervaringen van rechtzoekenden (bijvoorbeeld d.m.v. korte vragenlijst).

• Houdt de kosten bij

Bij de beoordeling van de vraag of een pilot gecontinueerd moet worden en/of navolging verdient, zal altijd worden gekeken naar de kosten. Want alleen als de baten opwegen tegen de kosten, is de innovatieve werkwijze levensvatbaar. Om de kosten gedurende de uitvoering van de pilot goed bij te houden is het volgende format ontwikkeld, met bijbehorende toelichting. Uiteraard kan dit format naar behoefte worden aangepast.

B.2 Tussenevaluatie

• Creëer de mogelijkheid van tussentijdse bijsturing

Het is zeer aan te bevelen om een tussenevaluatie uit te voeren. Hiermee ontstaat immers de mogelijkheid om tussentijds het project bij te stellen. Mede afhankelijk van de duur van het project kan het bij de tussenevaluatie gaan om een snelle evaluatie op hoofdlijnen tot een meer uitgebreide evaluatie waarbij ook al veel vragen aan bod komen die bij de eindevaluatie (nogmaals) gesteld worden. Het accent bij de tussentijdse evaluatie ligt, gezien de doelstelling van tussentijdse bijsturing, op de evaluatie van het procesverloop van de pilot (en dus minder op de effecten).

Aan het einde van de pilot, of op eerder bepaald moment, vindt de daadwerkelijke evaluatie plaats. Daarbij kan een onderscheid worden gemaakt tussen een proces- en effectevaluatie. Een procesevaluatie brengt het verloop van de pilot systematisch in kaart. Het maakt duidelijk wat er goed of minder goed gaat bij de uitvoering en wat de randvoorwaarden zijn voor een goede uitvoering van het project. Daarmee biedt de procesevaluatie handvatten voor het verbeteren van de innovatieve werkwijze en voor (tussentijds) bijsturen. Met een effectevaluatie wordt vastgesteld of de interventie, de innovatieve werkwijze, heeft opgeleverd van wat men bij aanvang ermee beoogde. Daarbij wordt ook in kaart gebracht wat de verklaringen zijn voor de mate van doelbereik. Het is belangrijk om bij de effectevaluatie ook de resultaten van de procesevaluatie te betrekken. Als de doelen niet bereikt zijn, hoeft dit niet per se te betekenen dat de innovatie een slecht idee is, het zou ook kunnen liggen aan een slechte uitvoering van de evaluatie.

Hieronder worden enkele specifieke aandachtspunten benoemd voor evaluatieonderzoek naar innovatieve projecten. Daarna volgt een handreiking met onderzoeksvragen die kunnen dienen als kader voor de proces- en effectevaluatie. Tot slot staan we stil bij de kosten-batenanalyse.

Specifieke aandachtspunten

Bij het uitvoeren van het evaluatieonderzoek naar pilots geldt, vanwege het innovatieve karakter ervan, een aantal specifieke aandachtspunten.

• Een werkwijze in beweging. Innovatie houdt in dat gewerkt wordt met nieuwe en vernieuwende werkwijzen. Elementen van de werkwijze kunnen anders uitpakken dan op voorhand voorzien. Dit leidt er regelmatig toe dat de werkwijze gedurende de uitvoering van een project wordt aangepast. Daarmee moet bij de opzet van het onderzoek rekening gehouden worden.

• Voorziene én onvoorziene effecten. Voorafgaand aan een innovatie dienen de beoogde effecten omschreven te worden. Bij de evaluatie wordt in kaart gebracht of deze zijn gerealiseerd. Maar juist vanwege het vernieuwende karakter van innovaties, zullen zich ook onverwachte effecten voordoen. Voor elk project moet daarom worden gekeken of, en zo ja welke, neveneffecten optreden. Het kan daarbij gaan om positieve en negatieve neveneffecten.

• Objectieve meting én waardering van stakeholders. Meting aan de hand van harde cijfers en objectieve indicatoren is belangrijk. Maar minstens even belangrijk is hoe betrokkenen (zoals rechtzoekenden, professionele partners, betrokken rechters) oordelen over de werking en de effectiviteit van de innovatie. Zij zijn immers de (ervarings-)experts. Ook deze (expert) opinions dienen dus bij het onderzoek betrokken te worden.

C.1 De procesevaluatie

Hieronder volgen vragen die doorgaans bij een procesevaluatie beantwoord moeten worden*. Het gaat daarbij om een kader waaraan, afhankelijk van de specifieke karakter van de pilot, vragen aan toegevoegd kunnen worden.

1. Hoe is de ontwikkeling van de innovatieve werkwijze verlopen?

• Wie waren er bij de ontwikkeling van de innovatieve werkwijze betrokken?
• Met toepassing van welke technieken is de innovatieve werkwijze ontwikkeld?
• Wat waren de cruciale beslismomenten bepalend voor de aard van de innovatieve werkwijze?
• In hoeverre was er overeenstemming tussen betrokken partijen over de gemaakte cruciale keuzes?

2. Is de interventie uitgevoerd volgens plan?

• Welke activiteiten zijn wel en welke niet uitgevoerd?
• Zijn de activiteiten uitgevoerd zoals ze bedoeld waren?
• Hielden de samenwerkingspartners en beslissers zich aan de afspraken?
• Waarom zijn activiteiten niet of niet zoals gepland uitgevoerd?
• Is het proces in tussentijd bijgesteld, en zo ja, op welke punten en met welke reden?

3. Hoe ervaren/waarderen de betrokkenen de pilot?

• Hoe hebben betrokkenen (deelnemers en uitvoerders van de interventie) het proces waarmee uitvoering wordt gegeven aan de interventie ervaren?
• Is de interventie begrepen en gewaardeerd door de uitvoerders en de deelnemers?
• Is de interventie ‘werkbaar’, als in goed uit te voeren, volgens de betrokken uitvoerders?

3. Wat is het bereik van de interventie?

• Wordt de beoogde doelgroep van deelnemers bereikt?
• Om hoeveel personen gaat het?
• Hoe representatief zijn de bereikte deelnemers voor de doelgroep van de interventie?
• Voor zover de doelgroep niet of lastig wordt bereikt, wat zijn daarvan de redenen?
• Hoe verhoudt het bereik van de interventie zich tot de omvang van het vraagstuk
  (zoveel mogelijk in concrete getallen)?

4. Wat zijn de succes- en faalfactoren??

• Welke factoren hebben bijgedragen aan een (niet) goede werking van het project?
• Factoren kunnen bijvoorbeeld betrekking hebben op: motieven en belangen van partners of initiatiefnemers, draagvlak, besluitvorming, middelen, faciliteiten, organisatiekenmerken van uitvoerders.
• Heeft de interventie ongewenste of juist gewenste onvoorziene processen op gang gebracht en zo ja, welke?
• Zijn er tijdens de uitvoering van de interventie externe gebeurtenissen geweest die (waarschijnlijk) invloed hebben gehad op het proces?

5. Welke aanbevelingen kunnen er aan de hand van de procesevaluatie worden gedaan voor verbetering van de interventie?

C.2 De effectevaluatie

Hieronder volgen vragen die doorgaans bij een effectevaluatie beantwoord moeten worden. Net als bij de procesevaluatie geldt dat aan dit kader, afhankelijk van het specifieke karakter van de pilot, vragen toegevoegd kunnen worden.

1. Wat zijn de concrete uitkomsten/ effecten van de innovatie werkwijze?

Welke concrete uitkomsten/effecten in kaart worden gebracht, is afhankelijk van de bij aanvang van het project beoogde doelstellingen. Voorbeelden van vragen die gesteld kunnen worden zijn:

• Hoeveel zaken zijn er gedurende de pilot behandeld?
• Wat is de concrete uitkomst in zaken (bijv. schikking of (aard van) de beslissing)?
• Hoe tevreden is de doelgroep over de innovatie werkwijze?
• Hoe tevreden zijn de professionele betrokkenen over de werkwijze?

Bij het in kaart brengen van de effecten kunnen drie niveaus worden onderscheiden: output, outcome en impact.
Effecten op het niveau van output, ofwel de concrete prestaties/ producten als gevolg van de interventie, zijn het gemakkelijkst in kaart te brengen. Effecten op het niveau van outcome, hebben betrekking op het daadwerkelijke doelbereik. Het gaat om de vraag of de doelstelling van de pilot als gevolg van de gehanteerde werkwijze daadwerkelijk is gerealiseerd. Dan zijn er ook nog effecten op het niveau van impact (bijvoorbeeld toegenomen vertrouwen in de rechtspraak, veiligheid in de wijk, welzijn van doelgroep). Dergelijke effecten zijn erg lastig vast te stellen en bij de meeste evaluatieonderzoeken naar pilots in de rechtspraak zal dit niveau buiten beschouwing blijven.

2. Hoe verhouden deze uitkomsten/effecten zich tot de doelstellingen zoals die aan het begin van het project zijn geïdentificeerd?

Bij de beantwoording van deze vraag worden de uitkomsten van de onderzoeksvragen onder vraag 1 vergeleken met de doelstellingen zoals die voorafgaand aan de pilot zijn geformuleerd. Als er een nulmeting is gedaan, dienen de resultaten daarvan bij deze vergelijking betrokken te worden.

3. Welke onvoorziene – positieve dan wel negatieve – neveneffecten hebben zich voorgedaan?

Juist omdat innovaties het onderwerp van onderzoek zijn, is het op voorhand niet mogelijk op alle mogelijke effecten van het nieuwe werkwijze te anticiperen. In het onderzoek dient aandacht besteed te worden aan onvoorziene effecten. Deze kunnen onder andere in kaart worden gebracht door de stakeholders hiernaar te vragen.

4. Welke aanbevelingen kunnen er aan de hand van de effectevaluatie worden gedaan voor verbetering van de interventie?

C.3 De kosten-baten analyse

Op basis van het materiaal dat met de proces- en effectevaluatie is verkregen, kan de kosten-batenanalyse worden uitgevoerd. Het gaat daarbij om een eindoordeel over hoe de investeringen (financieel en anderszins) opwegen tegen de opbrengsten.

1. Waaruit bestaan de personele kosten die gemoeid zijn met de uitvoering van de innovatieve werkwijze?

• Wie zijn er bij de uitvoering van de pilot betrokken (rechters, juridisch medewerkers, communicatieadviseurs)?
• Wat is hun inzet (in uren per week) voor welke specifieke periode?
• Tot welke waardering in geld leidt deze inzet in tijd?

Van belang is om voor elke fase van de innovatie (de ontwikkelfase, de invoeringsfase en de uitvoeringsfase) deze kosten goed in beeld te brengen. Daarbij is het ook van belang om de kostenontwikkeling door de tijd heen vast te stellen. Vaak zal er sprake zijn van afnemende kosten op termijn (omdat men ervaring opdoet met de nieuwe werkwijze en met de uitvoering ervan minder tijd is gemoeid).

2. Waaruit bestaan de materiële kosten die gemoeid zijn met de uitvoering van de innovatieve werkwijze?

Bij deze kosten kan bijvoorbeeld worden gedacht aan de kosten voor huisvesting of de aanschaffing van materiaal (zoals bijv. mobiele printers voor zaken die op locatie worden afgedaan).

3. Waaruit bestaan de baten die voortvloeien uit de uitvoering van de innovatieve werkwijze?

Het vertrekpunt voor het in kaart brengen van de baten zijn de bij de effectevaluatie in kaart gebrachte positieve resultaten van de pilot. Het gaat daarbij dan primair om de baten voor rechtzoekenden en de baten voor betrokken organisaties (Rechtspraak en betrokken (keten)partners). Naast de Rechtspraak gaat het hier om betrokken (keten)partners. Het zogenaamde “silodenken” (waarbij alleen de kosten en baten van de eigen organisatie worden betrokken) moet worden voorkomen. Indien mogelijk moeten de geïnventariseerde baten financieel worden gewaardeerd. Dit zal niet altijd mogelijk zijn.

Naast de baten die direct kunnen worden toegeschreven aan de innovatie in kwestie, kan er ook sprake zijn van meer algemene maatschappelijke baten. Een voorbeeld is dat door het oplossen van conflicten, ziekteverzuim afneemt. Hoewel het doorgaans niet eenvoudig is, dient met name bij de meer grootschalige pilots in het onderzoek aandacht besteed te worden aan de maatschappelijke baten. Dit kan door de diverse betrokken organisaties bij een pilot te bevragen op deze potentiële baten.

4. Hoe valt de uiteindelijke kosten-batenverhouding van de innovatieve werkwijze uit?

Als alle kosten en baten, zowel direct als indirect, zowel financieel waardeerbaar als niet financieel waardeerbaar, in kaart zijn gebracht, kan de balans worden opgemaakt.

*Bij de tekst over de vragen die onderdeel uitmaken van de procesevaluatie, vormden de vragen die opgenomen in de brochure van Movisie ‘Procesevaluatie bij de beoordeling van interventies’, het vertrekpunt. Vragen uit de brochure zijn deels overgenomen, deels geherformuleerd en deels aangevuld.