De gedachte aan evaluatieonderzoek komt over het algemeen pas op aan het einde van een innovatief project. Logisch! Want je kunt pas evalueren wat de opbrengst van een project is als hiermee al de nodige tijd ervaring is opgedaan. Toch is het essentieel om al direct bij aanvang van een project het belang van evaluatieonderzoek goed voor ogen te houden. Zo dienen de doelstellingen van een project helder – en meetbaar - te worden geformuleerd. Immers, aan het einde van de pilot dienen de ervaringen die zijn opgedaan te worden afgezet tegen deze beoogde resultaten. En ook gedurende de looptijd van een project is evaluatieonderzoek een belangrijk aandachtspunt. Zo dient tijdens de uitvoering van een project monitoringinformatie te worden verzameld. Dit materiaal is nodig om na afloop inzicht te krijgen in hoe het project is verlopen en of de doelstellingen zijn behaald.

Deze handreiking heeft betrekking op de evaluatie van innovatieve projecten/ pilots. Dit maakt dat er aan de evaluatie doelstellingen verbonden zijn die niet (allemaal) gelden voor “gewone” projecten. Hoewel evaluaties altijd bedoeld zijn om ervan te leren, geldt dit in versterkte mate voor evaluaties van innovatieve projecten. Evaluatiestudies naar pilots zijn veel meer dan gebruikelijk gericht op het generen van inzichten voor de toekomst. Dit met het oog op het introduceren van de innovatieve werkwijze op grotere schaal, het in kaart brengen van de behoefte aan eventuele aanvullende pilots, of de noodzaak tot aanpassing van beleid, wet- en regelgeving. En als evaluatieonderzoek gedurende de looptijd van een pilot wordt uitgevoerd, is dit onderzoek vaak ook gericht op het tussentijds leren - en als gevolg daarvan bijstellen - van de innovatieve werkwijze. Samenvattend dient evaluatieonderzoek naar innovatieve pilots dan ook de volgende doelen: 

• Inzicht in de werking en de resultaten van de pilot;
• Inzicht ten behoeve van de nadere vormgeving (aanpassing, fine-tuning) van de pilot, soms ook al gedurende de looptijd van de pilot;
• Inzicht in de behoeft aan eventuele aanvullende pilots;
• Kennisontwikkeling ten behoeve van de besluitvorming over de opschaling van innovaties;
• Kennisontwikkeling die relevant is voor beleid, wet- en regelgeving.

De activiteiten onder 1 helpen om aan de voorkant van een project duidelijk te krijgen op welke aspecten de evaluatie zich dient te richten. Het doordenken ervan geeft ook focus bij de ontwikkeling van de pilot. De primaire verantwoordelijkheid voor de verschillende activiteiten voorafgaand aan de start van de pilot (onderdeel 1) ligt dan ook bij het projectteam van verantwoordelijk is voor de innovatie. De rol van externe onderzoekers, als hiervan al sprake is, zal in deze fase beperkt zijn tot een adviseursrol.

Ook voor de activiteiten die tijdens de looptijd van de pilot ten behoeve van het onderzoek worden ontplooid, geldt dat het projectteam hiervoor primair verantwoordelijk is. Zeker als het gaat om de activiteiten die de gegevensregistratie betreffen. Als het gaat om het uitvoeren de tussenevaluatie kan het ook een keuze zijn deze te beleggen bij externe onderzoekers. Bij kleinere projecten ligt een tussentijdse zelfevaluatie meer voor de hand.

In het algemeen geldt dat voor de feitelijke uitvoering van het evaluatieonderzoek het de voorkeur heeft deze te laten uitvoeren door externe onderzoekers. Dit uit oogpunt van expertise, objectiviteit en legitimiteit. Bij kleinere innovatieve projecten zullen de vragen die onderdeel uitmaken van de proces- en effectevaluatie en de kostenbatenanalyse evenwel ook door het projectteam zelf beantwoord kunnen worden. Wel is het in dat geval wenselijk een externe onderzoeker dit evaluatieproces te laten begeleiden. Voor de grotere innovaties geldt (nadrukkelijk) de voorkeur dat een externe partij verantwoordelijk is voor de proces- en effectevaluatie en de kosten-batenanalyse. Dit uit oogpunt van expertise, objectiviteit en legitimiteit.

De inzet van externe onderzoekers hoeft niet altijd te gaan om een grootschalig, wetenschappelijk onderzoek of onderzoek dat wordt uitgevoerd door een duur onderzoeksbureau. In sommige gevallen behoort bijvoorbeeld onderzoek door studenten ook tot de mogelijkheden