Conception et pilotage

             Chapitre1 : Conception et pilotage d’une évaluation

La demande de données systématiques sur la performance des programmes publics et à but non lucratif continue d'augmenter dans le monde entier. La participation de ces données correspond rarement au besoin des demandeurs. La diversité dans les types de fournisseurs de données pertinentes continue également d'augmenter.

De plus en plus, les élus, les fondations et les autres bailleurs de fonds, organismes de suivi « monitoring » et citoyens à but non lucratif souhaitent savoir quelle est la valeur offerte au public par les programmes qu'ils financent. Les membres du personnel du programme veulent savoir comment leurs programmes fonctionnent afin qu'ils puissent les améliorer et apprendre à partir de l'information qu'ils recueillent. De plus en plus, les cadres souhaitent diriger les organisations apprenantes, où le personnel collecte systématiquement des données, apprend ce qui fonctionne et ne fonctionne pas dans leurs programmes, et utilise ces informations pour améliorer leur capacité organisationnelle et les services fournis. Les leaders et les gestionnaires peuvent prendre des décisions fondées sur des données probantes et des décisions de gestion en se basant sur la performance des programmes passés.

Comme nous utilisons le terme dans ce manuel, un programme est un ensemble de ressources et d'activités visant un ou plusieurs objectifs communs, généralement sous la direction d'un seul gestionnaire ou d'une équipe de direction. Un programme peut consister en un ensemble limité d'activités implémenté sur un seul organisme ou un ensemble complexe d'activités mises en œuvre dans de nombreux sites et sur plusieurs niveaux gouvernementaux, et par un ensemble de fournisseurs publics, sans but lucratif et même privés.

L'évaluation du programme est l'application de méthodes systématiques pour répondre aux questions sur le déroulement et les résultats du programme. Il peut s'agir d'un suivi continu d'un programme ainsi qu'une seule étude des processus du programme ou de l'impact du programme. Les approches utilisées sont basées sur des méthodologies de recherche en sciences sociales et des normes professionnelles.

Le domaine de l'évaluation des programmes fournit des processus et des outils que toutes sortes d'organismes peuvent appliquer pour obtenir des données valides, fiables et crédibles permettant d'aborder diverses questions sur la performance des programmes publics et à but non lucratif.

L'évaluation du programme est présentée ici comme une stratégie d'apprentissage précieuse pour améliorer les connaissances sur la logique sous-jacente des programmes et les activités de programme en cours ainsi que sur les résultats des programmes. Nous utilisons le terme «évaluation pratique du programme» car la plupart des procédures présentées ici sont destinées à être appliquées à un coût raisonnable et sans implication approfondie d'experts extérieurs. Nous pensons que les contraintes de ressources ne devraient pas exclure l'évaluation. L'ingéniosité et un niveau d'expertise avancé peuvent et devraient être utilisées pour produire des informations d'évaluation utiles, une connaissance parfaite des enjeux de l'optimum budget/degré d'information à dispostion est indispensable pour une meilleure décision.

Un thème majeur tout au long de ce manuel est que l'évaluation, utile et en valeur, ne devrait pas seulement évaluer la mise en œuvre et les résultats du programme, mais aussi identifier les moyens d'améliorer le programme évalué. Bien que la responsabilisation continue d'être un objectif important de l'évaluation du programme, l'objectif principal devrait être d'améliorer le rendement ou la performance du programme, ce qui donne au public et aux bailleurs de fonds une meilleure rentabilité. Lorsque l'évaluation du programme est utilisée uniquement à des fins de responsabilité externe et ne permet pas aux gestionnaires d'apprendre et d'améliorer leurs programmes, les résultats ne valent souvent pas le coût de l'évaluation.

L'objectif de ce manuel est de renforcer les capacités des gestionnaires de programme et des membres du personnel afin de répondre à la demande croissante d'informations concernant l'évaluation, notamment des informations pour améliorer le programme évalué. Ce chapitre introductif identifie les éléments fondamentaux que les évaluateurs et les organisations qui parrainent les évaluations devraient examiner avant d'entreprendre tout travail d'évaluation, y compris la façon d'associer l'approche d'évaluation aux besoins de l'information, d'identifier les éléments contextuels clés qui façonnent la conduite et l'utilisation de l'évaluation, produire la rigueur méthodologique nécessaire pour soutenir et rendre plus crédible les découvertes, et concevoir des évaluations réactives et utiles.

Faire correspondre l'approche d'évaluation aux besoins d'information:

Le choix parmi les options d'évaluation est un défi pour le personnel du programme et les évaluateurs intéressés à affecter efficacement et avec efficience les ressources. La valeur des efforts d'évaluation des programmes sera améliorée lorsque les clients de l'information savent  exactement ce qu'ils recherchent. Les clients, les managers de programme et les évaluateurs sont confrontés à de nombreux choix. Depuis le début du XXIe siècle, la demande de preuves pour informer les responsables politiques que ce soit  à l'intérieur des États-Unis ou à l'international ne cessent a augmenté, tout comme la sophistication du dialogue public sur ce qui se qualifie comme preuve forte.

En outre, la profession d'évaluation du programme s'est développée de façon quantitative et qualitative assurant une meilleure gestion professionnelle. Il existe des organisations influentes qui fournissent des normes utiles pour les pratiques d'évaluation et identifient les compétences requises dans le cadre du travail d'évaluation. Trois sources d'orientation que les organisations et les évaluateurs devraient consulter avant de participer au travail d'évaluation, ils comprennent:

• Comité jointe sur les normes d'évaluation de l'éducation « Joint Committee on Standards for Educational Evaluation » (2010). Cette organisation a fourni quatre mots-clés pour les évaluateurs pendant de nombreuses années: utilité, faisabilité, convenance et précision.
• L’association américaine de l’évaluation (2004). Les Principes directeurs d'évaluation de l'AEA pour les évaluateurs sont une liste détaillée des lignes directrices régulièrement examinées par les évaluateurs afin d'en assurer l'utilité (voir www.eval.org/p/cm/ld/fid=51)
• Compétences essentielles pour les évaluateurs de programme Autoévaluation à www.cehd.umn. edu / OLPD / MESI / resources / ECPESelfAssessmentInstrument709.pdf

Les programmes sélectionnés pour évaluer:

...