Engager une évaluation suppose une ouverture au changement, car cela implique de la part des porteurs de l’action une capacité à s’interroger sur leurs pratiques et leurs représentations. Certaines résistances, présentées ci-dessous, peuvent provenir également des différences de perceptions sur ce qu’est l’évaluation et sur l’utilisation qui peut en être faite.
1. L’évaluation, une perte de temps ?
« Nous avons tant à faire avec la rédaction des projets et avec l’action elle-même… Nous n’aurons jamais le temps d’évaluer… »
L’évaluation prend du temps, en effet, mais comment savoir ce qui se passe réellement pour les bénéficiaires sans leur demander ? Comment savoir si l’action sert à quelque chose ? Les intervenants ont leur ressenti de l’action, mais il est partiel, subjectif, et souvent ils ne le formalisent pas dans un document. Les autres acteurs (partenaires, financeurs) ne peuvent se construire une représentation suffisamment complète sur l’action s’il n’y a pas de véritable évaluation. De même, avant de reconduire une action, il est intéressant de se poser la question de son sens et des changements qu’elle a permis pour les bénéficiaires.
2. L’évaluation, un exercice bureaucratique ?
« Ecrire encore un rapport d’évaluation, ce n’est qu’un travail bureaucratique… On nous demande de faire de la paperasse au détriment de l’action ! »
L’évaluation n’est pas un travail déconnecté de l’action. C’est au contraire une façon de refermer la boucle du projet en revenant aux intentions de départ et aux objectifs. L’évaluation est un exercice « démocratique » qui permet de prendre du recul, avec tous les partenaires, par rapport à une action, le plus souvent financée par des fonds publics. Et le rapport est un outil de communication avec les partenaires, avec les financeurs et avec les bénéficiaires.
3. L’évaluation, un contrôle déguisé ?
« Rendre compte de l’utilisation de l’argent public, oui, bien sûr. Mais si nous évaluons, nous risquons de perdre nos financements… Au fond, les financeurs demandent des évaluations pour faire des économies ! »
Toute évaluation peut aussi être utilisée contre un organisme ou une personne. Si les financeurs demandent d’évaluer les actions, c’est pour s’assurer du bon usage des fonds publics et c’est donc aussi qu’ils ont besoin de savoir comment les actions qu’ils financent se déroulent et quels effets elles produisent. Il est également important pour eux de savoir que les porteurs de projet analysent leurs actions et sont capables de les faire évoluer pour les améliorer.
4. Evaluer soi-même ses actions, un manque de validité ?
« Nous ne pouvons pas évaluer nous-mêmes nos actions, on ne peut pas être juge et partie… Il faudrait un évaluateur extérieur à notre association, mais c’est au-delà de nos moyens ! »
L’évaluation utilise des méthodes rigoureuses d’enquête qui sont appliquées à l’action. Une évaluation faite par les acteurs eux-mêmes est valide quand elle croise la perception (subjective) de différents groupes (par exemple, les acteurs et les bénéficiaires) et quand elle utilise des moyens d’enquête qui laissent les bénéficiaires libres de leur réponse (questionnaire par exemple). Une évaluation est valide notamment quand elle repose sur une systématisation du recueil des données pour sortir de la simple intuition. Quand des moyens sont disponibles, il est possible d’envisager une évaluation externe.
Par ailleurs l’auto-évaluation est un moyen pour anticiper des critères d’évaluation, plutôt que de se les voir imposés par les financeurs ou les décideurs.
5. Evaluer ses actions tous les ans, un exercice inutile ?
« Même si nous avions les moyens, cela n’aurait pas de sens dans une action pluriannuelle de faire une enquête chaque année pour savoir si les objectifs sont atteints… Pourtant, le financeur nous demande chaque année une évaluation ! »
L’évaluation doit en effet être dimensionnée en fonction de l’action et des questions qui se posent. Un simple « rapport d’activités » ou « bilan », qui ne fait que décrire le déroulement de l’action, n’est pas suffisant. Il faut aussi une appréciation critique (en positif et négatif) sur l’action pour qu’il devienne un rapport d’évaluation. Quelques indicateurs* peuvent suffire pour montrer que les activités se sont déroulées comme prévu et qu’elles ont atteint leur public. Mais quand il y a une décision particulière à prendre, un problème de mise en œuvre, ou un besoin d’approfondir, l’évaluation doit être plus développée pour y répondre.
6. Evaluer, une démarche complexe ?
« Evaluer c’est difficile. Cela demande un certain savoir-faire et mesurer des changements de comportement est complexe. »
Certes, évaluer des changements est complexe car les facteurs qui agissent sur les milieux, les représentations et les comportements humains sont eux-mêmes complexes. Le changement de comportements est difficile à évaluer à court ou moyen terme. Cependant, les questions d’évaluation ne portent pas nécessairement sur les effets à long terme et peuvent concerner le processus* ou le résultat* à court terme. Par ailleurs, les modèles de mesure classiques en épidémiologie ne sont pas adaptés à la promotion de la santé, car ils ne prennent pas en compte la complexité des comportements humains et les effets des contextes. La démarche qui vous est proposée dans ce guide est plus adaptée aux actions de promotion de la santé et du secteur social.