L’évaluation est l’occasion de : L’évaluation menée avec ces objectifs permet de : Ainsi, l’évaluation est potentiellement au service de tous les acteurs, qu’il s’agisse des décideurs, des opérateurs, des gestionnaires de programmes ou des bénéficiaires des actions. En général, quand il … Continuer la lecture
Archives de l’auteur : Rédacteur
2 – Les freins potentiels à une démarche d’évaluation
Galerie
Engager une évaluation suppose une ouverture au changement, car cela implique de la part des porteurs de l’action une capacité à s’interroger sur leurs pratiques et leurs représentations. Certaines résistances, présentées ci-dessous, peuvent provenir également des différences de perceptions sur … Continuer la lecture
1 – Au commencement est le diagnostic…
Au préalable de toute action, il est nécessaire de faire le point sur la situation que l’on observe : il s’agit de faire un diagnostic de situation et de dégager le(s) problème(s) prioritaire(s) ou les enjeux de santé au(x) quel(s) on souhaite répondre. D’où est venue l’idée de l’action ? Et à quel problème veut-elle répondre ?
Aux origines d’un projet, il peut y avoir :
- un problème identifié par les professionnels,
- une commande, une orientation politique,
- une obligation légale,
- une demande de la population,
- un événement, une opportunité,
- une idée, etc.
Pour passer de l’idée au projet, un temps d’enquête est nécessaire. Il s’agit de répondre aux questions suivantes :
- De quels problèmes, de quels enjeux s’agit-il ? Quels sont les déterminants de ce problème ? Peut-on agir dessus ?
- Quelles sont les caractéristiques de la population, du lieu de vie, du territoire ?
- Existe-t-il une demande d’intervention ?
- Quelles sont les ressources locales, les programmes et les financements disponibles ?
- Quels sont les acteurs en présence ? Quel type d’intervention mènent-ils ?
- Quelle légitimité à répondre à ce problème ?
Concrètement, le diagnostic se déroule en 4 étapes :
- un recueil de données objectives qui permet de décrire la situation sur les plans épidémiologique, démographique, sociologique… (revues spécialisées, données statistiques) ;
- un recueil de données subjectives qui permet de prendre en compte les attentes et spécificités du public (rencontre des publics, étude sur leurs représentations) ;
- l’identification des ressources, des potentialités disponibles et des contraintes, difficultés (observation directe, entretiens) ;
- l’identification des moyens d’action sur la situation qui s’appuie sur les actions déjà menées, et les actions probantes (efficaces dans un contexte donné).
Cette quatrième étape nécessite d’avoir identifié les déterminants du problème pour identifier les différents niveaux d’action possibles.
Exemple
Un problème de violence au collège peut être déterminé par plusieurs éléments : l’adolescence est une période de bouleversements physiques, psychiques qui peut se traduire par une difficulté à réguler son stress et ses émotions ; la communauté éducative peut être insuffisamment outillée pour encadrer des élèves difficiles et ne pas être toujours cohérente dans la posture, les classes peuvent être surchargées ou les espaces communs petits et peu accueillants… Ce sont sur ces éléments que l’on pourra ou non agir. C’est eux qui constitueront les objectifs spécifiques de l’action.
Une fois les problèmes de santé et leurs déterminants identifiés, il s’agit de prioriser ceux sur lesquels l’action va porter, à partir des critères ci-dessous :
- l’importance du problème : l’ampleur, la gravité (degré et types d’altération de la santé, populations déjà fragilisées, conséquences pour les publics), une priorité institutionnelle…
- la faisabilité : l’existence de solutions efficaces et adaptées, les moyens et ressources disponibles, l’existence de données probantes sur les actions efficaces.
- l’acceptabilité : culturelle, éthique, économique.
Il est aussi nécessaire d’avoir identifié les données probantes sur l’intervention. Pour cela, il est possible de s’appuyer sur les données scientifiques (revues de la littérature, articles, ouvrages, thèses et rapports scientifiques de différentes disciplines), sur les recommandations et synthèses (rapports officiels, guides de pratiques validées), sur les savoirs expérientiels des professionnels et des publics, sur des évaluations et capitalisations d’actions.
Dans notre exemple
On peut travailler sur la régulation des émotions qui est identifiée comme un élément clé dans la littérature pour prévenir la violence. Dans ce cadre, on pourra alors chercher à renforcer les compétences psychosociales des collégiens pour lesquelles il existe plusieurs synthèses de la littérature qui indiquent que c’est un levier efficace pour réguler les émotions. (Synthèse d’interventions probantes dans les domaines de la formation. SIPrev compétences psychosociales. Chaire de recherche en prévention des cancers INCa/IReSP/EHESP 2017).
Le diagnostic est donc une phase exploratoire qui permet d’identifier les besoins de santé de la population concernée, et à partir de laquelle il est possible de dégager des priorités et des stratégies d’action. Cette phase permettra également d’initier un partenariat avec les acteurs « incontournables » du problème de santé identifié.
Dans notre exemple
On identifie un besoin pour les collégiens sur la régulation des émotions, un besoin pour les professionnels pour travailler sur la cohérence éducative face à des situations conflictuelles et un besoin d’améliorer le cadre de vie du collège…
Les données collectées dans le cadre du diagnostic peuvent être utilisées dans la démarche d’évaluation, pour identifier les évolutions du problème, de ses déterminants et du contexte.
Retour à l’étape « Construire le cadre logique d’une action »
2 – Le cap à suivre : les objectifs
C’est le temps de la planification qui consiste à définir les objectifs, c’est-à-dire les changements attendus auprès des bénéficiaires, et cela grâce aux données collectées dans le diagnostic :
- L’objectif général, ou objectif de santé (ou social) est celui qui donne le sens de l’action, le but à atteindre, une visée à long terme. Il s’exprime en termes de santé ou de situation sociale et décrit la diminution du problème prioritaire. L’atteinte de cet objectif se situe sur le long terme car un ensemble d’actions y contribuent. La formulation de l’objectif général dépend également des démarches et valeurs dans lesquelles s’inscrit la structure qui souhaite porter le projet. Dans une structure de prévention, l’objectif général sera souvent formulé dans une visée de réduction des facteurs de risques. Dans une structure de promotion de la santé, l’objectif général sera généralement formulé dans une visée de renforcement des facteurs de protection.
Dans notre exemple
L’objectif général pourrait être de réduire la violence dans le collège ou de favoriser un climat de dialogue. Pour la suite du livret, c’est la seconde formulation qui sera retenue.
- Les objectifs spécifiques portent sur les déterminants sur lesquels il est possible d’agir pour réduire l’importance du problème. Ils doivent être 100 % imputables à l’action et concernent les publics touchés par l’action. Ce sont les résultats que l’on souhaite que le public atteigne. Ils sont formulés au regard des résultats/effets attendus. Ils doivent permettre d’agir sur plusieurs leviers tels que préconisés en promotion de la santé et peuvent donc s’intéresser :
- aux connaissances, compétences et représentations (savoir, savoir-faire, savoir-être),
- aux comportements de santé,
- aux dynamiques collectives (mise en réseau, nouveau service),
- à l’environnement (infrastructures).
Dans notre exemple
Les objectifs spécifiques sont de renforcer les compétences de la communauté éducative sur la gestion des conflits, de favoriser le développement des compétences psychosociales des collégiens (communication, émotion), de créer des espaces communs plus accueillants, de favoriser les liens entre les membres de la communauté éducative, les familles et les collégiens…
Différenciez bien l’objectif qui est un changement concernant le groupe cible (par exemple améliorer les connaissances) d’une activité qui est l’effort déployé par les acteurs (par exemple une séance d’information).
Retour à l’étape « Construire le cadre logique d’une action »
3 – La programmation : quelles activités et quelles ressources prévoir ?
Les objectifs montrent l’intention. Il s’agit maintenant de prévoir les activités qui vont concrètement permettre de les atteindre :
- quelles activités mettre en place ?
- pour quels groupes cibles ? À qui sont destinées les activités ?
- avec quels acteurs (en interne, avec des partenaires) et quelles ressources en financement, outils, matériels ?
En identifiant précisément les ressources nécessaires, il est possible de réaliser un budget prévisionnel pour solliciter, le cas échéant, une demande de financement.
Dans notre exemple
Les activités consistent à mettre en place des formations en direction de la communauté éducative, des ateliers pour les collégiens sur la régulation des émotions et sur la communication, un groupe de travail associant collégiens et adultes pour réaliser une enquête sur les souhaits et propositions d’aménagement des espaces communs, organisation d’un tournoi sportif entre adultes (communauté éducative et parents) et collégiens. Les ressources nécessaires sont un formateur sur les compétences psychosociales, du matériel de bricolage, un technicien du collège pour les travaux éventuels…
Retour à l’étape « Construire le cadre logique d’une action »
4 – Exemples
Le tableau ci-dessous, appelé « cadre logique », permet de récapituler la logique d’intervention qui est à la base de l’action. Il se compose de trois niveaux, qui peuvent être remplis en commençant par la gauche ou par la droite. Si vous avez du mal à remplir une case, passez à la suivante et revenez-y après.
Retour à l’étape « Construire le cadre logique d’une action »
Formuler la ou les questions d’évaluation
Galerie
Maintenant que le cadre logique a été décrit (cf étape 1), et les différents types d’évaluation identifiés, vous pouvez préciser les questions d’évaluation que vous vous posez en fonction du type d’évaluation choisi. Cette étape est très importante parce qu’elle fixe … Continuer la lecture
1 – Les critères d’évaluation : de quoi parle-t-on ?
Galerie
Un critère est un élément de référence qui permet de juger, d’estimer, de définir quelque chose. En général, il faut plusieurs critères pour évaluer toutes les dimensions d’une question d’évaluation. Pour les questions de processus, il s’agit de trouver des … Continuer la lecture
2 – Les indicateurs d’évaluation : de quoi parle-t-on ?
Galerie
Pour être renseigné, un critère nécessite des indicateurs. Les critères ne sont donc manipulables qu’une fois traduits en indicateurs. Un indicateur est un instrument de mesure qui donne de l’information ; une variable qui aide à mesurer des changements. L’indicateur qualifie … Continuer la lecture
3 – Trois exemples
Des exemples pour mieux comprendre comment répondre à des questions d’évaluation sur…
…le processus :
Exemple 1
Dans quelle mesure la communauté éducative s’est impliquée dans l’action ?
Critères | Indicateurs |
Participation des enseignants aux formations | Nombre d’enseignants qui participent aux formations |
Implication des professionnels de l’établissement dans les différents groupes de travail | Nombre et typologie des professionnels participant aux groupes de travail Nombre de professionnels ayant participé à toutes les séances de travail, à au moins ¾ des séances, à la moitié… |
Temps consacré à l’action par les professionnels | Nombre d’heures consacrées à l’action par professionnel |
Raisons évoquées pour l’implication ou non-implication dans les groupes de travail | Types de raisons évoquées |
Exemple 2
Quels sont les freins et leviers identifiés par les différentes parties prenantes dans la mise en place des actions ?
Critères | Indicateurs |
Adaptation des messages aux repères culturels de la population cible | Nb de personnes qui estiment le message approprié Types de raisons évoquées sur l’adaptation du message (clarté, recevabilité…) |
Participation des parents à l’action | % de parents présents lors des réunions Types de freins évoqués par les parents pour leur non-participation (horaires, lieu…) |
…les résultats
Exemple 3
Est-ce que l’action contribue à favoriser un climat de dialogue dans le collège ?
Critères de résultats | Indicateurs |
Amélioration de l’attitude d’écoute des camarades de classe et de l’enseignant | Part des collégiens qui respectent mieux les règles d’échanges : ne coupent pas la parole, ne s’énervent pas quand ils entendent un avis différent |
Sentiment d’une meilleure entraide entre collégiens | Pourcentage de collégiens qui déclarent pouvoir compter sur l’aide de plusieurs camarades suite à l’action |
Sentiment de capacité à pouvoir solliciter un adulte en cas de besoin | Pourcentage de collégiens qui estiment pouvoir interpeller un adulte en cas de besoin |
Baisse des incivilités dans l’établissement | Nombre de collégiens ayant eu un mot dans le carnet pour un motif de violence (avant/après l’action) Nombre de bagarres dans la cour (avant/après l’action Nombre de conseils de discipline (avant/après l’action) |
Retour à l’étape « Définir des critères et des indicateurs »