5 – Evaluer les effets

De quoi s’agit-il ?

Il s’agit d’évaluer les impacts de la formation sur les structures dans lesquelles travaillent les participant·es, sur les territoires ou sur les publics finaux. Cette évaluation vise donc à mesurer si les objectifs de changement ou objectifs stratégiques ont été atteints. 

Le temps long en promotion de la santé
Les formations en promotion de la santé visent à inscrire les actions dans la durée. De nombreuses recherches visant à mesurer la durabilité des interventions ont été effectué dans ce sens. Neuf dimensions de la durabilité sont ainsi à prendre en compte selon l’étude de Schell S.F. et ses collaborateurs, cités dans le rapport « Onze fondamentaux en promotion de la santé ». Parmi ceux-ci, on peut citer : le soutien politique (le soutien de l’environnement interne et externe), l’adaptation du programme (la capacité d’adaptation et d’amélioration du programme et l’évaluation du programme (le suivi et l’évaluation des processus et des résultats associés aux activités). Dans ce sens, l’évaluation des effets est fondamentale. 

Pourquoi évaluer les effets de la formation ?

Cette évaluation peut être particulièrement pertinente dans le cas d’une formation « intra-entreprise » ou « intra-territoire », c’est-à-dire à destination des salariés ou bénévoles d’une même structure ou à destination des acteurs d’un même territoire. Au-delà des changements de comportements à l’échelle individuelle, sur lesquels porte l’évaluation des pratiques, l’évaluation des effets permet de comprendre les impacts de la formation plus larges et parfois plus diffus, portant par exemple sur : 

  • L’activité, l’organisation, et la santé des structures 
    Exemple : évolution de l’offre de service, capacité à répondre aux besoins du territoire en matière de prévention et promotion de la santé, changement de modèle économique… 
  • Les réseaux d’acteurs : mise en place de nouveaux partenariats sur le territoire, développement de stratégies multi-acteurs… 
  • Les changements visés auprès des publics finaux 
    Exemple : évolution du nombre d’usagers d’une structure, satisfaction des usagers, changements de comportement des publics participant·es aux actions éducatives de la structure… 

Cette évaluation permet d’ajuster le dispositif de formation et d’identifier si d’autres actions doivent être envisagées, en complément de dispositifs de montée en compétences, afin de répondre aux objectifs stratégiques de la structure ou du territoire (travail sur l’organisation interne, recherche de financement, mise en place de partenariats…). 

Les différentes formes d’évaluation des effets

Enfin, l’évaluation des effets peut employer les mêmes méthodes que l’évaluation des pratiques. La temporalité sera cependant souvent plus longue (un an ou plus). On pourra également mesurer des changements en interrogeant les publics finaux (questionnaires de satisfaction, entretiens, observation participante…). 

Retour à l’étape « Evaluer la formation »

4 – Evaluer les pratiques

De quoi s’agit-il ?

Il s’agit d’évaluer ce que les apprenant·es ont réellement mis en pratique dans leur situation de travail ou, le cas échéant, dans leurs activités de bénévolat. Ce niveau d’évaluation se concentre sur les changements de comportement des apprenant·es. L’objectif est de définir si les changements de pratiques visés par la formation, à savoir les objectifs de formation ont été atteints ou non. 

Pourquoi évaluer les changements de pratiques ?

Si l’évaluation des apprentissages permet de mesurer l’acquisition des savoirs, savoir-faire et savoir-être dans le cadre fictif de la formation, l’évaluation des pratiques vise à cerner dans quelle mesure ces compétences sont déployées dans le contexte réel. Cette évaluation permet aux apprenant·es de prendre conscience des compétences réellement acquises en formation. Elle permet également de réajuster le dispositif pédagogique pour être au plus près des préoccupations et des conditions de travail des apprenant·es.

Les différentes formes d’évaluation des pratiques

Le questionnaire à froid

L’évaluation des pratiques est souvent réalisée à travers un questionnaire “à froid”, transmis quelques mois après la formation. Le délai sera réfléchi de façon à laisser suffisamment de temps aux apprenant·es pour appliquer ce qu’ils ont appris en formation dans le cadre d’interventions ou de projets réels. Le questionnaire peut venir interroger les changements de pratiques du point de vue de l’apprenant·e, mais aussi de ses collègues et responsables hiérarchiques.

L’entretien ou l’observation

L’évaluation peut aussi être menée de manière plus approfondie dans le cadre d’un accompagnement post-formation. L’équipe de formation peut alors interroger l’apprenant·e sur ce qui a changé ou non dans ses pratiques ou observer l’apprenant·e en action dans des interventions.

Retour à l’étape « Evaluer la formation »

3 – Evaluer les apprentissages

De quoi s’agit-il ?

L’évaluation des apprentissages vise à apprécier les savoirs, les savoir-faire et les savoir-être acquis durant la formation. Il s’agit donc d’évaluer l’atteinte des objectifs pédagogiques et, plus spécifiquement, de mesurer l’écart entre les savoirs, savoir-faire et savoir-être des apprenant·es à un instant T et un attendu de référence. Cette évaluation ne doit pas être confondue avec l’évaluation de satisfaction des apprenant·es, ni avec l’évaluation des changements de pratique observés en situation de travail après la formation, aussi appelée « évaluation de transfert des acquis ».  

Pourquoi évaluer les apprentissages ?

Pour les formateurs ou les formatrices, l’évaluation des apprentissages permet de :  

  • S’assurer que les apprenant·es ont les prérequis pour suivre efficacement la formation  
  • Connaître les éventuelles différences de niveaux entre apprenant·es, en lien avec les objectifs pédagogiques, pour prévoir des modalités de travail de groupe adaptées  
  • Repérer les difficultés des apprenant·es et réajuster les contenus et méthodes pédagogiques pendant la formation ou réviser le dispositif de formation pour une session ultérieure  

Pour les apprenant·es, elle permet de :  

  • Se situer par rapport aux objectifs pédagogiques en amont et pouvoir choisir le parcours de formation le plus adapté  
  • Prendre conscience de sa progression pendant la formation et se sentir sécurisé·e  
  • Ajuster ses stratégies d’apprentissage en fonction de sa progression (ex : poser des questions aux formateurs, aux formatrices ou aux autres apprenant·es, consulter des ressources complémentaires, etc.)  
  • Faire valoir ses acquis auprès d’un employeur  

L’évaluation des apprentissages constitue également une obligation réglementaire dans le cadre de la réalisation d’actions de formation professionnelle. Cette évaluation figure notamment au référentiel de la certification qualité des organismes de formation (certification Qualiopi), qui requiert la mise en place de modalités d’évaluation des acquis adaptées aux objectifs de la formation (indicateur 11 du référentiel).  

Les différents types d’évaluation des apprentissages

On distinguera trois types d’évaluation des apprentissages. Elles ont des objectifs spécifiques et sont mises en œuvre à des moments différents de la formation.

@PromotionSantéARA
Promotion Santé ARA

L’évaluation formative a un but pédagogique : elle sert à mieux piloter la formation et, pour les apprenant·es, à mieux réguler leurs apprentissages.  

L’évaluation sommative, quant à elle, a pour objectif de témoigner des acquis de fin de formation. Son résultat pourra figurer sur l’attestation de fin de formation professionnelle (ou le certificat de réalisation), afin d’être communiqué aux apprenant·es et à leurs employeurs. L’évaluation sommative n’a pas vocation à améliorer le processus d’apprentissage, même si elle permet aux apprenant·es de prendre des décisions en lien avec la suite de leur parcours de formation comme choisir de suivre une autre formation. 

Les différentes formes d’évaluation des apprentissages

L’évaluation des apprentissages peut être réalisée par le formateur, la formatrice, les participant·es ou conjointement. Quatre formes d’évaluation des apprentissages peuvent être identifiées (GIP-FAR, 2019) :   

  • L’autoévaluation : l’apprenant évalue individuellement ses propres productions, au regard des objectifs pédagogiques. L’apprenant doit donc bien saisir les objectifs et les critères d’évaluation.  
  • L’évaluation par les pairs : les apprenant·es évaluent réciproquement ou mutuellement en binômes ou en petits groupes leurs apprentissages. Elle invite les apprenant·es à « croiser les regards » et favorise l’appropriation mutuelle des critères et des objectifs pédagogiques.  
  • La co-évaluation : elle croise l’autoévaluation ou l’évaluation par les pairs, et le regard du formateur ou de la formatrice sur les apprentissages des apprenant·es. Elle permet de responsabiliser les apprenant·es et favorise la prise de conscience de leurs apprentissages.  
  • L’évaluation experte : le formateur évalue seul les productions des apprenant·es. Cette évaluation est celle qui permet le moins aux apprenant·es de s’approprier les critères d’évaluation et donc d’apprendre à évaluer eux-mêmes leurs actions. Elle nécessite une explication des résultats par le formateur ou la formatrice.  

Différentes méthodes pourront être utilisées en fonction du type d’objectif pédagogique à évaluer (voir Boîte à outils : Répertoire des activités pour évaluer une formation).

Retour à l’étape « Evaluer la formation »

2 – Évaluer les réactions 

De quoi s’agit-il ? 

Il s’agit d’apprécier la façon dont les apprenant·es répondent à la formation, sans en mesurer les effets. Les réactions évaluables comprennent la satisfaction, l’engagement ou le sentiment de pertinence de la formation par rapport à leurs besoins. L’évaluation sert à ajuster ou à améliorer le déroulé pédagogique et la logistique (contenus, méthodes pédagogiques, rythme, durée, conditions d’accueil…) dans le but de favoriser la motivation, l’engagement et l’attention du groupe et de renforcer l’intérêt de la formation.  De nombreuses dimensions peuvent être évaluées (voir Boîte à outils : Répertoire d’activités pour évaluer une formation).

Les outils pour passer à la pratique :
OUTIL 9. Liste de critères d’observation en formation 

Comment évaluer les réactions ? 

II existe de nombreuses méthodes de collecte des réactions des apprenant·es. Les plus courantes pour les formations courtes restent le questionnaire individuel et le recueil à l’oral par des techniques d’animation.  Le suivi de l’assiduité des apprenant·es, notamment le nombre d’absences injustifiées ou d’abandons en cours de formation, peuvent utilement compléter les données recueillies directement auprès des apprenant·es.

Le questionnaire écrit individuel

Ce type de questionnaire est très fréquemment utilisé par les organismes de formation et tend à se systématiser depuis l’introduction des référentiels qualité. Anonyme ou non, il inclut le plus souvent des questions fermées et des questions ouvertes permettant par exemple de préciser les points forts et les points faibles de la formation.
Exemples de questions à réponses fermées (très satisfait·e ; satisfait·e ; peu satisfait·e ; pas satisfait·e du tout) : De manière générale, êtes-vous satisfait·e de la formation à laquelle vous venez de participer ? Etes-vous satisfait·e de l’animation de la formation ? Etes-vous satisfait·e des échanges entre les participant·es ? Etes-vous satisfait·e de l’ambiance dans le groupe ? Etes-vous satisfait·e des compétences de transmission des formateurs et formatrices ? Etes-vous satisfait·e des apports théoriques transmis ? 

Les techniques d’animation

De nombreuses techniques peuvent être utilisées pour collecter les réactions des participant·es en fin de journée ou à l’issue de la formation. 

Les retours des formateurs et des formatrices

Des entretiens peuvent être réalisés par le responsable pédagogique de l’organisme de formation auprès des formateurs ou des formatrices. Il peut aussi simplement s’agir d’un bilan des formateurs et formatrices sur la base de leurs ressentis et des retours des apprenant·es. Un bilan écrit permet de garder une trace des améliorations à mettre en place pour les formations suivantes et peut éventuellement être transmis aux commanditaires de la formation. Le bilan peut aborder les thèmes suivants :  

  • Nombre et profils des apprenant·es  
  • Assiduité (nombre d’heures suivies/nombre d’heures prévues)  
  • Attentes initiales des apprenant·es  
  • Déroulé de la formation, adaptations par rapport au déroulé prévu  
  • Dynamique de groupe  
  • Résultats en termes de montée en compétences, satisfaction des apprenant·es  
  • Points forts, points faibles, aléas éventuels et mesures prises pour les résoudre  
  • Les améliorations possibles : recontacter l’équipe de formation pour répondre à leurs questions ou bénéficier d’un accompagnement méthodologique ; mettre à disposition des ressources complémentaires (bibliographie, articles, livres, vidéos, outils). Il est également possible de créer un espace partagé en ligne pour que les participant·es ajoutent leurs propres ressources ; proposer des journées d’échange de pratiques à distance pour permettre aux participant·es de partager leurs retours d’expériences avec d’autres participant·es sur ce qu’ils et elles ont mis en place à partir des apports de connaissances.  

Retour à l’étape « Evaluer la formation »

1 – Les quatre niveaux d’évaluation

Le modèle Kirkpatrick (1967) identifie quatre niveaux pour évaluer une formation.

Comment et quand réaliser l’évaluation ?

Le dispositif d’évaluation doit être pensé dès la conception de la formation. Dans le cadre de la formation professionnelle régie par la certification Qualiopi, il s’agit même d’une obligation réglementaire. L’évaluation peut porter sur une action de formation, sur un parcours ou sur l’ensemble de l’offre de formation d’une structure.

Avant la formation

Il est essentiel de définir des critères d’évaluation de la formation en fonction de vos différents objectifs pédagogiques (voir étape 2.1 : Définir des objectifs). De même, il est important de mesurer le niveau de compétence et de connaissance des apprenant·es en amont de la formation afin de pouvoir mesurer l’évolution après la formation, à travers un questionnaire ou un entretien par exemple.

Pendant la formation

Il est fondamental de valider régulièrement les acquis sous forme de feedback et d’observer la dynamique d’apprentissage pour ajuster la progression pédagogique et sa posture.
À la fin de la formation, il est important de mesurer le niveau de satisfaction et la perception de montée en compétences du groupe (voir Boîte à outils : Répertoire d’activités pour évaluer une formation).

Après la formation

Dans les jours qui suivent la formation, les apprenant·es peuvent être interrogé·es à chaud sur leur niveau de satisfaction et leur perception de montée en compétences. L’équipe de formation peut également faire un premier bilan pour échanger sur leurs réactions, identifier des pistes d’amélioration de la formation et prendre un temps plus réflexif sur l’expérience d’animation de la formation et ce qu’ils et elles en ont appris.
Plusieurs semaines ou mois après la formation, une deuxième évaluation permet d’aborder les résultats à plus long terme de la formation, notamment l’application des apprentissages dans le travail des participant·es, ce qui correspond au niveau des « comportements » du modèle précédent, et ce que ces changements de pratique ont pu produire sur la structure et ses actions, sur le territoire, comme l’émergence de nouveaux partenariats avec d’autres acteurs du territoire, et sur les publics finaux. Il est possible par exemple de se demander si les publics finaux sont-ils plus satisfaits des actions d’éducation pour la santé proposée par l’apprenant·e.

Qui solliciter ? 

Toutes les parties prenantes peuvent être sollicitées pour évaluer de manière exhaustive ces quatre niveaux d’apprentissage (réactions, apprentissages, pratiques, effets) :  

  • Les participant·es  
  • Les formateurs, les formatrices et tout·e autre intervenant·e 
  • Les employeurs des participant·es ou d’autres commanditaires de la formation  
  • Les partenaires ou les prestataires techniques et logistiques (structures relais sur un territoire, bailleurs de salles, traiteurs…)  
  • Les financeurs 
  • Les équipes administratives et pédagogiques de l’organisme de formation (référent·es pédagogiques, responsables finances, assistant·es administratif et administratives…)  
  • Une structure d’évaluation externe ou une équipe de recherche universitaire 

Retour à l’étape « Evaluer la formation »