Une fois les critères, les indicateurs et les méthodes définis ainsi que les sources de données répertoriées, il faut organiser l’évaluation, c’est-à-dire prévoir son déroulement. Il est nécessaire de : Concernant le calendrier, il faut être vigilant aux dates du recueil … Continuer la lecture
Archives de catégorie : Etapes
1 – L’enquête qualitative
Galerie
Les enquêtes qualitatives s’appuient la plupart du temps sur des entretiens individuels ou de groupe. Elles sont généralement adaptées pour un recueil des représentations et des pratiques. Elles permettent d’obtenir des réponses, argumentées, détaillées, et facilitent l’analyse de problèmes complexes. … Continuer la lecture
2 – L’enquête quantitative
Les enquêtes quantitatives pour avoir du sens doivent être :
- Exhaustives (tous les bénéficiaires de l’action)
- Ou représentatives (l’échantillon de personnes enquêtées doit ressembler le plus possible à la population qui a bénéficié de l’action, les échantillons scientifiquement représentatifs étant complexes à construire).
Elles permettent de dégager des points de vue dominants. Elles sont généralement utilisées pour découvrir des fréquences de comportements, d’attitudes, de savoirs, de croyances…
Elles sont basées sur un questionnaire identique pour tous, qui se compose principalement de questions fermées (dont les réponses sont déjà prévues) dont :
- Des questions numériques (ex. âge),
- Des questions catégorielles (ex. homme/femme),
- Des questions binaires (ex. Oui/Non),
- Des questions à choix multiples (ex. Quels sont les risques liés au tabagisme ? Cancer, AVC, BPCO…),
- Des questions à échelle (ex. satisfaction : Très, assez, Peu, pas du tout ou sur une échelle de 1 à 5),
- Des questions ordinales (classez par ordre d’importance les risques liés au tabac, le 1 étant le risque le plus important).
Le questionnaire peut aussi comporter quelques questions ouvertes où les répondants peuvent rédiger plusieurs phrases (ex : les points forts et les points faibles d’une intervention), ce qui implique un temps de traitement de la question plus long que le traitement d’une question fermée.
Différentes modalités de passation du questionnaire sont possibles :
- Questionnaire face à face
- Questionnaire téléphonique
- Questionnaire auto-administré sur papier ou en ligne (l’enquêté remplit seul le questionnaire)
Dans un questionnaire, les questions sont directement formulées à partir des indicateurs définis dans la phase précédente. Il est possible de reprendre quelques questions des enquêtes de référence pour effectuer des comparaisons. Il est également possible de s’appuyer sur des questionnaires existants et/ou validés tels que le profil de santé de Duke ou l’indicateur de santé perceptuelle de Nottingham. Pour construire un questionnaire, il est préférable d’utiliser des mots simples et non ambigus, de formuler des questions affirmatives (sans négation) et de vérifier qu’il n’y a qu’une seule question par énoncé. Enfin, il est recommandé de tester le questionnaire auprès de quelques personnes du groupe à interroger avant la passation générale.
Exemple
Un questionnaire analysant la satisfaction en fin de formation et l’intention de changer sa pratique professionnelle
| Critères / Indicateurs | Questionnaire |
| Caractéristiques des répondants (sexe, ancienneté) | 1. Vous êtes : une femme / un homme 2. Votre ancienneté dans l’établissement ? : /_/_/ ans ou classes prédéfinies : – de 2 ans / 2-5 ans] / 6-10 ans / + de 10 ans |
| Satisfaction générale / Taux de satisfaction | 3. Etes-vous satisfait de la formation que vous avez suivie ? : tout à fait satisfait / plutôt satisfait / plutôt pas satisfait / pas satisfait du tout |
| Satisfaction animation / Moyenne | 4. Evaluez la qualité de l’animation de la formation sur une échelle de 0 à 5, sachant que 0 signifie qu’elle n’était pas du tout satisfaisante et 5 tout à fait satisfaisante : 0 / 1 / 2 / 3 / 4 / 5 |
| Intention modification de pratique / Taux d’intention et Types de modification | 5. Suite à cette formation, allez-vous modifier votre pratique professionnelle ? : Oui, c’est certain / oui, peut-être / non / je ne sais pas Si oui, comment ? : …….. |
3 – Les techniques ludiques de recueil de données
Galerie
Dans certains cas, les populations cibles peuvent être freinées par des enquêtes très formelles comme le questionnaire. Il peut être alors pertinent d’utiliser des outils de recueil de données plus ludiques qui peuvent en outre prendre moins de temps. Cela … Continuer la lecture
1 – L’analyse de données qualitatives
Galerie
L’exploitation des résultats dans le cadre d’entretiens fait appel à l’analyse de contenu. La description et l’analyse des données sont présentées conjointement. L’analyse se fait à partir de la prise de note réalisée pendant l’entretien ou, si les entretiens ont … Continuer la lecture
2 – L’analyse de données quantitatives
L’analyse commence après la saisie informatique des réponses obtenues. La saisie et le traitement statistique des données se font sur des logiciels adaptés, tels que Framaforms (logiciel libre en ligne pour une analyse simple) ou sur un tableur de type Excel (ou équivalent en logiciel libre).
L’analyse statistique commence par l’examen de toutes les variables ou « tri à plat » (par exemple le % de femmes qui ont répondu à l’enquête, le % d’enquêtés très satisfaits par la formation…).
Une analyse plus poussée peut être faite en étudiant les relations entre variables deux à deux : c’est le « tri croisé », par exemple la répartition des personnes satisfaites de l’action par âge.
Les résultats les plus importants peuvent être présentés sous forme de graphiques qui ont plusieurs intérêts : la concision et la synthèse de données dont la description serait longue et fastidieuse.
On retient deux types de graphiques :
Les graphiques de variations (courbe, histogramme). Ils représentent les évolutions dans le temps d’un phénomène.
Ex. Evolution des effectifs dans le temps avant et après l’action.
Les graphiques de structures (diagramme, camembert). Ils représentent à un instant donné, la répartition des variables d’un même phénomène.
Ex. répartition des effectifs par statut.
Pour rappel, les graphiques doivent avoir un titre et une légende. Il est important d’indiquer l’effectif (n=…)
Exemple
35 professionnels ont répondu au questionnaire de fin de formation.
Parmi eux, 21 femmes et 14 hommes.
On constate que c’est une équipe globalement ancienne car la moitié est dans l’établissement depuis plus de 10 ans.
Globalement les participants à la formation estiment qu’ils vont modifier leur pratique.
Attention à être prudent dans l’interprétation des réponses, notamment sur la relation de cause à effet.
Pour cette analyse des données quantitatives, il faut d’abord présenter la description pure, puis faire apparaître les hypothèses d’analyse et de compréhension des réponses. La présentation peut alors se faire en présentant les données critère par critère, ce qui permet éventuellement de croiser les sources de données mobilisées pour un même critère. Il s’agit d’identifier les grandes tendances, de croiser les regards (au sein du comité d’évaluation, ou sollicitation d’un expert) et de comparer les données entre elles (issues de questionnaires et d’entretiens) ou à d’autres enquêtes. Dans certains cas il est intéressant de croiser des données qualitatives et quantitatives qui sont complémentaires. Il est parfois nécessaire de réaliser une collecte de données complémentaires pour affiner les données existantes.
1 – Formuler des recommandations
Les recommandations qui découlent des conclusions mettent en exergue des points forts à conforter, des lacunes à combler ou des orientations nouvelles à suivre. Ces recommandations doivent permettre d’améliorer l’action et de la réorienter si nécessaire.
Elles s’appuient aussi sur le point de vue d’acteurs et d’experts à travers le comité d’évaluation, et sur des données issues d’expériences reconnues. Les recommandations doivent être réalistes et pouvoir être suivies dans le temps.
La prise en compte des recommandations
C’est le but de l’évaluation. Elle prouve son utilité. Voici quelques suggestions pour la faciliter :
- Les recommandations doivent être susceptibles d’améliorer l’action étudiée.
- Elles doivent être opérationnelles, réalistes et ciblées ; elles doivent tenir compte des contraintes, de l’organisme qui porte l’action et des personnes qui le mettent en œuvre.
- Elles doivent être explicites sur la démarche proposée et décrire les coûts et les ressources nécessaires à leur prise en compte.
- Elles sont formulées avec les membres du comité d’évaluation s’il en existe un.
- Il est utile de maintenir un suivi des recommandations, dans le temps, par l’intermédiaire du comité d’évaluation.
Attention à ce que les résultats d’évaluation et les recommandations n’arrivent pas après la prise de décisions qui déterminent le pilotage de l’action et l’avenir du projet.
Exemples de recommandations :
Considérant que les phénomènes de violence touchent surtout les collégiens de 4ème et 3ème, mettre en place un système de parrainage pour les 6èmes par les classes de 4ème et 3ème pour favoriser l’entraide entre élèves. Pour une meilleure appropriation de la formation par la communauté éducative, compléter les temps de formation par des temps de co-animation d’ateliers auprès des collégiens et des temps d’échanges de pratiques.
Retour à l’étape « Elaborer des recommandations et rédiger le rapport »
2 – Rédiger le rapport : quelques conseils
- La rédaction du rapport d’évaluation doit être soignée car de la qualité du rapport dépend en partie l’utilisation qui en sera faite.
- Le rapport doit être compréhensible par n’importe quel lecteur. Evitez le jargon technique et explicitez les sigles.
Le contenu du rapport d’évaluation : plan type
Résumé
1/ DESCRIPTION DE L’ACTION
1.1 Diagnostic de situation, contexte de départ de l’action
1.2 Le cadre logique
2/ CONTEXTE ET QUESTION(S) D’EVALUATION
2.1 Le contexte de l’évaluation, son commanditaire
2.2 La (les) question(s) d’évaluation
3/ METHODES D’EVALUATION
3.1 Présentation de la démarche
3.2 Les critères
3.3 Les indicateurs et les sources de données
4/ RESULTATS ET ANALYSE :
4.1 Résultats, graphiques, tableaux, cartographie, commentaires, etc.
4.2 Discussion : mettre en lumière les résultats les plus importants et les plus significatifs
5/ CONCLUSIONS ET RECOMMANDATIONS
5.1 Conclusions
5.2 Recommandations
ANNEXES
Questionnaire / grille d’entretien
Bibliographie, etc.
Retour à l’étape « Elaborer des recommandations et rédiger le rapport »
3 – Elaborer un rapport provisoire
Galerie
Une première version du rapport d’évaluation doit être soumise au comité d’évaluation pour poursuivre la démarche participative. Les membres du comité d’évaluation sont invités à lire, questionner et amender si nécessaire ce rapport. À la suite de cette consultation et … Continuer la lecture
5 – Créer ou modifier des outils de suivi
Galerie
Pour pouvoir réaliser une évaluation, il est facilitant de se doter, dès le début de l’action d’outils permettant de décrire et de suivre les activités. Ces outils, complétés par d’autres informations rassemblent la matière première qui nourrira l’évaluation. Les outils … Continuer la lecture