1. L’analyse de documents Il peut s’agir de documents créés dans le cadre de l’action (par exemple, le document de projet remis au financeur, un bilan d’activités, des comptes-rendus de réunions…), ou de documents publiés ou non publiés (par exemple, … Continuer la lecture
Archives mensuelles : août 2019
2 – Deux exemples
Galerie
Exemple 1 Question d’évaluation sur le processus :Dans quelle mesure la communauté éducative s’est impliquée dans l’action ? Critères Indicateurs Sources de données Implication des professionnels de l’établissement dans les différents groupes de travail Nombre et typologie des professionnels participant aux … Continuer la lecture
3 – Organiser le temps de l’évaluation
Galerie
Une fois les critères, les indicateurs et les méthodes définis ainsi que les sources de données répertoriées, il faut organiser l’évaluation, c’est-à-dire prévoir son déroulement. Il est nécessaire de : Concernant le calendrier, il faut être vigilant aux dates du recueil … Continuer la lecture
1 – L’enquête qualitative
Galerie
Les enquêtes qualitatives s’appuient la plupart du temps sur des entretiens individuels ou de groupe. Elles sont généralement adaptées pour un recueil des représentations et des pratiques. Elles permettent d’obtenir des réponses, argumentées, détaillées, et facilitent l’analyse de problèmes complexes. … Continuer la lecture
2 – L’enquête quantitative
Les enquêtes quantitatives pour avoir du sens doivent être :
- Exhaustives (tous les bénéficiaires de l’action)
- Ou représentatives (l’échantillon de personnes enquêtées doit ressembler le plus possible à la population qui a bénéficié de l’action, les échantillons scientifiquement représentatifs étant complexes à construire).
Elles permettent de dégager des points de vue dominants. Elles sont généralement utilisées pour découvrir des fréquences de comportements, d’attitudes, de savoirs, de croyances…
Elles sont basées sur un questionnaire identique pour tous, qui se compose principalement de questions fermées (dont les réponses sont déjà prévues) dont :
- Des questions numériques (ex. âge),
- Des questions catégorielles (ex. homme/femme),
- Des questions binaires (ex. Oui/Non),
- Des questions à choix multiples (ex. Quels sont les risques liés au tabagisme ? Cancer, AVC, BPCO…),
- Des questions à échelle (ex. satisfaction : Très, assez, Peu, pas du tout ou sur une échelle de 1 à 5),
- Des questions ordinales (classez par ordre d’importance les risques liés au tabac, le 1 étant le risque le plus important).
Le questionnaire peut aussi comporter quelques questions ouvertes où les répondants peuvent rédiger plusieurs phrases (ex : les points forts et les points faibles d’une intervention), ce qui implique un temps de traitement de la question plus long que le traitement d’une question fermée.
Différentes modalités de passation du questionnaire sont possibles :
- Questionnaire face à face
- Questionnaire téléphonique
- Questionnaire auto-administré sur papier ou en ligne (l’enquêté remplit seul le questionnaire)
Dans un questionnaire, les questions sont directement formulées à partir des indicateurs définis dans la phase précédente. Il est possible de reprendre quelques questions des enquêtes de référence pour effectuer des comparaisons. Il est également possible de s’appuyer sur des questionnaires existants et/ou validés tels que le profil de santé de Duke ou l’indicateur de santé perceptuelle de Nottingham. Pour construire un questionnaire, il est préférable d’utiliser des mots simples et non ambigus, de formuler des questions affirmatives (sans négation) et de vérifier qu’il n’y a qu’une seule question par énoncé. Enfin, il est recommandé de tester le questionnaire auprès de quelques personnes du groupe à interroger avant la passation générale.
Exemple
Un questionnaire analysant la satisfaction en fin de formation et l’intention de changer sa pratique professionnelle
| Critères / Indicateurs | Questionnaire |
| Caractéristiques des répondants (sexe, ancienneté) | 1. Vous êtes : une femme / un homme 2. Votre ancienneté dans l’établissement ? : /_/_/ ans ou classes prédéfinies : – de 2 ans / 2-5 ans] / 6-10 ans / + de 10 ans |
| Satisfaction générale / Taux de satisfaction | 3. Etes-vous satisfait de la formation que vous avez suivie ? : tout à fait satisfait / plutôt satisfait / plutôt pas satisfait / pas satisfait du tout |
| Satisfaction animation / Moyenne | 4. Evaluez la qualité de l’animation de la formation sur une échelle de 0 à 5, sachant que 0 signifie qu’elle n’était pas du tout satisfaisante et 5 tout à fait satisfaisante : 0 / 1 / 2 / 3 / 4 / 5 |
| Intention modification de pratique / Taux d’intention et Types de modification | 5. Suite à cette formation, allez-vous modifier votre pratique professionnelle ? : Oui, c’est certain / oui, peut-être / non / je ne sais pas Si oui, comment ? : …….. |
1 – L’analyse de données qualitatives
Galerie
L’exploitation des résultats dans le cadre d’entretiens fait appel à l’analyse de contenu. La description et l’analyse des données sont présentées conjointement. L’analyse se fait à partir de la prise de note réalisée pendant l’entretien ou, si les entretiens ont … Continuer la lecture
2 – L’analyse de données quantitatives
L’analyse commence après la saisie informatique des réponses obtenues. La saisie et le traitement statistique des données se font sur des logiciels adaptés, tels que Framaforms (logiciel libre en ligne pour une analyse simple) ou sur un tableur de type Excel (ou équivalent en logiciel libre).
L’analyse statistique commence par l’examen de toutes les variables ou « tri à plat » (par exemple le % de femmes qui ont répondu à l’enquête, le % d’enquêtés très satisfaits par la formation…).
Une analyse plus poussée peut être faite en étudiant les relations entre variables deux à deux : c’est le « tri croisé », par exemple la répartition des personnes satisfaites de l’action par âge.
Les résultats les plus importants peuvent être présentés sous forme de graphiques qui ont plusieurs intérêts : la concision et la synthèse de données dont la description serait longue et fastidieuse.
On retient deux types de graphiques :
Les graphiques de variations (courbe, histogramme). Ils représentent les évolutions dans le temps d’un phénomène.
Ex. Evolution des effectifs dans le temps avant et après l’action.
Les graphiques de structures (diagramme, camembert). Ils représentent à un instant donné, la répartition des variables d’un même phénomène.
Ex. répartition des effectifs par statut.
Pour rappel, les graphiques doivent avoir un titre et une légende. Il est important d’indiquer l’effectif (n=…)
Exemple
35 professionnels ont répondu au questionnaire de fin de formation.
Parmi eux, 21 femmes et 14 hommes.
On constate que c’est une équipe globalement ancienne car la moitié est dans l’établissement depuis plus de 10 ans.
Globalement les participants à la formation estiment qu’ils vont modifier leur pratique.
Attention à être prudent dans l’interprétation des réponses, notamment sur la relation de cause à effet.
Pour cette analyse des données quantitatives, il faut d’abord présenter la description pure, puis faire apparaître les hypothèses d’analyse et de compréhension des réponses. La présentation peut alors se faire en présentant les données critère par critère, ce qui permet éventuellement de croiser les sources de données mobilisées pour un même critère. Il s’agit d’identifier les grandes tendances, de croiser les regards (au sein du comité d’évaluation, ou sollicitation d’un expert) et de comparer les données entre elles (issues de questionnaires et d’entretiens) ou à d’autres enquêtes. Dans certains cas il est intéressant de croiser des données qualitatives et quantitatives qui sont complémentaires. Il est parfois nécessaire de réaliser une collecte de données complémentaires pour affiner les données existantes.
1 – Formuler des recommandations
Les recommandations qui découlent des conclusions mettent en exergue des points forts à conforter, des lacunes à combler ou des orientations nouvelles à suivre. Ces recommandations doivent permettre d’améliorer l’action et de la réorienter si nécessaire.
Elles s’appuient aussi sur le point de vue d’acteurs et d’experts à travers le comité d’évaluation, et sur des données issues d’expériences reconnues. Les recommandations doivent être réalistes et pouvoir être suivies dans le temps.
La prise en compte des recommandations
C’est le but de l’évaluation. Elle prouve son utilité. Voici quelques suggestions pour la faciliter :
- Les recommandations doivent être susceptibles d’améliorer l’action étudiée.
- Elles doivent être opérationnelles, réalistes et ciblées ; elles doivent tenir compte des contraintes, de l’organisme qui porte l’action et des personnes qui le mettent en œuvre.
- Elles doivent être explicites sur la démarche proposée et décrire les coûts et les ressources nécessaires à leur prise en compte.
- Elles sont formulées avec les membres du comité d’évaluation s’il en existe un.
- Il est utile de maintenir un suivi des recommandations, dans le temps, par l’intermédiaire du comité d’évaluation.
Attention à ce que les résultats d’évaluation et les recommandations n’arrivent pas après la prise de décisions qui déterminent le pilotage de l’action et l’avenir du projet.
Exemples de recommandations :
Considérant que les phénomènes de violence touchent surtout les collégiens de 4ème et 3ème, mettre en place un système de parrainage pour les 6èmes par les classes de 4ème et 3ème pour favoriser l’entraide entre élèves. Pour une meilleure appropriation de la formation par la communauté éducative, compléter les temps de formation par des temps de co-animation d’ateliers auprès des collégiens et des temps d’échanges de pratiques.
Retour à l’étape « Elaborer des recommandations et rédiger le rapport »
2 – Rédiger le rapport : quelques conseils
- La rédaction du rapport d’évaluation doit être soignée car de la qualité du rapport dépend en partie l’utilisation qui en sera faite.
- Le rapport doit être compréhensible par n’importe quel lecteur. Evitez le jargon technique et explicitez les sigles.
Le contenu du rapport d’évaluation : plan type
Résumé
1/ DESCRIPTION DE L’ACTION
1.1 Diagnostic de situation, contexte de départ de l’action
1.2 Le cadre logique
2/ CONTEXTE ET QUESTION(S) D’EVALUATION
2.1 Le contexte de l’évaluation, son commanditaire
2.2 La (les) question(s) d’évaluation
3/ METHODES D’EVALUATION
3.1 Présentation de la démarche
3.2 Les critères
3.3 Les indicateurs et les sources de données
4/ RESULTATS ET ANALYSE :
4.1 Résultats, graphiques, tableaux, cartographie, commentaires, etc.
4.2 Discussion : mettre en lumière les résultats les plus importants et les plus significatifs
5/ CONCLUSIONS ET RECOMMANDATIONS
5.1 Conclusions
5.2 Recommandations
ANNEXES
Questionnaire / grille d’entretien
Bibliographie, etc.
Retour à l’étape « Elaborer des recommandations et rédiger le rapport »
1 – Les préalables
Galerie
Etes-vous dans de bonnes conditions pour évaluer ? Voici trois questions préparatoires qu’on peut se poser avant d’entreprendre une évaluation, pour s’assurer qu’elle est pertinente et réalisable. 1. Y a-t-il une ouverture au changement ? Il est préférable qu’il y ait une … Continuer la lecture