Session 4 - CONCEVOIR ET METTRE EN OEUVRE LE SUIVI ET L’EVALUATION DES PROJETS DE SOLIDARITE INTERNATIONALE

Objectifs de cette session :

• Être capable de construire un dispositif de suivi « sur mesure » permettant de mettre en œuvre efficacement vos projets,

• Être capable de concevoir et de mettre en œuvre une démarche rigoureuse et efficace d’autoévaluation de vos projets.

– 
Suivre un projet de développement
Le suivi s’intègre au projet dès sa conception, il peut-être :

Le suivi sert à réaliser des ajustements pour éviter les écarts et pallier les risques de dérives
– 
Qu’est ce que le suivi-évaluation d’un projet de développement ?

Un dispositif de suivi aide au pilotage d’un projet…

Le suivi-évaluation consiste à recueillir des données sur l’état d’avancement du projet, puis à les analyser régulièrement afin d’en tirer des conclusions en termes de pilotage du projet : dans quelle mesure est-on en capacité d’atteindre les objectifs assignés au projet ? Y a-t-il lieu de modifier certaines activités ? Éventuellement, faut-il réorienter certains aspects du projet ?

… tout au long de son exécution

Conçu durant la phase de planification, le suivi-évaluation est utilisé de manière continue durant toute la phase de mise en œuvre du projet.

… à l’aide d’indicateurs et d’outils.

Le suivi-évaluation d’un projet s’appuie notamment sur des indicateurs à renseigner tout au long du projet, à la fois qualitatifs et quantitatifs.

Ces indicateurs sont valorisés par le biais d’outils de collecte (tableaux pour centraliser les données recueillies) et d’aide à la décision (tableaux de bord et notes de synthèse donnant une vision analytique des données recueillies).

Pourquoi faire du suivi-évaluation ?

Pour améliorer le pilotage et l’efficacité des projets :

• Prendre des décisions suite à des difficultés rencontrées
• Mettre en œuvre de nouvelles activités pour être sûr d’atteindre les objectifs
• Revoir certains objectifs trop ambitieux à la baisse
• Faciliter la prise de décisions multi-acteurs sur des bases objectives

Pour avoir une compréhension du projet partagée par tous les acteurs :

• Se pencher sur le contenu d’un projet et le concrétiser via les activités de celui-ci
• Amener les parties prenantes à parler le même langage, tant sur les objectifs visés par le projet que sur ce à quoi il aboutit réellement
• Il permet de partager et d’analyse de concert les réussites et les échecs

Pour rendre compte et communiquer :

• Le suivi permet de communiquer auprès des partenaires et de rendre compte de façon objective de l’état d’avancement du projet et des résultats obtenus
• Il permet de négocier avec les partenaires d’une évolution des objectifs

Pour capitaliser et apprendre. Le suivi permet de tirer des enseignements, à la fois en termes :

• de gestion de projet (ex. : il peut permettre ultérieurement de dimensionner un projet de façon plus réaliste)
• et de connaissance sur le secteur d’intervention (ex. : mieux connaître un portefeuille de projets ; agréger des données…).

Concevoir et mettre en œuvre un dispositif de suivi

Pour pouvoir être correctement intégré au montage du projet, le
dispositif doit être :

• léger : il ne doit pas exiger trop de temps ou d’investissement
  (financier ou humain)
• concerté : il doit être conduit avec la participation de tous
• ciblé : il s’agira de choisir très clairement les informations qu’il faut connaitre et suivre et de déterminer les indicateurs significatifs dont le nombre sera volontairement limité.

– 
Étapes de la conception et de la mise en œuvre d’un dispositif de suivi

Concevoir un dispositif de suivi :

Étape 1 : Identifier à qui servira le suivi et sur quoi il portera
A quoi servira le suivi ?

Étape 2 : Définir les indicateurs de mesure du suivi

2.1 Qu’est-ce qu’un indicateur ?

Un indicateur est une information caractérisant la « performance » d’une action. Il donne une valeur (qualitative ou quantitative) permettant d’apprécier la « performance » en fonction d’un critère de jugement.

Un indicateur de suivi renverra fréquemment à des échelles de progression, permettant d’apprécier la performance tout au long de la mise en œuvre du projet.
Exemple : le taux de couverture du service d’eau potable sera d’au moins 35 % de la population la 1^re année, 60 % la 2^e année et 95 % à la fin de la 3^e année.

Il peut aussi s’agir d’une valeur unique, valable à un moment donné.

Exemple : l’ouvrage réalisé a-t-il été réceptionné par les services techniques de la commune ? (oui/non)

Enfin, un indicateur peut être quantitatif (c’est-à-dire chiffré : un nombre, un pourcentage) ou qualitatif (c’est alors une appréciation du type : oui/non, un peu/beaucoup/pas du tout, etc.).

2.2 Pour chaque résultat intermédiaire, définir un ou plusieurs indicateurs

Dans la mesure du possible, un indicateur quantitatif doit permettre de répondre à plusieurs questions :

• quantité : combien ?
• qualité : quoi ?
• groupe cible : qui ?
• localisation : où ?
• période : à partir de quand et en combien de temps ?

Un indicateur qualitatif doit donner des échelles de valeur aussi objectives que possible. Ceci implique de caractériser les différentes réponses possibles.

Par exemple, pour mesurer la capacité de gestion du comité de gestion d’une coopérative :

• « bonnes capacités de gestion » = sortie d’un compte d’exploitation ;
• « capacités de gestion moyennes » = tenue d’un cahier de caisse, mais rien de plus ;
• « capacités de gestion insuffisantes » = pas de cahier du tout.

2.3 Vérifier si la liste d’indicateurs ainsi obtenue est réaliste

La tentation récurrente est de définir un grand nombre d’indicateurs, avec l’espoir de tout maîtriser.
Cela n’est pas réaliste : on n’aura pas les moyens de les suivre tous (penser au recueil de données, puis à leur traitement…). Il faut donc savoir se contenter d’un nombre limité d’indicateurs, portant sur les points qu’il semble essentiel de suivre.

Tout dépend des moyens de chaque projet et du type d’indicateurs, mais dans bien des cas, une douzaine d’indicateurs constituera un maximum à ne pas dépasser. Le cas échéant, il convient de revoir ses ambitions à la baisse en réduisant le nombre de questions de suivi précédemment définies.

2.4 Préciser les caractéristiques de chaque indicateur retenu

Les caractéristiques de chaque indicateur doivent ensuite être précisées : définition précise, valeurs ciblées, modalités de mesure, etc.

Étape 3 : Déterminer les activités complémentaires potentiellement nécessaires

Les indicateurs retenus sont-ils suffisants pour permettre de guider le pilotage du projet ? N’y a-t-il pas lieu de compléter les informations fournies par ces indicateurs ?

Dans un certain nombre de cas, on sera amené à prévoir des activités complémentaires, pour affiner l’analyse. Il pourra s’agir :

• d’une évaluation à mi-parcours (évaluation externe, a priori),
• d’une enquête de satisfaction (ex. : pour apprécier la satisfaction des usagers d’un service à l’échelle d’un quartier à un instant donné),
• d’une étude de cas sur un sujet spécifique (ex. : pour documenter et aider à mieux comprendre les tenants et aboutissants liés au foncier dans un village),
• de réunions de réflexion collective (type « focus group »)…

Là encore, il convient d’être réaliste quant aux moyens nécessaires pour mener ces activités, et d’opérer un arbitrage entre leur intérêt (vis-à-vis des objectifs du dispositif de suivi-évaluation et de ceux du projet) et leur coût : le jeu en vaut-il la chandelle ?

Étape 4 : Organiser le dispositif de suivi-évaluation

4.1 Préciser le calendrier

Le dispositif de suivi doit aider à la prise de décision dans le cadre du pilotage du projet.

Aussi, il convient de faire coïncider le calendrier du suivi avec celui du pilotage du projet. Par exemple, si le pilotage est organisé autour d’un comité de pilotage Nord/Sud annuel, il faut que les données issues du suivi soient disponibles à temps pour ce comité de pilotage.

Quand faut-il recueillir les données et quand faut-il les analyser ? Le plus simple est de raisonner de façon rétrospective (« rétro-planning »), en partant de la date à laquelle les données analysées seront utilisées.

Parfois, il peut être utile de réaliser un chronogramme des activités de suivi. Ce pourra notamment être le cas lorsque le dispositif inclut autre chose que des indicateurs (enquêtes, évaluation à mi-parcours,…), ou lorsque le recueil de données lié à certains indicateurs exige du temps. Ceci permet alors de mieux visualiser le chevauchement d’activités à mener et leur étalement dans le temps.

– 
4.2 Identifier les personnes à responsabiliser

Il importe de bien identifier :

• les personnes qui seront en charge de recueillir les données,
• celles qui seront en charge d’analyser les données recueillies,
• puis celles qui les transmettront aux décideurs.

Dans le cas où des activités complémentaires ont été prévues (évaluations à mi-parcours, enquêtes,…), qui élaborera les termes de référence ? Qui pilotera l’activité ?

4.3 Estimer le cout du dispositif et sa faisabilité

Bien des dispositifs de suivi ont échoué car ils étaient trop coûteux, notamment en temps de travail.

Il convient donc d’estimer le coût que représentera la mise en œuvre du dispositif, en particulier le recueil des données, mais aussi leur analyse.

À noter que la conception même du dispositif, nécessite un investissement humain à ne pas négliger.

– 
Étapes de la conception et de la mise en œuvre d’un dispositif de suivi

Mettre en œuvre un dispositif de suivi :

Étape 1 : Recueillir les données

L’idée est d’avoir un tableau permettant d’archiver les données
recueillies, et leur évolution dans le temps. La forme du tableau sera
liée :

• au type d’indicateur : qualitatif et/ou quantitatif
• à la fréquence du recueil de données : mensuel, trimestriel ou annuel

Il s’agira le plus souvent d’un tableau réalisé avec un tableur (ex. : avec Excel). Dans le cas où le volume de données le justifierait, une base de données pourrait être créée (ex. : avec Access).

Le logiciel devra être facilement utilisable par tous les acteurs
concernés par le recueil et l’analyse des données.

Étape 2 : Analyser les données

2.1 Interpréter les données recueillies
Exemple : comment interpréter une baisse des revenus des cultivateurs ? Par des raisons ponctuelles liées à une mauvaise récolte, ou par des raisons plus structurelles liées à une insatisfaction quant au service fourni par la coopérative ?

Dans un certain nombre de cas, il peut être utile de prévoir l’organisation de séances d’échange et de réflexion rassemblant les acteurs concernés, afin d’aboutir à une analyse plus fine des données recueillies. Il convient alors de les préparer avec soin :

• qui inviter ?
• quelle préparation en amont pour plus d’efficacité le moment venu ? Il peut parfois y avoir un travail d’analyse préparatoire à réaliser afin de faire gagner du temps au groupe ;
• bien clarifier les objectifs de ce travail d’analyse et ce qu’on en attend au final, tant sur la forme que sur le fond.

– 2.2 Élaborer des outils d’aide à la décision

Ces outils sont destinés à présenter les résultats de l’analyse aux décideurs.

Le type d’outils à élaborer dépend de l’utilisation qu’on veut en faire et des personnes à qui ils sont destinés :

• S’il s’agit d’aider des élus à prendre des décisions, il faut un support concis, donnant une vision synthétique et analytique des données recueillies.
• Au contraire, s’il s’agit de techniciens, on pourra parfois avoir besoin de données plus exhaustives.

Un ou plusieurs tableaux de bord peuvent ainsi être élaborés. Ils doivent fournir :

• une vision synthétique de ce sur quoi des décisions devront être prises, ou tout au moins des informations à maîtriser pour prendre des décisions (combinaison de tableaux, graphiques, chiffres clé, etc. sur une ou plusieurs pages)…

• … assortie de clés de lecture (éléments d’analyse synthétique, concise : commentaires à côté des données présentées et/ou note d’analyse).

2.2 Élaborer des outils d’aide à la décision (suite)

L’important est de transmettre des informations appropriées :

• éviter les tableaux illisibles car surchargés ou trop complexes ;
• privilégier quelques informations claires et ciblées sur les décisions à prendre (l’exhaustivité n’est pas forcément utile) ;
• un graphique est souvent plus parlant qu’un tableau, pour illustrer l’évolution dans le temps d’un indicateur ;
• tenir compte du profil des personnes à qui l’information doit être transmise (élu ou technicien ? alphabétisé en français ou pas ?...).

La qualité d’un dispositif de suivi se mesure en particulier à l’utilisation effective de ses résultats par le dispositif de pilotage du projet :

• S’il n’est pas (ou peu) utilisé, c’est qu’il ne répond pas véritablement aux attentes des instances de pilotage et il convient de le revoir en ce sens ;
• S’il est très utilisé, il convient de restituer cette utilisation aux acteurs du dispositif de suivi-évaluation (personnes en charge du recueil et de l’analyse des données). Sinon, ces deniers risquent de se démotiver avec le temps et le dispositif pourrait alors se gripper.

Tableau de synthèse du dispositif de suivi :

Organiser une mission de suivi Porteur de projet / Gestionnaire du projet

Pour qu’une mission de suivi soit efficace, elle doit être bien préparée et faire l’objet de « termes de référence » :

Objet de la mission : quel est l’objet du voyage auprès de la structure qui est chargée de la mise en œuvre du projet ? Faire le point sur les activités, négocier une convention cadre, rencontrer de nouveaux interlocuteurs…

Résultats attendus : le cadre logique est actualisé, la convention cadre est signée, des réunions avec les nouveaux interlocuteurs sont organisées…

Démarche envisagée : des réunions de travail, des réunions d’informations…

Implication des partenaires locaux : rendez-vous de travail, des séances de travail…

Composition de l’équipe pour la mission de suivi : 2 administrateurs et le chef de projet, par exemple.

Réunions de restitution là-bas et ici : 1 réunion de fin de mission de suivi en Haïti et 1 voire plusieurs réunion(s) de restitution en France (auprès des membres de l’association, des partenaires, des financeurs…)

Rédaction d’un rapport de suivi : sur place, après la tenue de la mission de suivi et en France, après l’organisation des réunions de restitution

EXERCICE PRATIQUE : préparation d’un dispositif de suivi
pour un projet de solidarité (travail sur les indicateurs)

Définir les indicateurs de suivi pour un projet d’appui à la commercialisation de pots de confiture fabriqués par des femmes résidant à Gressier.

Étape 6 : Auto-évaluer/évaluer un projet de développement

Que signifie évaluer ?

Une évaluation finale (ou intermédiaire) est un exercice ponctuel.

À la fin du projet (ou à un instant donné, pour une évaluation intermédiaire, ex. à mi-parcours) :

• on regarde derrière soi pour effectuer un bilan des actions réalisées et apprécier les résultats obtenus sur la base d’une grille objective ;
• on en tire des conclusions ;
• puis on se projette dans l’avenir en faisant des recommandations pour améliorer des actions futures.

Pourquoi évaluer ?

• porter un regard critique sur le projet, améliorer la qualité de l’existant et imaginer le futur,
• informer l’ensemble des parties prenantes et les bénéficiaires sur la nature et les résultats du projet, sur ses objectifs en matière de développement et sa méthode de travail,
• établir un état des lieux servant de socle à la construction des actions à venir et des compétences nécessaires pour les mettre en œuvre,
• rendre compte, justifier l’emploi des moyens auprès des bailleurs de fonds.

– 
Qu’évalue-t-on ?

La mise en œuvre et le déroulement des actions :

• Organisation matérielle des actions : nombre de personnes touchées, choix des formations…
• Compétences mobilisées et matériels utilisés,
• Mobilisation des partenaires et des bénéficiaires,
• Cohérence des actions entres elles et avec leur environnement,

L’évaluation porte alors essentiellement sur des faits concrets.

Les résultats des actions :

• Dispositions à agir, à avoir envie de changer les choses.
• Changements des comportements individuels et collectifs, immédiats et ultérieurs.

L’évaluation porte alors sur des résultats matériels et immatériels.

L’objectif du projet et ses objectifs généraux :

L’évaluation porte alors sur l’impact du projet

Étape 6 : Auto-évaluer/évaluer un projet de développement

Évaluer, ce n’est pas suivre.
Suivre, ce n’est pas évaluer.

Les différentes formes d’évaluation

Évaluation interne, externe ou participative ?

L’évaluation interne (ou autoévaluation) est décidée et réalisée par les acteurs du projet. Ces derniers choisissent l’objet de l’évaluation et définissent leurs termes de référence.

L’autoévaluation devient assistée quand les acteurs du projet font appel à un appui externe qui accompagnera la démarche (facilitation, accompagnement méthodologique).

L’évaluation externe fait appel à des intervenants extérieurs. Les critères sont définis par les commanditaires qui peuvent être les partenaires financiers, l’organisme d’appui ou les porteurs du projet.

L’évaluation externe participative permet une négociation des termes de références entre les commanditaires, l’équipe projet et les partenaires : elle favorise ainsi la participation des acteurs locaux. Ce type d’évaluation met souvent en place un comité de pilotage. Cette instance mixte peut réunir des partenaires financiers, techniques, des représentants du projet, des bénéficiaires et le(les) évaluateur(s) externe(s). La participation des « bénéficiaires » reste souvent limitée.

Avantages et inconvénients des évaluations internes et externes

Évaluation interne

– 
Évaluation externe

État des lieux des pratiques d’évaluation des acteurs associatifs
qui mettent en œuvre des micro-projets

La pratique la plus utilisée est celle de l’évaluation interne ou auto-évaluation.

L’évaluation repose souvent sur la contribution volontaire des acteurs qui mènent les actions.

Il n’y a pas de collecte systématique d’éléments d’évaluation et le traitement de ces éléments reste problématique.

Les acteurs évoquent souvent leur manque de temps et de motivation pour évaluer.

Comment concevoir et mettre en œuvre une démarche rigoureuse et efficace d’auto-évaluation ?

L’auto-évaluation

Pourquoi ? C’est un outil d’auto diagnostic permettant au porteur de projet de porter une appréciation sur sa propre activité. Elle est particulièrement bien adaptée à l’analyse des savoir-faire et des méthodes. Elle répond à la question « Faisons-nous correctement ce que nous nous sommes proposés de faire, et comment l’améliorer ? ».

Par qui ? Elle est conduite par les acteurs qui mènent l’action.

Comment ? Elle n’a pas de cadre défini au départ. La définition des termes de référence fait partie du processus d’auto-évaluation. Les acteurs sélectionnent l’objet, les critères et les indicateurs de l’évaluation. Ce processus est évolutif et itératif, l’objet final de l’évaluation n’apparaît pas toujours immédiatement. Le début de l’auto-évaluation est connu et il est préférable de fixer l’achèvement de la démarche en amont même si ce n’est pas toujours facile de par le caractère itératif du processus.

Qui décide ? A priori, c’est le groupe d’acteurs qui mène l’action qui va décider d’entrer dans le processus. Mais l’entrée spontanée dans un processus d’autoévaluation peut aussi résulter d’une sollicitation externe (alternative à une évaluation externe, demande de la
hiérarchie ou de tiers...).

Élaborer un processus d’auto-évaluation rigoureux et efficace

La démarche d’auto-évaluation en huit étapes :

Étape 1 : Définir l’action que l’on veut évaluer
Étape 2 : Préciser les objectifs de l’auto-évaluation
Étape 3 : Déterminer qui fait quoi dans l’auto-évaluation
Étape 4 : Préciser ce que l’on cherche à évaluer
Étape 5 : Choisir des critères et leurs indicateurs
Étape 6 : Choisir une méthode et des outils d’auto-évaluation
Etape 7 : Réaliser l’auto-évaluation
Étape 8 : Valoriser et utiliser les résultats de l’auto-évaluation

Étape 1 : Définir l’action que l’on veut évaluer

Il s’agit de délimiter le champ de l’auto-évaluation qui se réduit à un projet précis :

• Quel est l’objectif du projet ? Ses objectifs généraux ? Ses résultats ?
• Où a été mis en œuvre le projet ? Dans quel contexte ?
• Quels ont été les bénéficiaires directs et indirects du projet ?
• Qui a été chargé de sa conception, sa planification et sa mise en œuvre ?
• Quels étaient les différentes parties prenantes et leur degré d’implication ?
• Quelles actions ont été mises en œuvre ?
• A quel moment s’est-il déroulé ?

Cette 1^re étape permet de sélectionner les éléments qui contribueront au cours des étapes suivantes à :

• Se mettre d’accord sur l’objet de l’évaluation.
• Identifier le rôle des différents acteurs dans le processus d’auto-évaluation.
• Établir une démarche d’auto-évaluation adaptée.

Étape 2 : Préciser les objectifs de l’auto-évaluation

L’étape 1 vous a permis de définir l’action à évaluer. Il s’agit maintenant de déterminer ce que vous attendez de l’évaluation et à qui vous destinez les résultats de celle-ci. Pourquoi évaluer ?

• Pour améliorer techniquement votre projet, avoir des éléments de
  bilan et d’analyse afin de réorienter le projet ou de concevoir un nouveau projet
• Pour justifier de votre activité auprès d’autres acteurs de la solidarité internationale, auprès de décideurs politiques, de bailleurs de fonds ou de donateurs
• Pour apprécier l’utilité sociale de votre projet, ou plus simplement
  l’intérêt que porte les bénéficiaires au projet mis en œuvre.

Étape 3 : Déterminer qui fait quoi dans l’auto-évaluation

3.1 Préciser les acteurs de l’auto-évaluation

Trois types d’acteurs peuvent être impliqués dans la démarche d’auto-évaluation :

• le porteur de projet,
• ses divers partenaires,
• les bénéficiaires du projet.

3.2 Préciser qui va piloter ou accompagner l’auto-évaluation

Pilotage en interne

Il est possible de confier l’auto-évaluation à un membre de l’association, qui est alors chargé de rappeler le calendrier et de s’appuyer sur la méthode d’évaluation pour contribuer au succès de celle-ci.
L’auto-évaluation par un membre de l’association peut être grandement facilitée par l’appui d’un accompagnateur externe qui apporte :

• Une expertise méthodologique et pédagogique.
• Un regard extérieur qui contribue à enrichir la démarche.

Comité de pilotage

Le comité de pilotage peut être composé d’un technicien en auto-évaluation (éventuellement un membre de l’association un ou accompagnateur externe), de représentants des partenaires institutionnels concernés par le projet et de partenaires techniques ayant, dans d’autres structures, des fonctions proches de celles
d’évaluateurs.

Étape 4 : Préciser ce que l’on cherche à évaluer

4.1 Déterminer sur quoi va porter l’analyse, l’appréciation

Le document de projet, et en particulier la matrice du cadre logique, contient tous les éléments pour bâtir les questions qui vont servir de fil conducteur pour l’évaluation, autrement dit :

• les objectifs à atteindre,
• les résultats immédiats attendus,
• les actions à mettre en œuvre pour atteindre les objectifs,
• le calendrier de mise en œuvre des activités,
• les moyens humains et matériels à mobiliser.

Attention : tenir compte de l’ensemble des changements survenus pendant la vie du projet.
En effet, on occulte souvent qu’entre l’idée du projet et son évaluation :

• l’action et son contexte ont pu évoluer,
• des réponses plus adaptées, des ajustements ou des changements radicaux ont pu être apportés au projet.

– 
4.2 Lister les questions évaluatives

Il s’agit des questions que vous vous posez, auxquelles l’auto-évaluation va apporter des éléments de réponse.

Appelées « questions évaluatives », elles sont issues du document de projet et notamment de la matrice de cadre logique.

Si l’auto-évaluation n’est destinée qu’à vous-même, ou si sa diffusion ne dépend que de vous, vous avez l’entière liberté du choix des questions.

Si l’auto-évaluation vous sert aussi à rendre compte à des tiers, tout en conservant votre liberté de choix sur les questions qui vous préoccupent directement, vous devrez probablement inclure également les questions essentielles issues des conventions
passées avec ces tierces personnes.

– 
Étape 5 : Choisir des critères et leurs indicateurs

5.1 Rechercher et formuler les critères d’évaluation

A partir des questions évaluatives, il s’agit de rechercher et formuler des critères d’évaluation.

Un critère d’évaluation, c’est l’angle de vue à partir duquel on choisit d’observer le projet, l’angle sur lequel on se place pour évaluer l’action.

« Par rapport à quoi évaluons-nous notre action ? »

Il faut établir le point de vue en fonction du type d’action à évaluer et du type d’information que l’on veut obtenir.

Source : Manuel de Gestion du Cycle de Projet de la Commission Européenne, Mars 2004

– 
5.2 Rechercher et formuler les indicateurs liés à vos critères d’évaluation

Sur chacun des critères retenus, on construit des indicateurs permettant de savoir ce que l’on doit collecter comme information brute et comment traiter cette information (calcul, mise en relation, analyse de contenu).

Les indicateurs sont des points de repère, des signes observables permettant de donner une indication sur les réponses à apporter aux questions qu’on se pose. Clairement identifiés, ils permettent de recueillir des informations qualitatives ou quantitatives sur le projet à évaluer.

On peut utiliser deux types d’indicateurs :

• l’indicateur quantitatif est un signe que l’on peut facilement observer (existence ou absence) ou mesurer (quantité, valeur...) et donc comparer d’un village à l’autre, d’une commune à l’autre... Il est chiffré.
• l’indicateur qualitatif est constitué par une échelle de valeur qui décrit les différents niveaux d’un fait (niveau bon / niveau moyen / niveau mauvais)

Quelques exemples d’indicateurs :

• indicateurs techniques : superficie cultivée, quantité de matériel utilisé, nombre de pannes...
• indicateurs économiques : prix, chiffre d’affaire, coût de la main d’oeuvre…
• indicateurs de fonctionnement d’une organisation : nombre de réunions, nombre de participants à une formation…
• indicateurs sociaux : nombre de jeunes dans un groupement, nombre de femmes....

– Étape 6 : Choisir une méthode et des outils d’auto-évaluation

6.1 Programmer l’auto-évaluation

Définir un calendrier avec le début, la fin et les éventuels points d’étapes du processus d’autoévaluation.

Il est important de se fixer un point de départ mais surtout un point d’arrivée de l’auto-évaluation : à quel moment souhaite-t-on disposer des résultats de l’auto-évaluation ?

• A la fin d’une action ponctuelle (évaluation d’une intervention) ?
• A une échéance prédéterminée (fin d’année, fin d’année scolaire) ?
• A une échéance imposée (par exemple pour une auto-évaluation destinée prioritairement à un tiers) ?

Conseils :

• pour les projets d’une durée supérieure à 1 an, réaliser un rapport d’évaluation trimestriel et un rapport d’évaluation finale.

• pour les projets d’une durée inférieure à 1 an, il est souhaitable de produire un rapport trimestriel ou au moins semestriel.

• pour les projets de très courtes périodes (quelques semaines, ou quelques mois), le rapport d’évaluation peut être directement intégré dans le rapport final d’évaluation.

6.2 Choix de la méthode

Comment et quand vont être collectées les informations ?

Vous devez collecter les informations pour chacun des indicateurs que vous avez choisis. Pour pouvoir prendre en compte les évolutions, vous collecterez les informations à au moins deux moments : au début et la fin de votre projet. Mais rien ne s’oppose à une collecte en continu (objet du suivi-évaluation).

La collecte pourra se faire « à chaud » pendant ou juste après une des activités ou « à froid », avec un peu de recul après l’organisation des activités.

Qui va collecter les informations ?

Dans la mesure du possible, les auto-évaluateurs sont aussi les collecteurs d’informations.

Si la collecte est faite sous forme de questionnaire auprès des publics, elle peut être réalisée par la personne qui conduit l’animation, qui prendra alors un temps spécifique pour cela en début, en cours ou en fin d’intervention en fonction des informations recherchées.

6.3 Création des outils de collecte

Imaginer ses outils de collecte. Chaque indicateur doit pouvoir être renseigné par un outil de collecte, et un même outil de collecte peut permettre de renseigner plusieurs indicateurs.

Étape 7 : Réaliser l’auto-évaluation

7.1 Collecte de l’information

Un temps d’échange entre les personnes concernées est indispensable pour :

• S’assurer que le cadrage général de l’auto-évaluation est partagé entre tous les acteurs (motivation, champ, attentes),
• Présenter les outils de collecte et la façon de les utiliser : à quel moment collecter ces indicateurs, où les collecter et préciser la posture du collecteur,
• Détailler les indicateurs et donner des exemples précis de faits à observer : que va-t-on regarder exactement et comment le transcrit-on sur la fiche de collecte ?
• Tester éventuellement les outils retenus.

7.2 Analyse des données

L’analyse va porter sur :

• La comparaison quantitative entre ce que l’on avait prévu de faire et ce que l’on a réellement fait.
• La comparaison qualitative et quantitative sur les résultats prévus au départ et ceux atteints.
• Les méthodes utilisées pour mener l’action.

L’analyse des actions permettra d’identifier :

• Ce qui est validé par l’évaluation et devra être conservé.
• Ce qui gagnerait à être abandonné, car inutile ou contre productif.
• Ce qui ne marche pas très bien, qui devrait être amélioré car on ne peut pas s’en passer.

L’analyse des actions fait aussi parfois remonter de nouveaux besoins, de nouvelles attentes, des idées nouvelles, des changements possibles. Pour passer à la phase prospective, on prend en compte :

• Les aspects concrets issus de l’appréciation des actions.
• Les idées de changement, d’innovation, d’invention.
• La connaissance que l’on a de ce qui se fait ailleurs et la recherche d’importations possibles.

Étape 8 : Valoriser et utiliser les résultats de l’auto-évaluation

8.1 Mettre en forme, conserver et diffuser les résultats de l’auto-évaluation

Pour être utile, les résultats de l’auto-évaluation doivent pouvoir être diffusés. Les analyses réalisées, les appréciations portées et les pistes d’améliorations envisagées doivent pouvoir être partagées pour pouvoir décider de la suite.

En particulier, il est important que les acteurs concernés par l’action et par ses suites et qui n’ont pas participé directement à la réalisation de l’auto-évaluation comprennent le cheminement de la construction de l’analyse évaluative, puissent en débattre et partager les décisions issues de l’auto-évaluation.

Dans ce souci de partage, on veillera :

• d’une part, à mettre en forme les résultats de l’auto-évaluation de façon à ce qu’ils soient facilement communicables (rapport d’évaluation),
• et d’autre part, à organiser des temps de discussion et de mise en débat de ces résultats avec les principaux acteurs concernés par la suite de l’action.

8.2 Valoriser les résultats à l’issue de l’auto-évaluation : décider

Les auto-évaluateurs proposent sur la base de leur travail évaluatif des recommandations fortement argumentées et applicables. La valorisation des résultats de la démarche d’auto-évaluation doit s’anticiper, se planifier.

Les questions suivantes sont autant de points de repères permettant d’organiser cette valorisation :

• Auprès de qui diffuser les résultats de l’auto-évaluation ? En direction du comité de pilotage de l’autoévaluation, auprès de l’ensemble de notre équipe (salariés, bénévoles, administrateurs), en direction de nos partenaires et/ou des bénéficiaires de nos projets ?

• Quel support choisir pour présenter notre démarche, nos conclusions et nos propositions ?

• Quelle animation mettre en place pour sensibiliser et créer une espace de débat (projection des résultats et problématisation de la situation, construction d’hypothèses par groupes) ?

• Et au final qui décide des évolutions, des améliorations à mettre en œuvre sur la base des résultats de l’auto-évaluation ? S’agit-il du comité de pilotage, des administrateurs de l’association qui a conçu le
  projet ou de celle qui a exécuté le projet ? S’agit-il de modalités de décision partagées et négociées entre différents acteurs ?

Dans le cas d’une auto-évaluation accompagnée, l’accompagnateur n’intervient pas dans les choix issus de l’auto-évaluation, il veille seulement à ce que l’auto-évaluation arrive à son terme, à la formulation d’appréciations et de recommandations sur la base des analyses réalisées.

8.3 Valoriser et mettre en œuvre les décisions

Paradoxalement, la mise en application des décisions est souvent la
phase la plus difficile, bien que cette dimension prospective soit
intrinsèquement attachée à la motivation d’auto-évaluer.

La mise en œuvre des décisions issues d’une auto-évaluation demande du temps pour revoir la pratique, imaginer de nouvelles manières de faire.
Un appui externe comme celui de l’accompagnateur est parfois sollicité
pour aider à mettre en œuvre ces changements.

Élaboration des “termes de référence” pour le choix d’un évaluateur externe

Pour demander une évaluation, il est important de rédiger les « Termes de Référence » qui doivent contenir les éléments suivants :

Présentation du projet

• Contexte
• Objectifs du projet
• Activités et moyens
• Organisation institutionnelle du projet (rôle et fonction des acteurs)
• Présentation des partenaires
• Principaux résultats obtenus
• Documentations et sources d’information disponibles

Objectifs de l’évaluation

• Objectifs généraux de l’évaluation : Présentation des motivations et enjeux de l’évaluation
• Objectifs détaillés : Présentation des critères sous lesquels examiner l’action

Objets de l’évaluation

• Sur quels aspects du projet portera-t-elle ?
• Quelles questions pose-t-on à l’évaluation (questions évaluatives) ?

Composition de l’équipe d’évaluation

• Nombre d’évaluateurs
• Profils souhaités

Calendrier et déroulement de la mission

• Travail terrain
• Méthode de travail
• Restitution

Forme du rendu

• Nombre de page, résumé, nombre d’exemplaires

Budget de l’évaluation

Date de remise de l’offre technique et financière

– Bibliographie Bibliographie

• CIVICUS, Le suivi et l’évaluation

• Disponible sur : http://www.civicus.org/view/media/L...
• F3E et pS-Eau, Guide méthodologique « Concevoir et mettre en oeuvre le SUIVI

ÉVALUATION des projets eau et assainissement », 1^re édition

• Disponible sur : http://f3e.asso.fr/spip.php?article1021
• F3E, Guide méthodologique « Le suivi d’un projet de développement : démarche,

dispositif, indicateurs », Septembre 2002

• Disponible sur : http://f3e.asso.fr/spip.php?article700
• F3E, Guide méthodologique « L’évaluation : un outil au service de l’action », Décembre 1996

• Disponible sur : http://f3e.asso.fr/spip.php?article60
• F3E, Guide méthodologique « Prise en compte de l’impact et construction d’indicateurs d’impact », Juin 1999

• Disponible sur : http://f3e.asso.fr/spip.php?article59

• F3E, « Préparer les termes de référence d’une évaluation »

• Disponible sur : http://f3e.asso.fr/spip.php?article65

• F3E, « La préparation collective des termes de référence d’une évaluation »

• Disponible sur : http://f3e.asso.fr///IMG/pdf/Prepar...