28 février 2015 : Evaluer les projets de développement : entre instrumentalisations et production d’une analyse partagée

« En réalité, les évaluations de projet ne sont qu’un moment dans un processus plus large et plus routinisé de fabrication du sens et de cadrage des interprétations. En dépit des demandes d’objectivité et d’indépendance, les experts sont chargés de produire l’histoire que raconte l’évaluation comme un « bien partagé », et ils la construisent intentionnellement comme telle ».(Mosse 2005: 158[1])

Introduction

La pratique de l’évaluation est de plus en plus systématique dans les projets de coopération internationale. Certains chercheurs doutent fortement que les institutions d’aide acceptent une critique externe. Ainsi, pour Hancock (et Arditi à sa suite), « toute étude critique est impitoyablement et efficacement découragée. Ceux d’entre nous qui souhaitent, par exemple, évaluer les progrès, l’efficience ou la qualité de l’aide au développement découvrent que les bureaucraties de l’assistance ont déjà effectué toutes les évaluations qu’elles croient nécessaires et qu’elles sont préparées à résister – avec la dernière énergie – à l’attention « ignorante », « biaisée » ou « hostile » des personnes étrangères au sérail » (Hancock 1989: 16, cité par Arditi, 2005 : 861).

Le principe d’un regard indépendant est officiellement accepté, mais pour Arditi, « Sur le terrain, il est systématiquement bafoué par les pratiques du personnel et par leurs « consultants maison » qui réalisent des évaluations positives en un temps record. Ceux, très peu nombreux, semble-t-il, qui refusent de se soumettre à ces rituels de succès obligatoire et à cette dictature de l’apparence, prennent le risque de voir leur compétence mise en doute, leurs propos discrédités et leurs écrits censurés. Dans cet univers où règnent la pensée positive, l’auto-évaluation, l’autosatisfaction et l’absence totale d’esprit critique, les actions menées par les agences de développement ne peuvent qu’être couronnées de succès » (Arditi 2005: 864).

De telles manipulations ou censures existent, incontestablement. Mais on ne peut en faire une généralité. La capacité des à accepter – voire même à demander – une analyse distanciée dépendent des institutions, des configurations d’acteurs et des enjeux du projet pour eux-mêmes et leurs institutions. Pour autant, une évaluation est un toujours « un objet de savoir et un enjeu de pouvoir » (Faure et Smith 1994), en tension structurelle entre deux dimensions :

  • l’idéal d’une analyse distanciée et indépendante, partagée entre les protagonistes de l’action et contribuant ainsi à construire ou renforcer la cohérence du système d’action et à donner des ressources pour améliorer la pertinence et/ou l’efficacité de l’action ;
  • l’imposition d’une lecture de l’action, au service des intérêts de certains de ses protagonistes.

L’évaluateur arrive et travaille dans un jeu d’acteur complexe. Il doit rendre son analyse recevable. De plus, dans les évaluations par missions courtes (quelques jours à deux ou trois semaines) qui restent le format habituel dans les projets de développement, le temps ne permet pas une analyse approfondie. Dès lors, on peut considérer avec David Mosse qu’une évaluation est toujours, bien qu’à des degrés très variés selon les configurations, une co-production.

Les enjeux de l’évaluation pour les différentes parties prenantes

Evénement dans la vie d’un projet, au sens où elle se déroule sur un temps limité, l’évaluation est porteuse d’enjeux pour les différentes parties prenantes. Elle confirme ou questionne la stratégie. Elle valide ou questionne les activités menées, les réalisations, leur qualité, leur impact. À travers cela, elle légitime ou délégitime certains choix, et donc les représentations et les intérêts qui les sous-tendent. Elle peut déstabiliser le système d’action ou donner des opportunités à certains pour renégocier leur place en son sein. Si elle aboutit à la fermeture du projet, elle peut mettre au chômage des équipes, couper des sources de rente, affaiblir la réputation de certains acteurs, etc. « Ceci fait que la construction d’une histoire d’un projet est quelque chose de fortement controversé. Décider qui est qualifié pour construire la connaissance sur un projet (quels experts, internes ou externes) et comment cela doit être fait (méthodologie) est fréquemment source de désaccords » (Mosse, 2005 : 158).

La pratique de l’évaluateur : produire et communiquer une image recevable de l’action

Répondre à une commande

L’évaluateur répond à une commande (Neu, 2001), et doit donc s’inscrire dans un questionnement qui lui est donné. Lorsqu’il est recruté par appel d’offres, il ne connait le plus souvent du projet et des questionnements des commanditaires que ce que les termes de références (TDR), plus ou moins bien faits, lui disent. La commande est plus ou moins cohérente, sur le fond et matériellement, un décalage entre ce qui est demandé et les moyens consentis (durée, nombre de jours d’expertise) étant fréquent. Au cours de son travail, l’évaluateur s’autorisera plus ou moins à sortir du cadre des termes de référence, selon l’ouverture du commanditaire, le caractère plus ou moins normé du rapport demandé, l’ampleur du décalage entre les points qu’il souhaite mettre en avant et les questions initiales, et bien sûr son éthique professionnelle et sa perception de ses marges de manœuvre. Il peut aussi succomber aux « pêchés capitaux de l’évaluateur » (Lavigne Delville, 2004).

Produire une analyse recevable

« Comment évaluer qui plus est de manière totalement rigoureuse des politiques dont l’objet est tout sauf évident, le pilotage flou et la mise en œuvre basée sur des partenariats multiples? » (Duran, 2010 : 199). Cette interrogation sur l’action publique vaut pour de nombreux projets de développement, au-delà des tentatives de rationalisation à travers cadres logiques et autres outils… À partir du questionnement et des moyens dont il dispose, l’évaluateur est censé construire une méthodologie susceptible d’y répondre. Or la question des frontières du champ de l’évaluation et du cadre de référence, celle de la méthode et des indicateurs, celle des sources, peuvent être controversées. Au-delà des problèmes d’interprétations et surtout d’attribution (les évolutions sont-elles liées ou non à l’action du projet ?), l’évaluateur ne dispose que rarement de données et de statistiques adéquates, soit qu’elles ne soient pas pertinentes ou pas fiables, soit qu’elles ne soient pas assez désagrégées pour l’espace concerné. En admettant qu’il s’y intéresse et sache où les chercher (ce qui est rare dans le monde de l’expertise), il trouvera peu ou pas de travaux de recherche sur le projet (sinon sur la thématique dans la zone). Dès lors, les sources à partir desquelles il construira son analyse sont pour l’essentiel, soit des sources du projet, soit des données produites lors de l’évaluation. Les sources liées au projet sont extrêmement variables en qualité et quantité, entre des projets fonctionnant en quasi-aveugle et d’autres mobilisant une masse de donnée, plus ou moins organisées et structurées.

La capacité des évaluateurs à produire des données propres est très largement dépendante des moyens accordés à l’évaluation, au plan de la durée et du budget. Les évaluateurs réalisent une série d’entretiens avec les parties prenantes, d’observations, d’enquêtes de terrain, ces dernières étant le plus souvent assez réduites, et limitées à une série de « visites » de sites (le terme est révélateur) et d’entretiens collectifs. En pratique, sur trois semaines de mission, avec les temps de transport, de rendez-vous institutionnels à la capitale et dans le chef lieu de région, de discussions avec l’équipe projet et de lecture de la documentation, le temps de terrain n’excède pas une dizaine de jours (trajets locaux compris) ce qui limite considérablement la capacité à produire des données solides, et même à seulement visiter une partie significative des réalisations ou des interlocuteurs.

La contrainte du temps, enfin, est en effet déterminante. Même à deux ou trois personnes, analyser rigoureusement en trois semaines les impacts d’un projet de trois ans, qui a mobilisé parfois plusieurs millions d’euros sur un territoire large, relève le plus souvent de la mission impossible. Les entretiens avec les parties prenantes, les enquêtes et visites de terrain, peuvent rarement constituer de véritables enquêtes sur les perceptions ou les réalités du projet et de ses impacts, d’autant que – indépendamment d’éventuelles manipulations par les équipes opérationnelles – les entretiens collectifs avec les bénéficiaires sont largement formatés et biaisés par le double enjeu du contrôle social local par les notables (et la volonté de présenter un visage uni à l’extérieur, quitte à faire taire les opinions divergentes) et des rapports avec le projet qui selon les cas, amènent les notables locaux à présenter une image artificiellement positive (pour espérer une suite du projet et de nouveaux financements) ou négative (pour espérer des évolutions dans la démarche)[2]. Le travail de l’évaluateur consiste donc principalement à rassembler et problématiser les connaissances disponibles et les points de vue d’acteurs, et à construire à partir de là une image de synthèse crédible/acceptable, en peu de temps et avec des données souvent parcellaires ou biaisées.

Certes, même sans enquête d’impact approfondie, les visites et entretiens de terrain permettent en général de repérer s’il existe de gros problèmes d’effectivité, de forts risques (potentiels ou avérés) d’exclusion ou de conflits, pour autant que les évaluateurs soient sensibles à ces enjeux, se posent les questions en ces termes, etc. Mais cela suppose que les évaluateurs aient la compétence et l’éthique nécessaire pour, en cas de besoin, dépasser leur mandat et mettre en avant les éventuels effets pervers ou négatifs pour les populations concernées du projet qu’ils analysent.

Gérer les pressions, les craintes, les attentes

L’événement que représente l’évaluation est porteur de forts enjeux, pour les différentes parties prenantes, et suscite attentes et craintes. Celles-ci vont naturellement faire valoir leur point de vue, défendre leur action, parfois tenter d’instrumentaliser l’évaluateur. Il y a de multiples stratégies par lesquels les différentes parties prenantes du projet peuvent tenter d’influencer sur l’évaluation ou parfois la manipuler, avec une capacité variable selon qu’on est bailleur de fond, membre du dispositif opérationnel, « bénéficiaires », ou acteurs non ciblés affectés négativement. L’évaluateur doit composer avec, apaiser des craintes, ne pas se mettre des gens à dos.

Le travail explicite de l’évaluateur (la production et la communication d’une analyse recevable en réponse à une commande) se double ainsi d’un travail caché, mais néanmoins essentiel : la compréhension et la gestion des rapports entre acteurs hétérogènes, dans un système d’action complexe. Un évaluateur expérimenté développe nécessairement un sens sociologique des rapports entre acteurs au sein des projets et des dispositifs. La lecture des termes de référence, la façon dont se déroulent les réunions, la lecture de la littérature grise, les discussions avec les équipes opérationnelles (y compris le personnel d’appui, administratifs, chauffeurs, etc.), les réactions des uns et des autres aux premières analyses, sont pour lui autant d’indices pour repérer la structure du système d’action, les positions des différents groupes stratégiques et les rapports qu’ils entretiennent entre eux.

Communiquer et négocier les résultats[3]

Ce travail de communication se joue à la fois à l’oral, lors des différentes restitutions (aux équipes opérationnelles, au comité de suivi à la capitale, voire au siège du commanditaire), et à l’écrit (note de synthèse finale, rapport provisoire, rapport final).

Le fait de confirmer les hypothèses ou les attentes des parties prenantes de l’évaluation favorise cette acceptation, avec la difficulté qu’il y a souvent autant de « projets » (au sens de vision, d’objectifs et de priorités) dans le « projet » (au sens de dispositif d’action) que de partie prenantes (Singleton, op. cit.), et que ces attentes sont souvent contradictoires. Plus les positions des parties prenantes sont divergentes, plus l’analyse est en décalage avec elles, plus l’évaluateur sera prudent quant à ses analyses et conclusions, et à la façon de les présenter.

La clarté de l’analyse et de la démonstration, la solidité des arguments, la cohérence des conclusions et des recommandations sont évidemment cruciaux. Mais la recevabilité de l’analyse se joue donc aussi dans la façon de la construire et de la communiquer, sur trois points :

  • d’abord, en s’efforçant d’être compris, ce qui suppose de prendre en compte les catégories de pensée, le vocabulaire, de l’institution commanditaire et des équipes ;
  • ensuite, en prenant en compte les positions et intérêts des interlocuteurs (en tous cas ce que l’évaluateur a pu en comprendre, au cours de son travail ou telles qu’il les anticipe) ;
  • enfin, en intégrant les formats de restitutions imposés par le commanditaire, de façon à ne pas créer d’obstacle à la réception de l’analyse[4].

L’équilibre entre points positifs et points négatifs, l’imputation des responsabilités, la façon de formuler les critiques, la formulation des recommandations, sont en général soigneusement pesés par les évaluateurs. Le fait de proposer des pistes de sortie sur les critiques les plus fondamentales aide aussi à leur acceptation.

La production de l’analyse est donc négociée, de façon implicite ou explicite : au fur et à mesure du travail, à travers les différentes discussions et échanges qui permettent à l’évaluateur de sentir les réactions ou de faire progressivement passer des idées ; à travers les discussions lors des restitutions ; à travers les réactions au rapport provisoire et les demandes de corrections, qui peuvent porter sur des points factuels, ou tenter de peser sur l’analyse et ses conclusions elles-mêmes. La distance entre les points de vue de l’évaluateur et le contenu du rapport final dépend ainsi tant des tensions et divergences au sein des parties prenantes, que de ses propres volontés et capacité à faire passer ses convictions ou à les maintenir malgré les réactions.

La coproduction d’une image partagée comme condition d’efficacité

Les conclusions de l’évaluation peuvent donc se lire sous l’angle de ces processus de coproduction sous contraintes d’une représentation du projet évalué, représentation qui se veut (relativement) objectivée, reflète à des degrés variables les points de vue des différentes parties prenantes et est plus ou moins partagée ou controversée. Entre jeux d’influence légitimes et instrumentalisations, ces processus de coproduction sont structurellement ambigus. Ils laissent place à de nombreuses manœuvres pour cadrer le questionnement, orienter l’accès aux sources, et induisent de multiples biais à une analyse objectivée ou seulement indépendante. Mais en même temps, ils sont souvent une condition de légitimité des analyses, d’appropriation des résultats et d’impact sur la décision : lorsque, à partir de lectures initiales plus ou moins divergentes, l’évaluation arrive à produire et légitimer une « méta-vision » davantage partagée, elle amène les différentes parties prenantes à déplacer leurs points de vue initiaux, à enrichir leur analyse, à prendre en compte des éléments jusque là négligés (qu’ils aient été déjà identifiés et portés par certains acteurs ou non), en particulier du point de vue des populations, et des équipes opérationnelles. Elle favorise l’identification commune de questions à traiter (les fameuses recommandations) et leur prise en charge

Le caractère négocié de l’évaluation ne doit donc pas être perçu de façon seulement négative, comme preuve de l’autocensure de consultants mercenaires. Il peut correspondre à la mise à jour d‘une lecture plus juste. De plus, une telle dimension de négociation des analyses et des recommandations est inhérente aux expertises visant à favoriser ou accompagner la décision ou le changement, comme le conseil en organisation, par exemple. Des évaluateurs expérimentés et engagés expliquent très clairement qu’une critique euphémisée ou limitée mais recevable est souvent plus efficace en termes de changement qu’une critique radicale suscitant le rejet : les changements de stratégie ou de pratiques proposés par les évaluateurs n’ont de chances de se produire que si le diagnostic proposé est suffisamment partagé, si les parties prenantes (en tous cas une portion suffisante) adhèrent aux analyses et aux pistes proposées. L’évaluateur peut ainsi choisir d’euphémiser des problèmes de fond et de mettre l’accent sur des problèmes plus faciles à résoudre, pour enclencher une dynamique de réflexion et de changement, laquelle rendra éventuellement plus facile ensuite la prise en charge de problèmes de fond.

On peut ainsi considérer qu’une « bonne évaluation », au sens d’une évaluation ayant une influence sur le système d’action et sur ses décisions, est un processus qui, à travers analyses et mises en débat des analyses, renforce la cohérence du système d’action par la construction d’une analyse suffisamment partagée, par delà les critiques posées. En réduisant la distance entre « les projets » des parties prenantes et le « projet » d’action[5], cette représentation plus partagée donne ainsi à ce système d’action des ressources nouvelles (une analyse, des pistes stratégiques) pour agir, dans une meilleure prise en compte des points de vue des parties prenantes et de la réalité de l’action.

Dans cette perspective, l’existence d’un dispositif de suivi de l’évaluation, et l’intégration explicite des parties prenantes en son sein, peuvent être considérées comme des conditions favorisant l’utilisation des résultats de l’évaluation, y compris lorsque cela suppose des compromis sur la formulation de ces résultats. On retrouve ici les postulats de l’évaluation pluraliste des politiques publiques qui prend acte du caractère pluri-acteur de l’action publique, reconnaît que « la pluralité des systèmes de valeurs dont les acteurs sont porteurs interdit la construction d’un jugement unique sur l’action évaluée » et considère donc que « l’évaluation doit s’attacher à la mise en place d’une démarche formalisée d’apprentissage collectif, qui fait du dispositif d’évaluation un lieu de négociation itératif et interactif » (Duran et Monnier 1992 ; Baron et Monnier, 2003).

Bibliographie

Arditi C., 2005, Niger : chronique d’une évaluation censurée ou comment une agence des Nations Unies fabrique un bilan positif de son action contre l’insécurité alimentaire, la marginalisation des femmes et la pauvreté, Revue Tiers Monde, Vol XLVI N° 184, pp. 861-881.

Baron G. et Monnier E., 2003, Une approche pluraliste et participative : Coproduire l’évaluation avec la société civile, Informations sociales, Vol 110, pp. 120-129.

Bierschenk T., 1988, Development Projects as Arenas of Negotiation for Strategic Groups. A Case Study from Benin, Sociologia Ruralis, Vol XXVIII N° 2-3, pp. 146-160.

Chauveau J.-P. et Lavigne Delville P., 1998, Communiquer dans l’affrontement : la participation cachée dans les projets participatifs ciblés sur les groupes ruraux défavorisés, In Deler J.-P., Fauré Y.-A., Piveteau A., et al, ed., ONG et développement : du nord aux suds, Paris: Karthala, pp. 193-214.

Delarue J., Naudet J.-D. et Sauvat V., 2009, Les évaluations sont-elles utiles ? Revue de littérature sur « connaissances et décisions », Ex Post, série notes méthodologiques, AFD, Paris, 38 p.

Duran P., 2010 (1999), Penser l’action publique, Paris: LGDJ.

Duran P. et Monnier E., 1992, Le développement de l’évaluation en France. Nécessités techniques et exigences politiques, Revue française de science politique, Vol 42 N° 2, pp. 235-262.

Faure A. et Smith A., 1994, L’évaluation, objet de savoir et enjeu de pouvoir. Le cas des politiques publiques locales, Sciences de la société, Vol 32, pp. 101-112.

Hancock G., 1989, Les nababs de la pauvreté, Paris: Robert Laffont, 340 p.

Lavigne Delville P., 2004, Sept « péchés capitaux » de l’évaluateur : pièges et repères déontologiques, Les Notes méthodologiques n° 5, GRET, Paris, 12 p. (en ligne)

Lavigne Delville P., 2007, Les diagnostics participatifs dans le cadre des projets de développement rural en Afrique de l’Ouest : postulats, pratiques et effets sociaux des PRA/Marp In Neveu C., ed., Cultures et pratiques participatives : perspectives comparatives, Paris: L’Harmattan, pp. 313-330.

Mosse D., 1994, Authority, Gender and Knowledge: Theoretical Reflections on the Practice of Participatory Rural Appraisal, Development and Change, Vol 25 N° 3, pp. 497-526.

Mosse D., 2005, Cultivating Development: An Ethnography of Aid Policy and Development, London: Pluto Press.

Neu D., 2001, Evaluer : apprécier la qualité pour faciliter la décision : six notes pour contribuer à l’efficacité des évaluations, Coopérer aujourd’hui N° 21, GRET, Paris, 91 p.

Neu D., 2003, Améliorer l’efficacité des évaluations. Capitalisation de l’expérience du F3E, F3E, Paris.

Perret B., 2001, L’évaluation des politiques publiques, Repères, Paris: La Découverte, 128 p.

Phillips S. et Edwards R., 2000, Development, Impact Assessment and the Praise Culture, Critique of Anthropology, Vol 20 N° 1, pp. 47-66.

Ridde V., 2007, « Are program evaluators judges and/or knowledge brokers? », Journal of epidemiology and community health, vol 61 n° 12, pp. 102

[1] Toutes les citations en anglais sont traduites par moi-même.

[2] Sur les limites des enquêtes participatives, cf. par exemple Mosse, 1994 et Lavigne Delville, 2007.

[3] «  L’évaluation rejoint les trois difficultés majeures de l’activité de gouvernement : comprendre, communiquer, contrôler » (Duran, 2010(1999) : 184). Cf. aussi Ridde 2007.

[4] Ce qu’Arditi (op. cit. : 865) n’avait apparemment pas pris en compte.

[5] Sans bien sûr totalement la supprimer. Comme le démontre Mosse (2005), cette cohérence entre projets divergents n’est jamais donnée ni garantie, elle est à construire en permanence, et les consultants jouent un rôle central redéfinir en permanence une cohérence partielle entre stratégie et pratiques d’un projet, et consolider ainsi le réseau d’acteurs qui le supporte.

Advertisements

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s