Dans de nombreux secteurs du non-marchand, l’évaluation a pris une place prépondérante dans le quotidien de travail. Devenue omniprésente, elle y est tout à la fois adulée, décriée, survalorisée, re-doutée, oubliée, vampirisée… Depuis plus de 10 ans, le Cesep accompagne des organisations dans la mise en œuvre de leurs processus d’évaluation internes. A ce titre, il a notamment pu observer l’évolution récente de nombreux cadres décrétaux instituant l’évaluation comme nouvelle pierre angulaire des demandes de reconnaissance et de subventionnement ; la réhabilitation progressive dans de nombreux secteurs, de l’évaluation qualitative comme outil d’analyse des pratiques professionnelles ; ou encore l’immense complexité de la mise en œuvre de l’évaluation telle qu’exigée aujourd’hui au regard des moyens parfois disponibles et mobilisables sur le terrain.

Cet article se veut, dans un premier temps, une synthèse des principaux constats posés par les équipes et/ou les organisations lors de formations et/ou d’accompagnements à l’évaluation. Dans un second temps, il propose une réflexion sur les conditions organisationnelles et institutionnelles susceptibles d’améliorer la pertinence de la démarche d’évaluation aujourd’hui, avec pour références principales les organisations et les principaux acteurs des secteurs culturel, socio-culturel et social dans lesquels le Cesep intervient majoritairement.

Organiser la cacophonie

Ce n’est un secret pour personne, depuis plusieurs années, on peut constater une forte démultiplica-tion des processus évaluatifs au sein des organisations. Les commanditaires peuvent être variés et nombreux ; les niveaux d’analyse demandés et les indicateurs à observer à la fois très spécifiques et diversifiés. Au grand dam des responsables, les processus d’évaluation présentent des temporalités souvent différentes. Régulièrement, ils se superposent. Les acteurs à mobiliser peuvent s’avérer nombreux. Sans oublier les moyens humains, financiers et en temps à mettre à disposition de l’évaluation qui sont devenus aujourd’hui parfois extrêmement conséquents, et ce, proportionnellement, de manière assez criante dans les petites structures.

Les témoignages1 auxquels nous sommes confrontés quotidiennement tendent donc à montrer que dans de nombreuses orga-nisations, le moment de l’évaluation, qui devrait asseoir et valider des parcours, des pratiques, des rencontres, des résultats, est encore vécu par beaucoup comme un vrai calvaire. D’une part, parce que les équipes ne perçoivent pas toujours le sens d’un certain nombre d’évaluations auxquelles elles doivent répondre. D’autre part, parce que la rentabilité, le contrôle, la visibilité, les évaluations quantitatives sont des concepts aujourd’hui bien ancrés dans les secteurs culturels, socio-culturels et sociaux. Ces concepts ne permettent pas d’aborder de manière satisfaisante ce qui fonde le quotidien de bon nombre d’organisations. Ces fondemants relèvent à la fois de l’humain, des trajets individuels et de groupes, des démarches, des non-dits et du peu visible, de l’artistique, du créatif, de l’expertise, du stratégique, du politique, des valeurs… Enfin, parce ce que ce qui est aujourd’hui demandé à certaines équipes en matière d’évaluation est dans les faits irréalistes au regard des moyens et compétences disponibles. En matière d’accès à des reconnaissances décrétales et/ou à des conventions sectorielles notamment, se pose donc une véritable question démocratique : les organisations sont-elles toutes sur un même pied d’égalité face à l’exigence institutionnelle d’éva-luation ? Notre réponse est non.

Quelles compétences mobiliser ?

Alors que les exigences augmentent, les compétences nécessaires à mener à bien une évaluation qui ait du sens pour chacun, en ce compris le pouvoir subsidiant, les partenaires et les publics restent rares et peu disponibles au sein même des équipes.

Pourtant, l’évaluation est devenue un véritable créneau de développement économique et professionnel. Les « professionnels de l’évaluation », tant internes au secteur et/ou aux organisations (inspection, cellules de soutien à l’évaluation, responsables « qualité », groupes d’auto-évaluation…) qu’externes (audits, experts indépendants, organismes de formation et d’accompagnement, équipes de recherche universitaires, …) sont aujourd’hui nombreux. Ce qui amène sur le terrain bon nombre de questions : Quel(s) « professionnel(s) » pour quel(s) type(s) d’évaluation(s) ? Quel(s) rôle(s), quelle(s) fonction(s) pour ceux-ci ? Quel cadre contractuel à court, moyen et long terme ? Quelles limites de délégation institutionnelle ? Quel(s) code(s) professionnel(s), déontologique(s), éthique(s) ? Quelle prise en charge des coûts éventuels des interventions ?, …

Des enjeux à clarifier

Le nombre important d’acteurs, ajouté aux processus d’éva-luations différents qui co-existent régulièrement dans une même organisation, amènent une grande confusion sur les enjeux, les motivations, les retombées possibles de chaque démarche d’évaluation en particulier. Quels sont les objectifs effectifs des différentes évaluations qui nous occupent ? Récolter des informations chiffrées en vue de nourrir une photographie, un état des lieux du secteur et des organisations qui le constituent ? Justifier de l’obtention d’une reconnaissance et d’un financement ? … Par ailleurs, ces évaluations sont-elles soumises à un contrôle effectif et les résultats à sanction ? Sont-elles au contraire réalisées sans contrainte de résultats dans une perspective laissée au libre choix de réajustement et/ou de prospective ?

Dans beaucoup d’organisations, les démarches d’évaluation sont souvent réalisées en méconnaissance de ces distinctions et/ou sans réponse explicite à ces questions. Avec à la clef de nombreux effets pervers : croyances ; diabolisation et/ou survalorisation du processus ; confiscation de la démarche au profit d’autres enjeux internes ou externes ; déresponsabilisation des équipes quant à l’utilisation des données qu’elles récoltent et qu’elles transmettent ; instrumentalisation des publics, des partenaires…

Evaluation de résultats/Evaluation d’impacts

Dans l’évaluation institutionnelle, une des difficultés essentielles de l’évaluation des services reste également la confusion fréquente entre l’évaluation de résultats et l’évaluation d’impacts, complémentaires, mais qui relèvent pourtant d’objectifs et de méthodologies bien différents. Et ce quels que soient les niveaux d’acteurs concernés. Alors que l’évaluation de résultats porte essentiellement sur l’évaluation de la mise en œuvre des politiques à savoir de ce qui a été visé, fait, réalisé par l’opérateur, l’évaluation de l’impact porte quant à elle plus fondamentalement sur les acquis, changements, transformations observables chez les usagers, individuels et collectifs, voire aujourd’hui sur des territoires.

Il nous semble important d’insister sur le caractère complexe, exigeant méthodologiquement de ces évaluations et plus particulièrement de l’évaluation d’impact, processus généralement à moyen et long terme qui demanderait souvent la mise à disposition de ressources et de compétences plus adaptées sur le terrain. Evaluer auprès de la po-pulation des acquis de compétences, des changements d’attitudes et de comportements, des changements de représentations, des modifications parfois intimes de la gestion du quotidien, des prises de conscience citoyennes, voire émancipa-trices… n’a rien d’anodin. Or, il y a souvent dans ces évaluations une exigence temporelle, une urgence de visibilité, en totale contradiction avec le temps du cheminement à la fois des acteurs et des po-pulations concernées. De même, la question très actuelle de la participation des publics à ces éva-luations d’impact et plus particulièrement les conditions d’opérationnalisation de celles-ci nous paraissent emblématiques des avancées mais également des dérives éthiques possibles et très contemporaines du « tout à l’évaluation, avec tous, par tous, pour tous »2.

Enfin, dans de nombreuses équipes, ainsi qu’au sein de bon nombre de pouvoirs organisateurs, on note également une confusion et/ou un dangereux passage de frontière entre l’évaluation qui concerne les projets, et l’évaluation individuelle des personnes, généralement des travailleurs. Sur ce point, les raccourcis, les confusions de genres, les maladresses s’avèrent souvent nombreux et peuvent mener rapidement à une vision totalement tronquée et paralysante de la dynamique évaluative.

Rendre compte de l’évaluation à qui ? Comment ? A quelles conditions ?

Pour bon nombre d’organisations, le passage de l’évaluation à la communication de ses résultats reste un moment délicat. Idéalement, la démarche évaluative devrait s’organiser autour de deux moments fondamentalement distincts : le premier permettant de répondre, en toute humilité et honnêteté intellectuelle à la question de savoir « Qu’est-ce que nous faisons ? Comment ? Avec quels résultats ? Dans quelles perspectives ? » et le second à celle, bien plus stratégique, de savoir « Que doit-on, peut-on, va-t-on en dire et à qui ? ». Les constats sur le terrain permettent de montrer que dans de nombreuses organisations, la différenciation essentielle de ces deux étapes de travail reste problématique. Ce qui amène bon nombre de biais importants dans la démarche. D’une part, ce sont parfois les exigences de communication qui guident véritablement les enjeux et les méthodologies posés à l’évaluation. D’autre part, en divers lieux, dès le départ, des questions d’évaluation, des récoltes de données, et plus tard des synthèses et des ana-lyses sont en partie tronquées au regard de l’obligation de justification et de communication interne et externe. Enfin, tout en étant légitimes, les doubles discours (résultats effectifs de l’évaluation/communication stratégique), s’ils permet-tent de parler de l’organisation, des équipes, des actions, d’assurer en partie leur survie, de nourrir des stratégies… ont le principal défaut d’amener dans les lieux de décision des informations incomplètes, partielles voire totalement ina-déquates qui se traduiront alors par des décisions mal ajustées à la réalité du terrain.

Rendre l’évaluation pertinente

Au regard des constats posés, il nous semble évident qu’il est indispensable aujourd’hui de plaider pour une juste réhabilitation de ce moment central dans la gestion de projets auprès des professionnels et des pouvoirs organisateurs, mais aussi des politiques, et surtout de faciliter sa mise en œuvre sereine, pertinente et juste sur le terrain.

D’une part, au sein même des organisations, la clarification du cadre dans lequel se posent les diverses évaluations qui traversent la structure est essentielle. Or, cette étape est bien trop souvent absente. Pour que la démarche d’évaluation soit bien menée, les fonctions et rôles de chacun doivent être précisés ; les enjeux de l’évaluation et du changement compris et appropriés par les acteurs concernés ; la formation continuée des acteurs favorisée ; les processus d’évaluation envisagés adaptés aux moyens humains, matériels et au temps effectivement disponibles ; les résultats et les changements issus des analyses menées partagés, explicités et validés. Le tout en garantissant une implication constructive des structures de décisions et le bon fonctionnement démo-cratique des différentes instances. Si l’évaluation est aussi un levier institutionnel, alors il est important que celles-ci y reprennent la place qui est la leur.

Il est également essentiel que cette démarche, ainsi que les moyens qui y sont attribués, soit valorisée en interne et en externe.

Plus globalement, de manière sectorielle, il nous paraît important que les nombreux dispositifs d’évaluations mobilisés relèvent plus souvent d’une véritable stratégie globale, définie et structurée de façon intégrée, sur le moyen et le long terme, par les acteurs du secteur, avec l’appui méthodologique d’intervenants externes si nécessaire. De même, les organisations devraient pouvoir bénéficier plus largement d’une clarification et d’un soutien à la compréhension et à l’appropriation des politiques d’évaluation, ainsi que d’un soutien méthodologique « local » souple, diversifié et adapté en fonction des réalités du terrain. Enfin, dans un souci démocratique, il paraît essentiel que les acteurs ayant nourri ces nombreuses évalu-ations puissent bénéficier d’une information plus large sur les résultats, les argumentations retenues ou non, ainsi que d’une compréhension effective des transformations des politiques qui en sont parfois le fruit.

Favoriser un vrai travail institutionnel

L’évaluation n’est pas qu’une exigence administrative justifiant in fine l’octroi ou non d’une subvention au projet ou d’une reconnaissance. Fondamentalement, au regard des processus
d’évaluation mis en œuvre par les organisations sur le terrain, l’évaluation devrait permettre de faire émerger des observations, des constats, des ana-lyses, des propositions destinées à nourrir et orienter les politiques futures. A cet effet, il est aussi important que soient réinvestis et revalorisés les espaces collectifs (fédérations, commissions, groupes de travail, …) qui contribuent, de manière sereine et non individualisée, à porter des regards analytiques et prospectifs sur les politiques concernées.

1. Voir à ce sujet : La précarité des travailleurs socio-culturels. Collectif. Dossier Articulations. Secouez-vous les idées, numéro 95, Cesep, septembre 2013.
2. Voir à ce sujet : Cécile Paul. Participation citoyenne à l’évaluation : oui, bien sûr, mais pas à n’importe quel prix ! Secouez-vous les idées, numéro 98, Cesep, juin 2014.