Le point de vue du centre de recherches
Par Myriam VAN DER BREMPT
Professeure en sciences politiques et administration publique à l’ULg depuis une dizaine d’années, Catherine Fallon enseigne l’analyse et l’évaluation des politiques publiques. Il s’agit d’étudier le « policy making » c’est-à-dire « ce que fait l’Etat », quelles sont les actions qu’il entreprend, pour quel objectif, et comment la société y réagit. Elle est directrice du centre de recherches Spiral, qui compte entre quinze et vingt chercheurs, avec deux domaines de recherche principaux : la gouvernance des risques et des choix technologiques, et l’évaluation des politiques publiques.
MVDB : Comment en êtes-vous venue à évaluer des politiques publiques ?
CF : Petit à petit, on s’est rendu compte que c’était non seulement intéressant d’analyser les politiques publiques, mais aussi de les évaluer, donc d’aller sur le terrain pour analyser leur impact. Et en entrant dans cette dynamique-là, on a eu beaucoup plus de contacts avec l’administration, avec les parties prenantes et cela a permis de montrer à quel point le processus de policy making est complexe, délicat, pour une nouvelle politique comme pour une politique qui change.
MVDB : Quelles sont les lignes de force de votre façon de travailler ?
CF : Nous sommes dans une approche interprétative des politiques publiques, c’est-à-dire qu’on va travailler avec les acteurs, sur leurs discours, et leurs prises de position. C’est notre point de départ. Tout en ayant une approche institutionnelle aussi, parce qu’on ne peut pas ignorer l’histoire du secteur et ses parties prenantes : par exemple, en Lecture Publique (LP), les acteurs sont financés par la FWB, mais en même temps soutenus par les autorités locales, qui fournissent une grande partie du subside aux bibliothèques. Dès lors, pour nous, même avec un contrat d’évaluation qui venait de la FWB, il restait important, quand on parlait avec les bibliothécaires, de tenir compte des autres acteurs, que le décret mentionne pourtant à peine.
Au Spiral, nous travaillons beaucoup de façon collaborative et multidisciplinaire, ce qui permet d’entrer dans un dialogue avec des multi-interprétations, pour construire une lecture plurielle. De plus, une évaluation, en particulier, est une démarche analytique mais cadrée par une demande politique, qui n’est pas la nôtre. C’est le commanditaire qui pose une question. Elle nous est imposée, même si on va la reformuler.
MVDB : En quoi était-ce intéressant pour vous de vous engager dans l’évaluation du décret de la LP ?
CF : La LP ne faisait pas partie de nos domaines de recherche habituels. Mais certains chercheurs étaient intéressés d’entrer dans les politiques culturelles et moi-même, échevine dans ma commune, je m’intéresse aux politiques locales. Je voyais les changements qui arrivent actuellement dans la gouvernance au niveau communal : on demande une approche stratégique, une définition préalable de ce qu’on veut faire, des moyens, etc. Et le décret impose à la LP la même chose : diagnostic du territoire, objectifs, plan quinquennal que vous évaluez. Pour l’opérateur, c’est un changement important. Par exemple, la gestion par projets, c’est une surcharge administrative, c’est une autre façon de réfléchir, de travailler. Or, dans les PCS, les PCDR, les PST, partout on arrive dans cette logique-là. C’est intéressant, au niveau communal, qui est quand même le b-a-ba du politique, de voir arriver ces outils et les fonctionnaires se les approprier avec plus ou moins de succès. Et moi cela m’a fort impressionnée : la LP est un exemple parmi d’autres de ce genre de transformation. Ce sont pour nous des observations fabuleuses sur la transversalité des politiques.
De plus, cette évaluation devait se faire avec les acteurs de terrain. Et c’est bien notre façon de travailler.
MVDB : Comment faites-vous pour assurer une vraie proximité avec le terrain ? Pour que les gens du terrain se reconnaissent dans vos rapports de recherche ?
CF : Je crois que nous sommes à l’écoute du terrain parce que nous ne sommes pas des quantitativistes et que nous allons rencontrer les gens. Nous pensons qu’ils ont des choses à dire. Notre point de départ, c’était les controverses environnementales (la pollution autour de la décharge de Mellery, par ex.) et puis les conflits sur les choix technologiques, dans lesquels évidemment la vision du monde est première. On ne peut les comprendre qu’en faisant parler les gens, qui ont chacun leur histoire. Au risque de m’être sentie parfois un peu comme une sangsue, en tant que chercheure ! Mais là, cela dépend de ce qu’on fait, après, de ce que les gens ont dit : nous retournons discuter avec les gens de l’analyse que nous avons faite de leurs paroles. Il faut donc des chercheurs formés à cette vision-là, qui s’intéressent à monsieur et madame tout-le-monde. Et ça, au Spiral, cela fait partie de notre ADN.
Nous avons développé une méthode de collecte d’informations très engagée avec le terrain : des chercheurs font des observations sur site et des focus groups et ont mis au point un outil d’enquête en ligne « Mesydel » parti-culièrement adapté pour faire remonter la pluralité des points de vue autour des questions posées.
Parfois, nous faisons une méta-évaluation pour vérifier que les gens du terrain se retrouvent bien dans les conclusions de notre analyse. Pour la LP, on l’a fait en orga-nisant des « groupes de discussion » pour mettre en perspective les résultats de l’enquête en ligne qui avait rassemblé beaucoup de participants.
MVDB : Quels sont, pour vous, les paramètres d’une bonne participation du terrain ?
CF : Pour moi, la méthodologie doit toujours être adaptée au terrain. Dans le cas de la LP, on a vraiment eu un énorme retour du terrain, l’enquête en ligne « Mesydel » ayant très bien marché. Non seulement les bibliothécaires lisent beaucoup, mais ils écrivent beaucoup !
Ensuite, je crois que c’est très important que les gens se sentent respectés, reconnus et qu’ils aient l’impression qu’on leur pose une question qui a du sens pour eux et pour leur travail. C’est un second élément. Il faut que les chercheurs se décentrent pour faire émerger quelque chose que les participants ont envie de partager. En fait, je crois que tout le monde a envie de partager sur son travail.
Enfin, pour moi, il faut vraiment se mettre à l’écoute des gens qui disent « ça ne marche pas, on n’est pas d’accord avec l’histoire que vous construisez là ». Il faut également analyser les données avec un regard pluraliste (ex : sociologue, politologue, anthropologue).
MVDB : Comment articulez-vous cela avec votre point de vue universitaire, sachant que les universités sont traditionnellement plutôt loin des réalités de terrain ?
CF : Certains objectifs universitaires se situent à un autre niveau. On analyse toujours ce qu’on est en train de faire :
pour améliorer la méthodologie, pour déterminer ce qu’on peut publier, pour faire des liens avec d’autres recherches qui nous occupent. Et pour ma part, j’alimente aussi mes cours avec les exemples venus du terrain. C’est intéressant pour les étudiants.
Par rapport aux acteurs de terrain, nous sommes complémentaires. On vient les rencontrer à trois ou quatre, pour être sûrs de pouvoir toujours apporter une distance critique ; parfois les acteurs foncent – les riverains, par exemple – et, s’il y a un problème, nous pouvons les rassurer par nos analyses pour trouver une solution ; eux savent, sur le terrain, mais nous avons une maitrise méthodologique rigoureuse et exigeante.
Et puis, dans l’évaluation de la LP, il y a eu un autre évènement particulier : alors que nous entamions nos études de cas, la ministre Milquet a annoncé le gel des nouvelles reconnaissances, du financement, etc. Et là, non seulement les responsables ont décidé de continuer l’évaluation, mais les bibliothécaires aussi y ont participé activement plutôt que de se focaliser sur cette annonce qui remettait en question cinq années d’innovation sur le terrain. Etonnant…
MVDB : Dans une évaluation de politiques publiques, par exemple celle du décret de la LP, quelles sont vos relations avec le comité de pilotage et avec le comité d’accompagnement de l’évaluation ? Quelle est la pertinence de ces instances, selon vous, pour amener du changement ?
CF : Le comité de pilotage de l’évaluation, c’est une sorte de comité de gestion de projet, qui assure un suivi très régulier de celui-ci. On ne se remet pas en question les uns les autres. On est dans une relation de confiance, basée sur une reconnaissance de compétences de part et d’autre et sur le fait qu’on travaille tous pour le même objectif. Le commanditaire sait qu’il va être un peu secoué : on ne répondra sans doute qu’indirectement à la question posée ou alors le terrain n’est peut-être pas mûr pour cette question-là. Et ce qui remontera du terrain ne lui plaira pas nécessairement. Il doit être prêt à sortir de sa zone de confort en étant ouvert, mais aussi légitimé par sa hiérarchie. Et nous, comme évaluateurs, nous essayons de bien impliquer le comité de pilotage dans les étapes méthodologiques, dans la formulation des questions, pour que tout le monde se sente bien et qu’il ne reste pas de problème en suspens. Mais on est dans une logique de projet et si on est tous de bonne volonté, on trouvera une solution. A la fin, on se tutoie, on se connaît bien !
Le comité d’accompagnement est dans une dynamique très différente. Sans lui, vous risquez de partir dans une voie et que tous vos partenaires disent « c’est très bien tout ça, mais ça ne nous intéresse pas. » Dans le comité d’accompagnement, ils entendent ce qui se dit, mais leur ancrage est à l’extérieur. Donc c’est à ce niveau-là que, petit à petit (il y a souvent des freins), les choses évoluent pour permettre un changement institutionnel.
L’institution tient ensemble par le soutien de ces partenaires, qui la rapprochent du terrain, mais finalement vous êtes censés, comme évaluateurs, travailler aussi sur tous ces groupes extérieurs, spécialistes du secteur, qui ne sont pas nécessairement d’accord de voir des universitaires qui n’y connaissent rien en LP leur dire quelque chose sur leur terrain. Le dialogue peut être plus difficile, même si on arrive souvent à régler ça, avec ces partenaires institutionnellement ancrés dans la gouvernance de la politique et pas directement concernés par la pression au changement. De plus, l’évaluateur travaille avec les acteurs de terrain, mais il n’a pas de mandat vis-à-vis de tous les autres. Il lui faut donc identifier des porte-paroles perçus comme légitimes par les membres du comité d’accompagnement pour pouvoir rester attentif à ce qu’ils disent et en dialogue avec eux.
C’est parfois difficile parce que tout cela est informel. Mais en effet, en matière de changement institutionnel, on ne peut pas ignorer ces acteurs-là. En même temps, c’est ce qui fait fonctionner la politique, n’est-ce pas ? Ce sont ces acteurs périphériques qui peuvent, à un moment donné, faire basculer la politique. Le comité d’accompagnement est en fait quelque chose de très complexe.
Et il est clair que dans l’évaluation d’un décret, comme dans le cas de la LP, il peut par après y avoir un impact de l’évaluation sur la mise en œuvre du décret.
MVDB : Il ressort globalement de l’évaluation du décret de 2009 que les bibliothèques se sont plutôt bien adaptées aux nouvelles exigences et aux nouvelles situations professionnelles qu’il a amenées. A quoi cela tient-il, d’après vous ?
CF : C’est vrai que nous n’avons vraiment pas ressenti beaucoup de blocage par rapport aux changements impulsés par le décret. Nous avons cru comprendre que le décret est arrivé au bon moment : il y avait un certain refinancement, qui permettait d’engager des personnes avec un autre profil dans les bibliothèques, sans vraiment fragiliser le bibliothécaire lui-même, puisqu’on maintenait quand même ses fonctions classiques. Les bibliothécaires semblaient prêts. On a vu qu’il y avait d’ailleurs eu beaucoup de débats, au niveau de la LP, avant l’adoption de ce décret. J’aurais tendance à résumer leur position ainsi : « On a ouvert les fenêtres, on s’est mis en partenariat, et on trouve que ce changement est une bonne chose. Même si on ne se sent pas tout à fait outillé pour le mener à bien. » Moi, c’est vraiment l’impression que j’ai eue.
