A N N E X E
I. - Définition
L'évaluation d'une politique publique consiste à comparer ses résultats aux moyens qu'elle met en oeuvre - qu'ils soient juridiques, administratifs ou financiers - et aux objectifs initialement fixés. Elle se distingue du contrôle et du travail d'inspection en ce qu'elle doit aboutir à un jugement partagé sur l'efficacité de cette politique et non à la simple vérification du respect de normes administratives ou techniques.
Une évaluation peut être réalisée à plusieurs stades de la vie d'une politique. On distingue trois types d'évaluation :
- l'évaluation ex ante, entendue comme l'étude prospective de la faisabilité et de l'impact d'une politique envisagée ;
- l'évaluation ex post, qui consiste à tirer les enseignements d'une politique mise en oeuvre ;
- l'évaluation concomitante ou « chemin faisant ».
De la première catégorie relèvent les études d'impact, dont les conditions de réalisation sont précisées par la circulaire du 26 janvier 1998 pour les projets de loi et de décret en Conseil d'Etat.
Le décret relatif à l'évaluation interministérielle des politiques publiques fixe les nouvelles procédures applicables aux deux autres types d'évaluation mentionnés, qui sont le corollaire obligé des études d'impact.
Les évaluations ex post et concomitantes, ayant pour objet de porter un jugement sur des circonstances passées, ne peuvent tenir lieu de rapport de propositions. En règle générale, les propositions ne procèdent pas immédiatement des conclusions de l'évaluation et doivent être élaborées dans un second temps, selon un processus distinct. En ce qui concerne l'Etat, il appartient (cf. III) au Commissariat général du Plan de les établir en liaison avec les ministères compétents au titre des suites à donner aux évaluations.
II. - La procédure applicable
Le nouveau dispositif mis en place vise à confier à une nouvelle instance, le Conseil national de l'évaluation, composée notamment d'élus et de personnalités qualifiées, la mission de proposer au Premier ministre un programme annuel d'évaluation et d'en suivre la réalisation. Assisté dans son fonctionnement par un rapporteur général et par le Commissariat général du Plan, qui en assure le secrétariat, le Conseil national de l'évaluation est le moteur de la nouvelle procédure interministérielle d'évaluation des politiques publiques.
Le président du Conseil national de l'évaluation est nommé par décret, parmi ses membres, sur proposition du conseil. Le président arrête l'ordre du jour des réunions du conseil et signe tous actes relatifs à l'exercice des missions du conseil. Il peut déléguer sa signature en cas d'absence ou d'empêchement.
Le Conseil national de l'évaluation décide de son règlement intérieur, qui sera joint à son rapport d'activité annuel.
2.1 La saisine du Conseil national de l'évaluation
Le souci de développement de l'évaluation au sein de la sphère publique a présidé à la préparation du nouveau décret. C'est pourquoi, outre la faculté d'autosaisine, de larges possibilités de saisine du conseil ont été prévues, que ce soit au bénéfice du Premier ministre et des ministres, de plusieurs institutions (Conseil d'Etat, Cour des comptes, Conseil économique et social, Médiateur de la République), des associations d'élus ou des collectivités territoriales elles-mêmes (cf. art. 4).
Le conseil peut être saisi à tout moment, sous la forme d'un avant-projet sommaire développé dans les conditions prévues au point 2.2 ou d'un dossier déjà solidement élaboré.
Par circulaire du 7 septembre 1998, je vous avais demandé de transmettre au commissaire au Plan des propositions de sujets d'évaluation dans un délai de deux mois. A l'avenir, le Conseil national de l'évaluation vous sollicitera, de sa propre initiative, par l'intermédiaire du commissaire au Plan.
2.2. Le rôle d'accompagnement joué par le Commissariat général
du Plan lors du lancement de la procédure
L'article 8 du décret dispose que le Commissariat général du Plan a pour mission générale d'animer le développement de l'évaluation dans l'administration. A ce titre, il est l'interlocuteur privilégié des services chargés de l'évaluation dans les ministères et les collectivités territoriales. Son rôle consiste notamment à aider les autorités disposant d'un pouvoir de saisine du conseil - au premier rang desquelles il convient de mentionner les ministres - et à sélectionner et formaliser des projets d'évaluation. Il prête également son concours pour la mise au point des projets d'évaluation dont ce dernier se saisit directement.
Après concertation avec les administrations concernées, chaque projet d'évaluation envisagé doit faire l'objet d'un cahier des charges visant à cerner l'ensemble des questions définissant le champ de l'évaluation et à indiquer par quels moyens il convient d'y répondre, sachant qu'une évaluation ne doit en aucun cas être orientée par le choix a priori d'une méthode ou par la nature de l'information immédiatement disponible. En outre, dans la mesure où toute politique publique comporte de multiples dimensions, il est indispensable de sélectionner les aspects qui doivent faire l'objet des investigations prioritaires, compte tenu de l'importance des enjeux économiques et sociaux qui y sont attachés.
Le cahier des charges de chaque projet d'évaluation proposé au conseil doit comporter les éléments suivants :
- une définition des contours du ou des thème(s) d'évaluation retenu(s) ;
- une analyse des raisons pour lesquelles il y a lieu de procéder à l'évaluation ;
- une liste de questions auxquelles l'auteur de la saisine souhaite qu'il soit répondu ;
- une proposition de composition de l'instance d'évaluation (profil du président, administrations concernées, personnalités qualifiées) ;
- une liste des principaux acteurs (ministères, collectivités locales, groupes d'intérêt, etc.) concernés par l'évaluation ;
- une estimation de la durée nécessaire à l'évaluation et du budget d'études éventuel qu'elle requiert, ainsi que la liste des travaux disponibles au sein des administrations susceptibles de nourrir l'évaluation ;
- les possibilités de financement ou de cofinancement des travaux ;
- des premières indications de méthode (questionnaire, enquête, traitements statistiques, comparaisons internationales, etc.), sans préjudice de la méthode qui sera finalement retenue par l'instance chargée de l'évaluation (cf. 2.5).
Si nécessaire, les auteurs de la saisine peuvent proposer que le projet de cahier des charges prévoie l'établissement d'un rapport intermédiaire.
2.3. Examen des projets par le Conseil national de l'évaluation
Le cahier des charges présenté à l'appui de chaque projet fait l'objet d'un examen par le conseil. Si ses appréciations conduisent à préconiser des modifications substantielles du cahier des charges, le dossier est à nouveau instruit par le Commissariat général du Plan et l'auteur de la saisine pour être présenté au conseil lors d'une séance ultérieure.
Le conseil, lorsqu'il approuve le contenu d'un projet d'évaluation, se prononce sur l'ensemble du cahier des charges, et notamment sur le mode de composition de l'instance d'évaluation à mettre en place ainsi que sur le budget prévisionnel du projet.
2.4. Elaboration et adoption du programme annuel d'évaluation
L'ensemble des projets dont les cahiers des charges donnent satisfaction sont rassemblés dans un document de synthèse, appelé « programme d'évaluation » (cf. art. 4), qui est transmis au Premier ministre au plus tard à la fin du mois de mars de chaque année. Les projets non retenus par le conseil sont également transmis au Premier ministre avec mention des raisons pour lesquelles ils ont été rejetés.
Le Premier ministre arrête le programme annuel, qui fait l'objet d'une publication au Journal officiel de la République française.
L'objectif est de lancer les travaux d'évaluation dès le mois de juin de la même année.
2.5. Mise en place et fonctionnement des instances d'évaluation
Dès la publication du programme annuel d'évaluation, le Commissariat général du Plan établit la liste des membres des instances à mettre en place pour réaliser les évaluations retenues. Il est représenté dans chaque instance d'évaluation.
Dans le respect des principes méthodologiques dégagés par le Conseil scientifique de l'évaluation depuis 1990, chaque instance d'évaluation est présidée par une personnalité reconnue en raison de son expérience professionnelle et qui n'est pas directement concernée par le thème de l'évaluation à mener. Elle est par ailleurs composée de représentants des administrations principalement impliquées, d'élus et de personnalités qualifiées, ces dernières ne pouvant être partie prenante au dispositif ou à la politique évalués. Son effectif est limité à douze membres pour des raisons d'efficacité.
Installée par le ministre le plus directement concerné et le commissaire au Plan, l'instance d'évaluation engage ses travaux sur la base du cahier des charges qui lui est communiqué, dans les termes retenus dans le programme annuel arrêté par le Premier ministre.
Les axes de recherche sont ensuite définis par le président et les membres de l'instance d'évaluation, en toute indépendance. La méthode de travail à suivre est également laissée à leur libre appréciation. Quelques principes directeurs peuvent toutefois être valablement pris en compte :
- l'instance peut procéder à toutes les auditions jugées utiles, notamment au début de ses travaux pour orienter ses réflexions. Ces auditions servent notamment à entendre l'ensemble des intérêts en cause, dont il ne saurait être question qu'ils soient représentés au sein d'une instance indépendante ;
- les études commandées à des prestataires extérieurs ne doivent servir qu'à obtenir des données ou des analyses nouvelles. Cette démarche de bon sens participe du souci de bon usage des fonds publics. Il va de soi que les études demandées ne se substituent pas au rapport d'évaluation établi par l'instance ;
- tout en visant à la rigueur de l'analyse, l'instance doit veiller à exécuter ses travaux dans un délai raisonnable. La durée de plusieurs évaluations menées dans le cadre du décret no 90-82 du 22 janvier 1990 a, en effet, été excessivement longue, au point de rendre les conclusions difficilement exploitables. Sans qu'il soit possible de définir un temps standard d'évaluation, il convient de retenir comme référence une durée qui ne saurait être, en règle générale, supérieure à un an.
2.6. Examen et publication des rapports d'évaluation
A l'issue de ses travaux, l'instance d'évaluation remet son rapport au Conseil national de l'évaluation. Le Commissariat général du Plan le transmet simultanément aux administrations, organismes et collectivités concernés. Par souci de clarté et afin de rendre l'évaluation plus accessible pour le grand public, il convient que l'instance d'évaluation prépare un double document, constitué, d'une part, d'un rapport exhaustif, éventuellement accompagné d'annexes, et, d'autre part, d'une synthèse de quelques dizaines de pages.
Comme le prévoit l'article 5 du décret, le conseil dispose au plus de deux mois pour apprécier la qualité des travaux effectués. Il est pour cela assisté du rapporteur général qui, après analyse détaillée de la méthodologie suivie et de la cohérence des observations, remet ses conclusions écrites aux membres du conseil. Elles servent de base à la formulation de l'avis rendu officiellement par le conseil. Cet avis est également adressé sans délai par le Commissariat général du Plan aux administrations, collectivités territoriales ou organismes publics concernés, qui disposent d'un délai de trois mois à compter de cette transmission pour faire part au Conseil national de l'évaluation de leurs observations sur le rapport et des suites qu'ils envisagent d'y donner.
Au terme de ce délai, le rapport d'évaluation, sa synthèse et les observations des administrations concernées sont rendus publics dans les conditions prévues à l'article 5 du décret. Le Commissariat général du Plan est chargé, conformément à l'article 8 du décret, d'assurer la publication de ces documents en relation avec la Documentation française.
2.7. Le rapport d'activité du Conseil national de l'évaluation
L'article 5 du décret dispose que le conseil remet annuellement au Premier ministre un rapport d'activité. Il convient que celui-ci comporte notamment les éléments suivants :
- une analyse des qualités et des faiblesses des évaluations réalisées pendant l'année écoulée ;
- des recommandations pratiques et méthodologiques qui puissent servir de référence générale pour les évaluations à venir ;
- une monographie des évaluations réalisées et la confrontation de leurs conclusions avec les réponses des autorités concernées sur la suite à leur donner ;
- des recommandations au Gouvernement pour assurer un développement cohérent des connaissances sur l'efficacité des politiques publiques.
Le rapport annuel d'activité du conseil fait objet d'une publication.
III. - Les suites à donner aux évaluations
Le décret no 90-82 du 22 janvier 1990 comportait des dispositions relatives aux suites à donner aux évaluations réalisées, sur lesquelles devait se prononcer le comité interministériel de l'évaluation. L'expérience a montré que cette étape du processus d'évaluation a été largement négligée, du fait même de l'absence de réunions du comité interministériel de l'évaluation depuis 1993.
Le développement de l'évaluation n'a de sens que s'il s'intègre dans un processus d'amélioration de la décision publique qui tienne pleinement et rapidement compte des dysfonctionnements mis en évidence dans les rapports des instances d'évaluation. De ce point de vue, l'attention portée à la préparation et à la mise en oeuvre des suites à donner aux évaluations revêt une importance décisive.
3.1. La préparation des suites
Comme le prévoit l'article 8 du décret, la préparation des suites relève de la compétence du Commissariat général du Plan en liaison avec les administrations concernées.
A cet effet, il dispose d'un délai de deux mois pour dégager des rapports et des réponses apportées par les autorités concernées les propositions qui méritent d'être retenues au niveau gouvernemental.
Ce travail de réflexion doit être mené en étroite concertation avec les ministères concernés par les mesures ou orientations à prendre.
3.2. L'adoption des suites
Les propositions du Commissariat général du Plan et le relevé des positions des administrations sont soumis pour examen au Premier ministre, qui arrête ou confirme les décisions à prendre. Le cas échéant, les réunions interministérielles d'arbitrage nécessaires sont organisées.
IV. - Le fonctionnement du Fonds national
de développement de l'évaluation (FNDE)
Mis en place en 1990, le FNDE est maintenu dans le nouveau dispositif comme un outil financier indispensable à la consolidation de l'évaluation dans la sphère publique.
Inscrits au budget des services du Premier ministre, les crédits de ce fonds sont gérés par le Commissariat général du Plan, en sa qualité de secrétaire du conseil.
Comme précisé au point 2.2 de la présente circulaire, le Commissariat général du Plan, lors du travail de préparation du cahier des charges d'une évaluation, propose au Conseil national de l'évaluation un budget prévisionnel consacré au financement des études à commander. Celui-ci est délibéré par le conseil et mentionné dans le descriptif de chaque évaluation figurant dans le programme annuel proposé au Premier ministre, qui en arrête définitivement le montant.
Pour les projets d'évaluation arrêtés par le Premier ministre, les crédits du FNDE contribuent au financement des évaluations à hauteur de 50 %, le reste étant à la charge des administrations ou organismes publics principalement concernés par le thème retenu. La liste exhaustive des contributeurs et le pourcentage de leur participation figurent dans le programme annuel d'évaluation comme indiqué précédemment.
Sur cette base, le Commissariat général du Plan, ordonnateur du fonds, effectue le paiement des études sollicitées par les instances d'évaluation sur les crédits du FNDE, dans le cadre du budget global qui leur est accordé. Les administrations ou organismes publics contributeurs effectuent, au profit du Commissariat général du Plan, un remboursement global à la hauteur du pourcentage de leur participation financière. Le Commissariat général du Plan tient régulièrement informé le conseil national de l'exécution du budget de chaque évaluation, ainsi que de l'engagement des crédits du FNDE.
Avec l'appui méthodologique du rapporteur général du conseil, le Commissariat général du Plan subordonne strictement le paiement des études à leur adéquation avec les commandes passées par les instances d'évaluation.
V. - Le développement de l'évaluation dans l'administration
La place centrale de l'évaluation interministérielle des politiques publiques n'est pas exclusive du développement de l'évaluation au sein de chaque département ministériel, bien au contraire. C'est dans cette perspective que l'article 8 du décret confie au Commissariat général du Plan le soin de mieux ancrer l'évaluation dans l'action administrative par un travail soutenu de diffusion des méthodes et techniques d'évaluation et un effort accru de formation en ce domaine.
Le Commissariat général du Plan organisera à cet effet des réunions de travail périodiques avec les responsables de l'évaluation de tous les ministères, pour apporter son appui aux initiatives prises dans l'administration, favoriser les échanges d'expériences et contribuer à l'adoption d'une démarche cohérente au sein des différents ministères et de leurs établissements publics.
Le Commissariat général du Plan proposera par ailleurs aux administrations des séminaires de formation sur l'évaluation pour poursuivre la diffusion progressive de la culture de l'évaluation dans la sphère publique.
Enfin, pour faire avancer l'état des connaissances sur les méthodes d'évaluation, le rapporteur général et le Commissariat général du Plan noueront des relations plus étroites avec les administrations et instituts de recherche étrangers.
Dans ces différents domaines, le Commissariat général du Plan rend compte de son action au Premier ministre, ainsi qu'au conseil, dans le bilan d'activité prévu à l'article 8 du décret.