L'évaluation comme pratique
Ce premier module présente l’évaluation comme un outil de mesure des effets de l’action publique au profit des décideurs politiques, des fonctionnaires et des citoyens : comment l’évaluation se situe-t-elle d’un point de vue historique ? Quels sont les différents courants et approches de l’évaluation ? Comment situer l’évaluation par rapport aux autres outils de contrôle et d’audit ? Pourquoi évaluer et comment formuler les questions évaluatives ? Quels sont les enjeux en termes de qualité et d’éthique ?
Ce module comprend les quatre sections suivantes :
- Genèse et paradigmes de l’évaluation ;
- L’évaluation par rapport aux autres outils et méthodes de gestion publique ;
- Les objets et les questions d’évaluation ;
- La qualité de l’évaluation.
Compétences à acquérir :
- Savoir distinguer les différents courants et approches possibles de l’évaluation par rapport à leur épistémologie et au contexte politique ;
- Distinguer les apports spécifiques de l’évaluation par rapport aux autres outils de pilotage et de contrôle des organisations publiques ;
- Formuler des questions évaluatives en fonction du contexte et de l’usage attendu des conclusions ;
- Apprécier la qualité d’un rapport d’évaluation et se placer dans la logique de la méta-évaluation.
Lectures :
- Albarello, L., D. Aubin, C. Fallon et B. Van Haeperen (2016) Penser l’évaluation. Bruxelles: De Boeck.
- Ridde, V., et C. Dagenais (dir.) (2012). Approches et pratiques en évaluation de programme. 2ème éd. Montréal, Presses de l'Université de Montréal.
- Rossi, Peter H., Mark W. Lipsey et Gary T. Henry (2019). Evaluation, a Systematic Approach. 8ème éd. Newbury Park : Sage, 360 pp.
- Weiss, Carol H. (1998) Evaluation. Methods for Studying Programs and Policies. 2e éd. Upper Saddle River : Prentice Hall
I. GENESE DE L’EVALUATION :
Description : Aspects historiques et épistémologiques de l’évaluation : la genèse scientifique (aux USA et en Europe), les courants et/ou approches en matière d’évaluation, la structuration progressive de l’évaluation des politiques publiques, le positionnement au sein des sciences sociales, le développement de l’évaluation des politiques publiques dans un contexte international.
Compétences à acquérir :
- Savoir distinguer les différentes approches possibles de l’évaluation :
- par rapport au contexte politique
- par rapport au contexte épistémologique (histoire des sciences sociales)
- Situer historiquement et géographiquement ces approches.
II. L’EVALUATION PAR RAPPORT A D’AUTRES OUTILS OU METHODES DE GESTION PUBLIQUE
Description :
- La place de l’évaluation par rapport au pilotage des politiques et à d’autres outils/ méthodes de gestion (l’audit, le contrôle administratif et le contrôle de gestion, la gestion de la qualité, la médiation, l’évaluation des lois …)
- Les relations de l’évaluation avec les grandes questions de management public (ex. la gestion budgétaire, la performance organisationnelle, l’externalisation de l’action publique …) ainsi qu’avec les enjeux de la gouvernance et de la démocratie (ex. la multiplication de la demande sociale et des champs d’intervention de l’Etat, la légitimité de l’action publique…)
Compétences à acquérir :
Distinguer l’évaluation par rapport aux différents outils de pilotage et de contrôle des organisations publiques
III. LES OBJETS ET LES QUESTIONS D’EVALUATION
Description :
- L’identification et la formulation de la (des) question(s) de départ
- Le choix des critères d’évaluation (efficience, efficacité, pertinence…)
- Les objets de l’évaluation (politiques publiques, programmes, projets, plans d’action, … ; politiques publiques substantielles et institutionnelles…)
- Les designs possibles (études de cas uniques, comparaison d’études de cas, combinaison quasi-expérimentale avant/après, …
Compétences à acquérir :
Savoir distinguer l’approche appropriée par rapport aux questions posées
IV. L’INSTITUTIONNALISATION DE L’EVALUATION DES POLITIQUES PUBLIQUES
Description :
L’organisation de l’évaluation en tant qu’activité régulière; les (réseaux d’) acteurs de l’évaluation ; les facteurs favorisant le développement de l’évaluation
Compétences à acquérir :
Comment promouvoir la culture et le savoir-faire de l’évaluation au sein d’une organisation
V. LA CULTURE ET L’ETHIQUE DE L’EVALUATION
Description :
L’importance de la culture de l’évaluation. L’examen des Chartes d’évaluation (USA,
Suisse, France, ..) en y relevant la philosophie suivie pour fonder la légitimité de l’évaluation. Les aspects éthiques (déontologiques) de l’évaluation.
Compétences à acquérir :
Réaliser en fin de module une méta-évaluation d’un rapport d’évaluation ; savoir porter en particulier une appréciation sur :
- les questions posées/ les critères
- les acteurs et le design de la politique ou du programme à évaluer
- le choix de l’approche
- le contexte institutionnel et les rapports entre évaluateur et évalués
Lectures :
- Bussmann, Werner, Ulrich Klöti et Peter Knoepfel (1998). Politiques publiques : évaluation. Coll. "Politique Comparée". Paris : Economica, 327 pp.
- De Visscher, Christian, et Frédéric Varone (dir.) (2001). Évaluer les politiques publiques. Regards croisés sur la Belgique. Louvain-la-Neuve : Academia-Bruylant, 166 pp.
- Jacob, Steve, et Frédéric Varone (2003). Évaluer l'action publique : état des lieux et perspectives en Belgique. Gand : Academia Press, 243 pp.
- Perret, Bernard (2001). L’évaluation des politiques publiques. Coll. "Repères". Paris : La Découverte, 128 pp.
- Ridde, V., et C. Dagenais (dir.) (2009). Approches et pratiques en évaluation de programme. Montréal, Presses de l'Université de Montréal.
- Rossi, Peter H., Mark W. Lipsey et Howard E. Freeman (2004). Evaluation, a Systematic Approach. 7e éd. Newbury Park : Sage, 480 pp.
Analyse des politiques publiques
Description
L'analyse des politiques publiques de se penche sur le mode de gouvernement des sociétés contemporaines pour se poser la question fondamentale : « que font les gouvernements, pourquoi, ce que cela change ». Ce module présente différentes grilles d'analyse scientifiques et plusieurs concepts qui ont pour ambition d'aider à comprendre l'Etat en action. Les outils de l'analyse des politiques permettent de mettre l'évaluation en contexte.
Compétences à acquérir
- Comprendre et appliquer les concepts et modèles théoriques de l’analyse des politiques publiques, abordés en séance et dans des lectures complémentaires
- Décoder le sens d’une action publique menée pour mettre son évaluation en perspective, repérer les acteurs y prenant part, identifier leurs instruments, les stratégies individuelles et collectives
- Replacer ainsi l’évaluation dans le contexte plus large d’une politique publique et de la fabrique de l’action publique.
Lectures
- références données en séance sur les concepts et les modèles
- Jacob Steve, Schiffino Nathalie (2021) Politiques publiques. Fondements et prospective pour l’analyse de l’action publique, Bruxelles : Bruylant, Coll. Traités de science politique.
Pilotage des politiques publiques
Description
Une fois que l’objet, les objectifs, le public cible et les instruments de la politique publique ont été identifiés, formulés et intégrés dans une vision globale de l’action publique, il convient encore de s’interroger sur les variables susceptibles d’apprécier la politique publique tout au long de son cycle, les résultats intermédiaires et finaux, de suivre l’emploi des ressources ou encore de s’assurer de la satisfaction des acteurs repris directement ou indirectement dans le processus d’exécution de la politique publique. L’évaluation permet de ne plus voir la séquence de l’action publique comme linéaire mais faite de retours et d’adaptations permanents afin de concourir à son optimisation tout au long de son cycle de vie.
Ce cours a pour ambition de sensibiliser les participants à la recherche et à l’élaboration de ces variables, indicateurs ou instruments de suivi concourant à la recherche d’une haute qualité de l’action publique.
Compétences à acquérir
Au travers du cours et des cas pratiques mobilisés, les participants seront à même d’apprécier la pertinence d’indicateurs de pilotage des politiques publiques voire de participer au processus de construction de ces derniers. Plus spécifiquement, les participants seront capables de replacer l’action publique dans sa dynamique d’exécution et ses processus de redéfinition permanente.
Méthodes
Processus d’élaboration du design de recherche de l’évaluation :
- adéquation technique et politique
- Designs qualitatifs, quantitatifs et mixtes
- Designs causaux : expérimental, quasi-expérimental et non expérimental
- Techniques de collecte et d'analyse de données
Démarches et processus de l'évaluation de l’action publique
Description
Le cours traitera de la construction du processus évaluatif en tant que tel. L’objectif poursuivi est d’aborder en premier lieu l'évaluation externe, c'est-à-dire le processus construit, limité dans le temps, qui mène à un rapport d'évaluation. Les objectifs de cette démarche, ses limites, les différentes parties prenantes, les méthodologies utilisées et les conditions de succès seront abordés à travers des exemples concrets.
La seconde partie traite de l'évaluation interne, c'est-à-dire de la gestion d’un processus évaluatif à l’intérieur d’un organisme, et notamment la mobilisation des acteurs et des outils pour évaluer les résultats de la politique qu'il est censé mettre en œuvre. L’idée est de proposer aux participants une immersion dans la logique concrète d’une démarche d’évaluation.
Compétences à acquérir
Le cours a pour objectif de permettre aux participants d’acquérir les connaissances nécessaires pour décrire, expliquer et accompagner les processus évaluatifs en comprenant les tenants et aboutissants de cette démarche tout en comprenant les limites.
Séminaire intégratif
Contenu :
Le séminaire intégratif constitue l’aboutissement du cursus. En ce sens, il permet aux participants de mettre en pratique, de manière cohérente et intégrée, l’ensemble des acquis des modules précédents.
Ce séminaire porte sur l’évaluation des politiques publiques « en action », en privilégiant un apprentissage de type interactif. Se basant sur un travail en groupe et une présentation de celui-ci devant un jury, ce séminaire approfondit les capacités d’analyse et de communication, et les compétences de jugement des participants. L’objectif visé est de construire ensemble un projet d'évaluation complexe.
Méthodes :
- Travail en groupe portant sur une étude de cas spécifique
- Mise en situation et interactivité
- Présentation du travail de groupe
- Jeux de rôle et simulation
Compétences à intégrer:
Le séminaire permet aux participants de mettre en œuvre, à travers l’analyse approfondie d’un projet d’évaluation, les connaissances théoriques avec les savoirs pratiques en relation avec l’évaluation des politiques publiques :
- Construire des critères, des procédures et des formats de l’évaluation des politiques publiques, mesurer leurs rôles et leurs effets
- Réfléchir et organiser la mise en place d’un dispositif d’évaluation des politiques publiques
- Identifier les problèmes, questions et défis de l’évaluation des politiques publiques
- Comprendre les enjeux au sujet des modes de réception de l’évaluation des politiques publiques et des modes d’interaction avec les entités/acteurs évalués
- Appréhender les conditions sociales, légales et politico-administratives de l’évaluation des politiques publiques
Simulation de réponse à un appel d'offres
Contenu
Le séminaire a comme fonction de permettre la progression intellectuelle et matérielle des participants dans leur recherche. A cette fin, chaque participant sera amené à présenter aux autres participants l’état d’avancement de sa recherche et les problèmes rencontrés.
Le règlement du TFF et les consignes méthodologiques et déontologiques sont consignés dans le vademecum du TFF qui est distribué à tous les participants.