Ce projet de recherche cherche à répondre à la question suivante : Quelles sont les pratiques antérieures et actuelles de l’évaluation au Québec et quels enseignements peut-on déjà en tirer ? Si plusieurs études, expertises, audits etc. réalisés par les administrations provinciales peuvent s’inscrire dans l’évaluation des politiques publiques, ni un aperçu systématique de ces expériences, ni une appréciation de leur qualité et utilité ne sont disponibles. Afin de combler cette lacune, le projet réalisera une petite enquête ciblée auprès de l’administration provinciale, puis analysera dans les détails entre trois et cinq cas concrets d’évaluations déjà menées à terme. Cette méta-évaluation (évaluation des évaluations) permettra d’identifier les forces et les faiblesses des pratiques antérieures.

Etapes de recherche et méthodologie :

Pour répondre à la question, le projet s’articule en deux étapes complémentaires

1. Etat des lieux au Québec : La première étape impliquera une analyse quantitative des évaluations - ou des démarches s’en rapprochant - déjà réalisées au niveau provincial. Ces informations sont nécessaires pour fonder le choix des études de cas qualitatives (entre trois et cinq) à réaliser lors de la deuxième étape. En effet, il s’agit de les sélectionner de manière intéressante, en fonction d’arguments théoriques (par ex. évaluation interne vs externe, évaluation ex ante, concomitante vs ex post, évaluation de l’efficacité vs de l’efficience) et des spécificités du système québécois (par ex. évaluations selon ministères et politiques publiques concernés). Les méthodes appliquées seront des synthèses de lectures, des analyses de documents, des entretiens avec des experts et des statistiques descriptives. 

2. Focus sur quelques évaluations québécoises : Lors de la deuxième étape, chacune des évaluations retenues sera analysée dans les détails. Pour ce faire, le projet se réfèrera aux standards de qualité formulés par la profession pour juger une évaluation (par ex. rigueur méthodologique, utilité pratique, déontologie des évaluateurs). La comparaison transversale des études de cas permettra quant à elle d’apprécier la pratique évaluative actuelle et d’identifier les principales lacunes en la matière. D’un point de vue méthodologique, cette étape implique des analyses de documents (par ex. mandat d’évaluation, rapport d’évaluation) et des entretiens avec les évaluateurs et les évalués ainsi que le recours à toutes les techniques utiles pour juger de la rigueur scientifique des évaluations comparées (par ex. validité interne et externe des données traitées par l’évaluateur, pertinence des techniques de collecte retenues, contrôle de l’exactitude des résultats quantifiés).