Planification et rapports

Évaluation du Programme de promotion de la femme



Évaluation du Programme de promotion de la femme

Volume I - Rapport final

SOMMAIRE

Le Programme de promotion de la femme (PPF) est un programme de subventions et de contributions qui a été créé en 1973 en réponse à une recommandation de la Commission royale d'enquête sur la situation de la femme. D'abord administré par l'ancien ministère du Secrétariat d'État, le PPF fait partie de Condition féminine Canada (CFC) depuis 1995. Il a pour mandat d'« appuyer les interventions faites par des groupes de femmes et d'autres partenaires qui militent en faveur de l'égalité des femmes, en se penchant sur la situation économique, sociale, politique et juridique des femmes ». Il contribue ainsi à l'atteinte de l'objectif général de CFC, qui est de promouvoir l'égalité entre les sexes et d'assurer la pleine participation des femmes à la vie économique, sociale, culturelle et politique du Canada.

Le PPF fournit une aide financière et technique aux groupes de femmes et à d'autres organisations qui oeuvrent pour l'égalité des femmes. Son budget annuel pour les subventions et les contributions est d'environ 11 millions de dollars, ce qui, de 2000 à 2005, comprenait environ deux millions par année au titre du Programme d'action pour l'égalité entre les sexes (PAES) du gouvernement fédéral.

Afin de satisfaire aux exigences du Secrétariat du Conseil du Trésor relatives à l'établissement de rapports par les programmes fédéraux de subventions et de contributions, CFC a retenu les services de PRA Inc. pour l'évaluation sommative de la conception et de la prestation, de l'incidence, de la rentabilité et de la pertinence du PPF ainsi que des solutions de rechange à ce dernier. Cette évaluation étant mise en oeuvre dans le contexte de l'examen des dépenses effectué à l'échelle du gouvernement fédéral, elle vise également à aborder les questions liées à la responsabilité envers le public et à l'harmonisation avec les priorités des Canadiennes et des Canadiens.

Afin d'accroître la fiabilité et la validité des résultats, on a utilisé, lorsque cela était possible, de multiples sources de données pour répondre aux questions d'évaluation. Les méthodes de collecte de données utilisées comprennent :

  • l'examen de documents et de données administratives sur le Programme;
  • l'examen de dossiers (45);
  • une enquête auprès de groupes qui ont présenté une demande (215);
  • des entrevues auprès d'informatrices et d'informateurs clés (41);
  • des études de cas (7).

Les principales conclusions de l'évaluation sont les suivantes.

Conception et prestation

Dans l'ensemble, les intervenantes et intervenants croient que le PPF possède plusieurs atouts importants, notamment la souplesse, qui lui permet de s'adapter à une vaste gamme de groupes, de stratégies et d'enjeux; son approche de développement social, conçue pour appuyer les changements sociaux à long terme en renforçant la capacité des groupes de femmes de participer plus pleinement à la société canadienne; sa structure décentralisée et sa présence dans les collectivités, ainsi que l'accent particulier mis sur l'égalité des femmes.

La structure du PPF, qui comporte les volets d'aide technique et d'aide financière, est également perçue comme étant fondamentalement solide. Les membres du personnel et les gestionnaires du PPF ainsi que les personnes qui ont présenté une demande ont souligné que le processus d'élaboration des propositions pouvait être exigeant, surtout depuis l'adoption de l'approche axée sur les résultats.

Nombre d'obstacles de taille nuisent à la mise en oeuvre efficace de l'approche axée sur les résultats. Qui plus est, ni les groupes demandeurs, ni le personnel du Programme ne maîtrisent encore bien cette approche ou n'y adhèrent entièrement. Enfin, l'incertitude persiste, tant chez les groupes demandeurs que chez le personnel du Programme, quant au bien-fondé de l'approche axée sur les résultats dans le contexte du travail de développement social. Ajoutons que, bien que le PPF recueille une quantité importante de renseignements par l'intermédiaire des formulaires normalisés adoptés en 2003-2004, il ne possède aucune stratégie pour analyser ces données et en rendre compte; il ne dispose pas non plus de base de données administratives à laquelle aurait accès le personnel des régions. Certains membres du personnel du Programme et des informatrices et informateurs clés ont indiqué qu'il fallait éviter de trop compter sur une solution fondée sur des formulaires normalisés et sur une base de données administratives pour l'établissement de rapports. Ces intervenantes et intervenants recommandent que le PPF mette en oeuvre une stratégie de mesure du rendement diversifiée qui comporte à la fois les méthodes « quantitatives » prévues et des méthodes qualitatives, telles que des études de cas. On élabore actuellement une stratégie relative aux rapports, mais la mise sur pied d'une base de données administratives est retardée par le manque de ressources financières, de capacité technique et d'engagement de la part de la direction.

Recommandation 1. Mise en place de mécanismes accentuant la responsabilisation en matière de gestion de programme relativement à la mise en oeuvre de l'approche axée sur les résultats.

  • La contribution de la direction à la mise en oeuvre efficace de l'approche axée sur les résultats pourrait être mesurée en fonction de la disponibilité, de la qualité et de l'actualité des documents appropriés et des activités de formation concernant cette approche pour le personnel du Programme, les groupes demandeurs et ceux qui pourraient éventuellement présenter une demande, dans l'ensemble du Canada.

  • La direction devrait être responsable de la clarté et de l'uniformité des recommandations relatives au financement et des rapports établis par la suite. Plus particulièrement, les gestionnaires du Programme devraient veiller à ce que les propositions ne se rendent pas à l'étape de la recommandation avant que les activités, objectifs et résultats attendus de l'initiative ne soient clairement définis. Il faudrait établir un protocole normalisé pour les activités, objectifs et résultats attendus qui changent en cours de route. Les gestionnaires devraient également s'assurer que le rapport final sur l'initiative n'est pas accepté s'il ne comprend pas l'information requise sur les résultats atteints.

  • La direction devrait assumer la responsabilité de l'échange de l'information concernant les pratiques exemplaires relatives à la mise en oeuvre de l'approche fondée sur les résultats dans tous les bureaux régionaux et locaux du PPF.

Recommandation 2. Le PPF devrait fournir aux personnes qui présentent une demande de financement ainsi qu'aux membres du personnel et aux gestionnaires du Programme une formation sur l'approche axée sur les résultats.

  • La formation devrait viser principalement à faire bien comprendre l'approche axée sur les résultats, y compris ses concepts clés, les définitions et ses exigences, pour permettre d'éventuelles économies à l'étape de l'élaboration des propositions.

  • La formation devrait également mettre l'accent sur l'objet des formulaires normalisés et l'utilisation pertinente de ces derniers, et souligner l'importance de l'uniformité dans l'établissement des rapports.

Pour la partie de cette évaluation qui porte sur l'examen des dossiers, on n'a pu atteindre entièrement le deuxième objectif, qui est de déterminer la mesure dans laquelle l'adoption d'une approche axée sur les résultats pour l'établissement de rapports était mise en application et de repérer tout nouvel enjeu qui mériterait un examen plus approfondi ou une surveillance continue. Cette situation est attribuable au petit nombre de « dossiers fermés » disponibles aux fins de l'examen pour l'exercice 2003-2004 et au peu de temps qui s'est écoulé entre la mise en oeuvre de l'approche axée sur les résultats et la présente évaluation.

Recommandation 3. Le PPF devrait répéter cet examen des dossiers dans le cadre de son cycle régulier d'évaluation, conformément aux lignes directrices du Conseil du Trésor, parce qu'il fournirait sans aucun doute davantage d'information sur les succès et les défis associés à la mise en oeuvre de l'approche axée sur les résultats et la mesure dans laquelle celle-ci est comprise par les groupes demandeurs et le personnel du Programme.

Recommandation 4. Le PPF devrait élaborer une stratégie d'établissement de rapports sur l'incidence du Programme. Il faudrait envisager l'élaboration d'une stratégie diversifiée de mesure du rendement qui mette l'accent non seulement sur la synthèse efficace de l'information recueillie sur les formulaires normalisés, mais également sur d'autres méthodes qualitatives objectives afin d'éclairer les résultats obtenus.

Certains intervenantes et intervenants ont dit avoir eu besoin d'aide pour comprendre l'information exigée dans les différents formulaires, qui ne se sont pas révélés utiles dans le cadre de l'évaluation en raison d'incohérences dans l'interprétation des différentes exigences, tant par les groupes demandeurs que par les équipes travaillant à des initiatives déjà financées et par le personnel du Programme. Les intervenantes et intervenants ont également souligné la nécessité de simplifier et d'assouplir le processus de présentation de demandes et de rapports.

Recommandation 5. Malgré l'adoption assez récente des  formulaires normalisés, le PPF pourrait les améliorer à ce stade et les aborder précisément dans le cadre de la formation recommandée et dans la documentation sur l'approche axée sur les résultats. Les améliorations visant à rendre les formulaires plus utiles aux fins de la mesure du rendement devraient être apportées de concert avec des spécialistes de l'évaluation et un échantillon représentatif de groupes demandeurs potentiels.

Compte tenu des défis inhérents à la mesure des changements sociaux et de la nécessité de recueillir des renseignements plus utiles et plus pertinents, le PPF devrait mettre l'accent sur des méthodes plus objectives pour la collecte de données qualitatives.

Recommandation 6. Afin d'offrir un complément aux rapports établis par les initiatives financées, le PPF devrait investir dans un processus d'examen externe dans le cadre duquel, à chaque année financière, un échantillon d'initiatives serait choisi et examiné par des services externes d'évaluation. En raison de la diversité des initiatives, des indicateurs de haut niveau de l'incidence de chacune pourraient être appliqués.

Recommandation 7. Le PPF devrait élaborer et mettre en place une base de données administratives accessible au personnel et aux gestionnaires de toutes les régions pour la gestion des aspects fondamentaux de leur travail et la facilitation de la collecte et de l'analyse de données ainsi que l'établissement de rapports sur les résultats.

L'évaluation s'est déroulée dans le contexte de l'enquête du nouveau Comité permanent de la condition féminine qui, en mai 2005, a recommandé que le PPF mette sur pied une formule combinée de financement de programme et de projet. Les audiences du Comité ont confirmé le point de vue exprimé par les intervenantes et intervenants pendant l'évaluation, selon lequel la cessation du financement de programme et son corollaire, à savoir, l'adoption du financement d'initiative, demeure le plus controversé des changements apportés au PPF en 1998.

Selon l'évaluation, certains groupes continuent de considérer que la cessation du financement de programme est préjudiciable. Par ailleurs, on croit que le financement d'initiative a eu l'effet positif de rendre l'accès au financement plus équitable pour certains groupes et d'augmenter leur visibilité et leur capacité. Les résultats de l'enquête confirment que l'opinion des groupes demandeurs sur les répercussions du changement est partagée.

Ni la formule de financement sur 18 mois ni la formule de financement pluriannuel, qui ont toutes deux été adoptées en 1998, ne sont aussi controversées. Elles sont toutes deux considérées comme des changements positifs. Dans une certaine mesure, les intervenantes et intervenants croient que les formules de financement sur 18 mois et sur plusieurs années font contrepoids à la cessation du financement de programme. Toutefois, certains membres du personnel et des gestionnaires ont précisé que le financement pluriannuel est limité par ses critères d'admissibilité. Les suggestions pour l'amélioration du financement pluriannuel comprennent son accessibilité accrue aux groupes qui ont moins d'expérience et sa disponibilité dans l'ensemble du pays.

S'il est clair qu'une partie de la clientèle du PPF appuie fortement le rétablissement du financement de programme, la majorité semble tout à fait satisfaite des mécanismes de financement existants. Il y a eu peu de soutien parmi le personnel du PPF pour le rétablissement du financement de programme; toutefois, de nombreuses personnes ont reconnu la nécessité d'un financement à plus long terme.

Recommandation 8. Le PPF devrait envisager de prolonger au-delà de trois ans le financement pluriannuel dans tout le Canada afin d'appuyer les initiatives dont les cycles de planification et de mise en oeuvre sont longs. Cependant, le renouvellement annuel du financement devrait demeurer conditionnel au respect des exigences en matière d'établissement de rapports et de rendement par les groupes.

Incidence

Cette évaluation se voulait une évaluation sommative mettant l'accent sur les résultats obtenus par le PPF, mais sa capacité de cerner l'incidence globale du Programme a été restreinte par les limites inhérentes aux données administratives disponibles et la nouveauté relative de l'approche axée sur les résultats. Par conséquent, les constatations de l'évaluation qui ont trait à l'incidence du Programme sont fondées principalement sur des données anecdotiques.

La grande majorité des intervenantes et intervenants, mais pas tous, reconnaissent que le PPF a aidé à l'avancement de l'égalité des femmes au Canada. Cependant, il est beaucoup plus difficile de préciser dans quelle mesure le PPF a atteint chacun de ses quatre objectifs, qui sont de favoriser le changement institutionnel; d'influer sur les politiques publiques; d'améliorer la compréhension, par le public, des mesures visant les enjeux liés à l'égalité des femmes et de renforcer la capacité des groupes de femmes. Les informatrices et informateurs clés ont été en mesure de donner des exemples précis de changements liés à chacun des objectifs, mais ils ont également souligné qu'avant la mise en oeuvre de l'approche axée sur les résultats en 2003-2004, le Programme n'avait fait aucun effort systématique pour en déterminer l'incidence globale. Nombreux sont ceux et celles qui ont fait remarquer qu'il était virtuellement impossible d'isoler la contribution nette du PPF en raison des rôles également importants joués par des facteurs externes, surtout le climat politique, dans le changement social.

L'évaluation a également tenté de déterminer si le PPF avait ou non atteint ses objectifs au regard du Programme d'action pour l'égalité entre les sexes (PAES) du gouvernement fédéral. Les données administratives montrent que les fonds du PAES ont permis au PPF d'obtenir certains succès; selon ces données, le PPF a financé en tout 122 nouveaux groupes et 123 dossiers concernant des enjeux nouveaux ou émergents. Cependant, au cours des entrevues, de nombreux membres du personnel et gestionnaires ont déclaré que le but du PAES n'avait pas été défini explicitement lorsque l'initiative avait été mise en oeuvre et que, par conséquent, on doit plutôt au hasard qu'à la conception de l'initiative les succès obtenus. Grâce aux fonds additionnels, il a été possible d'investir généralement plus d'argent.

L'évaluation fait ressortir une certaine ambivalence parmi le personnel et les gestionnaires du Programme au regard de la contribution du PPF à la concrétisation des objectifs de CFC. Si la plupart croient que le Programme a contribué à l'élaboration de politiques gouvernementales plus équitables et à l'élargissement de l'éventail d'intervenantes et d'intervenants éclairés, le personnel et les gestionnaires étaient divisés sur la question de sa contribution à l'efficacité de l'organisme. Ces informatrices et informateurs clés ont soutenu que le PPF et le reste de CFC travaillent chacun de leur côté, sans communication ni collaboration efficaces. En bref, le PPF n'est pas bien intégré à l'organisme, ses communications avec les autres directions laissent à désirer et il manque d'influence lorsqu'il est question du processus décisionnel organisationnel. On attribue très généralement la piètre qualité de cette relation à une différence philosophique fondamentale relative à la meilleure façon de réaliser l'égalité des femmes. Le PPF adhère à une philosophie de développement social, mais cela n'est pas, et, dit-on, n'a jamais été l'approche de CFC. Les informatrices et informateurs clés ont souligné la nécessité d'améliorer les communications et la collaboration entre toutes les directions de CFC.

Recommandation 9. CFC et le PPF devraient travailler ensemble à améliorer l'intégration du PPF et à établir davantage de liens de collaboration entre le PPF et les autres directions de CFC afin de leur permettre de bénéficier mutuellement de leurs efforts et de leur expertise. Par exemple, si l'on tient compte de la mine de renseignements qu'il recueille et de ses contacts fréquents avec les groupes de femmes et les autres organismes oeuvrant pour l'égalité, le PPF devrait participer directement à l'élaboration et à la mise en application de politiques. Les liens de collaboration entre les directions de CFC, y compris le PPF, devraient être fondés sur l'échange continu de renseignements.

Rentabilité et solutions de rechange

Les informatrices et informateurs clés croient à l'unanimité que le PPF utilise bien l'argent des contribuables canadiens et soulignent qu'il encourage les organisations communautaires à travailler, avec un budget restreint, à des dossiers importants pour les Canadiennes et les Canadiens, tout en comptant énormément sur le temps et les efforts de bénévoles. Selon les données financières disponibles, un pourcentage important du budget limité du PPF est consacré à des frais administratifs. Cette situation s'explique vraisemblablement par l'approche de développement social utilisée par le PPF. Ainsi, les frais administratifs comprennent la prestation de l'assistance technique requise pour renforcer la capacité des groupes de femmes et des autres organisations qui oeuvrent pour l'égalité. La complexité des questions liées à l'égalité des femmes et le processus de changement social, le fait que le PPF traite avec un certain nombre de groupes marginalisés ou d'organisations nouvelles ou en émergence ainsi que son modèle de prestation décentralisée peuvent également contribuer aux coûts liés à la prestation de ce type d'aide.

Recommandation 10. Le PPF devrait élaborer une procédure lui permettant de surveiller le pourcentage de frais administratifs liés à la prestation d'une assistance technique et à d'autres fonctions qui ne sont peut-être pas directement liées à l'élaboration, à l'évaluation ou à la recommandation de propositions, ou qui ne sont peut-être même pas liées au PPF. Selon les exigences des systèmes de suivi des heures ou d'autres systèmes de rapports administratifs déjà en place au sein du PPF, cette procédure pourrait prendre la forme d'une évaluation semestrielle relativement simple de la charge de travail du personnel et des gestionnaires du Programme associée à l'assistance technique, ou encore, d'un système de suivi quotidien beaucoup plus détaillé du temps consacré à l'assistance technique par rapport aux autres tâches.

Il serait également possible de réaliser des économies en améliorant les formulaires normalisés, en simplifiant et/ou en raccourcissant le processus d'élaboration des propositions grâce à la formation, en améliorant l'accès du personnel aux technologies et en diffusant mieux l'information auprès des groupes de femmes et des autres organisations qui oeuvrent pour l'égalité ainsi que du grand public, par l'intermédiaire du Web et d'autres moyens appropriés.

Ces résultats témoignent également du besoin de transparence accrue et de communications plus fréquentes avec les groupes pendant et après le processus d'évaluation des demandes, en particulier dans le cas des demandes rejetées. Les suggestions des intervenantes et intervenants visant à améliorer le processus d'élaboration et d'approbation des propositions comprennent l'augmentation de l'assistance technique fournie par le personnel et la clarification de l'information contenue dans la documentation sur le Programme et sur le site Web du PPF.

Recommandation 11. Dans le cas des propositions rejetées, le PPF devrait fournir aux groupes concernés une rétroaction expliquant clairement en quoi leur proposition ne satisfait pas aux critères de financement. Le PPF devrait communiquer aux groupes dont la demande est rejetée les résultats de l'évaluation de la proposition et toujours inclure de l'information sur la façon d'en appeler de la décision.

Recommandation 12. Le personnel et les gestionnaires du Programme ont souligné la nécessité d'avoir accès aux technologiques appropriées pour assurer une prestation plus efficace du Programme. Le PPF devrait appuyer une efficacité accrue et des communications améliorées en perfectionnant, au besoin, l'équipement, les logiciels et le soutien à la disposition du personnel et des gestionnaires et en élargissant l'accès aux technologies associées aux exigences du travail du personnel et des gestionnaires (p. ex. un soutien technique amélioré dans les régions, des téléphones cellulaires et des ordinateurs portatifs pour les déplacements du personnel et des formulaires électroniques modifiés).

Toutefois, les préoccupations les plus importantes exprimées par le personnel ont peu à voir avec l'exécution adéquate du Programme et beaucoup à voir avec son efficacité. Les membres du personnel et les gestionnaires s'entendent généralement pour dire que la prestation efficace du PPF est entravée par des problèmes liés à sa gestion. D'abord, le personnel et les gestionnaires croient que le PPF souffre de la piètre qualité des communications internes et du partage de l'information entre les régions et le bureau national. Ensuite, il existe une perception très répandue selon laquelle la haute direction de CFC ne comprend pas, n'apprécie pas et n'appuie pas vraiment le PPF, et que, par conséquent, le PPF n'est pas véritablement intégré à l'organisme.

Recommandation 13. Le PPF devrait prendre des mesures pour améliorer les communications internes en adoptant des mécanismes qui facilitent les communications opportunes entre les régions et avec le bureau national.

  • Le PPF pourrait utiliser à meilleur escient son intranet pour diffuser l'information.

  • Des réunions devraient avoir lieu aussi souvent que nécessaire pour diffuser l'information et mobiliser le personnel et les gestionnaires au regard des défis que doit relever le Programme ainsi que des questions de nature plus administrative. Le PPF devrait utiliser les technologies disponibles, comme la conférence téléphonique et la vidéoconférence, en remplacement ou en complément des réunions en personne plus coûteuses avec le personnel et les gestionnaires du Programme aux échelons national, régional et local.

Les intervenantes et intervenants s'entendent généralement pour dire que le PPF ne fait double emploi avec aucun autre programme de promotion de l'égalité des femmes, principalement parce qu'il existe très peu de programmes de ce type. La contribution du PPF est jugée unique : soutien des efforts de promotion; prestation d'une aide technique de haut niveau; prise en compte de la gamme complète des questions liées à l'égalité et mandat orienté précisément vers la promotion de l'égalité des femmes.

Les intervenantes et intervenants avaient peu de modèles de prestation de remplacement à proposer. Toutefois, selon certaines et certains d'entre eux, il pourrait être bon que le PPF envisage d'accorder des contributions dans certaines circonstances, tandis que d'autres ont suggéré l'adoption de modèles communautaires. Bien sûr, les intervenantes et intervenants appuyaient massivement un financement plus soutenu ou à plus long terme.

Selon l'évaluation, il n'y a pas vraiment de raisons de transférer le PPF à l'extérieur de CFC. Les intervenantes et intervenants soutiennent que le Programme devrait rester à CFC puisque c'est le seul organisme fédéral mandaté expressément pour promouvoir l'égalité des femmes. Cependant, les intervenantes et intervenants ont également souligné que le PPF et CFC doivent régler leurs différends afin de pouvoir travailler efficacement ensemble. Nombre d'informatrices et d'informateurs clés sont d'avis que, pour être efficace, l'organisme a besoin de plus de visibilité et d'une voix plus forte au sein du gouvernement fédéral.

Pertinence

On s'entend généralement pour dire que le PPF joue encore un rôle pertinent dans la promotion de l'égalité des femmes au Canada puisque, malgré certains progrès dans ce domaine, cet objectif n'est pas encore atteint. Cependant, certains intervenants et intervenantes clés ont également dit craindre que, pour éviter la controverse, le PPF ne soit devenu trop prudent dans ses décisions de financement et qu'il risque pour cette raison de perdre sa pertinence. Les répondantes et répondants croient, dans une proportion de 58 p. 100, que le Programme répond bien aux enjeux nouveaux et émergents, tandis que 51 p. 100 sont d'avis qu'il répond bien aux besoins des groupes nouveaux et émergents.

Recommandation 14. Pour accroître sa transparence, le PPF devrait diffuser des rapports sur l'incidence du Programme auprès de sa clientèle et du grand public.

L'évaluation a relevé certains désaccords parmi les intervenantes et intervenants concernant l'harmonisation du PPF avec les priorités du gouvernement fédéral et les objectifs stratégiques de CFC. Certaines personnes ont souligné que les priorités du PPF s'harmonisaient clairement avec celles du gouvernement fédéral puisqu'elles ciblent des enjeux comme la violence à l'endroit des femmes autochtones, les services de garde, le trafic des femmes, le capital social et les processus démocratiques. D'autres cependant ont soutenu que le mandat du PPF est de promouvoir l'égalité des femmes et que, très souvent, cela supposait d'appuyer des groupes qui contestent le statu quo, c'est-à-dire, qu'ils remettent en question la politique gouvernementale et le processus décisionnel institutionnel. La question cruciale, selon leur point de vue, est de déterminer dans quelle mesure les priorités du gouvernement fédéral s'harmonisent avec celles du PPF et dans quelle mesure les points de vue des femmes sont intégrés aux politiques fédérales, et non l'inverse. De même, si des membres du personnel et des gestionnaires croient que les objectifs du PPF s'harmonisent bien avec les objectifs stratégiques de CFC, d'autres disent que les objectifs stratégiques sont vagues et ne sont pas le reflet des priorités du mouvement des femmes de la base.