STA
2554
)
•... J
[nom]
Proposé à:
[nom]
Par
Désiré Otémé
Étudiant à la maitrise en évaluation de programmes
Hiver 2010
•• , · un:•/NSitc du Ouûbt'C
École nationale d'administration pu!lique
[nom]
Proposé à:
Monsieur Michel Laurendeau
Par
Désiré Otémé
Étudiant à la mai tri se en évaluation de programmes
Hiver 2010
•• , · Université du 01.lébec
École nationale d'administration pullique
TABLES DES MATIÈRES
- Introduction ..................................................................................................................... 3
- Description du mandat .................................................................................................... 4 2.1 Objectifs [nom] ...................................................................................................... 4
- Présentation de l'organisation ......................................................................................... 4
- Mandat de l'organisation ................................................................................................ 5
- Méthodologies ................................................................................................................. 7 5.1 Évaluation des cours ......................................................... ; ....................................... 7 5.2 Les cadres d'évaluation de programmes ................................................................... 8 5.3 Plan de travail et contrôle de la qualité ................................................................... 10 5.3.1 Le plan de travail ............................................................................................. 10 5.3.2 Le contrôle de la qualité ................................................................................... 10
- Résultats ........................................................................................................................ 11 6.1 Les acquis humains et professionnels ..................................................................... 11 6.2 Les réalisations ........................................................................................................ 12
- Recommandations ......................................................................................................... 13
- Conclusion .................................................................................................................... 14
- Bibliographie ................................................................................................................. 15
2
A cause du contexte de globalisation et de modernisation, les structures organisationnelles sont obligées d'adopter de nouvelles attitudes en gestion. Ce
changement a rendu les gestionnaires imputables des décisions prises dans l'exercice de leurs fonctions. D'où, la nécessité d'évaluer tous les programmes et politiques des ministères.
L'École de la fonction publique du Canada (l'École), de part son statut particulier d'institution de formation et de perfectionnement, ne pouvait pas être en reste.
Elle a, par le biais de sa Division de l'évaluation, la responsabilité d'évaluer tous les cours de formation et les programmes afin de répondre efficacement aux besoins de sa clientèle.
Dans ce document, nous avons [nom] qui a eu lieu dans l'équipe d'évaluation de programmes de la Division de l'évaluation. Il s'est déroulé sur
une période de quatre mois, entre le 04 janvier et le 30 avril 201 O.
Le présent [nom] couvre les éléments suivants : la description du mandat du
[nom], la présentation de l'organisme dans lequel [nom] a eu lieu, la recension
des écrits, la méthodologie utilisée durant [nom], et les résultats [nom] En fin une conclusion boucle ce [nom]
3
La compréhension des exigences est une étape importante dans la réalisation du mandat. Elle permet de s'assurer que j'ai bien saisi les objectifs [nom], son
contexte, sa portée et que j'ai intégré toutes les leçons apprises lors de ma formation académique.
2.1 Objectifs [nom]
L'objectif de ce [nom] était de porter une attention à certains points définis par les gestionnaires en évaluation de l'École.
Durant la période de quatre mois qu'a duré [nom], mon travail a consisté à contribuer à la réalisation des enjeux suivants :
- Apporter mon assistance à la collecte et à l'analyse des données pour le programme de technologie de collaboration en ligne;
- Apporter mon assistance à la collecte et à l'analyse de données aux collectivités fonctionnelles des acquisitions, de la gestion du matériel et des biens immobiliers (AGMBI);
- Contribuer à la conception de divers cadres d'évaluation de programmes tels que le programme de leadership avancé, le modèle officiel des nouveaux processus d'apprentissage, la communauté de pratique et le programme Direxion.
- Présentation de l'organisation
[nom] a eu lieu dans la division de l'évaluation de l'École de la fonction publique du Canada. C'est institution qui est née à partir de la promulgation de la Loi sur l'École de la fonction publique du Canada en vertu de la Loi sur la
modernisation dans la fonction publique.
L'École est un établissement public, avec un sous-ministre/président à sa tête.
Elle possède, en tout, un millier d'employés. Dès sa création, elle a eu pour
mandat · de · fournir · des · produits · et · des · services · d'apprentissage · aux
fonctionnaires pour s'assurer qu'ils possèdent les capacités et les connaissances nécessaires à l'exécution des tâches en matière de gestion et de leadership.
4
En tant que partenaire en apprentissage de la fonction publique, l'École joue un rôle important dans l'application de la Politique en matière d'apprentissage, de
formation et de perfectionnement. Pour ce faire, elle offre des solutions novatrices en matière d'apprentissage et des connaissances à jour, pour que
l'administration publique soit à la fine pointe de l'excellence.
La Division de l'évaluation où [nom] a eu lieu, est une équipe d'une quinzaine
de personnes. Cette Division se scinde en deux groupes. Une partie s'occupe de l'évaluation des apprentissages et la seconde, de l'évaluation des programmes.
L'évaluation de l'apprentissage fournit des renseignements, des données, des analyses des tendances et des recommandations susceptibles d'éclairer les
gestionnaires à la prise de décision. Ce courant d'évaluation comprend l'analyse
de · la · satisfaction · de · la · clientèle · face · aux · produits · d'apprentissage,
communément appelé le niveau 1. À cela s'ajoutent le niveau 2 qui mesure l'acquisition de nouvelles connaissances et le niveau 3 qui évalue les changements dans les habiletés, les compétences ou les attitudes chez les apprenants.
L'évaluation de programmes qui est issue de la Loi sur la gestion des finances publiques de 2001 (l'alinéa 6.1.8 a), et qui est définie par la Politique sur
l'évaluation de 2009, permet, quant à elle, de mesurer la pertinence et le
rendement des programmes conçus et offerts par l'École. Elle contribue aussi à l'élaboration et à la mise en œuvre du cadre de mesure du rendement de l'École.
L'École a le mandat de former et de perfectionner les connaissances des employés de l'administration publique fédérale. Pour ce faire, elle a mis des programmes en place tels que les outils de collaboration en ligne 1 , le nouveau modèle de formation linguistique pour ne citer que ceux-là. L'École a aussi des
cours sur la délégation de pouvoir, la gestion des biens et autres. De manière générale, on peut regrouper les produits offerts par l'École en quatre blocs:
l'orientation · et · la · certification, · le · perfectionnement · en · leadership, · le
1
Les outils de réseautage pour les communautés de pratique développés par l'École.
5
perfectionnement professionnel et en gestion, et finalement, la formation et le maintien des acquis en langue seconde.
Le souci de perfection de l'École l'amène à tester et évaluer régulièrement les produits dont elle a la charge et qu'elle met à la disposition de l'administration
publique.
Il est à préciser que la Division de l'évaluation a un double mandat. Dans un
premier temps, elle évalue tous les cours qui sont offerts par l'École à 1 'échelle du pays. Ensuite, la Division évalue les programmes propres à l'École tels que le
Centre de Formation Linguistique, le programme Direxion pour ne citer que ceux-là. En résumé, le mandat de la Division de l'évaluation est de porter une attention
à la satisfaction des participants aux activités d'apprentissage offertes par
L'École et l'évaluation de programmes proprement dits en mettant l'accent sur · .J j
leur pertinence et leur rendement.
Cependant, force est de constater que les responsabilités de l'École deviennent
de plus en plus croissantes, avec l'évolution constante des besoins et du nouvel environnement. Dans le souci de ne pas être à la traîne dans la formation des employés, l'École s'est donné les moyens d'atteindre ses objectifs. Ainsi,
pouvons-nous · formuler · l'hypothèse · stipulant · que · /'École, · en · évaluant
systématiquement tous ses cours et ses programmes, améliore ses résultats et fait face à toute situation susceptible de miner sa performance et sa crédibilité.
6
L'École tait deux types d'évaluation. L'évaluation de tous les cours qui sont conçus et dispensés par l'École et l'évaluation des programmes propres à l'organisation.
5.1 Évaluation des cours
Les méthodes utilisées pour recueillir l'information par le mandataire sont
diverses parmi lesquelles, on peut citer l'analyse documentaire, (comprenant la revue de littérature, la revue de documents administratifs), le sondage et
l'entrevue.
L'analyse des documents
La revue documentaire a porté sur la lecture de documents administratifs et les
[nom] officiels de la Division de l'évaluation de l'École sur le travail réalisé les années précédentes. Elle comprend des textes, des [nom], des documents
d'information des différentes activités de la Division · ainsi que les protocôles
d'entente avec les différents partenaires impliqués comme les autres ministères.
Le sondage
Un sondage a été envoyé aux participants, aux formateurs qui dispensent les cours offerts par l'École. Le questionnaire a pour but de connaître la satisfaction
des fonctionnaires sur les cours et programmes offerts.
Les entrevues
Des entrevues ont eu lieu avec des employés et des gestionnaires de l'École
ainsi que des formateurs et des concepteurs de cours impliqués dans le projet de
formation. · Durant ce [nom], ce sont des entrevues semi-dirigées qui ont été
faites par l'équipe des évaluateurs à l'aide de questions ouvertes.
7
Pour chacune de ces méthodes, les responsables ont procédé à l'élaboration d'instruments adaptés à la situation. Nous avons aussi tenu compte des leçons
tirées des évaluations précédentes au sein de la Division de l'évaluation de l'École. Pour cela, il y a eu davantage de cueillette de données de référence et de données de performance. Une attention particulière a été accordée à la sélection des participants aux différents projets pour éviter d'obtenir des données biaisées et non objectives.
La précision des instruments a contribué à accroître la rigueur de la collecte de
données. L'élaboration des questionnaires de sondage par exemple, s'est faite en tenant compte du champ d'investigation. Les buts de la collecte étaient
clairement indiqués avec la ferme intention d'équilibrer les données quantitatives et les données qualitatives. Avant de procéder à la collecte des données, tous
les instruments étaient soumis aux participants pour leurs commentaires et /ou leur approbation.
Les différentes opérations de la collecte de données ont été coordonnées par
deux analystes sous la supervision de la gestionnaire.
A ia fin de ia collecte, certaines données quantitatives sont colligées et présentées sous une forme synthétique dans des tableaux. Les données
qualitatives provenant de questions ouvertes ou des observations, comme dans le cas du programme GCconnex 2 du gouvernement fédéral, ont fait l'objet d'une
analyse de contenu. Les résultats issus de l'interprétation des données de cette analyse ont été résumés dans un [nom] puis soumis à l'analyste principal.
5.2 Les cadres d'évaluation de programmes
Quant aux nouveaux programmes ou même ceux qui avaient besoin d'une mise à jour, mon travail s'est appuyé sur le Guide d'évaluation de programmes élaboré et en vigueur au Conseil du Trésor pour la conception des CGRR.
C'est essentiellement le modèle implicite qui a été utilisé pour l'évaluation des programmes parce que ce modèle est plus souple, polyvalent et facile à
2
Il s'agit d'un des outils de réseautage social pour les fonctionnaires du gouvernement du Canada.
8
appliquer. A cela, il faut ajouter le fait qu'il n'y a pas de CGRR conçus auparavant. Par conséquent, il n'y a pas de mesures antérieures ni de groupe
temoin aux programmes évalués sur lesquels se baser.
Après la détermination des impacts qui devaient être mesurés pour l'atteinte des
objectifs de chaque programme, j'utilisais· presque toujours la même méthode de
collecte de données, à savoir le dépouillement de la documentation, l'étude des dossiers et la consultation des personnes ressources.
Le dépouillement de la documentation
Je consultais pour chaque programme, les documents officiels et les [nom] de
recherche s'il y en avait, pour prendre connaissance des travaux effectués dans
l
~--- --1 · le domaine et profiter des expériences et constatations des recherches.
Étude de dossiers
L'étude des dossiers m'a permis de me familiariser aux programmes à l'étude.
Ces dossiers portaient généralement sur les protocoles d'entente, les dossiers administratifs et les données socio-économiques.
La consultation des personnes ressources
À ce [nom], je partais consulter les personnes bien au fait des programmes à l'étude pour avoir leurs opinions ou pour avoir l'information dont j'avais besoin.
Après avoir réuni toute l'information dont j'avais besoin, je me mettais à la conception du cadre d'évaluation du programme à l'étude en faisant d'abord une ébauche à soumettre à la gestionnaire pour son approbation sur ma compréhension du programme. Ensuite vient la réalisation des autres parties qui composent le CGRR. Une ébauche [nom] est soumise à la gestionnaire une fois le travail terminé.
9
5.3 Plan de travail et contrôle de la qualité
Le Secrétariat du Conseil du Trésor, à travers le Centre d'excellence en évaluation (CEE) , a produit une politique sur l'évaluation, une directive sur la
fonction d'évaluation, des normes d'évaluation ainsi que des documents de référence dont des guides de rédaction [nom] d'évaluation. La politique, la
directive et les normes encadrent la pratique de l'évaluation au sein du gouvernement du Canada. Ces orientations ont été respectées par les employés
de la Division dans la réalisation de leurs projets d'évaluation
A chaque étape [nom], il y a eu une mise en place d'une stratégie
d'assurance de la qualité. Cette stratégie a permis de produire des [nom]
d'évaluation utiles pour la compréhension des enjeux. Ce qui permettra une prise
de décision par les gestionnaires.
5.3.1 Le plan de travail
[nom] a débuté par la lecture de documents d'orientation de l'École pour me
familiariser au contexte. Ensuite, est venu le travail proprement dit tel que défini dans le mandat [nom] par la gestionnaire, à savoir la collecte et l'analyse des données des programmes d'apprentissage (AGMBI, collaboration en ligne, etc.)
et la conception des cadres d'évaluation des différents programmes sur lesquels travaille la Division de l'évaluation. L'évaluation et la conception de cadre
d'évaluation de programmes non inclus dans l'offre de services se sont
déroulées de façon parallèle avec la collecte et l'analyse des données.
5.3.2 Le contrôle de la qualité
La stratégie d'assurance de la qualité qui a été mise en place est à deux niveaux.
Le premier niveau a porté sur les enjeux, les questions d'évaluation et les
méthodes. Il a assuré une gestion efficace du processus de collecte de données et a assuré une qualité du traitement et d'analyse de ces données conformément aux enjeux, aux questions d'évaluation et à la politique et à la directive du Conseil du Trésor en matière d'évaluation.
10
Le deuxième niveau quant à lui, a porté essentiellement sur les [nom]
d'évaluation. Il visait à s'assurer que ceux-ci prenaient en compte les enjeux et les questions d'évaluation.
Dans l'ensemble, ces deux niveaux d'assurance de la qualité ont eu pour
résultats d'assurer la validité des mesures qui sont utilisées, l'efficacité du
processus d'évaluation et en fin, la conformité de la démarche d'évaluation par
[nom] à la politique, à la directive et aux normes d'évaluation du Conseil du Trésor et de l'École.
Les résultats [nom] sont présentés sous deux volets. Dans un premier temps,
je parlerai de l'expérience acquise du point de vue humain et professionnel, de la
relation avec l'équipe en place et de l'encadrement reçu. Et dans la deuxième
partie, je traiterai du travail proprement dit, c'est -à- dire les réalisations
concrètes.
6.1 Les acquis humains et professionnels
[nom] m'a servi de champ d'application et de mise en œuvre des
connaissances théoriques · apprises dans mon · programme de formation
universitaire. Cela s'est surtout fait sentir dans la collecte et l'interprétation des
données quantitatives et qualitatives. Tous les cours spécifiques au programme
d'étude ont été d'une aide appréciable dans la mesure où ils servaient de socle
au renforcement des acquis. Ce [nom] a aussi permis d'approfondir mes
connaissances dans la conception des cadres d'évaluation. Il m'a donné
l'occasion de me familiariser avec l'analyse ql!alitative des données en particulier
les commentaires formulés lors de sondages et d'entrevues. J'ai aussi assisté
les analystes lors d'entrevues dont la planification, le déroulement et la prise de notes de l'entrevue. Également, j'ai participé à des sous-comités de travail de la
Division de l'évaluation.
Par ailleurs, [nom] m'a donné une autre perspective de la compréhension des
réalités et du fonctionnement des organisations sur le terrain. Cette expérience professionnelle a été rendue possible et facilitée grâce à l'encadrement reçu.
11
Dès les premiers jours, la gestionnaire responsable [nom] a mis en place les
moyens pouvant faciliter mon intégration au sein de l'équipe dans laquelle le
[nom] a eu lieu. L'encadrement et la disponibilité des employés m'ont permis de me sentir un membre à part entière au sein de la Division de l'évaluation, où
règne un esprit de respect et de transparence entre les employés avec la
valorisation des individus. Je me suis senti au bon endroit, avec la conviction d'un accomplissement professionnel en participant à toutes les activités organisées par la Division.
6.2 Les réalisations
Selon les exigences du mandat, je devais apporter mon assistance à la collecte et à l'analyse des données pour des programmes bien ciblés. Je devais aussi contribuer à la conception de divers cadres d'évaluation pour les programmes mentionnés dans le mandat.
Dans un prem ier temps, mon travai l a consisté à traduire · les documents qui
allaient servir à la collecte des données en français (questionnaires de sondage
et entrevues).
L'analyse quantitative et qualitative des données issues des sondages sur les
cours offerts par l'École a montré que les participants sont satisfaits dans l'ensemble à plus de 90% des activités de formation.
Quant à l'analyse des données sur les outils de collaboration en ligne, les
résultats ont montré une faible participation des répondants. Même si ces
résultats ne permettent pas de généraliser, ils correspondent aux résultats issus
d'autres sondages sur les outils sociaux en cours dans l'administration publique
fédérale.
Les entrevues effectuées ont relévé qu'il n'y a pas de collaboration et/ou de
consultation entre les concepteurs de cours et les formateurs dans la conduite
des activités de formation. Ce qui a pour conséquence la répétition des certaines
notions dans les différents cours ainsi que la différence de traitement entre les
régions et la région de la capitale.
Quant à l'évaluation des programmes, j'ai conçu plusieurs cadres d'évaluation.
Les [nom] produits ont montré les projets qui présentaient le plus d'avantages
12
et d'impacts avec un grand taux de rendement. Ces différents CGRR ont permis,
dans un premiers temps, d'avoir des renseignements immédiats sur les programmes. À long terme, ces [nom] produits permettront d'avoir des méthodes et des connaissances.
Les objectifs du mandat ont été dépassés pour la Division de l'évaluation.
L'échéancier a été respecté et certains programmes qui n'étaient pas planifiés dans le mandat ont été traités. Parmi ces programmes, on peut citer le Fonds de
recherche sur la gestion publique innovatrice et le Groupe de changement stratégique pour ne mentionner que ceux-là.
Dans l'ensemble, je peux affirmer que le mandat a été pleinement rempli et que je suis satisfait du travail accompli.
Suite aux différentes actions menées pendant ce [nom], je suggère ces quelques
recommandations afin que les gestionnaires puissent apporter des solutions à la bonne marche de leurs activités.
- Accorder plus de temps aux participants des activités pour repondre aux sondages qui leur sont soumis.
- Concevoir des cours ayant le même contenu en ne laissant pas toute latitude à chaque copncepteur en ce qui a trait au contenu de leur cours.
- Qu'il y ait une collaboration entre l'École et ses consultants à l'extérieur de la région de la capitale quant à la conception et la livraison des cours.
- Avoir au sein de Division de l'évaluation, des personnes qui portent aussi une grande importance à l'évaluation de programmes comme c'est le cas de l'évaluation de cours.
13
L'École, par le biais de sa Division d'évaluation de programmes, porte une attention particulière aux différents produits qu'elle met à la disposition des employés de la fonction publique fédérale. L'École utilise plusieurs méthodes
pour évaluer · les cours et · les programmes qu'elle conçoit. Durant toute la
période qu'a duré mon [nom], des entrevues ont étés réalisées. Des analyses de données quantitatives et qualitatives ont été faites. Des cadres d'évaluation ont
été élaborés sous la supervision de personnes chevronnées. Tous ces efforts ont un seul objectif : faire de l'École, le premier "partenaire en apprentissage" pour
le perfectionnement des employés de l'administration publique fédérale. On peut affirmer, sans le risque de se tromper, que ce but a été atteint. Car l'École est
devenue une référence, tant au niveau de la performance que de la crédibilité, non seulement au Canada mais aussi à travers tous les pays anglo-saxons.
L'École, en m'offrant ce [nom] m'a permis de comprendre qu'il y a une différence fondamentale entre les connaissances théoriques et les réalités du terrain. Et
qu'un bon encadrement est nécessaire comme ce fut dans mon cas pour mieux saisir la portée et la responsabilité du travail d'évaluateur de programmes. Avec ma participation aux entrevues, aux différents sous-comités de travail de la
Division et à ma familiarisation aux analyses, je sors grandi de cette expérience d'apprentissage avec beaucoup de connaissances, d'espoir et prêt à relever de nouveaux défis.
14
École de la fonction publique du Canada
Information générale
[lien]
Répertoire en ligne des produits d'apprentissage offerts à l'École
[lien]
[nom] au Parlement 2001-2006
[lien]
[nom] ministériels sur le rendement
2008-2009 [lien]
2007-2008 [lien]
2006-2007 [lien]
[nom] sur les plans et priorités
2010-2011 [lien] 0-2011 /inst/ces/ces-fra.pdf
2009-2010 [lien]
2008-2009 http :/ /www. [lien] pdf
2007-2008 http:/ /www. [lien] -2008/csps-efpc/csps-efpc-fra. pdf
2006-2007 http :/ /www. tbs-sct. ge. ca/rpp/2006-2007 /csps-efpc/ csps-efpc-fra. pdf
Secrétariat du Conseil du Trésor du Canada
Politique sur l'évaluation (2009) http :/ /www. tbs-sct. ge. ca/pol/doc-fra .as px? id= 15024§ion=text
Directive sur la fonction d'évaluation http:/ /www. [lien] 15681 §ion=text
Normes d'évaluation pour le gouvernement du Canada http :/ /www. [lien] 15688§ion=text
Politique en matière d'apprentissage, de formation et de développement
[lien]
La Loi sur la gestion des finances publiques de 2001
[lien]
Guide d'évaluation de petits organismes (25-02-201 0)
[lien]
Art et méthode de rédaction [nom] d'évaluation (février 201 0)
[lien]
15
11111111 Ill/ [téléphone]
[téléphone]
