Évaluation de CodeCan

Direction générale de la vérification et de l'évaluation

Juin 2024

Table des matières

• Contexte du programme
• Méthodologie
• Constatations
• Résumé et recommandations
• Annexes

1.0 Contexte du programme

1.1 Description

L'émergence de CodeCan

Afin de s'assurer que les jeunes Canadiens de la maternelle à la 12e année (M-12) possèdent les connaissances et les compétences nécessaires pour fonctionner dans une économie numérique en évolution et de soutenir les initiatives qui offrent aux enseignants de M-12 la formation et le perfectionnement professionnel dont ils ont besoin pour présenter les compétences numériques et les concepts de programmation dans la salle de classe, le gouvernement du Canada a lancé CodeCan en 2017.

Anciennement Code Jeunesse, CodeCan est un programme de contribution national financé par Innovation, Sciences et Développement économique Canada (ISDE) qui vise à soutenir l'acquisition de compétences numériques et en programmation chez les jeunes et les enseignants.

1.2 Financement du programme

De 2017-2018 à 2023-2024, ISDE a alloué un financement de 190 millions de dollars à CodeCan, dont 50 millions de dollars dans le budget de 2017, 60 millions de dollars dans le budget de 2019 et un renouvellement de 80 millions de dollars sur trois ans dans le budget de 2021.

1.3 Mise en œuvre du programme

ISDE est responsable de l'administration générale et de la surveillance du programme CodeCan. La formation axée sur les compétences numériques et la programmation a été dispensée par des organismes tiers sans but lucratif financés par ISDE dans le cadre d'ententes de contribution (voir l'annexe B pour les critères d'admissibilité au financement). Les organismes bénéficiaires d'une contribution de CodeCan 3.0 œuvraient dans l'ensemble des provinces et territoires et différaient en taille, en champ d'application et en portée géographique.

Organismes bénéficiaires de CodeCan 3.0 :

Portée géographique	Description	Nombre d'organismes
Les organismes nationaux offrant des possibilités dans la plupart (sinon en totalité) des provinces et territoires.	Grands organismes qui ont une portée considérable et une expérience de fournir des possibilités d'apprentissage numérique à un grand nombre de Canadiens.	11
Les organismes régionaux se concentrant sur des régions ou des secteurs particuliers et pouvant couvrir de deux à neuf provinces et territoires.	Organismes qui mettent l'accent sur la fourniture de possibilités de formation dans certaines régions du pays. Le financement d'organismes régionaux a permis de s'assurer que toutes les régions du Canada ont disposé d'opportunités de formation adaptées à leur situation particulière.	11
Les organismes locaux offrant des possibilités dans une province ou un territoire.	Organismes locaux qui offrent des opportunités de formation très localisées. Ces organismes servent plusieurs provinces, territoires ou collectivités qui ne sont pas spécifiquement ciblés par d'autres organismes.	6
	TOTAL:	28

Nombre d'organismes bénéficiaires de CodeCan 2.0 : 27
Nombre d'organismes bénéficiaires de CodeCan 1.0 : 21

Les organismes bénéficiaires mobilisent un vaste réseau pour dispenser la formation de CodeCan, notamment :

• Bénévoles
• Employés rémunérés
• Partenariats avec des écoles et des organismes communautaires

1.4 Prestation de la formation de CodeCan

Les activités de CodeCan ont été conçues pour cibler deux groupes : jeunes de M-12 et enseignants.

Dans le cadre de CodeCan 3.0, le programme s'est concentré sur les jeunes mal desservis, notamment les filles, les jeunes autochtones, les jeunes handicapés et les jeunes vivant dans des collectivités rurales, éloignées et nordiques. De nombreux organismes proposant le programme CodeCan ont offert de la formation et du perfectionnement professionnel aux enseignants pour soutenir l'apprentissage en classe et l'intégration des compétences numériques et en programmation dans le programme d'enseignement.

Chaque organisme dispose d'une certaine souplesse pour déterminer la façon dont il organise ses activités de formation axée sur les compétences numériques et la programmation (les différentes méthodes de prestation de CodeCan sont énumérées dans la figure 4). Ces méthodes sont détaillées dans leurs ententes de contributions avec ISDE. La formation de CodeCan a été offerte gratuitement aux jeunes et aux enseignants.

2.0 Méthodologie

2.1 Contexte de l'évaluation

Une évaluation du financement de CodeCan par est requise tous les cinq ans en vertu de la Loi sur la gestion des finances publiques.

L'objectif de cette évaluation était d'analyser la pertinence, le rendement et l'efficacité du financement d'ISDE à CodeCan.

La portée de l'évaluation englobait la formation et les activités financées dans le cadre de CodeCan et l'efficacité du modèle de prestation. Les résultats à moyen et long terme étaient hors de la portée de l'évaluation compte tenu du lancement récent du programme. L'évaluation s'appliquant à toutes les activités financées par ISDE du 1er avril 2017 au 31 décembre 2023.

L'évaluation a été effectuée par la Direction générale de la vérification et de l'évaluation d'ISDE. Une approche axée sur les résultats a été utilisée pour examiner la réalisation des résultats escomptés pour CodeCan (annexe A). Compte tenu de l'évolution progressive du programme, l'évaluation a utilisé des données de CodeCan 3.0 lorsque les données de toutes les phases ne concordaient pas.

2.2 Questions de l'évaluation

Pertinence

• Dans quelle mesure est-il toujours nécessaire d'offrir une formation axée sur les compétences numériques et la programmation aux élèves et aux enseignants de M-12 au Canada?

Rendement

• Dans quelle mesure le programme contribue-t-il à l'acquisition des compétences numériques et en programmation nécessaires par les élèves de M-12 pour participer dans l'économie numérique?
• Dans quelle mesure le programme contribue-t-il au renforcement de la capacité des enseignants d'enseigner les compétences numériques et en programmation nécessaires pour participer dans l'économie numérique?
• CodeCan dispose-t-il de mesures de rendement appropriées pour démontrer l'atteinte des résultats?

Efficacité

• Dans quelle mesure la conception et le modèle de prestation de CodeCan représentent-ils une approche efficiente et efficace à l'acquisition de connaissances et de compétences numériques par les élèves et les enseignants?
• Dans quelle mesure la conception et le modèle de prestation de CodeCan s'alignent-ils avec les priorités stratégiques du gouvernement?

L'évaluation a donné lieu à sept constatations étayées par multiples sources de données probantes et conduisant à trois recommandations.

2.3 Méthodologie d'évaluation

Les sources de données suivantes ont été utilisées (détails à l'annexe B) :

• Revue de la littérature et examen des documents
• Examen des données financières, administratives et sur le rendement
• Étude de cas
• Sondages en ligne
• Entrevues virtuelles

3.0 Constatations

3.1 Pertinence

Constatation 1 : CodeCan répond à un besoin avéré de connaissances et de formation en compétences numériques pour améliorer les compétences numériques des enseignants et des jeunes dans tout le Canada, y compris dans les collectivités rurales, éloignées et autochtones, et pour les préparer aux industries innovantes/technologiques émergentes.

Le besoin de formation axée sur les compétences numériques et la programmation

Dans le contexte canadien, il est nécessaire de préparer les jeunes à acquérir les compétences appropriées pour le marché du travail de l'avenir, de soutenir les enseignants à développer les compétences et leur confiance, de faciliter la formation ciblée de groupes diversifiés de jeunes qui peuvent souvent rencontrer des obstacles au parcours de carrière dans les STIM.

Le marché du travail canadien évolue rapidement en raison de la mise en œuvre de technologies de pointe, telles l'automatisation, la robotique et l'intelligence artificielle. Cette évolution est susceptible de créer un déficit de compétences ^{Note de bas de page 1} au Canada. 32 % des emplois actuels exigeront des tâches et des compétences considérablement différentes.^{Note de bas de page 2}

Obstacles à l'acquisition de compétences chez les jeunes de M-12 :

Les données indiquent qu'il n'y a pas de programmes d'études rationalisés au Canada pour les compétences numériques et la programmation.^{Note de bas de page 3} Bien qu'elle ait été rendue obligatoire dans certaines provinces, dans d'autres, la programmation reste facultative.^{Note de bas de page 4}

En 11e et 12e années, plus de la moitié des élèves abandonnent les cours de STIM parce qu'ils les jugent sans rapport avec leurs objectifs professionnels ou trop difficiles.^{Note de bas de page 5}

L'évaluation a révélé qu'il arrive souvent que les enseignants ne sont pas à l'aise d'enseigner la programmation et les compétences numériques en raison de leur manque d'expérience et de connaissances.

Sous-représentation dans les STIM :

Les données indiquent que certains groupes socioéconomiques, tels les femmes, les Autochtones, les personnes vivant dans des collectivités rurales et éloignées et les personnes à faible revenu, se heurtent à des obstacles qui les empêchent de poursuivre des études et des carrières dans les STIM.

Défis ou obstacles :

• Manque d'encouragement de la part du système de soutien^{Note de bas de page 6}
• Traumatisme intergénérationnel dû à la colonisation et à la discrimination^{Note de bas de page 7}
• Manque d'accès aux possibilités d'apprentissage, à l'équipement approprié et/ou à l'infrastructure^{Note de bas de page 8}
• Obstacles systémiques entraînant des résultats scolaires médiocres^{Note de bas de page 9}

L'évaluation a révélé que CodeCan a répondu aux besoins cernés dans le cadre de la formation axée sur la programmation et les compétences numériques offerte à divers jeunes et enseignants de M-12 partout au Canada. 98 % des enseignants ayant répondu au sondage ont indiqué être d'accord ou tout à fait d'accord que la formation de CodeCan avait contribué à développer leurs connaissances et confiance ainsi que celle des élèves en matière de programmation et de compétences numériques.
Certains organismes bénéficiaires ont mentionné que sans le financement d'ISDE, ils auraient ajouté des frais aux services offerts. D'autres ont souligné qu'ils n'auraient pas proposé le type de formation qu'ils ont offert.

Alignement avec les priorités du gouvernement fédéral

Les objectifs de CodeCan s'alignent avec les priorités du gouvernement en encourageant divers jeunes à explorer des parcours de carrière dans les STIM, et permettent aux jeunes et aux enseignants de M-12 d'acquérir des compétences numériques et en programmation. Le programme est également lié à la Stratégie emploi et compétences jeunesse fédérale (SECJ).

Plan pour l'innovation et les compétences^{Note de bas de page 10}
Placer le Canada en tant que chef de file mondial en innovation, créer des emplois bien rémunérés et renforcer la classe moyenne.

Charte canadienne du numérique^{Note de bas de page 11}
Premier principe : Veiller à ce que tous les Canadiens aient des chances égales à participer au monde numérique et disposent des outils nécessaires pour le faire.

Plan ministériel 2022-2023^{Note de bas de page 12}
Résultat : Promouvoir l'innovation, l'adoption et la littératie numériques.

CodeCan complète d'autres programmes fédéraux, tels que Compétences numériques pour les jeunes (CNJ), le Programme d'échange en matière de littératie numérique (PELN), le Programme de stage Ordinateurs pour les écoles (PSOE) et Parlons Sciences, qui visent à renforcer les compétences numériques et de programmation chez Canadiens.

La comparaison internationale suggère que le développement des compétences numériques et de codage des jeunes est aussi une priorité dans de nombreux pays, et plusieurs programmes comme CodeCan existent à l'échelle mondiale. CodeCan permet au Canada de développer des talents et de rester compétitif par rapport à d'autres pays.

3.2 Rendement

Constatation 2 : CodeCan a réussi à fournir une formation numérique et des activités d'apprentissage numérique à un large éventail de jeunes et d'enseignants à travers le Canada, y compris à des groupes sous-représentés et malgré les restrictions imposées en raison de la COVID-19. Le programme a permis d'accroître l'intérêt pour les STIM et les connaissances en matière de compétences numériques.

La formation axée sur les compétences numériques offerte aux jeunes et aux enseignants à travers le Canada a permis d'améliorer les connaissances et les compétences numériques.
CodeCan a réussi à rejoindre les élèves et les enseignants, et leur fournir une formation axée sur les compétences numériques, et ce dans diverses régions et provinces du Canada. Ils ont eu l'occasion d'acquérir des compétences numériques, telles la programmation, l'analyse de données et l'élaboration de contenu numérique.

À travers les multiples activités réalisées par les organismes bénéficiaires, CodeCan a dépassé ses objectifs en matière de formation, de mobilisation des jeunes et d'atteinte de groupes diversifiés et traditionnellement sous-représentés, notamment les filles, les jeunes Autochtones, les jeunes handicapés et les jeunes vivant dans des collectivités rurales, éloignées et nordiques.

Province/territoire	Élèves	Enseignants
Colombie-Britannique	754 627	26 638
Alberta	461 082	19 757
Saskatchewan	557 980	18 636
Manitoba	266 567	9 716
Ontario	3 290 481	129 307
Québec	577 259	22 712
Nouveau-Brunswick	376 703	39 601
Île-du-Prince-Édouard	50 218	3 855
Terre-Neuve-et-Labrador	251 436	17 534
Nouvelle-Écosse	331 989	32 649
Yukon	21 554	1 122
Territoire du Nord-Ouest	83 056	2 839
Nunavut	95 801	2 961

Portée de CodeCan par province/territoire (P/T)+
+ Exclut les participants en ligne dont la province ou le territoire est inconnu.

Groupe sous-représenté	Nombre de participants
Filles	3 502 129
Jeunes autochtones	494 455
Jeunes handicapés	194 337
Jeunes de collectivités rurales, éloignées et nordiques	1 604 803
Total	5 795 724

Nombre de participants par rapport aux objectifs – Toutes les phases :

• Élèves – nombre reel : 7 621 161
• Élèves – objectif : 6 009 642
• Enseignants – nombre reel : 405 599
• Enseignants – objectif : 270 669

CodeCan favorise l'enseignement inclusif en matière de compétences numériques et de STIM

Le programme de formation axée sur les compétences numériques de CodeCan met en évidence une réussite dans la lutte contre les inégalités en matière d'éducation et la promotion de l'inclusivité dans l'apprentissage numérique au Canada. L'efficacité de CodeCan à offrir une formation axée sur les compétences numériques à un groupe démographique large et varié souligne son rôle dans la formation d'une future main-d'œuvre diversifiée et compétente dans le domaine numérique. Cela sous-tend les réalisations du programme en matière de stimulation de l'intérêt pour les STIM, de promotion de l'égalité des chances en matière de formation et d'atteinte des groupes sous-représentés, favorisant ainsi un avenir numérique plus inclusif et plus innovant au Canada.

Stimuler l'intérêt pour les STIM (sciences, technologie, ingénierie et mathématiques)

Les données préliminaires montrent que la formation de CodeCan éveille la curiosité des élèves pour les études en STIM et influence positivement l'attitude des enseignants à l'égard de la programmation et des compétences numériques. En offrant une formation intéressante axée sur les compétences numériques, CodeCan développe une nouvelle génération d'innovateurs et de technologues.

Promouvoir l'égalité d'accès aux possibilités de formation axée sur les compétences numériques

La portée de la formation de CodeCan dans les collectivités rurales, éloignées et autochtones a permis de fournir un apprentissage numérique là où il est le plus nécessaire. Les obstacles géographiques et socioéconomiques n'ont pas entravé l'accès à la formation axée sur les compétences numériques essentielle pour les jeunes et les enseignants.

Accès pour les groupes sous-représentés

La formation de CodeCan a permis de joindre des groupes sous-représentés comme les filles, les jeunes handicapés, les nouveaux arrivants et les jeunes vivant dans des collectivités rurales et autochtones. CodeCan encourage l'inclusion et la diversité dans le secteur technologique, ce qui est vital pour un avenir numérique global et innovant au Canada.

Incidence sur le perfectionnement des compétences numériques et en programmation des enseignants

La plupart des enseignants ont qualifié la formation de CodeCan de « Très bonne » à « Excellente » en ce qui concerne le perfectionnement de leurs compétences numériques et en programmation.

CodeCan améliore les connaissances matière de compétences numériques et suscite la curiosité à l'égard du numérique

CodeCan a réalisé d'importants progrès en dotant les jeunes esprits de compétences numériques essentielles. Le programme a non seulement amélioré les compétences numériques des jeunes, mais il a aussi suscité leur intérêt pour l'apprentissage des STIM. Grâce à leur participation aux activités d'apprentissage interactives de CodeCan, certains élèves ont fait état d'une amélioration de leurs connaissances en matière de compétences numériques. De plus, l'exposition aux applications pratiques de la technologie a incité de nombreux élèves à envisager de poursuivre des études dans le domaine des STIM. Cela souligne l'efficacité du programme à encourager les futurs innovateurs et leaders en technologie.

Incidence positive de CodeCan sur les points de vue des enseignants en matière d'enseignement des STIM

Les bénéficiaires ont indiqué que la plupart des enseignants n'ayant pas de formation ou d'expérience dans le domaine des STIM se sentaient initialement moins confiants dans l'intégration de la programmation et des compétences numériques dans leur programme et leur enseignement.

La formation de CodeCan a modifié l'attitude des enseignants à l'égard de l'enseignement des STIM et a renforcé leur confiance dans l'intégration des compétences numériques dans leurs pratiques et leur programme d'enseignement.

« Cet atelier a dépassé mes attentes! Il m'a permis d'acquérir une expérience pratique de la programmation, surtout en tant que débutant! »
- Enseignant

Responsabiliser les enseignants : Améliorer l'enseignement des compétences numériques grâce à CodeCan

Le programme de formation axée sur les compétences numériques de CodeCan a réussi à améliorer les capacités numériques des enseignants participant au programme. Son succès est attribué à son approche personnalisée, qui répond aux besoins des éducateurs et propose des modules de formation souples, pertinents et intéressants. Le programme a réussi à relever les défis courants liés au perfectionnement professionnel, en permettant aux enseignants d'acquérir non seulement des connaissances théoriques, mais aussi des compétences numériques pratiques qui peuvent être intégrées harmonieusement à leurs pratiques d'enseignement.

L'influence de CodeCan est démontrée par le nombre croissant d'enseignants qui intègrent des outils et des méthodologies numériques à leur programme d'études, enrichissant ainsi l'expérience de leurs élèves.

La formation de CodeCan a amélioré les compétences numériques :

• Les objectifs de formation ont été dépassés
• Il y a une plus grande volonté d'intégrer les compétences numériques au programme d'études
• La formation a permis aux enseignants d'explorer et d'adopter des méthodes d'enseignement innovantes
• La formation a eu une incidence positive sur l'attitude des enseignants à l'égard de l'enseignement des compétences numériques
• La gratuité de la formation a élargi l'accessibilité
• Le contenu intéressant a favorisé une participation active

Utilisation des ressources de CodeCan :

• Enseignants qui ont accès à des outils et à des ressources pour soutenir leur programme d'études : 576 233
• Enseignants qui ont suivi la formation de CodeCan : 405 599

*Aucune donnée n'a été recueillie pour CodeCan 1.0

Réussir la traversée de la pandémie de COVID-19

La pandémie de COVID-19 a posé des défis sans précédent. Les mesures de distanciation physique et les confinements ont perturbé les modèles d'apprentissage en personne. La capacité d'adaptation du programme de formation axée sur les compétences numériques de CodeCan a été démontrée au cours de cette période. Le programme a maintenu sa portée et son rendement, et a adopté des méthodes innovantes pour continuer à dispenser la formation axée sur les compétences numériques.

• Transition à des plateformes en ligne : Les bénéficiaires ont migré leurs modules de formation vers des plateformes en ligne. À l'aide de divers outils de vidéoconférence comme Zoom et Microsoft Teams, ils ont animé des classes virtuelles interactives, garantissant ainsi la prestation ininterrompue de la formation axée sur les compétences numériques
• Engagement sur les médias sociaux : Les médias sociaux ont été utilisés pour partager les contenus éducatifs et pour dialoguer avec les élèves et les enseignants. Cette approche a permis d'atteindre un public plus large
• Envoi de trousses de formation par la poste : Pour garantir l'inclusivité, en particulier dans les régions où la connectivité Internet est limitée, certains organismes ont envoyé des trousses d'apprentissage par la poste. Ces trousses comprenaient des documents imprimés, des clés USB et des activités pratiques de sensibilisation aux STIM
• Émissions télévisées : En s'appuyant sur les réseaux de télévision, des contenus éducatifs ont été diffusés par câble et par satellite, ainsi que des programmes communautaires afin de garantir que l'apprentissage se poursuive même pour ceux qui n'ont pas accès à Internet. Cette méthode s'est avérée particulièrement efficace pour atteindre les collectivités rurales et éloignées
• Matériel d'apprentissage asynchrone: Des tutoriels vidéo préenregistrés, du matériel pédagogique téléchargeable et des activités en ligne ont été offerts

Constatation 3 : CodeCan a mené des activités d'apprentissage et de formation axées sur les compétences numériques en utilisant des approches innovantes, multimodales et inclusives, ce qui contribue à la création d'un écosystème numérique créatif et prospère.

Cultiver un avenir numérique : l'approche innovante de CodeCan

Le programme CodeCan a utilisé des stratégies innovantes, multimodales et inclusives, notamment des activités diverses et pratiques tels les ateliers de construction de robots et les séances de programmation, adaptées de manière créative pour faire participer un large éventail d'apprenants ayant des besoins variés.

La capacité d'adaptation du programme, qui propose des formations virtuelles et en personne, ainsi que l'accent mis sur du contenu culturellement pertinent, en particulier pour les collectivités autochtones, témoignent de l'engagement envers l'inclusivité. Ce faisant, CodeCan a contribué à nourrir un écosystème numérique avant-gardiste, permettant aux élèves et aux éducateurs d'acquérir des compétences essentielles pour le XXIe siècle.

Exemples des diverses approches à l'apprentissage des compétences numériques

• Mobiliser les jeunes handicapés : Cours de littéracie numérique et acquisition de compétences en matière de technologie d'assistance pour les élèves handicapés (par exemple, l'utilisation d'outils numériques pour réaliser des films, prendre des photos de qualité professionnelle et les éditer, produire des albums, et l'infographie)
• Activités virtuelles et en personne : Ateliers en personne, clubs parascolaires, activités collaboratives en personne (par exemple, des vidéoconférences, des événements diffusés en direct, des clubs virtuels et du soutien en ligne, l'intégration de documents papier dans l'enseignement virtuel)
• Contenu inclusif et culturellement pertinent : Contenu conçu pour des destinataires particuliers (p. ex. des collectivités autochtones) (par exemple, des activités reliant les STIM occidentaux et autochtones; la création de projets prototypes faisant appel à la technologie et intégrant le savoir traditionnel et la culture autochtones)
• Ateliers de programmation et construction de robots : Utilisation pratique de la technologie à l'aide de divers outils, combinant des activités de construction et de programmation (par exemple, des activités axées sur l'IA et l'apprentissage automatique, la conception 3D/4D et la robotique. Engager les élèves avec des outils tels que Ozobots, Microbits, Makey Makeys, et Lego NXT Robots)
• Le jeu et l'art au service de la programmation : Des activités créatives qui mêlent le jeu et l'art à la programmation et qui s'adressent à un large éventail d'intérêts (par exemple, des activités d'apprentissage axées sur des projets. Les jeunes réalisent des projets utilisant la création numérique, l'IA, la programmation et la robotique (création d'une technologie portable bricolée, conception de jeux))
• Programmes réservés aux filles : Organiser des conférences virtuelles réservées aux filles, afin d'inciter les groupes sous-représentés à s'intéresser aux STIM (Conception de matériel de marketing et d'ateliers dirigés par des femmes (Bluecoats); clubs et camps pour filles)

Constatation 4 : L'évaluation n'a pas mis en évidence une approche harmonisée à la collecte des données au cours des différentes phases du programme. En raison des différentes méthodes de collecte des données, la qualité des données varie, ce qui a eu une incidence sur l'uniformité des données sur le rendement. La collecte de données sur l'ACS Plus/EDI a été limitée, ce qui porte à croire qu'une approche plus cohérente dans ces domaines est nécessaire.

Naviguer dans les données sur la diversité : les défis en matière de la collecte de données et de suivi des progrès

Il a été difficile lors de l'évaluation de déterminer la qualité des données de rendement, principalement en raison de la variation dans les méthodes de collecte utilisées par les différents organismes bénéficiaires. Cette variation offre la possibilité d'améliorer la cohérence et l'exhaustivité des renseignements recueillies. Elle indique la nécessité d'adopter des approches plus uniformes et plus structurées pour assurer la qualité des données.

Variabilité de la collecte des données : Les améliorations apportées à la collecte de données au cours des différentes phases de CodeCan ont donné lieu à diverses approches à collecte de données sur le rendement utilisant des outils et des méthodes différents, ce qui a rendu difficile l'évaluation de la solidité des données du programme.

• Saisie manuelle des données : La saisie manuelle des données est sujette à des erreurs telles que les fautes de frappe, les omissions et les doublons
• Double comptage : La mise en œuvre conjointe des activités du programme a entraîné un double comptage des participants, ce qui a eu pour effet d'augmenter par inadvertance le nombre total de participants
• Défis liés à la collecte de données ACS+/EDI : Difficultés de collecte des données démographiques, y compris les données ACS Plus/EDI, en raison de la protection de la vie privée, des préoccupations éthiques et de la nature délicate des questions
• Possibilités d'utilisation de renseignements qualitatifs : Bien que les données qualitatives aient fait partie de la collecte de données, les rapports ont mis l'accent sur les mesures quantitatives. Il se peut que cela n'ait pas permis de saisir les changements nuancés dans les attitudes, les perceptions et les expériences

Méthodes utilisées par les organismes bénéficiaires pour la collecte des données :

• Sondages à l'inscription
• Sondage à la sortie
• Feuilles de présence
• Suivi des visiteurs du site Web
• Suivi des participants sur la plateforme
• Nombre de participants

Recommandation 1 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des approches visant à améliorer la cohérence des données soumises par les bénéficiaires. Des outils de données fiables et simples ainsi que des méthodologies cohérentes permettraient au programme de faire un meilleur suivi des progrès réalisés par rapport aux résultats, d'alléger les exigences en matière de rapport pour les organismes bénéficiaires et de cerner les lacunes dans la portée du programme en ce qui concerne les groupes en quête d'équité.

Constatation 5 : Au cours des trois phases de CodeCan, des améliorations progressives ont été apportées aux exigences en matière de rapports; cependant, les mécanismes et les exigences en matière de rapports sont restés contraignants et difficiles pour les organismes bénéficiaires.

Rapport sur les progrès de CodeCan

Depuis sa création, le programme de compétences numériques CodeCan a apporté des améliorations à la production de rapports sur le rendement au cours de ses trois phases. Au fil du temps, le programme a pris des mesures pour rationaliser les processus de production de rapports tout en garantissant la conformité avec les exigences du SCT. Il a aussi amélioré les rapports d'étape trimestriels et les rapports de mise en œuvre finaux, ce qui a permis de rendre compte de manière plus cohérente des mesures de rendement. Malgré ces progrès, les organismes bénéficiaires considèrent que l'approche du programme en matière de rapports prend beaucoup de temps.
Les organismes bénéficiaires ont fait état de ce qui suit :

• Exigences en matière de rapport contraignantes : Les organismes bénéficiaires ont estimé que le processus de production de rapports était laborieux et prenait beaucoup de temps, notamment en raison des quatre rapports d'étape trimestriels d'avancement requis, du rapport de mise en œuvre final et des exigences en matière de rapports financiers qui s'y ajoutaient
• Absence d'approches personnalisées en matière de rapport : Bien que certains organismes se concentrent sur la formation axée sur les compétences numériques pour les enseignants et les jeunes, et d'autres exclusivement pour les étudiants ou pour des groupes sous-représentés particuliers, tous ont été tenus d'utiliser la même structure de rapport
• Lignes directrices sur les rapports financiers imprécises : L'absence de lignes directrices claires sur les dépenses admissibles a entraîné une certaine confusion et le rejet de certaines dépenses, ce qui a alourdi le fardeau administratif
• Lourd fardeau administrative : Les organismes, en particulier les petits, ont ressenti la pression des exigences en matière de rapports en raison de leurs ressources limitées
• Restructuration du système de rapport : Les organismes bénéficiaires ont connu de multiples changements dans les modèles de rapport, les procédures et les politiques au cours des différentes phases, ce qui a semé la confusion et augmenté leur charge de travail

Recommandation 1 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des approches visant à améliorer la cohérence des données soumises par les bénéficiaires. Des outils de données fiables et simples ainsi que des méthodologies cohérentes permettraient au programme de faire un meilleur suivi des progrès réalisés par rapport aux résultats, d'alléger les exigences en matière de rapport pour les organismes bénéficiaires et de cerner les lacunes dans la portée du programme en ce qui concerne les groupes en quête d'équité.

3.3 Efficiency

Constatation 6 : Le financement de CodeCan a contribué à l'augmentation des partenariats et à l'optimisation des ressources pour faire avancer les objectifs du programme. La poursuite des efforts visant à renforcer les partenariats, à accroître le partage des connaissances et le réseautage entre les bénéficiaires par l'intermédiaire d'une communauté de pratique permettrait d'augmenter la portée du programme.

Les partenariats dans le parcours de CodeCan

Les organismes bénéficiaires de CodeCan ont été en mesure de tirer parti de partenariats privés et publics, ce qui a accru l'incidence du programme. Les partenariats et collaborations à multiples facettes favorisés par les organismes bénéficiaires de CodeCan ont contribué à la mise en œuvre et au rayonnement réussis du programme, ainsi qu'à l'atteinte, voire au dépassement, de ses objectifs.

Les divers partenariats et leurs incidences

Secteurs privé et public auxquels CodeCan s'est associé :

• Établissements d'enseignement (universités)
• Groupes communautaires
• Collaborations avec des groupes sous-représentés
• Écoles et districts scolaires
• Acteurs du secteur des TIC

Ces partenariats ont permis d'optimiser les ressources :

• Obtenir des fonds supplémentaires et des contributions en nature
• Mise en commun de l'expertise

Ces partenariats ont aussi permis d'améliorer la portée et l'efficacité du programme :

• Atteinte et dépassement des objectifs du programme
• La diversité des intervenants a permis d'atteindre des ressources et des compétences variées
• Approche plus inclusive à la formation axée sur les compétences numériques
• Élargissement de la portée du programme

Pratiques exemplaires : Création d'une communauté de pratique (CdP)

La création d'une communauté de pratique (CdP) a été décrite par les organismes bénéficiaires comme l'une des pratiques exemplaires du programme et ses avantages ont été soulignés. Pendant la courte période d'activité de la communauté de pratique, les bénéficiaires ont eu l'occasion de mettre en commun leurs expériences de la réalisation des activités de leur programme, les solutions pour optimiser les enjeux, les pratiques exemplaires pour élaborer du contenu et les activités d'information, en particulier auprès des communautés mal desservies. L'évaluation a permis de cerner des domaines potentiels de renforcement des efforts de collaboration, en particulier l'amélioration de la structure et de la coordination de la communauté de pratique.

Au cours des réunions, les bénéficiaires de la CdP ont eu l'occasion :

• de discuter des approches permettant d'aborder et d'améliorer les situations (collecte de données, rapports...) et de certains défis liés à la mise en œuvre des programmes
• d'échanger des expériences pratiques, des connaissances et des idées concernant la mise en œuvre des activités de leur programme, l'organisation d'ateliers et l'augmentation du nombre de participants

Le programme a favorisé l'échange d'outils entre les organismes bénéficiaires, améliorant ainsi la collaboration. De plus, ces réunions ont mené à l'établissement de nouveaux partenariats.

La CdP offre une plateforme pour l'échange d'idées, de stratégies et d'expérience, et favorise la collaboration et aide à aborder les difficultés communes rencontrées par certains organismes.

Les organismes bénéficiaires ont exprimé le souhait que les réunions de la communauté de pratique soient plus fréquentes. Ils ont fait remarquer que de telles activités de soutien structurées permettraient :

• De créer un réseau de soutien particulièrement utile pour les petits organismes
• D'assurer l'apprentissage continu et l'adaptation des pratiques exemplaires

Recommandation 2 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des approches stratégiques et mieux exploiter le forum de la Communauté de pratique afin d'améliorer le partage des connaissances, les initiatives de réseautage et l'apprentissage collaboratif parmi les organismes bénéficiaires. De telles approches pourraient renforcer l'innovation, promouvoir les pratiques exemplaires et faire avancer les objectifs du programme.

Constatation 7 : L'utilisation efficace par CodeCan de divers modèles de prestation et la mise en œuvre d'une formation gratuite à l'échelle des régions et des organismes ont contribué à accroître la participation et la mobilisation. Certains problèmes ont été cernés dans les processus de demande, d'approbation des projets et d'allocation des fonds.

Utilisation efficace des ressources

CodeCan a réussi à optimiser ses ressources pour améliorer les compétences numériques et promouvoir la littéracie numérique, ce qui témoigne d'une approche efficace dans sa programmation. Toutefois, les données n'étaient pas disponibles pour toutes les phases pour permettre d'évaluer pleinement l'efficacité des activités et les coûts par participant.

• Le modèle de formation gratuite a permis d'éliminer les obstacles financiers et d'élargir la portée et l'accessibilité
• Élaboration d'un contenu numérique bilingue; formateurs et contenu numérique sensibles à la culture
• Jusqu'à 10 % du financement est utilisé pour couvrir les frais administratifs

Différents modèles de prestation représentant la capacité d'adaptation

En utilisant divers modèles de prestation des activités, le programme a réussi à atteindre un large public et des participants de différents milieux et de différentes régions ont eu accès à la formation axée sur les compétences numériques de CodeCan.

Problèmes liés aux processus de demande, d'approbation et de financement : Répercussions sur l'efficacité du programme

Les organismes bénéficiaires de CodeCan ont exprimé leur gratitude pour le financement fourni par ISDE pour la formation axée sur les compétences numériques, reconnaissant son rôle important dans la réalisation de ces activités d'apprentissage cruciales visant à améliorer la littératie numérique des jeunes et des enseignants. Ce financement leur a permis non seulement d'atteindre un public plus vaste et diversifié, mais aussi d'élargir leurs partenariats et leurs réseaux. Toutefois, les bénéficiaires ont rencontré des difficultés dans les processus de demande et d'approbation, ainsi que dans l'allocation des fonds.

Processus de demande

• Besoin de soutien pendant le processus de demande : Les bénéficiaires ont indiqué qu'ils avaient besoin de conseils et d'aide supplémentaires pour s'y retrouver et répondre aux exigences de la demande de financement

Processus et sélection et d'approbation des projets

• Possibilités d'améliorer le retour d'information sur les demandes non retenues : Les bénéficiaires ont indiqué qu'ils avaient besoin d'une rétroaction et de renseignements supplémentaires sur les demandes non retenues et sur certaines parties de leurs propositions, afin de les aider à s'améliorer lors de leurs prochaines soumissions

Allocation des fonds

• Besoin continu de transparence : Les bénéficiaires ont fait remarquer que l'allocation des fonds et la manière dont ils sont répartis entre les nouveaux, les petits et les grands organismes devraient être comprises par tous les organismes bénéficiaires
• Financement limité ou non approuvé pour certains groups : Certains organismes n'ont pas obtenu le financement intégral de leurs propositions en raison des limites imposées au programme. Il a donc été difficile pour certains d'atteindre les communautés ciblées ou de mettre en œuvre la totalité de leurs activités

Recommandation 3 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des possibilités d'améliorer le processus de présentation de demande afin de soutenir les demandeurs et la communication des décisions de financement.

4.0 Résumé & Recommandations

Conclusion

CodeCan a répondu au besoin croissant de connaissances et de formation en matière de compétences numériques pour l'améliorer la littératie numérique des jeunes et des enseignants à travers le Canada. Il a atteint un vaste éventail de participants, y compris des groupes sous-représentés, en utilisant des méthodes de prestation innovantes et souples qui ont été adaptées avec succès aux restrictions liées à la COVID-19. Bien que le programme ait réussi à joindre un large public et à être inclusif, des sphères tels que la collecte de données, la production de rapports et le fardeau administratif des organismes bénéficiaires doivent être améliorés. La mise en place d'une communauté de pratique structurée et l'optimisation des processus de demande, d'approbation et de financement ont été désignées comme des domaines à développer. Dans l'ensemble, la contribution de CodeCan à la promotion des compétences numériques chez les jeunes et les enseignants canadiens jette les bases d'une future main-d'œuvre qualifiée sur le plan numérique.

Pratique exemplaire : La création d'une communauté de pratique a été l'une des pratiques exemplaires du programme, car elle a facilité l'échange d'idées, la collaboration et la résolution de problèmes communs entre les organismes bénéficiaires.

Findings

• Constatation 1 : CodeCan répond à un besoin avéré de connaissances et de formation en compétences numériques pour améliorer les compétences numériques des enseignants et des jeunes dans tout le Canada, y compris dans les collectivités rurales, éloignées et autochtones, et pour les préparer aux industries innovantes/technologiques émergentes.
• Constatation 2 : CodeCan a réussi à fournir une formation numérique et des activités d'apprentissage numérique à un large éventail de jeunes et d'enseignants dans tout le Canada, y compris à des groupes sous-représentés et malgré les restrictions imposées en raison de la COVID-19. Le programme a permis d'accroître l'intérêt pour les STIM et les connaissances en matière de compétences numériques.
• Constatation 3 : CodeCan a mené des activités d'apprentissage et de formation axées sur les compétences numériques en utilisant des approches innovantes, multimodales et inclusives, ce qui contribue à la création d'un écosystème numérique créatif et prospère.
• Constatation 4 : L'évaluation n'a pas mis en évidence une approche harmonisée à la collecte des données au cours des différentes phases du programme. En raison des différentes méthodes de collecte des données, la qualité des données varie, ce qui a eu une incidence sur l'uniformité des données de rendement. La collecte de données sur l'ACS Plus/EDI a été limitée, ce qui porte à croire qu'une approche plus cohérente dans ces domaines est nécessaire.
• Constatation 5 : Au cours des trois phases de CodeCan, des améliorations progressives ont été apportées aux exigences en matière de rapports; cependant, les mécanismes et les exigences sont restés contraignants et difficiles pour les organismes bénéficiaires.
• Constatation 6 : Le financement de CodeCan a contribué à l'augmentation des partenariats et à l'optimisation des ressources pour faire avancer les objectifs du programme. La poursuite des efforts visant à renforcer les partenariats, à accroître le partage des connaissances et le réseautage entre les bénéficiaires par l'intermédiaire d'une communauté de pratique permettrait d'augmenter la portée du programme.
• Constatation 7 : Le programme CodeCan a fait preuve d'une utilisation efficace des ressources pour produire des résultats. L'utilisation CodeCan de divers modèles de prestation et la mise en œuvre d'une formation gratuite à l'échelle des régions et des organismes ont contribué à accroître la participation et la mobilisation. Certains problèmes ont été cernés dans les processus de demande, d'approbation des projets et d'allocation des fonds.

Recommandations

• Recommandation 1 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des approches visant à améliorer la cohérence des données soumises par les bénéficiaires. Des outils de données fiables et simples ainsi que des méthodologies cohérentes permettraient au programme de faire un meilleur suivi des progrès réalisés par rapport aux résultats, d'alléger les exigences en matière de rapport pour les organismes bénéficiaires et de cerner les lacunes dans la portée du programme en ce qui concerne les groupes en quête d'équité.
• Recommandation 2 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des approches stratégiques et mieux exploiter le forum de la Communauté de pratique afin d'améliorer le partage des connaissances, les initiatives de réseautage et l'apprentissage collaboratif parmi les organismes bénéficiaires. De telles approches pourraient renforcer l'innovation, promouvoir les pratiques exemplaires et faire avancer les objectifs du programme.
• Recommandation 3 : La Direction générale Un Canada branché du Secteur du spectre et des télécommunications d'ISDE devrait examiner des possibilités d'améliorer le processus de présentation de demande afin de soutenir les demandeurs et la communication des décisions de financement.

Annexe A : Résultats attendus

Grâce aux activités admissibles financées dans le cadre de l'entente de financement avec ISDE, CodeCan devrait atteindre les résultats décrits ci-dessous.

Résultats à court terme :

• Les jeunes Canadiens (M-12), y compris les jeunes des groupes sous-représentés, ont accès à des possibilités d'apprentissage de la programmation et des compétences numériques dans le cadre du programme CodeCan 3.0Les enseignants canadiens ont accès à des outils et à des formations pour enseigner les compétences numériques et la programmation à leurs élèves de M-12 grâce au programme

Résultats à moyen terme :

• Les élèves canadiens renforcent leur capacité en matière de programmation et d'utilisation des compétences numériques
• Les enseignants canadiens renforcent leur capacité d'intégrer et d'enseigner la programmation et les compétences numériques dans leur classe

Résultats à long terme :

• Les Canadiens obtiennent un diplôme dans les domaines des STIM dans les établissements d'enseignement postsecondaire canadiens

Annexe B : Critères d'admissibilité au financement

Pour CodeCan 3.0, les demandeurs doivent répondre aux critères suivants pour être admissibles à un financement d'ISDE:

• Votre organisme ou vos partenaires ont au moins trois ans d'expérience dans l'enseignement de la programmation et des compétences numériques
• L'initiative proposée ciblera au moins un groupe traditionnellement sous-représenté dans le domaine des STIM
• L'initiative proposée sera mise en œuvre sans frais pour les participants (c.-à-d. sans frais d'utilisation pour les participants)
• Votre organisme dispose des ressources et de l'expertise nécessaires pour mener à bien l'initiative proposée, du 1er septembre 2021 au 31 mars 2024, grâce au financement du programme, soit en interne, soit par le biais de partenariats, et accepte de mesurer et de rendre compte avec précision du succès de l'initiative
• Comment votre organisme prévoit-il d'être entièrement autonome à la fin du programme (à l'exception des organismes servant principalement des groupes sous-représentés, qui doivent toujours démontrer qu'elles progressent vers l'autonomie)

Annexe C : Méthodologie

L'évaluation s'est appuyée sur cinq méthodes de collecte de données, dont des sources qualitatives et quantitatives. Pour répondre aux questions de l'évaluation, des renseignements provenant de plusieurs sources ont été recueillis et triangulés.

Revue de la littérature et examen des documents

La revue de la littérature a porté sur des documents pertinents afin d'acquérir une compréhension approfondie du besoin actuel et continu de CodeCan dans la perspective d'accroître les compétences en programmation et les compétences numériques chez les jeunes et les enseignants canadiens. Une comparaison internationale a aussi été effectuée avec des programmes similaires dans d'autres pays afin de comprendre la pertinence de CodeCan d'un point de vue international. L'examen des documents englobait les principaux documents d'établissement des priorités du gouvernement et les rapports du programme pour soutenir l'évaluation du rendement et de l'efficacité.

Examen des données financières, administratives et sur le rendement

Les données sur le rendement de CodeCan, recueillies pour satisfaire aux exigences de mesure du rendement de CodeCan, ont été examinées afin d'évaluer la mesure dans laquelle des progrès ont été réalisés pour atteindre les résultats à court, moyen et long terme décrits dans le modèle logique. Une analyse des données administratives et financières de CodeCan a aussi été réalisée afin d'obtenir une compréhension globale des activités du programme (p. ex., l'allocation et la gestion des ressources, et la transparence).

Étude de cas

Une étude de cas a été réalisée pour étayer l'évaluation globale de CodeCan. L'étude de cas a permis d'interroger 12 organismes bénéficiaires de tailles diverses. L'étude de cas s'est appuyée sur l'examen de documents et de données administratives.

Sondages en ligne

Des sondages en ligne ont été menés pour recueillir des points de vue sur l'incidence de CodeCan, ainsi que sur les améliorations potentielles à apporter pour renforcer l'efficacité du programme. Les sondages ciblaient les enseignants de M-12 qui avaient participé aux activités de formation de CodeCan pour perfectionner leurs compétences et le personnel des organismes bénéficiaires qui n'avaient pas été sélectionnés pour les entretiens. Les sondages ont permis de recueillir les réponses de 89 enseignants au total, dont 28 ont été retirées pour diverses raisons, et de 8 membres du personnel des organismes bénéficiaires.

Entretiens virtuels

Au total, 21 entretiens ont été menés à l'aide de MS Teams afin de recueillir divers points de vue sur la pertinence, le rendement et l'efficacité de CodeCan. Les entretiens ont été facilités par les organismes bénéficiaires et le personnel d'ISDE.

Annexe D : Difficultés et stratégies d'atténuation

L'évaluation a rencontré trois limites et les évaluateurs ont appliqué des stratégies d'atténuation connexes.

1. Parti pris des répondants
   Difficulté : Les participants aux entretiens et au sondage étaient soit impliqués dans la mise en œuvre du programme soit des bénéficiaires directs et, par conséquent, les réponses peuvent avoir été biaisées positivement.
   Stratégie d'atténuation : L'objectif de l'entretien et sa stricte confidentialité ont été communiqués aux participants. Les réponses ont été validées par les groupes d'intervenants et par d'autres sources de données.
2. Taux de réponse au sondage
   Difficulté : Le taux de réponse au sondage de l'évaluation mené auprès des enseignants participant à CodeCan a été faible (36 %). Cela s'explique par les difficultés rencontrées pour obtenir les coordonnées des enseignants auprès des organismes bénéficiaires de CodeCan, et par le fait que le lancement du sondage a coïncidé avec le début de l'année scolaire, période durant laquelle les enseignants étaient très occupés.
   Stratégie d'atténuation : D'autres sources de données ont été exploitées pour étayer les résultats des sondages.
3. Qualité des données
   Difficulté : CodeCan étant un programme plus récent, les exigences en matière de rapports ont changé tout au long de la période d'évaluation. Cela a créé des difficultés dans l'évaluation de certains critères qui n'ont pas fait l'objet de déclaration cohérente.
   Stratégie d'atténuation : L'évaluation s'est concentrée sur les données qui ont été communiquées de manière cohérente tout au long de