Reference number : GC-2022-2023-Q4-00003, amendment number : , agreement type : C, recipient legal name : University of Ottawa | l’Université d’Ottawa, recipient country : CA, recipient province : ON, recipient city : Ottawa, recipient postal code : K1N 6N5, program name english : Research and Policy Initiatives Assistance Program, program name french : Bureau du Programme de soutien d’initiatives stratégiques et de recherche, program purpose english : The overall objective of the program is to support projects which contribute to the effectiveness of public service management practices through the improvement, advancement, and promotion of public policy research, experimentation and engagement., program purpose french : L’objectif général du programme consiste à soutenir des projets qui contribuent à l’efficacité des pratiques de gestion de la fonction publique grâce à l’amélioration, à l’avancement ainsi qu’à la promotion de la recherche sur les politiques gouvernementales, de l’innovation, de l’expérimentation et de la participation., agreement title english : Text Analysis of Evaluation Reports, agreement title french : Analyse du texte des rapports d’évaluation, agreement number : GC-2022-2023-Q4-00003, agreement value : 63000.0, agreement start date : 2023-02-03, agreement end date : 2023-03-31, description english : The objective of this research project is to perform an independent, experimental analysis and data extraction from publicly available evaluation reports to provide innovative insights into program effectiveness. This research will explore what types of data can be extracted and analyzed from a sample of multi-jurisdictional evaluation reports, and test the usability of artificial intelligence, text mining, and other semi-automated tools to analyze the information., description french : L’objectif de ce projet de recherche est d’effectuer une analyse expérimentale indépendante et d’extraire des données des rapports d’évaluation accessibles au public afin de fournir des pistes de réflexion novatrices sur l’efficacité des programmes. Les participants à la recherche examineront les types de données qui peuvent être extraites et analysées à partir d’un échantillon de rapports d’évaluation intergouvernementaux. De plus, ils vérifieront l’utilisabilité de l’intelligence artificielle, de l’exploration de texte et d’autres outils semi-automatisés pour analyser l’information., expected results english : In the short-term, the project will prepare a public report outlining the steps taken to capture, clean and populate the data; identify the tools and specific analytical models used; and provide recommendations for semi-automation of the process. The project will also compare the results with those generated using a tool developed by Australian researchers. In the long run, the project will develop an open-source methodology for large scale analysis of text data extracted from evaluation reports; create new, publicly available datasets which researchers and Canadians will be able to access to better understand successful best practices in program and policy design; and improve the effectiveness of public service management practices by conducting international, and domestic jurisdictional comparisons and by disseminating the information embodied in the evaluation reports., expected results french : À court terme, les participants au projet prépareront un rapport public décrivant les mesures prises pour saisir, nettoyer et alimenter les données; détermineront les outils et les modèles analytiques particuliers utilisés; et formuleront des recommandations en vue de la semi-automatisation du processus. Les participants au projet compareront en outre les résultats avec ceux générés à l’aide d’un outil développé par des chercheurs australiens. À long terme, les participants au projet développeront une méthodologie de source ouverte pour l’analyse à grande échelle des données textuelles extraites des rapports d’évaluation; créeront de nouveaux ensembles de données accessibles au public que les chercheurs et les Canadiens pourront consulter afin de mieux comprendre les pratiques exemplaires établies en matière de conception de programmes et de politiques; et amélioreront l’efficacité des pratiques de gestion des services publics en effectuant des comparaisons internationales et nationales entre les administrations et en diffusant les renseignements contenus dans les rapports d’évaluation., additional information english : nan, additional information french : nan, owner organization : tbs-sct, owner organization title : Treasury Board of Canada Secretariat | Secrétariat du Conseil du Trésor du Canada