Reference number : 172-2025-2026-Q1-1028955, amendment number : , agreement type : C, recipient legal name : Acuity Insights Inc., recipient country : CA, recipient province : ON, recipient city : Toronto|Toronto, recipient postal code : M5V 2Y1, program name english : Industrial Research Assistance Program – AI Assist, program name french : Programme d’aide à la recherche industrielle – Assistance AI, program purpose english : The NRC IRAP Artificial Intelligence (AI) Assist Program aims to equip and support SMEs to incorporate AI into their core products and services and/or undertake scientific research, product development, testing, and validation. AI Assist aims to increase the number, the quality, and the competitiveness of Generative AI (Gen AI), Deep Neural Nets (DNN), and Deep Learning (DL) products created and delivered by SMEs., program purpose french : Le programme « Assistance Intelligence Artificielle (IA) » du CNRC PARI a pour but d'aider les PME à intégrer l'IA à leurs lignes de produits ou de services de base et à leur donner les moyens pour y parvenir, ou de leur permettre d'entreprendre des recherches scientifiques puis d'élaborer, de tester et de valider leurs produits. Avec Assistance IA, le PARI CNRC vise à augmenter le nombre de produits que les PME conçoivent et proposent grâce à l'IA générative (IA Gen), aux réseaux de neurones profonds (RNP) ou à l'apprentissage profond (AP), de rehausser la qualité de ces produits et de les rendre plus concurrentiels., agreement title english : AI Assist: ARP AI Pilot Project for Rating Open Responses in Casper, agreement title french : Assistance IA : Projet pilote (PRA) pour la notation des réponses ouvertes dans Casper, agreement number : 1028955, agreement value : 75000.0, agreement start date : 2025-04-01, agreement end date : 2026-03-31, description english : We propose a new approach to automated test scoring that combines recent advances in large language models (LLMs) with traditional clear-box ML approaches. We will use an LLM-as-a-judge framework in association with a rubric of scoring elements (developed in consultation with subject matter experts) to classify responses on the basis of these scoring elements. The LLM will also provide its reasoning for these decisions. We will then construct clear-box ML models that combine these scoring elements extracted from the responses into a single numeric score. This method will allow us to not only score a response, but also to identify precisely how individual elements of the rubric contributed to the score and why each element of the rubric was., description french : Nous proposons une nouvelle approche de la notation automatisée des tests qui combine les récentes avancées en matière de grands modèles linguistiques (GML) avec les approches traditionnelles d’AA « boîte transparente ». Nous utiliserons un cadre LLM-as-a-judge (GML en tant que juge) associé à une grille d’évaluation (développée en consultation avec des experts en la matière) pour classer les réponses sur la base de ces éléments de notation. Le GML fournira également le raisonnement qui sous-tend ces décisions. Nous construirons ensuite des modèles d’AA transparents qui combinent ces éléments de notation extraits des réponses en une seule note numérique. Cette méthode nous permettra non seulement de noter une réponse, mais aussi d’identifier précisément comment les différents éléments de la grille ont contribué à la note et pourquoi chaque élément de la grille a été utilisé., expected results english : The NRC IRAP Artificial Intelligence (AI) Assist Program aims to equip and support SMEs to incorporate AI into their core products and services and/or undertake scientific research, product development, testing, and validation. AI Assist aims to increase the number, the quality, and the competitiveness of Generative AI (Gen AI), Deep Neural Nets (DNN), and Deep Learning (DL) products created and delivered by SMEs., expected results french : Le programme « Assistance Intelligence Artificielle (IA) » du CNRC PARI a pour but d'aider les PME à intégrer l'IA à leurs lignes de produits ou de services de base et à leur donner les moyens pour y parvenir, ou de leur permettre d'entreprendre des recherches scientifiques puis d'élaborer, de tester et de valider leurs produits. Avec Assistance IA, le PARI CNRC vise à augmenter le nombre de produits que les PME conçoivent et proposent grâce à l'IA générative (IA Gen), aux réseaux de neurones profonds (RNP) ou à l'apprentissage profond (AP), de rehausser la qualité de ces produits et de les rendre plus concurrentiels., additional information english : nan, additional information french : nan, owner organization : nrc-cnrc, owner organization title : National Research Council Canada | Conseil national de recherches Canada