Reference number : 172-2023-2024-Q3-1012497, amendment number : , agreement type : G, recipient legal name : University of Ottawa, recipient country : CA, recipient province : ON, recipient city : Ottawa|Ottawa, recipient postal code : K1N 6N5, program name english : Collaborative Science, Technology and Innovation Program - Collaborative R&D Initiatives, program name french : Programme de collaboration en science, en technologie et en innovation - Initiatives de collaboration en R-D, program purpose english : Collaborate on multiparty research and development programs to catalyze transformative, high-risk, high-reward research with the potential for game-changing scientific discoveries and technological breakthroughs in priority areas., program purpose french : Collaborer à des programmes multipartites de recherche-développement dans le but de profiter de la synergie entre la recherche transformatrice à haut risque et à haut rendement et le potentiel de découvertes scientifiques et de percées technologiques révolutionnaires dans des secteurs d’intervention prioritaires., agreement title english : Topology and Transformers in tandem: developing methodology to combine these cutting-edge tools, agreement title french : Topologie et transformateurs en tandem : développement d’une méthodologie pour combiner 2 outils de pointe, agreement number : 1012497, agreement value : 183333.0, agreement start date : 2023-12-01, agreement end date : 2026-03-31, description english : The Core AI4Design proposal seeks to integrate two powerful methods for
data analysis, namely Topological Data Analysis (TDA) and machine
learning (ML). These two approaches have so far been relatively
independent of each other in practice. This proposal aims to develop new
techniques that combine the strengths of both approaches to create nextgeneration
tools for analyzing complex data. More precisely, the many types
of sequence data where transformers are used -  sequences of words in
natural language texts, or sequences of programming code, or sequences
of video frames and audio -  are all highly complex in that the data
themselves are high-dimensional (e.g. video), they involve very high-order
structure (e.g. the way in which pixels in video allow us to see a cat moving
is not something that can be summarized in a handful of equations) and the
corpora of data that one needs for training are huge. TDA on the other hand
is very effective at summarizing high-order structure and actual geometry in
data. We propose to develop a systematic approach for combining TDA and
transformers for more efficient learning and analysis of complex data.
The proposal comprises two main streams. The first stream aims to develop a hierarchical version of TDA structures that utilize successive layers, with
each layer pooling the points of the layer below, akin to the operation of
convolutional neural networks. The second stream targets the ML paradigm
of transformer networks and proposes to use TDA persistence images as
the data representation, which will be served to transformers. The
developed tools will be tested on datasets where the current state of the art uses transformers but where "shape" or geometry is believed to play a role in the underlying learning problem yet has not been leveraged yet due to
the absence of such information in the typical input for transformers. An
example is the discovery of new proteins predicted to have desirable
luminosity or therapeutic properties. State of the art in this field uses
transformers to generate sequences of amino acids likely to have the
desired properties (these are then synthesized and tested). It is known that
the geometry of a fluorescent protein contributes directly to luminosity, and
folded shape information is available for many proteins used to train the
transformer but this geometric information is not fed to the transformer. We
propose to summarize it with TDA persistence images and use these to
train slightly modified transformers. Our aim is to demonstrate improved
generative ability in the TDA-transformer compared to a basic transformer alone., description french : La proposition principale du programme Défi « IA au service de la conception » vise à intégrer 2 méthodes puissantes d’analyse des données, à savoir l’analyse topologique des données (TDA) et l’apprentissage machine (AM). Ces 2 approches ont jusqu’à présent été relativement indépendantes l’une de l’autre dans la pratique. La présente proposition vise à développer de nouvelles techniques qui combinent les forces des 2 approches afin de créer une nouvelle génération d’outils destinés à l’analyse de données complexes. En effet, les nombreux types de données séquentielles pour lesquelles des transformateurs sont utilisés (séquences de mots dans des textes en langue naturelle, séquences de code de programmation ou séquences d’images vidéo et audio) sont tous très complexes en ce sens que les données elles-mêmes sont à haute dimension (p. ex. dans les vidéos), qu’elles impliquent une structure de très haut niveau (p. ex. la manière dont les pixels d’une vidéo nous permettent de voir un chat bouger ne peut pas se résumer en une poignée d’équations), et que les corpus de données nécessaires à l’entraînement sont volumineux. Or, la TDA est très efficace pour résumer la structure d’ordre de haut niveau et la géométrie réelle des données. Nous proposons de développer une approche systématique combinant la TDA et les transformateurs afin d’améliorer l’efficacité de l’apprentissage et de l’analyse des données complexes. La proposition se divise en 2 volets. Le 1er volet vise à développer une version hiérarchique de structures TDA qui utilisent des couches successives, chaque couche regroupant les points de la couche inférieure, à l’instar du fonctionnement des réseaux neuronaux convolutionnels. Le 2e volet, qui vise le paradigme d’AM des réseaux de transformateurs, propose d’utiliser les images de persistance TDA comme représentation des données, qui seront transmises aux transformateurs. Les outils développés seront testés sur des ensembles de données pour lesquelles les techniques actuelles utilisent des transformateurs pour résoudre le problème d’apprentissage sous-jacent; toutefois, ces techniques n’ont pas encore été exploitées, car ce genre d’information ne se trouve pas dans les données qui alimentent typiquement les transformateurs. La découverte de nouvelles protéines dont la luminosité ou les propriétés thérapeutiques devraient être souhaitables en est un exemple. Les techniques actuelles dans ce domaine utilisent des transformateurs pour générer des séquences d’acides aminés susceptibles d’avoir les propriétés souhaitées (ces séquences sont ensuite synthétisées et testées). On sait que la géométrie d’une protéine fluorescente contribue directement à la luminosité, et les informations sur les formes pliées sont disponibles pour de nombreuses protéines utilisées pour entraîner le transformateur; or, ces informations géométriques ne sont pas transmises au transformateur. Nous proposons de les résumer à l’aide d’images de persistance TDA et d’utiliser ces dernières pour entraîner des transformateurs légèrement modifiés. Notre objectif est de démontrer qu’un transformateur TDA a une meilleure capacité de génération par rapport à un transformateur de base seul., expected results english : In the short term, anticipated outcomes will be strengthened collaborations across industry, academia, and government to support research excellence. In the medium term, anticipated outcomes will be the development of new and potentially disruptive technologies with collaborators. In the long term, find collaborative solutions to public policy challenges and create stronger innovation systems., expected results french : À court terme, les résultats prévus seront des collaborations renforcées entre l'industrie, le milieu universitaire et le gouvernement pour soutenir l'excellence en recherche. À moyen terme, les résultats attendus seront le développement de nouvelles technologies potentiellement perturbatrices avec des collaborateurs. À long terme, trouver des solutions collaboratives aux défis des politiques publiques et créer des systèmes d'innovation plus solides., additional information english : nan, additional information french : nan, owner organization : nrc-cnrc, owner organization title : National Research Council Canada | Conseil national de recherches Canada