# Atlas statistiques et apprentissage de représentations pour la caractérisation de la fonction cardiaque à l'échelle de populations

Nicolas Duchateau

► To cite this version:

Nicolas Duchateau. Atlas statistiques et apprentissage de représentations pour la caractérisation de la fonction cardiaque à l'échelle de populations. Imagerie médicale. Université Claude Bernard Lyon 1, 2023. tel-04540429

HAL Id: tel-04540429

https://inria.hal.science/tel-04540429

Submitted on 10 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
HABILITATION À DIRIGER LES RECHERCHES

Opérée au sein de :

l'Université Claude Bernard Lyon 1

Soutenue publiquement le 19/12/2023 par :

Nicolas DUCHATEAU

Atlas statistiques et apprentissage de représentations
pour la caractérisation de la fonction cardiaque à
l'échelle de populations

Devant le jury composé de :

<table><tr><td><strong>Raphaëlle CHAINE</strong><br>Professeure des Universités (section 27), Université Claude Bernard Lyon 1</td><td><strong>Présidente</strong></td></tr><tr><td><strong>Christian DESROSIERS</strong><br>Professeur des Universités, ETS Montréal, Canada</td><td><strong>Rapporteur</strong></td></tr><tr><td><strong>Fabrice MERIAUDEAU</strong><br>Professeur des Universités (section 61), Université de Bourgogne</td><td><strong>Rapporteur</strong></td></tr><tr><td><strong>Nicolas THOME</strong><br>Professeur des Universités (section 27), Sorbonne Université</td><td><strong>Rapporteur</strong></td></tr><tr><td><strong>Stéphane CANU</strong><br>Professeur des Universités (section 61), INSA Rouen</td><td><strong>Examenateur</strong></td></tr><tr><td><strong>Nadjia KACHENOURA</strong><br>Directrice de Recherche INSERM, Sorbonne Université</td><td><strong>Examinatrice</strong></td></tr><tr><td><strong>Patrick CLARYSSE</strong><br>Directeur de Recherche CNRS (section 7), INSA Lyon</td><td><strong>Invité</strong></td></tr></table>
Remerciements

Ce document n'a pas été écrit avec ChatGPT ou un logiciel similaire, même s'il aurait été plus drôle avec
ça : https://catgpt.wvd.io/ ou ça : https://chatcgt.fr/

Un grand merci également à Patrick Clarysse pour sa relecture et ses conseils.
# Résumé

L'insuffisance cardiaque est un enjeu majeur pour lequel il est essentiel d'améliorer significativement l'évaluation et le suivi des patients. Si l'imagerie est primordiale, l'hétérogénéité des anomalies de structure et fonction cardiaques complique les analyses. Il est crucial d'aller au-delà des mesures d'imagerie faites en clinique, fortement insuffisantes pour caractériser la complexité de la maladie. Les récents progrès en imagerie et en apprentissage automatique permettent d'extraire des biomarqueurs physiologiques fins des images. L'autre enjeu majeur des analyses computationnelles est l'intégration d'un tel déluge de données à l'échelle de populations, qui pose plusieurs défis. Il nécessite de considérer des descripteurs de forme et fonction cardiaques plus complexes que des mesures scalaires. Ces descripteurs peuvent être des données haute-dimension, à ramener sur une référence (un "atlas") avant toute comparaison. Leur analyse doit respecter leurs propriétés mathématiques et physiologiques (par des méthodes d'apprentissage non-linéaires). Enfin, une analyse multi-paramétrique de ces données est difficile et coûteuse en calculs, en raison de leurs types hétérogènes et de leur complexité/dimensionnalité.

J'ai développé une expertise reconnue sur les techniques clés pour de telles analyses à l'échelle de populations (atlas statistiques et apprentissage de représentations, en imagerie cardiaque). Ce document propose une synthèse des contributions majeures que j'ai pu proposer pour répondre à ces problématiques, regroupant les travaux publiés avec mes collaborateurs et les personnels que j'ai encadrés depuis ma thèse, et notamment depuis mon arrivée au laboratoire CREATIS comme MCU en 2016.

Il donne également une vue d'ensemble de mon parcours professionnel tant sur les aspects recherche qu'enseignement et encadrements scientifiques. Enfin, il présente les principaux travaux actuels auxquels je participe et les perspectivent que ceux-ci peuvent amener, notamment du point de vue du passage des développements méthodologiques à l'échelle de larges études cliniques.
Abstract

Heart failure is a major challenge for which it is essential to significantly improve patient assessment and follow-up. While imaging is essential, the heterogeneity of abnormalities in cardiac structure and function complicates the analyses. It is crucial to go beyond the imaging measurements done in clinical routine, which are highly inadequate for characterizing the complexity of the disease. Recent advances in imaging and machine learning allow extracting fine physiological biomarkers from images. The other major challenge of computational analyses is the integration of such a deluge of data at a population scale, which poses a number of challenges. It requires considering descriptors of cardiac shape and function more complex than scalar measurements. These descriptors may be high-dimensional data, to be mapped to a reference (an "atlas") before any comparison. Their analysis should preserve their mathematical and physiological properties (using non-linear learning methods). Finally, multi-parametric analysis of these data is difficult and computationally expensive, due to their heterogeneous types and complexity/dimensionality.

I have developed recognized expertise on the key techniques for such population-scale analyses (statistical atlases and representation learning, in cardiac imaging). This document offers a summary of the major contributions I have been able to propose in response to these issues, bringing together the work published with my collaborators and the staff I have supervised since my thesis, and particularly since I joined the CREATIS laboratory as MCU in 2016.

It also provides an overview of my professional career in terms of research, teaching, and scientific supervision. Finally, it presents the main current projects I'm involved in and the perspectives that these may bring, particularly from the point of view of transferring methodological developments to the scale of large clinical studies.
<table><tr><td>1 Curriculum vitae</td><td>Non présent dans la version en ligne</td><td>7</td></tr><tr><td>2 Enseignement</td><td>Non présent dans la version en ligne</td><td>15</td></tr><tr><td>2.1 Statut professionnel</td><td></td><td>15</td></tr><tr><td>2.2 Enseignements comme Maître de Conférences</td><td></td><td>15</td></tr><tr><td>2.3 Responsabilités pédagogiques</td><td></td><td>17</td></tr><tr><td>2.4 Autres enseignements</td><td></td><td>18</td></tr><tr><td>3 Parcours scientifique et principales contributions</td><td></td><td>19</td></tr><tr><td>3.1 Dépasser l'analyse incomplète de populations en imagerie cardiaque</td><td></td><td>19</td></tr><tr><td>3.2 Quantification des anomalies de mouvement et déformation myocardiques</td><td></td><td>20</td></tr><tr><td>3.3 Caractérisation du patron d'une pathologie cardiaque et de son évolution</td><td></td><td>21</td></tr><tr><td>3.4 Analyse multi-paramétrique haute-dimension de la fonction cardiaque</td><td></td><td>22</td></tr><tr><td>4 Travaux actuels, introduction</td><td>Analyse statistique de la fonction cardiaque par les données d'imagerie</td><td>25</td></tr><tr><td>4.1 Le coeur défaillant à travers le prisme de l'imagerie</td><td></td><td>25</td></tr><tr><td>4.2 Avant l'analyse statistique : extraction et normalisation des données</td><td></td><td>27</td></tr><tr><td>4.3 L'analyse statistique par apprentissage de représentations</td><td></td><td>28</td></tr><tr><td>5 Travaux actuels, recherches en cours</td><td>Apprentissage de représentations à partir de plusieurs descripteurs</td><td>35</td></tr><tr><td>5.1 Techniques de fusion</td><td></td><td>35</td></tr><tr><td>5.2 Techniques d'alignement</td><td></td><td>36</td></tr><tr><td>5.3 Vers de meilleurs schémas d'intégration de données multiples</td><td></td><td>39</td></tr><tr><td>6 Conclusions et perspectives</td><td></td><td>41</td></tr><tr><td>7 Publications</td><td></td><td>45</td></tr></table>
Parcours scientifique et principales contributions

J'ai obtenu mon doctorat en Technologies de l'Information et la Communication à l'Universitat Pompeu Fabra à Barcelone (Espagne) en 2012, au sein du laboratoire CISTIB. J'ai ensuite effectué un séjour post-doctoral dans l'équipe d'imagerie cardiaque d'un des principaux hôpitaux d'Espagne (Hospital Clínic de Barcelone, 2012-2013) suivi d'un service équivalent ATER à l'Universitat Pompeu Fabra (2013-2014), et un autre séjour post-doctoral dans l'équipe Asclepios/Epione à l'INRIA Sophia-Antipolis (2014-2016). Désormais, je suis MCU à l'Université Lyon 1 et au laboratoire CREATIS depuis 2016, et lauréat de l'Institut Universitaire de France depuis 2021.

Mes recherches s'inscrivent dans le domaine de l'analyse computationnelle des images médicales. Elles sont très pluridisciplinaires à l'interface des techniques computationnelles (PE6 - Informatique et sciences de l'information) et de l'imagerie cardiaque (LS7 - Prévention, diagnostic et traitement des maladies humaines), avec des résultats de recherche (publications, projets) équilibrés entre ces deux domaines. Cela m'a permis de construire des collaborations durables avec des acteurs académiques, cliniques, et industriels majeurs sur un large éventail de spécialités (cardiologie, biophysique, apprentissage machine, mathématiques appliquées), avec pour dénominateur commun l'analyse de la fonction cardiaque par imagerie. J'essaie par ailleurs de développer les interactions entre ingénieurs et cardiologues via d'autres initiatives (co-édition d'un livre sur l'apprentissage machine principalement à destination des cardioloques, et groupes de travail de sociétés savantes) pour mieux appréhender le transfert de ces outils avancés vers la clinique.

## 3.1 Dépasser l'analyse incomplète de populations en imagerie cardiaque

L'analyse de la fonction cardiaque à l'échelle d'un individu a fortement gagné en précision et automatisation grâce aux récents progrès de l'imagerie, tant en instrumentation/acquisition que sur l'extraction de paramètres physiologiquement pertinents. En plus de l'automatisation fiable des mesures scalaires effectuées par le personnel clinique, les réseaux de neurones ont permis des avancées notables en segmentation et suivi temporel pour l'analyse de descripteurs plus complexes et haute-dimension, comme la forme et la déformation cardiaques [27, 79]. Néanmoins, l'analyse à l'échelle de populations pose de gros défis, pour exploiter les descripteurs avancés de la fonction cardiaque issus de l'imagerie, qui peuvent être complexes et difficiles à comparer entre individus (la forme et la déformation impliquent des descripteurs 3D (vecteurs ou tenseurs) en chaque endroit du myocarde et en chaque instant du cycle) [37] H03. C'est également un frein pour développer leur utilisation et leur interprétation par les cliniciens pour du suivi, de l'aide à la décision, et la compréhension de mécanismes physiologiques.

Mes recherches s'inscrivent dans ce contexte, afin de caractériser l'apparition et l'évolution de pathologies cardiaques en exploitant la richesse de plusieurs descripteurs avancés de la fonction cardiaque issus de
l'imagerie. Elles visent à fournir un support quantitatif, robuste, et interprétable aux cliniciens, pour les études de populations qu'ils n'arrivent pas à appréhender avec les outils actuels d'analyse. J'ai développé un cadre complet pour analyser ces données complexes à l'échelle d'une population, qui s'appuie sur :

* des outils d'anatomie computationnelle (atlas statistiques) pour réduire les facteurs de variabilité dans les données non pertinents et permettre des comparaisons sur une même référence,

* des techniques d'apprentissage machine et notamment d'apprentissage de représentations pour estimer une représentation simplifiée mais statistiquement pertinente d'une population, et caractériser les pathologies,

* une forte interaction entre les domaines méthodologique et clinique, via mes collaborateurs et les projets R&D dans lesquels j'ai été / je suis impliqué.

Actuellement, je dirige deux projets R&D ayant permis / permettant l'encadrement de plusieurs docteurs, post-doctorants, et étudiants de master (Section 1.4), avec qui nous visons à tirer le meilleur parti de la combinaison de multiples descripteurs (de types hétérogènes et complexes) issus de l'imagerie. Les applications sont principalement en imagerie par résonance magnétique (IRM) et échocardiographie, tant sur les acquisitions de routine (échocardiographie 2D et Doppler, IRM cine et de rehaussement tardif) que sur d'autres encore principalement réservées à la recherche (échocardiographie 3D du ventricule droit, IRM multi-paramétrique).

## 3.2 Quantification des anomalies de mouvement et déformation myocardiques

Aussi précise soit l'imagerie cardiaque, la majorité des études cliniques simplifie à l'excès les mesures issues des images faute d'outils appropriés. Des grandeurs complexes comme la forme et la déformation myocardique en chaque point et instant se résument à des mesures uniques comme les volumes en fin de diastole/systole, ou le pic de déformation globale, et ce malgré les mises en garde d'experts depuis plusieurs années [43]. Il en résulte une forte perte d'informations pour analyser les caractéristiques fines d'une pathologie au sein d'une population. Il est essentiel de pouvoir détecter et suivre des anomalies localisées spatialement (ex : infarctus) ou temporellement (ex : asynchronies). La construction d'atlas de forme dans les années 2005-2010 [134] a partiellement amélioré cela en quantifiant la variabilité anatomique et les anomalies locales dans des groupes de sujets, mais majoritairement du point de vue de la forme.

### Méthodologies mises en oeuvre :

J'ai développé un cadre complet pour construire un atlas statistique du mouvement et de la déformation myocardiques, et quantifier leurs anomalies locales (chaque point et instant) par rapport à une population de référence (Fig. 3.1). Les données images d'un individu sont transportées vers une anatomie de référence, pour standardiser les différences anatomiques entre individus et ainsi les comparer localement. Un des enjeux a été de respecter les propriétés mathématiques des descripteurs de mouvement et déformation, afin d'éviter les erreurs d'analyse J01. Durant les années qui ont suivi, j'ai contribué à l'amélioration de cette méthodologie sur les aspects liés à la standardisation des différences inter-sujets C13 C27 C31 et statistiques C10 C28 J13.

### L'expertise que j'ai acquise m'a aussi permis de contribuer comme co-auteur au développement :

* d'une méthode de suivi de séquences qui préserve des propriétés essentielles des données cardiaques : consistence temporelle, inversibilité, et incompressibilité du myocarde J02,

* du premier atlas de forme 3D+t et haute résolution de l'ensemble du coeur J06.

### Résultats :

Avec mes collaborateurs, nous avons démontré la valeur de ces outils pour :

* La caractérisation de la réponse à la thérapie de resynchronisation, sur des données cliniques J01 J04 J07 et expérimentales J08 J10 (échocardiographie 2D), en collaboration avec Bart Bijnens (DR / Universitat Pompeu Fabra, Barcelone) et l'équipe de Marta Sitges (PUPH / Hospital Clínic de Barcelone), deux référents au niveau international. Mon analyse a confirmé de façon quantitative
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

FIGURE 3.1 – **Quantification d'anomalies locales permises par mon travail** : (a) Anomalies typiques du septal flash (échocardiographie 2D), un mécanisme d'asynchronie clé pour la réponse à la thérapie de resynchronisation J07. (b) Anomalies typiques de forme et déformation liée à une surcharge en volume du ventricule droit (échocardiographie 3D / thèse de Pamela Moceri J23.

l'importance d'anomalies spécifiques de mouvement préalablement décrites mais très difficiles à quantifier [100].

* L'étude de la forme et de la déformation du ventricule droit (échocardiographie 3D), en collaboration avec Pamela Moceri (PUPH / CHU de Nice), dont j'ai co-encadré la thèse. Nos travaux, dont j'ai réalisé la partie computationnelle, sont pionniers dans ce domaine J23 J30 J31 J32 J33.

Actuellement, nous utilisons ces outils pour l'analyse multi-paramétrique des mécanismes d'ischémie-reperfusion (IRM), en collaboration avec deux spécialistes de cette problématique (Pierre Croisille (PUPH) et Magalie Viallon (physicienne médicale) / CHU de St Etienne) J36 S02 au travers des thèses de Benoit Freiche, Romain Deleat-Besson, et du post-doctorat de Fei Zheng.

> Ces travaux ont été partie prenante de 2 projets majeurs (FP7-euHeart / Europe, et cvRemod / Espagne), et ont été valorisés via du développement intégré dans un outil logiciel, notamment avec des industriels (Gimias 2010, Philips 2013). J'ai également reçu plusieurs prix : le Young Investigator Award (congrès clinique Euroecho 2010), et le Prix de thèse au transfert de connaissances (Universitat Pompeu Fabra 2014).

## 3.3 Caractérisation du patron d'une pathologie cardiaque et de son évolution

L'analyse locale basée sur des atlas statistiques considère chaque point de l'anatomie et chaque instant indépendemment des autres. Elle est très informative pour détecter des anomalies subtiles, mais est limitée pour situer un individu ou un sous-groupe dans son ensemble par rapport à une population, alors que cet aspect est crucial pour suivre l'apparition et l'évolution d'une pathologie. Par ailleurs, la majorité des études sur les descripteurs de forme et de mouvement/déformation myocardiques extraits des images se limitent à des statistiques simples (linéaires) sur ces descripteurs, alors que ceux-ci sont à traiter avec extrême précaution pour éviter des biais d'analyse : ils s'agit de données (i) haute-dimension (une ou plusieurs valeurs disponibles en chaque point et/ou instant), et (ii) appartenant à un espace mathématique spécifique (une variété) qui conditionne leur cohérence physiologique.

### Méthodologies mises en oeuvre :

J'ai mis en place une méthodologie basée sur l'apprentissage machine non-supervisé, qui permet de dépasser l'analyse locale de la fonction cardiaque par l'imagerie, en représentant les patrons caractéristiques d'une pathologie dans une population (Fig. 3.2) C09 C15 J03. J'ai notamment ciblé une branche de l'apprentissage de représentations (apprentissage de variétés), qui réduit la complexité des données tout en préservant leurs propriétés mathématiques, et garantit ainsi la cohérence physiologique de l'analyse.
<figure><img src="image_4.png" /></figure>

FIGURE 3.2 – **Localisation d'un infarctus du myocarde à partir du patron de déformation 3D** (ici seule la composante radiale est illustrée). Mes travaux attempt une représentation de la déformation au sein d'une population (strain, colonne de gauche), et l'exploitent pour prédire une localisation potentielle et l'accompagner d'incertitudes sur la prédiction (deux colonnes de droite) J18. Illustration sur deux cas, l'un issu de simulations (haut) et l'autre d'échocardiographie 3D (bas).

Par la suite, j'ai amélioré ce formalisme C16 C23 J18 pour le rendre plus robuste sur d'autres applications et exploiter les incertitudes sur les données, aspect alors peu exploré dans notre domaine. Pour la validation de ces méthodes, j'ai pu utiliser des modèles biophysiques de l'état-de-l'art permettant de réaliser des simulations électromécaniques réalistes, et ainsi générer de larges bases de données avec vérité terrain (formes 3D+t J18, et images d'IRM cine très réalistes J22, disponibles publiquement).

## Résultats :

J'ai démontré la pertinence de ces techniques pour :

* La compréhension de la réponse à la thérapie de resynchronisation cardiaque, sur des données d'échocardiographie 2D (travaux avec Bart Bijnens (DR / Universitat Pompeu Fabra, Barcelone) et Marta Sitges (PUPH / Hospital Clínic Barcelone). Nous avons pu ainsi quantifier en quoi la correction de patrons spécifiques d'asynchronie conditionne la réponse à la thérapie C15 J03, répondant au besoin d'une quantification précise souligné par les experts [43].

* La localisation précise d'un infarctus du myocarde à partir de la déformation issue d'échocardiographie 3D au lieu de l'IRM de rehaussement tardif (travaux au sein de l'INRIA Sophia-Antipolis, en collaboration avec Eric Saloux (PH / CHU de Caen) et Philips Research) C23 J18.

Ces travaux ont été partie prenante de plusieurs projets européens majeurs (FP7-euHeart, FP7-VP2HF, et ERC-MEDYMA). Ils ont ouvert la voie pour le phénotypage de pathologies à partir d'un ensemble de descripteurs de la fonction cardiaque (Section 3.4). Ils m'ont également permis d'être invité pour la rédaction d'articles de synthèse J28 et de recommandations J29,S03 et la création de contenus pour sensibiliser les cardiologues aux possibilités et risques de l'intelligence artificielle (IA), notamment pour la *European Society of Cardiology* et en tant que co-éditeur d'un livre chez Springer B01.

## 3.4 Analyse multi-paramétrique haute-dimension de la fonction cardiaque

Analyser une pathologie à partir d'un seul point de vue (un seul type de descripteur issu d'imagerie) est très limitant en termes de performance et de robustesse. En pratique clinique, plusieurs acquisitions et mesures sont systématiquement réalisées, et complétées par des données autres que l'imagerie. L'enjeu pour les méthodes computationnelles est d'arriver à intégrer dans l'analyse plusieurs descripteurs complexes (haute-dimension, comme exposé en Sec. 3.3) et de types hétérogènes, qui ne peuvent pas être concatenés ou fusionnés par des méthodes standards.
<figure><img src="image_5.png" /></figure>

FIGURE 3.3 – **Phénotypage de l'insuffisance cardiaque avec fraction d'éjection préservée**, à partir de plusieurs decripteurs du mouvement myocardique issus d'échocardiographie 2D par Doppler tissulaire J24 / thèse de Sergio Sanchez. Nos techniques ont permis de quantifier le continuum de ce syndrome depuis une fonction cardiaque normale jusqu'à des cas sévères, afin de dépasser la classification actuelle en deux catégories, parfois controversée.

## Méthodologies mises en oeuvre :

Je développe un formalisme d'apprentissage machine pour fusionner les informations issues de ces decripteurs, compatible avec leurs types hétérogènes (ex : déformation myocardique en chaque point + courbure locale de la paroi + mesures cliniques et démographiques) et tenant compte de leurs corrélations et interactions potentielles. Comme en Sec. 3.3, il s'agit d'estimer une représentation simplifiée d'une population à partir de données complexes (cette fois-ci, plusieurs decripteurs à la fois), qui sera ensuite utilisée directement pour caractériser un individu ou un sous-groupe, ou même servir d'entrée à d'autres algorithmes visant un diagnostic ou pronostic.

Mes doctorants Sergio Sanchez et Maxime Di Folco ont respectivement démontré l'intérêt de techniques de fusion C21 J19 J24 J26 ou d'alignement C30 C31 J34 issues de l'apprentissage de variétés pour caractériser une population dans ce contexte. Nous visons désormais à améliorer substantiellement ces méthodologies pour les rendre plus efficaces et robustes, et les transposer à des études cliniques de grande ampleur.

## Résultats :

Nous avons démontré l'utilité de cette approche pour des études multi-paramétriques de populations avec insuffisance cardiaque, et notamment :

* Le phénotypage de l'insuffisance cardiaque avec fraction d'éjection préservée (échocardiographie 2D, Fig. 3.3), où nous avons mis en évidence un continuum de la pathologie qui contraste avec les diagnostics catégoriques actuels J19 J24 / thèse de Sergio Sanchez (collaboration avec Alan Fraser (PUPH / Cardiff, Royaume-Uni)),

* La stratification de risque en resynchronisation cardiaque (échocardiographie 2D), où nous avons confirmé des hypothèses clés sur les mécanismes de réponse sur l'une des principales cohortes multicentriques du domaine J26 / thèse de Sergio Sanchez (collaboration avec Maja Cikes (PUPH / Zagreb, Croatie) et l'équipe de Scott Solomon (PUPH / Boston, Etats-Unis)),

* Différents types de surcharge du ventricule droit (échocardiographie 3D), où nous avons caractérisé les interactions entre forme et déformation myocardiques C30 C31 J34 / thèses de Pamela Moceri (PUPH / CHU de Nice), une des rares cardiologues à avoir accès à ces données), et Maxime Di Folco.

Ces travaux, à la base de mes recherches actuelles, ont un fort potentiel de développement. Ils ont en outre contribué au projet européen FP7-MEDIA, où nous étions collaborateurs externes. Ils ont également été poursuivis par plusieurs travaux applicatifs de mes collaborateurs de l'Univ. Pompeu Fabra, Barcelone (l'un deux obtenant le Young Investigator Award au congrès clinique Euroecho 2019 [83] et finaliste au congrès clinique ASE 2020 [81]).
## 4.1 Le coeur défaillant à travers le prisme de l'imagerie

Les recommandations cliniques [56, 89] parlent de coeur défaillant (insuffisance cardiaque / heart failure (HF)) quand le coeur n'éjecte plus assez de sang pour subvenir aux besoins de l'organisme. Il s'agit d'un enjeu majeur pour les systèmes de santé actuels [50], avec des conséquences directement sur la qualité de vie des patients et leur survie. En France, elle touche plus de 1% de la population, pour 135.000+ hospitalisations par an, un coût de 2.5 milliards d'euros, et une forte mortalité [124]. Une définition relativement basique de ce syndrôme invite à la quantification de la différence (relative) de volume du ventricule gauche entre le début et la fin de la contraction (fin de diastole et fin de systole, respectivement), c'est-à-dire la fraction d'éjection. Cette quantité est assez bien mesurée avec une imagerie de routine, modulo les différences inter-modalités et approximations d'une donnée 3D par des mesures 2D [88].

Naturellement, le coeur défaillant ne se limite pas à cette catégorisation simple, et met en jeu des mécanismes bien plus complexes insuffisamment reflétés par la fraction d'éjection. Quelques exemples principalement en termes de forme et fonction cardiaques :

* L'infarctus aigü du myocarde survient lorsque l'apport en sang d'une artère coronaire est insuffisant pour les besoins du myocarde, notamment en raison de dépôts graisseux le long des parois de l'artère. Cette ischémie, si elle se prolonge, entraîne des défauts de perfusion et la possible mort des tissus dans la zone non irriguée par l'artère obstruée (l'infarctus du myocarde, observable sous l'aspect d'un hypersignal en IRM par rehaussement tardif). D'autres défauts de perfusion peuvent intervenir lorsque le patient subit une thérapie de reperfusion, la revascularisation rapide pouvant entraîner des dommages de reperfusion au sein de la zone infarcie (obstruction microvasculaire (MVO) ou zone de no-reflow, observable sous l'aspect d'un hyposignal en IRM par rehaussement tardif) [58]. Si l'ischémie se prolonge, la zone infarcie se propage selon un phénomène de diffusion depuis l'endocarde (délimitant la zone à risque) vers l'épicarde jusqu'à une transmuralité totale [55, 113]. Du point de vue de la forme, l'infarctus entraîne progressivement un remodelage du ventricule : un amincissement local du myocarde au niveau de la zone infarcie, qui peut s'accompagner d'un épaississement de régions voisines, et d'une dilatation globale de la cavité [67]. Du point de vue fonctionnel, les tissus infarcis ont une déformation localement réduite ou absente, les tissus voisins de la lésion peuvent présenter des anomalies de mouvement post-systolique, et l'éjection globale du ventricule est réduite (phénomènes notamment visibles en échocardiographie [22]). Par ailleurs, les tissus infarcis freinent l'activation électrique du myocarde, et leur distribution peut engendrer des phénomènes de ré-entrée induisant des troubles majeurs du rythme (tachycardies ventriculaires) [63], pour lesquels une cartographie électro-anatomique est requise comme support à l'intervention électrophysiologique.
* Le bloc de branche gauche (LBBB) est une anomalie de la conduction électrique du coeur, localisée au niveau de la branche gauche du faisceau de His, dont la conduction est retardée par rapport à la branche droite. Il se traduit au niveau de l'électrocardiogramme (ECG) par un allongement de la durée du complexe QRS, et des anomalies spécifiques sur l'allure de certaines dérivations de l'ECG [121]. S'en suit une contraction anormale du myocarde, asynchrone, notamment visible en échocardiographie au niveau des parois septale et latérale. Plus concrètement, le ventricule droit et la paroi septale se contractent avant la paroi latérale du ventricule gauche, entrainant un étirement précoce de la paroi postero-latérale au tout début de la contraction. Lors de la contraction légèrement plus tardive de la paroi latérale, le septum est tiré en sens inverse. Un patron caractéristique de mouvement est visible au niveau du septum, qui se déplace rapidement vers/hors de la cavité du ventricule gauche pendant le QRS (aussi appelé septal flash [26, 38]), avec pour les cas les plus sévères une oscillation de l'apex durant la systole (aussi appelée apical rocking [118]). La fonction globale s'en trouve affectée avec une fraction d'éjection réduite. Ces anomalies sont corrigées par une thérapie spécifique de resynchronisation, et amènent une réponse clinique du patient [17], qui est néanmoins réduite ou absente en cas de présence d'un infarctus dans les zones stimulées [100] J10. Les cartographies électro-anatomiques confirment les hypothèses sur ce lien électro-mécanique observées par échocardiographie, et l'impact d'un infarctus et de la thérapie de resynchronisation [40] J20.

* L'insuffisance cardiaque à fraction d'éjection préservée (HFPEF) est un syndrôme qui comme son nom l'indique ne se traduit pas par une fraction d'éjection déteriorée, pourtant les patients présentent des anomalies fonctionnelles non négligeables et amenant à des différences de pronostic notables. Néanmoins, contrairement aux deux exemples précédents qui traitent de mécanismes très spécifiques, l'HFPEF regroupe différents phénotypes assez hétérogènes [107], et couvrant tout le spectre depuis une fonction normale jusqu'à une insuffisance cardiaque à fraction d'éjection réduite. Les principaux signes cliniques visibles par échocardiographie [96, 116] regroupent des anomalies diastoliques (la phase de contraction étant préservée, la fraction d'éjection reste normale). Du point de vue de la forme, on peut observer une altération de la taille de l'oreillette gauche [114], et une hypertrophie du myocarde [57] notamment dans les zones à faible courbure soumises à plus forte pression de paroi, comme le septum à mi-hauteur. Du point de vue fonctionnel, on peut observer une fusion des pics de vitesse longitudinale du myocarde présents au début et à la fin de la diastole J24, une altération de la dernière phase de relaxation liée à la contraction de l'oreillette gauche J24, une réduction de la vitesse de déformation (strain rate) de cette oreillette J12, et une asynchronie inter-oreillettes J14.

Dans ce contexte, l'imagerie est essentielle pour caractériser les anomalies structurelles et fonctionnelles des différentes chambres cardiaques, en particulier comme dans les exemples précédents via les modalités de routine (l'IRM pour l'infarctus et les anomalies de reperfusion [24, 131], et l'échocardiographie pour l'asynchronie [1, 36, 117] et l'HFPEF). Combinée à des techniques de quantification, principalement basées sur de la segmentation et du suivi de mouvement, elle permet d'extraire des marqueurs plus subtils que la fraction d'éjection [28] :

* En termes de forme, le volume de la cavité et l'épaisseur du myocarde sont classiquement utilisés pour quantifier le remodelage du coeur, mais sont des mesures scalaires globales à la valeur limitée selon la pathologie. Des observations plus détaillées sont accessibles soit par le biais de descripteurs locaux disponibles en tout point de la forme (par exemple, la courbure locale [3, 86]) ou de modèles statistiques de forme [45, 134].

* En termes de fonction, la déformation globale selon la direction longitudinale (global longitudinal strain (GLS)) est désormais bien acceptée par les experts cliniques et les industriels [127], et a pu être étendue aux autres chambres cardiaques [9]. Il s'agit néanmoins d'une grandeur scalaire uniquement en fin de systole et unidirectionnelle, alors que le mouvement (déplacement, vitesses) et la déformation (strain, strain rate) [4] sont des vecteurs/tenseurs 2D/3D quantifiables en tout point du myocarde et tout au long du cycle cardiaque, qui révèlent des caractéristiques essentielles de certaines pathologies H03,J27. Par ailleurs, l'imagerie permet de quantifier d'autres grandeurs ayant un rôle dans la caractérisation des anomalies de la fonction cardiaque et leur évolution, notamment le flux au niveau des valves (échocardiographie Doppler), la perfusion des tissus (IRM à rehaussement tardif), le contenu des tissus (IRM T1 et T2), etc.
Enfin, l'analyse statistique de ces données d'imagerie doit pouvoir les mettre en relation avec les caractéristiques cliniques et démographiques des patients et de leur éventuel traitement, ainsi que d'autres types d'acquisition comme les signaux ECG (12 dérivations).

En résumé, nous avons donc une batterie de descripteurs de la forme et la fonction du coeur, en majorité accessibles via l'imagerie, pour dépasser les analyses standards du coeur défaillant, le caractériser à un instant donné, mais aussi quantifier son évolution voire anticiper sa potentielle défaillance. Du point de vue méthodologique, le défi majeur est de pouvoir appréhender de tels descripteurs complexes J28 (données spatio-temporelles et haute-dimension) et leurs interactions (temporalité des phénomènes lors d'un suivi longitudinal, corrélations partielles et lien physiologique entre descripteurs), le tout avec les contraintes de l'analyse de données cliniques (bases de données de taille modérée, données manquantes et de qualité variable, interprétabilité des analyses par les cliniciens, etc.).

La suite de ce document propose une synthèse des contributions majeures que j'ai pu proposer pour répondre à ces problématiques, regroupant les travaux publiés avec mes collaborateurs et les personnels que j'ai encadrés depuis ma thèse, et notamment depuis mon arrivée au laboratoire CREATIS comme MCU en 2016.

## 4.2 Avant l'analyse statistique : extraction et normalisation des données

### 4.2.1 Extraction de la forme et du mouvement/déformation

Ces dernières années, les méthodes d'apprentissage machine ont démontré leur potentiel pour automatiser l'extraction de descripteurs de la fonction cardiaque à partir de l'imagerie. Étant basées sur les données étudiées et "apprenant" ainsi un a-priori sur les descripteurs à quantifier, ces techniques et notamment celles basées sur les réseaux de neurones profonds sont plus flexibles que les méthodes traditionnelles longtemps développées (par exemple, les approches variationnelles). Sans proposer une revue de litérature exhaustive, nous pouvons néanmoins brièvement présenter l'état actuel des méthodes de quantification de la forme et du mouvement/déformation cardiaques :

* En termes de segmentation, l'architecture U-Net, un type de réseau convolutionnel, se place comme le standard de ces dernières années [20,27]. Elle décompose les images / les segmentations à plusieurs échelles avec des connexions assurant la cohérence inter-échelles. En outre, la sortie de la dernière couche de convolution (ré-arrangée comme un vecteur colonne) peut nourrir un perceptron multicouches (un type de réseau totalement connecté) pour obtenir non pas une segmentation en sortie mais une autre tâche (reconnaissance de vue, quantification de sa qualité, ou estimation d'une mesure scalaire). Des réseaux dérivés du U-Net faisaient partie des méthodes approchant le plus la variabilité inter-experts sur un challenge de segmentation de référence en imagerie cardiaque [19]. S'en est suivi une amélioration substantielle par le réseau nnU-Net [61], qui est désormais l'une des méthodes les plus performantes sur un grand nombre de challenges en segmentation d'images médicales, pas nécessairement cardiaques [7]. Ces toutes dernières années ont vu émerger une nouvelle série de réseaux non plus de type convolutionnel, mais basés sur les transformeurs (modèles auto-attentifs) [74] ou les modèles de diffusion [64], qui couvrent une large gamme de tâches y compris la segmentation.

* En termes de mouvement et déformation, les cliniciens ont à disposition plusieurs solutions commerciales fiables : une segmentation semi-automatique et un suivi de speckles en échocardiographie 2D [92,93] et 3D, avec un modèle statistique de forme dans ce dernier cas [95] (voir Fig. 4.1 illustrant les travaux de *Pamela Moceri*, cardiologue, dont j'ai co-encadré la thèse), ou une segmentation basée apprentissage et un suivi de contours en IRM cine [85]. Le mouvement peut également être directement obtenu à partir d'échocardiographie Doppler, dans la direction du rayon [102]. Néanmoins, ces solutions utilisées à l'échelle d'individus, nécessitent potentiellement des réajustements par un opérateur expérimenté, et sont moins facilement déployables à l'échelle de populations. Les méthodes de suivi ont également été renouvelées suite à l'apparition d'algorithmes d'apprentissage performants. Certaines approches ont ciblé le suivi de contours au cours du cycle cardiaque, en
<figure><img src="image_6.png" /><figcaption>FIGURE 4.1 – Descripteurs de la forme et de la déformation, estimés en chaque point de la surface endocardique du ventricule droit et chaque instant du cycle, extraits d'échocardiographie 3D après suivi du mouvement par un logiciel commercial : courbure, déformation (strain) surfacique, et strain dans les directions longitudinale et circonférentielle. Ici, les valeurs correspondent à la moyenne point-à-point des données de 55 sujets sains. Adapté d'une publication représentative des travaux de thèse de Pamela Moceri J30.</figcaption></figure>

tirant directement parti des segmentations performantes obtenues par des algorithmes de type U-Net. C'est l'objet de l'article de Nathan Painchaud J35, dont je co-encadre la thèse (voir Fig. 4.2), qui a contraint l'espace latent encodant les segmentations pour obtenir une consistance temporelle de ces segmentations le long du cycle, avec des résultats prometteurs en échocardiographie 2D 4- et 2-chambres. D'autres méthodes ciblent directement l'estimation du mouvement local, et adaptent les algorithmes FlowNet2 [60] ou PWC-Net [119,120] qui se focalisent sur le flux optique. Elles ont ainsi atteint des performances notables sur des données d'IRM cine [94] et d'échocardiographie standard [42,136]. Les aspects régularisation et contraintes supplémentaires spécifiques à l'imagerie cardiaque, ainsi qu'un état-de-l'art plus détaillé sont présentés dans des articles de review dédiés J28 [54].

### 4.2.2 Normalisation des données sur une référence commune

Avant l'analyse statistique, les descripteurs extraits des images doivent être normalisés en termes d'anatome, et de dynamique le long du cycle cardiaque. La mise en correspondance spatiale peut s'effectuer par recalage, éventuellement aidée par des correspondances existantes : des points anatomiques clés (apex, anneau mitral, etc.) ou même des correspondances point-à-point (comme en échocardiographie 3D du ventricule droit J23, où le logiciel commercial de suivi de mouvement utilise des modèles statistiques de forme). La mise en correspondance temporelle se limite généralement à un rééchantillonnage parfois guidé par des instants clés, comme la contraction maximale [105] ou le QRS et les ouvertures/fermetures des valves J01. La normalisation des données vers la référence se limite à un rééchantillonnage si ces données sont localement de type scalaire, accompagné d'une réorientation locale s'il s'agit de vecteurs [112] J01, ajusté selon la question clinique ciblée C13 (par exemple, variabilité au sein d'une population, ou différences entre deux groupes, etc.). Des approches plus récentes transportent la séquence entière d'un sujet (la "trajectoire") au lieu des descripteurs extraits en chaque point du myocarde et font appel à des techniques de transport parallèle C27 [51]. Néanmoins, il n'existe pas de méthode universelle de normalisation comme le montre une étude récente utilisant des maillages de visages reflétant différentes émotions [109]. La Fig. 4.3 illustre différents types de normalisation utilisés dans les travaux auxquels j'ai contribué.

## 4.3 L'analyse statistique par apprentissage de représentations

Les images médicales sont par nature des objets de grande dimension contenant des informations complexes. Une image typique d'IRM cine centrée sur le coeur à un instant donné contient environ $100 \times 100 \times 10 = 10^5$ voxels, tandis qu'une image échocardiographique 3D standard peut contenir $200 \times 200 \times 200 = 8 \cdot 10^6$ voxels, et qu'un maillage cardiaque typique utilisé dans les simulations électromécaniques peut avoir entre $10^3$ et $10^6$ éléments. La dimensionnalité est encore plus élevée si l'on considère les données temporelles (environ 50-60 images par cycle pour l'échocardiographie 2D standard, et 30-40 pour l'IRM cine). Ainsi, une grande partie des méthodes qui étudient les populations à partir d'images médicales se concentrent sur l'estimation d'un espace latent qui représente mieux les données [13] (i) avec un plus
<figure><img src="image_7.png" /><figcaption>FIGURE 4.2 – Illustration de la méthode de régularisation temporelle des segmentations issues d'une séquence d'échocardiographie 2D, proposée dans un article issu de la thèse de Nathan Painchaud J35. Les segmentations initiales sont obtenues en chaque instant du cycle par une méthode de l'état-de-l'art (1) (par exemple, un réseau de type U-Net). Un auto-encodeur estime un espace latent correspondant à l'ensemble de ces segmentations (2). Un désentrelacement est effectué pour que certains attributs anatomiquement pertinents (par exemple, la surface du ventricule gauche ou du myocarde) soient ordonnés le long de dimensions prédéfinies de l'espace latent (3.1), comme dans le cadre des AR-VAE [101]. Les séquences temporelles de ces attributs sont lissées indviduellement (3.2) et recomposées (3.3) puis décodées pour retrouver des segmentations consistantes temporellement (4). Le code et les données associées sont disponibles ici : https://github.com/vitalab/castor et ici : https://humanheart-project.creatis.insa-lyon.fr/ted.html</figcaption></figure>

petit nombre de paramètres/dimensions et (ii) qui permet une analyse statistique pertinente des différences entre les échantillons selon des critères spécifiques (par exemple, expliquer la variance des données ou discriminer des sous-groupes de sujets). Les entrées pour la réduction de dimension peuvent être les images originales, ou des descripteurs plus élaborés codant les caractéristiques spatiales et temporelles d'un organe, comme ceux présentés en Sec. 4.1 pour le coeur.

Néanmoins, l'espace de moindre dimension encodant ces données peut avoir une structure non linéaire, ce qui contraint la réduction de dimension et l'analyse statistique. Dans certains cas (par exemple, pour les formes ou les tenseurs) cette structure non linéaire est une variété mathématique connue (un espace topologique qui peut localement être approximé par un espace Euclidien). Il existe des opérateurs mathématiques appropriés [103] pour naviguer le long de cet espace et réaliser l'analyse statistique tout en respectant les propriétés de ces descripteurs. Par exemple, la moyenne pixel-à-pixel de deux images du cerveau n'est plus une image du cerveau, sauf si l'on se force à respecter la variété non linéaire des transformations difféomorphiques entre cerveaux pour calculer cette moyenne [48]. La Fig. 4.4 illustre ce concept dans le cas de segmentations d'infarctus du myocarde.

Cependant, pour de nombreux descripteurs, la variété est inconnue et doit être estimée directement à partir des données. Les sous-sections suivantes dressent une vue d'ensemble des techniques d'apprentissage de représentations permettant d'adresser cette question.
<figure><img src="image_8.png" /><figcaption>FIGURE 4.3 – Exemples représentatifs de normalisation utilisés dans nos travaux. (a) Paramétrisation du contour mid-myocarde avec définition des directions anatomiques locales (échocardiographie 2D J27), et paramétrisation de la surface endocardique du ventricule droit (échocardiographie 3D J23 / thèse de Pamela Moceri) ; (b) Paramétrisation des pixels du myocarde en vue de transporter tout le contenu image (IRM à rehaussement tardif J36) ; (c) Recalage difféomorphique inter-surfaces à l'aide des outils Deformetrica [25] (IRM de l'aorte [108] / stage de Master 2 de Elodie Piot).</figcaption></figure>

<figure><img src="image_9.png" /><figcaption>FIGURE 4.4 – Illustration schématique des limites d'une moyenne linéaire par rapport à une moyenne non linéaire pour l'analyse de segmentations d'infarctus du myocarde (ici, deux infarctus synthétiques, affichés sur une référence spatiale commune). La moyenne linéaire comporte des valeurs intermédiaires qui ne ressemblent plus à un infarctus plausible (cf. flèches rouges), car l'espace des segmentations d'infarctus n'est pas linéaire (schéma de gauche). L'apprentissage de variétés peut prendre en compte ces non linéarités potentielles afin d'éviter de telles erreurs dans l'analyse. Adapté de H05.</figcaption></figure>

### 4.3.1 Apprentissage de variétés

Les méthodes d'apprentissage de variétés [133] font l'hypothèse qu'un tel espace non linéaire existe et que les échantillons à disposition y appartiennent ou en sont proches. Elles construisent d'abord un graphe reliant les cas similaires (les noeuds du graphe) selon une fonction de distance donnée (les arêtes du graphe), et stockent les résultats dans une matrice d'affinité. Les méthodes diffèrent quant à la distance utilisée pour comparer les échantillons, qui dépend des objectifs poursuivis et des hypothèses formulées sur la distribution des données. Des choix courants sont la distance géodésique [122] ou la distance de diffusion [68] (cette dernière permettant une robustesse à la densité non uniforme des échantillons par rapport à la méthode des *Laplacian eigenmaps* [12]). La diagonalisation de la matrice d'affinité fournit un ensemble de coordonnées ordonnées par niveau d'importance. Une fois tronquées à la dimension appropriée, ces coordonnées encodent un espace Euclidien de faible dimension où des statistiques linéaires
peuvent être réalisées. Une formulation unifiée de ces techniques a été proposée dans la litérature [133], et est intéressante pour plusieurs raisons :

* Elle permet de formuler le problème comme supervisé ou non supervisé en fonction des besoins de l'application,

* Il existe une signification statistique derrière les distances utilisées pour comparer les échantillons, et donc derrière l'espace latent, qui peut être exploité par la suite. Par exemple, pour représenter des tendances pathologiques complexes en neuroimagerie [48], ou pour représenter des maladies cardiaques spécifiques comme une déviation progressive de la normalité J03,

* Elle pose les bases d'extensions particulièrement pertinentes en imagerie médicale (voir Sec. 5) : la combinaison de multiples descripteurs hétérogènes [77] (permettant d'aller au-delà de leur simple concatenation, discutable, mais souvent réalisée en science des données et en vision par ordinateur), l'exploitation de plusieurs échelles d'analyse [21], ou la modélisation des interactions entre plusieurs descripteurs [29].

Parmi les méthodes plus récentes, citons les algorithmes t-SNE [126] et UMAP [90] qui sont plutôt utilisés pour visualiser en 2 dimensions les données d'une population et notamment l'espace latent obtenu par d'autres techniques (par exemple, par un auto-encodeur variationnel (VAE)), en particulier pour examiner les différences entre sous-groupes d'échantillons.

Les algorithmes d'apprentissage de variétés sont ainsi des candidats très intéressants pour comparer des données complexes en respectant la structure des données, avec un cadre statistique garanti (contrainte à une majorité de méthodes plus récentes issues de l'apprentissage profond). Leur principal défaut est qu'ils peuvent nécessiter de grandes quantités d'échantillons représentatifs, ce qui est difficile à réaliser sur des cohortes d'imagerie médicale. Par ailleurs, les limites de capacité de calcul sont rapidement atteintes lorsque l'on considère toutes les données et tous les échantillons à la fois (principalement en raison de l'analyse de grandes matrices, bien que des implémentations efficaces et des stratégies de sous-échantillonnage ou de randomisation existent [66, 84, 91]).

Enfin, contrairement aux méthodes linéaires comme l'analyse en composantes principales (PCA), les méthodes d'apprentissage de variétés n'ont pas explicitement d'opérateurs permettant de reconstruire des échantillons de haute dimension à partir des coordonnées de l'espace latent, un problème identifié comme la "out-of-sample extension" [15]. En pratique, cette reconstruction peut être approximée par une régression, et en particulier une régression à noyau. Suite à ma thèse, j'ai notamment approfondi une méthode de régression à noyau multi-échelles [18] pour réaliser un appariement inexact et notamment naviguer entre espace de haute dimension et espace latent C16. L'approche multi-échelles permet de s'affranchir du choix d'un hyperparamètre important (la taille du noyau) et surtout d'être robuste à la densité non uniforme d'échantillons le long de l'espace latent, souvent rencontrée en pratique. Depuis, nous avons largement utilisé cette méthode dans la plupart de nos travaux utilisant de l'apprentissage de variétés (détails en Fig. 4.5 et illustration en Fig. 4.6).

### 4.3.2 Modèles de processus Gaussiens à variables latentes (GPLVMs)

Les GPLVMs sont un type de modèles probabilistes non linéaires qui comme leur nom l'indique sont à variables latentes, c'est-à-dire qu'ils relient des observations $\mathbf{X} = [\mathbf{x}_1, ..., \mathbf{x}_N]^T$ et des variables latentes $\mathbf{Z} = [\mathbf{z}_1, ..., \mathbf{z}_N]^T$ via une fonction suivant un a-priori de processus Gaussien plus du bruit :

$$x_{ij} = f_j(\mathbf{z}_i, \mathbf{W}) + \epsilon_i.$$

Ici $i \in [1, N]$ correspond au $i$-ème échantillon observé et $j$ à la $j$-ème dimension des données (c'est-à-dire $\mathbf{x}_i = [x_{ij}]$), avec $\mathbf{z}_i$ la donnée latente, $f_j$ la fonction de mise en correspondance pour la $j$-ème dimension, $\mathbf{W}$ une matrice de paramètres de mise en correspondance, et $\epsilon_i$ le bruit.

Les créateurs des GPLVMs ont repris une version probabiliste de la PCA [123] et ont proposé une formulation duale [70, 71] impliquant un produit de processus Gaussiens avec une fonction de covariance linéaire. Considérer une fonction de covariance non linéaire (en général, un noyau non linéaire) donne lieu au cadre des GPLVMs. Pour leur optimisation, il s'agit de marginaliser par rapport aux paramètres $\mathbf{W}$, la vraisemblance marginale étant optimisée par rapport aux variables latentes. A noter que dans ce cadre, le lien probabiliste va de l'espace latent vers celui des observations, alors que c'est l'inverse dans le cadre de la PCA à noyau. En outre, il s'agit d'une formulation intéressante pour faire de la réduction de
<figure><img src="image_10.png" /><figcaption>FIGURE 4.5 – **Régression à noyau multi-échelles.** Adapté de C16, où elle est utilisée pour naviguer entre espace de haute dimension $\mathcal{X}$ et espace latent $\mathcal{Z}$. Pour la reconstruction de données de haute dimension à partir des coordonnées de l'espace latent (exemple d'illustration en Fig. 4.6), il s'agit d'approximer une fonction $f: \mathcal{Z} \to \mathcal{X}$, sachant que cette correspondance est seulement connue pour certains échantillons $\mathbf{x}_i = f(\mathbf{z}_i)$, $i \in [1, N]$, avec $\mathbf{x}_i \in \mathcal{X}$ et $\mathbf{z}_i \in \mathcal{Z}$. Si l'on utilise la métrique Euclidienne dans chacun des deux espaces, et pour une seule échelle, cela revient à estimer la fonction $f$ qui minimise (correspondances inexactes) :</figcaption></figure>

$$ \underset{f \in \mathcal{F}}{\operatorname{argmin}} \left( \|f\|_{\mathcal{F}}^{2} + \gamma \sum_{i=1}^{N} \|f(\mathbf{z}_{i}) - \mathbf{x}_{i}\|^{2} \right). $$

Ici, $\gamma$ est un scalaire pour équilibrer les contributions du terme de régularisation et d'attache aux données (premier et deuxième termes de l'équation, respectivement), et $\|\cdot\|_{\mathcal{F}}$ est la norme équipant l'espace à noyau reproduisant $\mathcal{F}$ des fonctions $\mathcal{Z} \to \mathcal{X}$. Une solution analytique de ce problème existe et s'écrit :

$$ f(\mathbf{z}) = \sum_{i=1}^{N} k(\mathbf{z}, \mathbf{z}_i)\mathbf{b}_i, $$

où $\mathbf{b}_i$ correspond à la i-ème colonne de la matrice $\mathbf{B} = (\mathbf{K} + \frac{1}{\gamma}\mathbf{I})^{-1}\mathbf{X}$, avec $\mathbf{K} = [k(\mathbf{z}_i, \mathbf{z}_j)] \in \mathbb{R}^{N \times N}$, $k$ étant le noyau reproduisant, $\mathbf{I}$ la matrice identité, et $\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_N]^T$. Le noyau $k$ est défini comme une Gaussienne de largeur $\sigma$.

La formulation est facilement généralisable dans le cas où l'on souhaite une reconstruction inexacte pour une partie des points seulement, et une reconstruction exacte pour les autres points : il s'agit de remplacer la matrice $\mathbf{I}$ par une matrice diagonale avec des 1 uniquement pour les échantillons où la correspondance inexacte est souhaitée, et 0 sinon.

La version multi-échelles consiste à itérer ce processus à travers les échelles, en commençant par l'échelle la plus grande (typiquement, environ l'étalement des données $\mathbf{z}_i$) et en la réduisant d'un facteur 2 à chaque itération jusqu'à atteindre la densité des échantillons. A chaque échelle, l'algorithme réalise une interpolation comme décrit plus haut, dont le résidu est approximé à l'échelle suivante; la fonction finale étant obtenue en sommant les estimations réalisées à toutes les échelles. Le code associé et un exemple sont disponibles ici : https://github.com/nicolasduchateau/multiscale-kernel-regression

dimension en termes probabilistes, avec des librairies Python existantes<fnref n="1" />, et qui permet de nombreuses extensions [75]. Cette flexibilité permet d'inclure des connaissances a-priori dans le modèle et notamment sur les variables latentes (par exemple, la dynamique temporelle pour l'analyse de la trajectoire d'un personnage [72]), ouvrant ainsi la voie à la fusion de données multimodales / multi-descripteurs. C'est notamment la fusion hierarchique de données [72], que nous exploitons dans le cadre de la thèse de Benoit Freiche (voir Sec. 5.3).

Malgré cette flexibilité, la capacité de représentation des GPLVMs reste limitée par les noyaux utilisés (comme pour l'apprentissage de variétés présenté en Sec. 4.3.1). Les réseaux de neurones offrent une alternative pour dépasser cette limite, ayant donné lieu à des modèles de GPLVMs profonds [35]. Ces modèles sont constitués de plusieurs couches de variables latentes, et le passage d'une couche à une autre

<footnote n="1">1. https://www.gpflow.org/</footnote>
<figure><img src="image_11.png" /><figcaption>FIGURE 4.6 – Illustration de la navigation entre espace de haute dimension (ici, les segments d'infarctus) et espace latent (ici, obtenu par apprentissage de variétés non linéaire, avec l'algorithme Isomap [122]). Dans cette figure, adaptée des travaux de stage Master 2 de Kannara Mom que j'ai co-encadrés C32, il s'agissait de comparer une population réelle avec une population synthétique personnalisée sur la population réelle (l'originalité de la méthode étant dans la personnalisation à l'échelle d'une population et non plus à l'échelle de chaque individu; pour ce faire nous avons minimisé la divergence de Kullback-Leibler entre les distributions des deux populations, et exploité l'algorithme évolutionniste CMA-ES pour pallier les difficultés de formuler analytiquement les modèles synthétiques). (a) Deux premières dimensions de l'espace latent, (b) importance relative des valeurs propres associées à la méthode de réduction de dimensions, (c) échantillons synthétiques construits à partir des coordonnées de l'espace latent en se déplaçant de -2 à +2 déviations standard le long des deux premières dimensions.</figcaption></figure>

est gouverné par un processus Gaussien. Citons notamment une version de VAE à processus Gaussien profond [34], et une autre pour de la régression [23].

En pratique, les processus Gaussiens restent néanmoins difficiles à optimiser, notamment sur des grandes bases de données et lors de la recherche des hyperparamètres. Des stratégies de préconditionnement des calculs peuvent s'avérer très pertinentes dans ce cas [130].

### 4.3.3 Auto-encodeurs

Dans le cadre des réseaux de neurones, les auto-encodeurs [13] sont une alternative intéressante pour surmonter certaines limites de l'apprentissage de variétés, notamment en termes de reconstruction. Ces algorithmes d'apprentissage sont par définition capables d'encoder/décoder des données de haute dimension dans/depuis un espace latent gouverné par un nombre limité de paramètres (mais ces dimensions n'ont pas d'importance relative différente, contrairement à l'apprentissage de variétés où leur importance relative décroit rapidement / voir illustration en Fig. 4.6). Pour ce faire, la fonction de coût à minimiser intègre directement un terme associé à l'erreur de reconstruction des données de haute dimension. Cependant, comparé à l'apprentissage de variétés, l'espace latent est souvent difficile à exploiter statistiquement.

Dans ce contexte, les VAEs [65] sont un type d'auto-encodeurs très intéressant et de fait largement utilisé ces dernières années pour l'analyse de populations à partir de données d'imagerie médicale. Pour l'analyse d'images, l'encodeur et le décodeur sont des réseaux convolutionnels, et la méthode intègre plusieurs caractéristiques notables :

* les échantillons ne sont pas associés à une seule entité dans l'espace latent (par exemple, un vecteur correspondant aux coordonnées dans cet espace), mais à une distribution $p(z|x)$; de fait, la reconstruction d'une donnée de haute dimension s'effectue généralement à partir de l'échantillon le plus probable dans cette distribution (la moyenne, si la distribution est supposée se rapprocher d'une Gaussienne),
* la fonction de coût intègre un terme de régularisation, sous la forme d'un ajustement des distributions $p(z)$ de chaque échantillon à une distribution Gaussienne (via la divergence de Kullback-Leibler), ce qui régularise indirectement la distribution globale de l'espace latent,

* la dernière couche de l'encodeur est séparée en deux afin d'encoder la moyenne et l'écart type permettant de représenter une Gaussienne et donc $p(z|x)$.

Nous avons utilisé les VAEs dans la première partie de la thèse de Nathan Painchaud, pour estimer un espace latent encodant des segmentations cardiaques. Nous avons par ailleurs exploité une stratégie se rapprochant des méthodes de désentrelacement [80], qui fait en sorte que des dimensions prédéfinies de l'espace latent soient ordonnées selon des attributs choisis au préalable [101] (dans notre cas, des attributs anatomiques). Cette contrainte permet de renforcer la cohérence physiologique de l'espace latent pour notamment lisser les trajectoires correspondant à un cycle cardiaque, et obtenir ainsi des segmentations consistantes temporellement J35 (voir illustration en Fig. 4.2).

Dans un travail précédent sa thèse, Nathan Painchaud avait également exploité un VAE encodant des segmentations cardiaques pour forcer leur consistance anatomique. Pour cela, il sur-échantillonnait d'abord fortement l'espace latent, en rejetant les échantillons donnant lieu à une reconstruction présentant des erreurs anatomiques (selon des critères définis en amont). Ensuite, il utilisait cet espace latent pour y projeter de nouvelles segmentations (encodage) puis les reconstruire (décodage), les segmentations reconstruites étant ainsi anatomiquement pertinentes. Ce schéma peut être rapproché d'une stratégie développée dans mes travaux de thèse J03, où la projection d'échantillons sur l'espace appris par un apprentissage de variétés permettait de quantifier la distance entre ces échantillons et la variété, et du point de vue applicatif de quantifier les anomalies de patrons spécifiques du mouvement cardiaque.

D'autres travaux récents ont également enrichi l'espace latent estimé par des auto-encodeurs et notamment des VAEs pour intégrer des caractéristiques clés liées au contexte médical. Sans proposer une liste exhaustive, citons par exemple le couplage de l'espace latent avec un classifieur et son exploitation pour visualiser des directions associées au diagnostic, un pas vers une meilleure interprétation de l'espace latent [30].
Travaux actuels, recherches en cours
Apprentissage de représentations à partir de plusieurs descripteurs

La combinaison de plusieurs descripteurs hétérogènes et de haute dimension est un problème difficile [59], notamment parce que ces descripteurs ne peuvent pas être directement concaténés comme des scalaires. Les techniques de réduction de dimension permettant de considérer plusieurs descripteurs à la fois peuvent être regroupées en deux catégories [76] : les stratégies de fusion ou d'alignement de variétés. Les sections qui suivent proposent une vue d'ensemble de ces techniques, avec un focus particulier sur les contributions de mes doctorants et post-doctorants.

## 5.1 Techniques de fusion

Les techniques de fusion considèrent un seul espace latent. Les premières tentatives dans le cadre de l'apprentissage de variétés ont consisté à ajouter des noeuds supplémentaires au graphe de voisinage construit entre les échantillons [132], ces noeuds étant associés à un nouveau descripteur (scalaire) à considérer. Plusieurs travaux ont utilisé une adaptation de l'apprentissage de variétés appelée "multiple kernel learning" [52], dont le cadre général pour la réduction de dimensions est décrit dans [77]. En bref, une fonction noyau sert à construire une matrice d'affinité associée à chaque descripteur d'entrée (ce qui permet de représenter le lien entre échantillons de façon normalisée malgré des types et dimensionnalités de données différentes), et un noyau d'ensemble est défini comme une combinaison linéaire de ces noyaux ; le processus d'optimisation détermine à la fois le changement de base qui conduit à un espace latent de faible dimension, et le meilleur poids associé à chaque noyau (voir détail de la méthode dans la Fig. ??). Nous avons démontré sa pertinence pour représenter certaines maladies cardiaques de façon non supervisée, dans une perspective de phénotypage pour caractériser le continuum d'une maladie depuis un état normal à un état pathologique avancé J19,J24 ou pour pallier les limites d'une approche supervisée J26. Cette méthodologie a également été relativement populaire dans le domaine des données biomédicales, pour des problèmes supervisés [104] ou non supervisés [87], et exploitée par nos collaborateurs sur plusieurs applications en imagerie cardiaque [47, 82, 97].

Une variante consiste à mélanger les matrices d'affinité des différents descripteurs de façon non linéaire, par un processus de diffusion croisée [128] supposé correspondre à un graphe de consensus entre les différents descripteurs [129], mais ce processus de fusion s'avère difficile à reproduire en pratique.

Les GPLVMs [71] (voir introduction en Sec. 4.3.2) permettent également la fusion de descripteurs, le modèle de graphe reliant observations et variables latentes étant intéressant pour exprimer les dépendances entre différents descripteurs. Ils ont été étendus pour modéliser une hiérarchie entre différentes variables [72], comme le temps (scalaire) associé à la trajectoire d'une silhouette, ou différentes structures anatomiques de cette silhouette. Dans le cadre de la thèse de Benoit Freiche et épaulé par le post-doctorant Gabriel Bernardino, nous avons développé récemment une méthodologie originale basée sur ce
cadre méthodologique pour affiner un espace latent en exploitant une hiérarchie connue entre différents descripteurs (voir Sec. 5.3). Néanmoins, ces techniques (dont le cadre théorique est élégant et permet de nombreuses extensions) restent difficiles à contrôler en pratique en particulier du point de vue de l'optimisation. En outre, la contribution relative de chaque descripteur est imposée a-priori par le poids associé à chaque branche du graphe probabiliste.

Les VAEs ont également été étendus pour considérer plusieurs descripteurs (VAEs multi-canaux [5]), où la distribution de chaque descripteur dans l'espace latent est conditionnée à être proche d'une distribution cible calculée a-posteriori (comme dans les VAEs avec un seul descripteur). Ce schéma est notamment viable dans le cas de descripteurs manquants (comme c'est souvent le cas pour les données cliniques) et une version parcimonieuse a été proposée par la suite [6].

Les méthodes basées sur les GPLVMs et VAEs sont élégantes et ouvrent la porte à plusieurs extensions pertinentes pour l'analyse de données médicales (voir Sec. 5.3). Cependant, elles souffrent de deux limitations majeures pour les interactions avec les cliniciens (comme mentionné dans la sous-section sur les auto-encodeurs : Sec. 4.3.3) : l'interprétabilité des espaces latents qu'elles estiment reste difficile ; en outre, les dimensions de l'espace latent ne sont pas ordonnées par importance, contrairement aux méthodes de réduction de dimension basées sur une décomposition spectrale (Sec. 4.3.1).

## 5.2 Techniques d'alignement

Une stratégie alternative à la fusion consiste à estimer une représentation (un espace latent) propre à chaque descripteur, tout en essayant de faire correspondre l'ensemble de ces représentations. La raison principale est qu'il n'est pas garanti que les différents descripteurs analysés aient pour origine une unique variété / soient encodables par un unique espace latent.

Les méthodes les plus simples sont linéaires, nous pouvons notamment citer l'algorithme des moindres carrés partiels (*partial least squares* / PLS) ou l'analyse canonique des corrélations (*canonical correlation analysis* CCA), qui maximisent respectivement la covariance ou la corrélation entre deux descripteurs. En analyse d'images cardiaques, celles-ci ont été utilisées pour construire un atlas de mouvement du ventricule gauche à partir de données d'IRM et d'échocardiographie 3D [111], ou comme dans le premier travail de thèse de *Maxime Di Folco* pour une analyse conjointe de la forme et de la déformation du ventricule droit C30 à partir de données d'échocardiographie 3D que nous avions analysées de façon indépendante au cours de la thèse de *Pamela Moceri*.

Parmi les méthodes non linéaires, la méthode de l'alignement de variétés multiples (*multiple manifold learning* / MML) est particulièrement pertinente [29, 78]. Il s'agit d'une généralisation de l'alignement strict de variétés proposé dans [53]. La méthode consiste à construire une grande matrice d'affinité définie par blocs, les blocs diagonaux représentant l'affinité entre les échantillons selon un descripteur donné, et les blocs extra-diagonaux représentant l'affinité inter-descripteurs. Ce cadre méthodologique a été utilisé pour l'alignement de différents jeux de données [73, 125], de différentes coupes d'IRM [11, 29], ou pour trouver des associations entre différentes structures du cerveau [16]. Ces travaux diffèrent légèrement par rapport à la définition de la matrice d'affinité utilisée, et notamment ses blocs extra-diagonaux, qui sont formulés via des opérateurs de permutation [73], de corrélation [16, 125], ou une version plus avancée encodant la structure de graphe des données [10, 29]. Néanmoins, ces travaux se sont concentrés sur l'alignement de jeux de données qui ont pour origine une même variété (concrètement, des coupes 2D d'IRM en vue de recomposer une pile 3D d'images [11, 29], ou des photos d'objets 3D observés sous des angles de vues 2D différents [125]). En outre, l'alignement permet une certaine flexibilité sur la correspondance entre descripteurs, qu'il peut être pertinent d'exploiter pour caractériser le lien physiologique entre ces descripteurs selon la pathologie. C'est ce que nous avons démontré dans la thèse de *Maxime Di Folco* (voir Fig. 5.2). Cette méthode nous a permis de mieux caractériser les interactions entre forme et déformation du ventricule droit J34, à partir de données d'échocardiographie 3D que nous avions analysées de façon indépendante au cours de la thèse de *Pamela Moceri*.
<figure><img src="image_12.png" /></figure>

FIGURE 5.1 – **Principe de l’apprentissage à noyaux multiples** (multiple kernel learning / MKL), dont nous avons approfondi la version non supervisée dans les travaux de thèse de Sergio Sanchez J19, notamment pour mieux caractériser le continuum allant de sujets sains à pathologiques dans le cadre de l’HFPEF J24 (données d’entrée : courbes de vitesses myocardiques des parois septale et latérale, et différences temporelles, principalement), ainsi que pour obtenir une stratification de risque pertinente chez les candidats à la thérapie de resynchronisation J26 (données d’entrée : courbes de volume et de déformation myocardique régionale, différences temporelles, et caractéristiques cliniques des patients).

Dans le cas d'un seul descripteur, le formalisme générique d'apprentissage de variétés [133] vise à minimiser :
$$ \sum_{i=1}^{N} \sum_{j=1}^{N} \|z_i - z_j\|^2 w_{ij}, \quad \text{s.t.} \quad \sum_{i=1}^{N} \|z_i\|^2 = 1. $$

Ici, les $x_i$, $i \in [1, N]$ correspondent aux échantillons de haute dimension, et $z_i$ à leurs coordonnées dans l'espace latent de faible dimension, et les $w_{ij} = k(x_i, x_j) = \exp(-\frac{\|x_i - x_j\|^2}{\sigma^2})$ encodent l'affinité entre deux échantillons, définie à l'aide d'un noyau $k$ (ici, une Gaussienne de largeur $\sigma$). Si deux échantillons $x_i$ et $x_j$ sont proches ($w_{ij}$ proche de 1), cette fonction de coût va tendre à rapprocher leurs coordonnées $z_i$ et $z_j$ dans l'espace latent. Inversement, elle aura peu d'effet pour des échantillons $x_i$ et $x_j$ distants ($w_{ij}$ proche de 0).

En pratique, la fonction de coût se réécrit sous forme matricielle : $\text{tr}(\mathbf{Z}^T \mathbf{L} \mathbf{Z})$, s.t. $\mathbf{Z}^T \mathbf{D} \mathbf{Z} = \mathbf{I}$, avec $\mathbf{L} = \mathbf{D} - \mathbf{W}$ correspondant au Laplacien du graphe des échantillons, $\mathbf{W} = [w_{ij}] \in \mathbb{R}^{N \times N}$, et $\mathbf{D} = [d_{ij}] \in \mathbb{R}^{N \times N}$ une matrice diagonale vérifiant $d_{ii} = \sum_{j=1}^{N} w_{ij}$. La matrice d'affinité $\mathbf{W}$ est symétrique et semi-définie positive, elle est ainsi diagonalisable et à valeurs réelles. Le problème revient à décomposer $\mathbf{L}$ en éléments propres [12], mais en pratique il est plus simple de considérer le problème associé : $\mathbf{P}\mathbf{v} = (1 - \lambda)\mathbf{v}$, revenant à diagonaliser la matrice $\mathbf{P} = \mathbf{D}^{-1/2}\mathbf{W}\mathbf{D}^{-1/2}$ correspondant au Laplacien symétrique et normalisé du graphe. A noter qu'une normalisation au préalable de $\mathbf{W}$ par le total d'affinité de chaque échantillon aux autres échantillons (c'est-à-dire, en remplaçant ses éléments par $\frac{w_{ij}}{d_{ii} \cdot d_{jj}}$) permet d'être robuste aux variations de densité des échantillons le long de la variété [32], souvent rencontrée en pratique.

Dans le cas de plusieurs descripteurs analysés par apprentissage à noyaux multiples (MKL) [77], le formalisme de l'apprentissage de variétés détaillé ci-dessus se généralise via une combinaison linéaire des matrices d'affinité de chaque descripteur : $\mathbf{W} = \sum_{m=1}^{M} \hat{\mathbf{K}}_m \in \mathbb{R}^{N \times N}$, avec $\hat{\mathbf{K}}_m$ une version normalisée de la matrice d'affinité du $m$-ème descripteur.

Il s'agit ensuite de minimiser :
$$ \sum_{i=1}^{N} \sum_{j=1}^{N} \|\mathbf{A}^T \mathbf{K}^i \beta - \mathbf{A}^T \mathbf{K}^j \beta\|^2 \hat{w}_{ij}, $$
avec $\beta = [\beta_1, ..., \beta_M]^T \in \mathbb{R}^M$ les poids associés aux $M$ descripteurs, $\mathbf{A} \in \mathbb{R}^{N \times N}$ la matrice encodant le changement de base vers l'espace latent, et $\mathbf{K}^i = [\mathbf{K}_m(j, i)]_{j,m} \in \mathbb{R}^{N \times M}$. Les paramètres à optimiser sont $\mathbf{A}$ et $\beta$, et sont calculés en deux étapes, la première optimisant $\mathbf{A}$ avec $\beta$ fixé, et la deuxième opérant à l'inverse.

Le code associé et un exemple sont disponibles ici : https://github.com/bcnmedtech/unsupervised_multiple_kernel-learning
<figure><img src="image_13.png" /><figcaption>FIGURE 5.2 – Illustration du fonctionnement de l’algorithme d’alignement de variétés multiples (multiple manifold learning / MML), que nous avons exploité dans les travaux de thèse de Maxime Di Folco pour l’analyse multi-descripteurs d’une population J34, considérant des descripteurs issus de variétés différentes (et inconnues) pour lesquelles un lien existe et varie selon les sujets. Nous avons démontré que cette stratégie est pertinente pour caractériser la distribution de chaque descripteur au sein d’une population, tout en contrôlant la force de l’alignement pour une meilleure analyse de pathologies ciblées à l’échelle de chaque individu. Illustration sur un exemple synthétique avec (a) des courbes synthétiques de pression et volume cardiaques obtenues à partir d’un modèle 0D, et reliées par un lien physiologique; (b) espaces latents estimés pour chaque descripteur (lignes 1 et 2) en utilisant un apprentissage de variétés (colonne de gauche) ou alignement de variétés multiples (MML) avec un alignement plus ou moins fort contrôlé par $\mu$; (c) différences point-à-point entre les deux espaces latents. On observe que MML force les échantillons où les liens entre descripteurs sont forts (points noirs) à être proches, au contraire de ceux où nous avons artificiellement dégradé ce lien (points rouges).</figcaption></figure>

Si l'on repart du formalisme générique d'apprentissage de variétés [133] détaillé en Fig. ??, l'alignement se formule dans le cas de deux descripteurs comme la minimisation de :

$$ \sum_{i=1}^{N} \sum_{j=1}^{N} \|\mathbf{z}_{i}^{1} - \mathbf{z}_{j}^{1}\|^{2} w_{ij}^{1} + \sum_{i=1}^{N} \sum_{j=1}^{N} \|\mathbf{z}_{i}^{2} - \mathbf{z}_{j}^{2}\|^{2} w_{ij}^{2} + \mu \sum_{i=1}^{N} \|\mathbf{z}_{i}^{1} - \mathbf{z}_{j}^{2}\|^{2} m_{ij}, $$

avec $\mathbf{W}^1 = [w_{ij}^1] \in \mathbb{R}^{N \times N}$ et $\mathbf{W}^2 = [w_{ij}^2] \in \mathbb{R}^{N \times N}$ les matrices d'affinité associées à chaque descripteur, et $\mathbf{M} = [m_{ij}] \in \mathbb{R}^{N \times N}$ qui encode les correspondances inter-descripteurs, pondérées par un poids $\mu > 0$. On peut démontrer que le problème se rapporte à la décomposition spectrale de $\mathbf{L} = \mathbf{D} - \mathbf{W}$, avec $\mathbf{D}_{ii} = \sum_{j} w_{ij}$, et $\mathbf{W} = \begin{bmatrix} \mathbf{W}^1 & \mu \mathbf{M} \\ \mu \mathbf{M} & \mathbf{W}^2 \end{bmatrix} \in \mathbb{R}^{2N \times 2N}$. Sa résolution est comparable à celle faite pour l'apprentissage de variétés.

Dans notre cas, $m_{ij} \in [0, 1]$ est une mesure de similarité simple entre les voisinages des échantillons $i$ selon le descripteur 1 et $j$ selon le descripteur 2 (le produit scalaire normalisé entre les lignées $i$ et $j$ des matrices $\mathbf{W}^1$ et $\mathbf{W}^2$). D'autres similarités peuvent faire appel à une généralisation de la distance de diffusion [31] ou une mesure plus avancée du voisinage d'un échantillon sur une variété [8,29].

Le code associé et un exemple sont disponibles ici : https://gitlab.com/maxDif/mml-
pressure-volume-demo
## 5.3 Vers de meilleurs schémas d'intégration de données multiples

Les méthodes décrites ci-dessus présentent un inconvénient majeur, compte tenu du processus incrémental des protocoles d'acquisition en imagerie médicale : elles mélangent toutes les acquisitions et les données en même temps. Outre les limites que cela peut représenter en termes de capacité de calcul et de tendance à collecter aveuglément des données [46], cette approche est sensible à la redondance potentielle des descripteurs d'entrée, comme nous l'avons observé dans les travaux de thèse de Sergio Sanchez J19. Au contraire, les cliniciens intègrent progressivement et hiérarchiquement différentes observations (acquisitions ou données) pour plus d'efficacité, d'interprétabilité, et un meilleur contrôle à chaque niveau d'intégration. Ce processus suit une hiérarchisation des données, connue a-priori (par exemple selon la complexité ou la disponibilité des données, ou les recommandations cliniques), voire même adaptée par le clinicien selon son expérience et la pathologie. Les recommandations cliniques proposent notamment des arbres de décision basés sur des mesures cliniques, mais uniquement scalaires. Par ailleurs, leur pertinence réelle est sujette à débat [98, 115].

Du point de vue méthodologique, les forêts aléatoires [33] vont plus loin en apprenant explicitement des hiérarchies de données, mais ciblent des tâches supervisées et s'adaptent peu à des descripteurs multiples de haute dimension. L'intégration hiérarchique de données a été partiellement explorée avec l'apprentissage de variétés pour la représentation d'images multi-échelles [21] ou multi-vues [135]. Commencer simple et apprendre de manière incrémentale est de fait à la base du raisonnement humain pour dépasser certaines limites de notre capacité d'intégration de données. Ce processus se rapproche du concept d'apprentissage curriculaire introduit dans le cadre des réseaux neuronaux [41], qui est revenu sur le devant de la scène avec la popularisation de l'apprentissage profond, amenant ainsi des améliorations notables en termes de performance [14, 49]. Néanmoins, dans le cadre de l'apprentissage profond, sa mise en place se cantonne à l'amélioration du réseau sur une tâche donnée, de plus en plus difficile (par exemple, du point de vue de la qualité d'images), et non l'intégration progressive de descripteurs de types différents et de plus en plus complexes.

A travers mon ANR JCJC ("MIC-MAC", 2019-2024), nous ciblons explicitement le développement de méthodes d'apprentissage de représentations intégrant une hiérarchie dans les données, pour l'analyse de populations en imagerie cardiaque. Dans les premiers travaux de thèse de Benoit Freiche, nous avons exploité une méthode existante qui a étendu la formulation générique de l'apprentissage de variétés [133] pour définir explicitement des dépendances hiérarchiques entre des niveaux conséutifs d'analyse [21]. Cette formulation présente quelques similarités avec celle de l'alignement de variétés présentée en Sec. 5.2. Les différents niveaux correspondaient à différentes échelles d'une image. Benoit Freiche a démontré la viabilité de cette approche pour relier deux types de données d'IRM de rehaussement tardif C34. Le premier, plus simple (segmentations d'une lésion myocardique), permet de guider l'apprentissage de représentations lié au deuxième niveau, permettant l'analyse du contenu des images (mais plus compliqué à appréhender, les images pouvant notamment comporter des artéfacts ou des lésions spécifiques mettant en lumière les limites d'une métrique simple).

Nous avons poursuivi ces travaux dans un cadre plus générique et complet, celui des GPLVMs (voir l'introduction de ces méthodes en Sec. 4.3.2). Ces méthodes permettent de formuler des dépendances conditionnelles entre modèles latents via une structure de graphe hiérarchique, décrivant par exemple les sous-parties du corps ou d'un processus dynamique [72]. La suite des travaux de thèse de Benoit Freiche s'est ainsi centrée sur le développement d'une méthodologie originale inspirée de ce cadre, pour formaliser les dépendances entre les espaces latents associés à différents descripteurs inscrits dans une hiérarchie connue a-priori. Pour chaque descripteur, les variables latentes sont reliées aux observations par un modèle de processus Gaussien à variables latentes (GPLVM), et le lien entre les variables latentes à deux niveaux de la hiérarchie est également fait par des GPLVMs. En pratique, Benoit Freiche a démontré que deux GPLVMs sont nécessaires (un dans le sens de la hiérarchie et un autre dans le sens inverse), et qu'il est intéressant de figer le GPLVM associé au premier niveau de la hiérarchie pour mieux optimiser le niveau suivant. Il a démontré la pertinence de cette méthodologie pour mieux caractériser les lésions d'ischémie et de reperfusion, notamment celles de MVO plus subtiles et difficiles à analyser S02.

Dans les travaux mentionnés ci-dessus, la hiérarchie utilisée est néanmoins imposée a-priori. L'ordre d'intégration des données n'est pas remis en question, notamment par rapport à la valeur explicative des niveaux plus avancés de la hiérarchie, et leurs coûts éventuels (coûts d'acquisition, d'analyse, etc.).
<figure><img src="image_14.png" /><figcaption>FIGURE 5.3 – Le projet MIC-MAC (2019-2024, ANR JCJC) que je porte vise à revisiter les approches d’intégration de données (et notamment des données d’imagerie) pour la représentation de populations (voir détail en Sec. 5.3). Il cible d’abord la prise en compte une hiérarchie existante dans ces données, puis l’apprentissage explicite d’une telle hiérarchie depuis les données, prenant en compte à la fois le gain en connaissances apporté par de nouveaux descripteurs mais aussi les coûts liés au contexte clinique et au traitement des données.</figcaption></figure>

Le projet est centré sur les applications en imagerie cardiaque, avec l'exploration rétrospective d'études existantes en insuffisance cardiaque, provenant de protocoles d'imagerie courants (résonance magnétique avec le CHU de St Etienne, et échocardiographie avec l'Hospital Clínic de Barcelone, Espagne).

Ce financement a notamment permis le recrutement de Benoit Freiche (doctorant), et de Gabriel Bernardino (post-doctorant).

Les travaux de post-doctorat de Gabriel Bernardino complètent ces développements dans la perspec-
tive de sélectionner les types d'acquisitions ou de descripteurs recommandables pour caractériser un
patient donné. En d'autres termes, il s'agit d'estimer un ordre optimal dans lequel incorporer les don-
nées. Gabriel Bernardino a d'abord démontré qu'une approche probabiliste simple basée sur les processus
Gaussiens peut déterminer quels sujets bénéficieraient d'une IRM en complément d'une échocardiogra-
phie, sur une application spécifique C33. Encouragés par ces résultats, nous avons récemment mis en
place une méthodologie plus générale qui apprend l'agencement des différents niveaux de la hiérarchie.
L'apprentissage par renforcement est très intéressant pour cela : il apprend une politique de décisions,
c'est-à-dire une séquence d'actions (inclure ou non telle mesure ou modalité) maximisant une récom-
pense (le diagnostic, mais aussi le coût associé à cette série de mesures). Nous avons obtenu des résultats
préliminaires très prometteurs avec cette stratégie sur un jeu de données public ("Cleveland ICU", qui
vise à identifier quels patients avec une insuffisance coronarienne seront admis en soins intensifs) et un
jeu de données privé (échocardiographie 2D où on dispose notamment de mesures de flux Doppler au
niveau des valves, pour caractériser l'hypertension artérielle) C35. Nous avons généralisé ce schéma pour
plus de robustesse dans la chaîne de décisions (notamment une régularisation pour regrouper les chemins
équivalents) et une meilleure performance de calcul (via une exploration heuristique, recommandée dans
le cas avec beaucoup de descripteurs donc beaucoup de niveaux dans la hiérarchie) S04.
Conclusions et perspectives

Les sections précédentes donnent une vue d'ensemble des principaux travaux auxquels j'ai contribué depuis ma thèse, en particulier comme encadrant scientifique. Combinés avec l'expertise disponible au laboratoire CREATIS, notamment pour l'accès à des bases de données pertinentes et la quantification automatique de la forme et du mouvement/déformation cardiaques, nous disposons ainsi de bases solides pour une analyse avancée de l'insuffisance cardiaque à l'échelle de populations. Mon projet pour les années à venir vise à étendre ces méthodes pour permettre une analyse multi-paramétrique de l'insuffisance cardiaque adaptée à de grandes cohortes en imagerie cardiaque. Pour cela, il est nécessaire de :

* Améliorer le cadre computationnel en ciblant la robustesse et l'efficacité de la fusion de données complexes (issues de l'imagerie et du contexte clinique) et de leur analyse statistique,

* Etablir un protocole d'analyse transférable en clinique, prenant notamment en compte la pertinence des données mais aussi les coûts d'analyse,

* Démontrer le potentiel du protocole d'analyse proposé pour l'évaluation et le suivi des patients, à commencer par l'ischémie et de l'hypertension artérielle, principales causes d'insuffisance cardiaque systolique et diastolique.

Développements méthodologiques :

Avec mes collaborateurs Olivier Bernard (PU / CREATIS) et Pierre-Marc Jodoin (PU / Univ. Sherbrooke, Canada), nous visons des développements méthodologiques autour de l'apprentissage de représentations pour garantir sa cohérence, son interprétabilité, et sa robustesse à des facteurs confondants. Les premiers travaux de Nathan Painchaud ont exploité l'espace latent issu de VAEs pour garantir la cohérence anatomique [99] et temporelle J35 de segmentations issues d'échocardiographie 2D. Nous souhaitons aller au-delà de cette application, pour l'analyse de la fonction cardiaque à partir d'autres descripteurs et d'autres types d'images. En parallèle du rajout de contraintes sur l'estimation de l'espace latent (intéressantes notamment pour ordonner certaines de ses dimensions selon des variables physiologiques ou confondantes, concept inspiré du "désentrelacement" [2, 80]), nous nous intéressons au formalisme des transformeurs et leur version adaptée à l'analyse d'images [39]. Ceux-ci se sont avérés très performants sur de nombreuses applications en imagerie médicale [74], notamment par leur capacité à mieux prendre en compte différentes structures présentes dans une image, et leur mécanisme d'auto-attention, qui couplé à des outils de visualisation constitue un pas vers une meilleure interprétabilité [62]. Nous les exploitons actuellement pour estimer une représentation associée à une population à partir de plusieurs descripteurs complexes, qui tient compte des interactions entre ces descripteurs, en ciblant explicitement la robustesse de la représentation par rapport aux choix possibles de descripteurs.

En parallèle, je poursuis des développements méthodologiques pour quantifier et limiter les incertitudes sur la représentation et leur impact sur l'analyse, un aspect peu considéré dans le cadre de la fusion de données. L'alignement de variétés (Sec. 5.2) offre des perspectives intéressantes pour avoir plus de
cohérence entre les espaces latents associés à différents descripteurs. La position des différentes données d'un même individu dans ces espaces latents est cependant étroitement liée aux incertitudes sur l'analyse de cet individu. Nous avons initié l'exploitation de ce concept à la fin de la thèse de Maxime Di Folco autour des différentes stratégies pour standardiser les données vers une référence C31, via une collaboration avec l'équipe de X. Pennec (DR / INRIA Sophia-Antipolis). Nous poursuivons actuellement ce travail pour quantifier les incertitudes liées à différentes définitions d'un même descripteur, une application concrète étant l'analyse locale de la déformation myocardique C36, pour laquelle la communauté scientifique manque de consensus [4, 127].

Un troisième volet méthodologique important concerne la prise en compte d'une hiérarchie des données dans l'apprentissage de représentations, cette hiérarchie pouvant être imposée a-priori (thèse de Benoit Freiche S02) ou apprise automatiquement (post-doctorat de Gabriel Bernardino S04 C35) — voir détail en Sec. 5.3. Outre la performance de ces méthodes pour résoudre un problème donné (par exemple, un diagnostic), nous souhaitons améliorer leur impact clinique en prenant en compte les coûts de calcul/d'analyse, les incertitudes éventuelles sur un descripteur (sur la base d'études de reproducibilité), et les coûts économiques liés à l'acquisition des données et à la prise en charge des patients (sur la base de la litérature, des recommandations existantes [44], et des interactions avec les experts en charge de l'analyse des données socio-économiques chez nos partenaires cliniques).

Développements applicatifs :

Nous commençons à appréhender le développement de méthodes viables à l'échelle de grandes bases de données cliniques à travers deux thèses récemment débutées : celle de Thierry Judge, focalisée sur des données d'échocardiographie 2D issues de la routine clinique, et celle de Pierre-Elliott Thiboud, sur l'interprétabilité d'algorithmes de prévention du sepsis.

Côté applicatif, une grande partie des travaux se concentre autour de deux applications en insuffisance cardiaque :

* L'ischémie-reperfusion par IRM multi-paramétrique : comme détaillé au début de la Sec. 4.1, les mécanismes d'évolution d'un infarctus du myocarde et des lésions de reperfusion sont complexes, et s'accompagnent d'anomalies de forme (remodelage) et de fonction. Ils sont insuffisamment caractérisés par les mesures cliniques (taille et transmuralité des lésions, en IRM avec rehaussement tardif). La richesse du contenu des images est peu exploitée faute d'outils, alors qu'elle permettrait de mieux caractériser les déterminants de l'évolution des lésions, pour quantifier l'impact d'une thérapie et améliorer le suivi des patients. Je collabore avec deux experts reconnus de CREATIS et du CHU de St Etienne (Pierre Croisille / PUPH, et Magalie Viallon / physicienne médicale). Nous avons démontré l'apport d'atlas statistiques et de l'apprentissage de représentations pour caractériser les lésions post-intervention (étude MIMI, 140 patients / ClinicalTrials ID : NCT01360242) J36 C34. Via le post-doctorat de Fei Zheng, nous avons utilisé l'apprentissage de représentations pour analyser une étude longitudinale (HIBISCUS-STEMI, 350 patients / ClinicalTrials ID : NCT03070496), travaux poursuivis actuellement via la thèse de Romain Deleat-Besson et le projet MI-MIX que je porte (voir Fig. 6.1). Nous exploitons à la fois les données de rehaussement, relatives à la perfusion des tissus, mais aussi les images T1 et T2 (relatives au contenu des tissus), qui pourront être complétées par les séquences CINE et DENSE (pour quantifier la forme et la déformation du coeur). Nous déploierons ensuite ces techniques sur la cohorte multi-centrique CARIM (2000 patients / ClinicalTrials ID : NCT02967965), à laquelle participent nos collaborateurs de St Etienne. L'apprentissage de représentations sera essentiel pour analyser la distribution de la population et l'évolution d'individus à partir des descripteurs extraits de ces images, et la valeur ajoutée de données plus complexes, certaines étant plus coûteuses ou incertaines.

* L'hypertension artérielle : maladie cardiovasculaire la plus fréquente (10+ millions de cas en France) [106], c'est une des premières causes d'insuffisance cardiaque à fonction systolique pré servée (voir début de la Sec. 4.1), qui implique des changements plus subtils que pour une fonction systolique détériorée. Sa caractérisation nécessite un diagnostic élaboré basé sur un ensemble de mesures d'anomalies structurelles et fonctionnelles [110]. Elle est d'autant plus difficile que le diagnostic n'est pas forcément binaire mais couvre un spectre s'étendant des sujets sains aux cas fortement pathologiques. Nous avons montré dans la thèse de Sergio Sanchez que la fusion de
<figure><img src="image_15.png" /><figcaption>FIGURE 6.1 – Le projet MI-MIX (2020-2023, Fédération Française de Cardiologie - Allocation René Foudon) que je porte vise à améliorer l’intégration de données d’imagerie (IRM cardiaque) pour une meilleure prise en charge du patient et la stratification du risque après avoir diagnostiqué un infarctus. Dans le contexte de l’étude multi-paramétrique des patients post-infarctus, nous visons plus précisément :</figcaption></figure>

* la création et la mise à disposition d'outils d'analyse intégrative pour le clinicien en imagerie, tant à l'échelle d'un individu que d'une population étudiée,

* l'évaluation du bénéfice de cette approche intégrative pour la compréhension du développement de la maladie,

* la quantification du bénéfice d'une thérapie, notamment via la caractérisation de sous-groupes as-sociés à des réponses différentes au sein d'une même population.

La méthodologie se découpe en trois volets : (1) la mise en correspondance des données d'imagerie, notamment avec des techniques inspirées de l'analyse computationnelle et des atlas statistiques, (2) une analyse statistique au-delà des mesures scalaires actuellement utilisées, notamment avec de l'ap-prentissage machine sur des données de haute-dimension, et (3) l'évaluation sur des cohortes de nos collaborateurs du CHU de St Etienne (études cliniques MIMI, HIBISCUS-STEMI, et CARIM).

Ce financement a notamment permis le recrutement de Fei Zheng (post-doctorante), de Maxime Di Folco (post-doctorat court suite à sa thèse), et de William Romero (ingénieur à temps partiel, pour la mise en place d'un challenge de segmentation de données de rehaussement tardif / MYOSAIQ dans le cadre de la conférence FIMH 2023).

plusieurs descripteurs complexes de la fonction cardiaque (notamment, les vitesses myocardiques au repos et à l'effort) avec de l'apprentissage de représentations permet de caractériser les degrés d'anomalies de la fonction diastolique et d'y situer des patients avec hypertension J19 J24. Dans la thèse de Nathan Painchaud, nous visons à étendre ces développements à une grande cohorte de patients avec hypertension artérielle, qui inclut systématiquement des séquences d'échocardiographie 2D (HTA, 1600 patients visés / ClinicalTrials ID : NCT03068364), en collaboration avec Pierre-Yves Courand (PUPH / HCL Lyon). Nos développements permettront de déterminer quelles données du protocole d'échocardiographie sont pertinentes et dans quel ordre les considérer, afin de caractériser les différents phénotypes au sein de cette population, et l'évolution d'individus ou de sous-groupes.

## Impact et perspectives :

Ce projet me tient à "coeur" (c'est le cas de le dire!) sur plusieurs points. Il s'attaque d'abord à la question difficile mais prometteuse : pouvons-nous "être plus performants avec moins ?", en remettant en question les stratégies d'analyse purement basées sur la quantité de données pour les études d'imagerie médicale, qui peuvent rapidement devenir insolubles face à la complexité des maladies. En fait, nous ne savons toujours pas si "plus de (données/outils) implique de meilleurs (résultats/coûts)" pour les études cliniques. Cela ne signifie pas seulement une meilleure performance, mais aussi une meilleure robustesse et efficacité, explicitement visées dans ces pistes de recherche et essentielles pour développer des méthodes fiables et transférables à la clinique. Ce projet va également au-delà des considérations traditionnelles en revisitant l'intégration des données en prenant en compte des coûts externes associés à l'extraction des
descripteurs de données, aux acquisitions d'imagerie et au système de gestion des patients, qui pourraient
remettre en question les recommandations cliniques existantes et les approches de type "force brute /
budget élevé".

Sur le plan méthodologique, nous visons des contributions originales en apprentissage de représentations,
adaptées aux spécificités de l'imagerie médicale. Nous ciblons des stratégies d'intégration de données forte-
ment inspirées des connaissances cliniques, actuellement sous-explorées dans les approches informatiques
alors qu'elles peuvent amener un bond en avant en termes de robustesse et d'efficacité. En particulier, la
redondance et la hiérarchie des données font partie du raisonnement des cliniciens mais restent très sub-
jectives car les solutions méthodologiques font défaut. En termes d'applications et malgré l'effet de mode
autour de l'apprentissage machine, la pratique clinique s'appuie encore sur des outils limités pour l'analyse
de populations. Nous souhaitons renforcer la confiance et le transfert de telles méthodes computation-
nelles à la clinique, pour aller au-delà des problèmes supervisés et de l'extraction de caractéristiques, qui
mobilisent la plus grande partie de l'attention actuellement. Se concentrer sur la stratification des risques
peut faire avancer considérablement les analyses cliniques, comme nous l'avons déjà démontré dans le
cadre d'études cardiaques à fort enjeu J24,J26. L'impact est potentiellement important : le dernier de ces
travaux portait sur la réponse à la resynchronisation cardiaque, inefficace chez 30% des patients. Mieux
implanter 1% des dispositifs de stimulation aux États-Unis entre 2003 et 2007 permettrait déjà de réaliser
une économie de 105 M€! (15 K€/dispositif, 7000 dispositifs) [69].

Enfin, je serai ravi que mon projet puisse profiter à d'autres domaines scientifiques, car le raisonnement
derrière de meilleurs schémas d'intégration des données s'étend au-delà de l'application médicale, si
les connaissances spécifiques à d'autres applications sont soigneusement prises en compte. Le projet a
également des implications fortes hors de la communauté scientifique : certains concepts empruntés aux
connaissances cliniques sont plutôt intuitifs et peuvent changer la vision d'une IA "boîte noire" que
peuvent avoir les patients, les médecins, et les décideurs. En outre, les concepts de hiérarchie et de coûts
sont directement liés au système de santé, avec de fortes implications sur la collecte de données et les
investissements.
## 7.1 Travaux soumis / en préparation

S04 Sampling-guided exploration of active feature selection policies.
Bernardino G, Jonsson A, Clarysse P, Duchateau N.
En préparation.

S03 Challenges for cardiovascular imaging : AI is not a panacea.
Sengupta P, Dey D, Davies RH, Duchateau N, Yanamala N.
Under review - article invité (Lancet Digital Health).

S02 Hierarchical data integration with Gaussian processes : application to the characterization of cardiac ischemia-reperfusion patterns.
Freiche B, Bernardino G, Clarysse P, Duchateau N.
Under review.

S01 Copula-based mixture model identification for subgroup clustering in medical imaging applications.
Zheng F, Duchateau N.
Under review.

## 7.2 Articles de revues internationales avec comité de lecture

J36 Pixel-wise statistical analysis of myocardial injury in STEMI patients with delayed enhancement MRI.
Duchateau N, Viallon M, Petrusca L, Clarysse P, Mewton N, Belle L, Croisille P.
*Front Cardiovasc Med* 2023;10.
Code : https://github.com/nicolasduchateau/CMR-imageDataAlignment

J35 Echocardiography segmentation with enforced temporal consistency.
Painchaud N, Duchateau N, Bernard O, Jodoin PM.
*IEEE T Med Imaging* 2022;41:2867-78.
Code : https://github.com/vitalab/castor
Données : https://humanheart-project.creatis.insa-lyon.fr/ted.html

J34 Characterizing interactions between cardiac shape and deformation by non-linear manifold learning.
Di Folco M, Moceri P, Clarysse P, Duchateau N.
*Med Image Anal* 2022;75:102278.
Code : https://gitlab.com/maxDif/mml Pressure-volume demo
J33 Additional prognostic value of echocardiographic follow-up in pulmonary hypertension - role of 3D right ventricular area strain.
Moceri P, Duchateau N, Baudouy D, Squara F, Bun SS, Ferrari E, Sermesant M.
*Eur Heart J Cardiovasc Imaging* 2022;23:1562-72.

J32 Value of 3D right ventricular function over 2D assessment in acute pulmonary embolism.
Moceri P, Duchateau N, Sartre B, Baudouy D, Squara F, Sermesant M, Ferrari E.
*Echocardiography* 2021;38:1694-701.

J31 Right ventricular area strain from 3D echocardiography : mechanistic insight of right ventricular dysfunction in pediatric pulmonary hypertension.
Jone PN, Duchateau N, Pan Z, Ivy DD, Moceri P.
*J Heart Lung Transplant* 2021;40:138-48.

J30 Three-dimensional right ventricular shape and strain in congenital heart disease patients with right ventricular chronic volume loading.
Moceri P, Duchateau N, Gillon S, Jaunay L, Baudouy D, Squara F, Ferrari E, Sermesant M.
*Eur Heart J Cardiovasc Imaging* 2021;22:1174-81.

J29 Proposed requirements for cardiovascular imaging-related machine learning evaluation (PRIME) : a checklist.
Sengupta PP, Shrestha S, Berthon B, Messas E, Donal E, Tison G, Min JK, D'hooge J, Voigt JU, Dudley J, Verjans J, Shameer K, Johnson K, Løvstakken L, Tabassian M, Piccirilli M, Pernot M, Yanamala N, **Duchateau N**, Kagiyama N, Bernard O, Slomka P, Deo R, Arnaout R.
*JACC Cardiovasc Imaging* 2020;13:2017-35.
Co-auteur invité + article invité.

J28 Machine learning approaches for myocardial motion and deformation analysis.
Duchateau N, King A, De Craene M.
*Front Cardiovasc Med* 2020;6:190.
Article invité.

J27 Variability in the assessment of myocardial strain patterns : implications for adequate interpretation.
Duchateau N, Loncaric F, Cikes M, Doltra A, Sitges M, Bijnens B.
*Ultrasound Med Biol* 2020;46:244-54.

J26 Machine-learning based phenogrouping in heart failure to identify responders to resynchronization therapy.
Cikes M, Sanchez-Martinez S, Claggett B, **Duchateau N**, Piella G, Butakoff C, Pouleur AC, Knappe D, Biering-Sørensen T, Kutyifa V, Moss A, Stein K, Solomon SD, Bijnens B.
*Eur J Heart Fail* 2019;21:74-85.
Article sélectionné en couverture.
Article commenté dans un éditorial de T. Ahmad, JV. Freeman, FW. Asselbergs.

J25 3D consistent & robust segmentation of cardiac images by deep learning with spatial propagation.
Zheng Q, Delingette H, **Duchateau N**, Ayache N.
*IEEE T Med Imaging* 2018;37:2137-48.
Code : https://github.com/julien-zheng/CardiacSegmentationPropagation

J24 Machine learning analysis of left ventricular function to characterize heart failure with preserved ejection fraction.
Sanchez-Martinez S, **Duchateau N**, Erdei T, Kunszt G, Aakhus S, Degiovanni A, Marino P, Carluccio E, Piella G, Fraser AG, Bijnens BH.
*Circ Cardiovasc Imaging* 2018;11:e007138.
Article commenté dans un éditorial de S. Shrestha & P. Sengupta.

J23 Three-dimensional right-ventricular regional deformation and survival in pulmonary hypertension.
Moceri P, **Duchateau N**, Baudouy D, Schouver ED, Leroy S, Squara F, Ferrari E, Sermesant M.
*Eur Heart J Cardiovasc Imaging* 2018;19:450-8.

J22 Model-based generation of large databases of cardiac images : synthesis of pathological cine MR sequences from real healthy cases.
**Duchateau N**, Sermesant M, Delingette H, Ayache N.
Porras AR, Alessandrini M, De Craene M, **Duchateau N**, Sitges M, Bijnens BH, Delingette H, Sermesant M, D'hooge J, Frangi AF, Piella G.

*IEEE T Med Imaging* 2014;33:2098-106.

J10 Myocardial motion and deformation patterns in an experimental swine model of acute LBBB/CRT and chronic infarct.

**Duchateau N**, Sitges M, Doltra A, Fernández-Armenta J, Solanes N, Rigol M, Gabrielli L, Silva E, Barceló A, Berruezo A, Mont L, Brugada J, Bijnens BH.

*Int J Cardiovasc Imaging* 2014;30:875-87.

J09 Atrial functional and geometrical remodeling in male highly trained athletes : for better or worse ?

Gabrielli L, Bijnens BH, Butakoff C, **Duchateau N**, Montserrat S, Merino B, Poyatos S, Gutierrez J, Paré C, Mont L, Brugada J, Sitges M.

*Eur J Applied Physiol* 2014;114:1143-52.

J08 Development of a swine model of left bundle branch block for experimental studies of cardiac resynchronization therapy.

Rigol M, Solanes N, Fernandez-Armenta J, Silva E, Doltra A, **Duchateau N**, Barcelo A, Gabrielli L, Bijnens BH, Berruezo A, Brugada J, Sitges M.

*J Cardiovasc Transl Res* 2013;6:616-22.

J07 Understanding the mechanisms amenable to CRT response : from pre-operative multimodal image data to patient-specific computational models.

Tobon-Gomez C, **Duchateau N**, Sebastian R, Marchesseau S, Camara O, Donal E, De Craene M, Pashaei A, Relan J, Steghofer M, Lamata P, Delingette H, Duckett S, Garreau M, Hernandez A, Rhode KS, Sermesant M, Ayache N, Leclercq C, Razavi R, Smith NP, Frangi AF.

*Med Biol Eng Comput* 2013;51:1235-50.

Article invité.

Article commenté dans un éditorial de J. Weese, N. Ayache, NP. Smith.

J06 A high-resolution atlas and statistical model of the human heart from multislice CT.

Hoogendoorn C, **Duchateau N**, Sánchez-Quintana D, Whitmarsh T, Sukno FM, De Craene M, Lekadir K, Frangi AF.

*IEEE T Med Imaging* 2013;32:28-44.

Données : https://www.cistib.org/full-heart-pca-model-all-phases/en/full-heart-pca-model-all-phases

J05 Model generation of coronary artery bifurcations from CTA and single plane angiography.

Cárdenes R, Díez JL, **Duchateau N**, Pashaei A, Frangi AF.

*Med Phys* 2013;40:013701-1-12.

J04 Atlas-based quantification of myocardial motion abnormalities : added-value for understanding the effect of cardiac resynchronization therapy.

**Duchateau N**, Doltra A, Silva E, De Craene M, Piella G, Castel MA, Mont L, Brugada J, Frangi AF, Sitges M.

*Ultrasound Med Biol* 2012;38:2186-97.

J03 Constrained manifold learning for the characterization of pathological deviations from normality.

**Duchateau N**, De Craene M, Piella G, Frangi AF.

*Med Image Anal* 2012;16:1532-49.

J02 Temporal diffeomorphic free-form deformation : application to motion and strain estimation from 3D echocardiography.

De Craene M, Piella G, Camara O, **Duchateau N**, Silva E, Doltra A, D'hooge J, Brugada J, Sitges M, Frangi AF.

*Med Image Anal* 2012;16:427-50.

Code : https://www.insight-journal.org/browse/publication/855

J01 A spatiotemporal statistical atlas of motion for the quantification of abnormalities in myocardial tissue velocities.

**Duchateau N**, De Craene M, Piella G, Silva E, Doltra A, Sitges M, Bijnens BH, Frangi AF.

*Med Image Anal* 2011;15:316-28.

Code : https://github.com/nicolasduchateau/st-postprocess-1.1
## 7.3 Articles de conférences internationales avec comité de lecture

C39 **Localizing cardiac dyssynchrony in M-mode echocardiography with attention maps**
Saiz-Vivó M, Capallera I, **Duchateau N**, **Bernardino G**, Piella G, Camara O.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2023:13958:688-97.*

C38 **Assessment of the evolution of temporal segmental strain in a longitudinal study of myocardial infarction**
Freytag B, **Duchateau N**, Petrusca L, Ohayon J, Croisille P, Clarysse P.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2023:13958:678-87.*

C37 **Strainger things : discrete differential geometry for transporting right ventricular deformation across surface meshes**
**Bernardino G**, Dargent T, Camara O, **Duchateau N**.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2023:13958:338-46.*
*Code : https://github.com/gbernardino/rvmep*

C36 **Which anatomical directions to quantify local right ventricular strain in 3D echocardiography?**
Di Folco M, Dargent T, **Bernardino G**, Clarysse P, **Duchateau N**.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2023:13958:607-15.*
*Code : https://github.com/gbernardino/rvmep*

C35 **Reinforcement learning for active modality selection during diagnosis.**
**Bernardino G**, Jonsson A, Loncaric F, Martí Castellote PM, Sitges M, Clarysse P, **Duchateau N**.
*Proc. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), LNCS 2022:13431:592-601.*
*Code : https://github.com/creatis-myriad/featureSelectionRL*

C34 **Characterizing myocardial ischemia and reperfusion patterns with hierarchical manifold learning.**
Freiche B, Clarysse P, Viallon M, Croisille P, **Duchateau N**.
*Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'21 Workshop, LNCS 2022:13131:66-74.*

C33 **Hierarchical multi-modality prediction model to assess obesity-related remodelling.**
**Bernardino G**, Clarysse P, Sepúlveda-Martínez A, Rodríguez-López M, Prat-Gonzàlez S, Sitges M, Gratacos E, Crispi F, **Duchateau N**.
*Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'21 Workshop, LNCS 2022:13131:103-12.*
*1er prix "Best poster presentation".*

C32 **Population-based personalization of geometric models of myocardial infarction.**
Mom K, Clarysse P, **Duchateau N**.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2021:12738:3-11.*

C31 **Investigation of the impact of normalization on the study of interactions between myocardial shape and deformation.**
Di Folco M, Guigui N, Clarysse P, Moceri P, **Duchateau N**.
*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS 2021:12738:223-31.*

C30 **Learning interactions between cardiac shape and deformation : application to pulmonary hypertension.**
Di Folco M, Clarysse P, Moceri P, **Duchateau N**.
*Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'19 Workshop, LNCS 2020:12009:119-27.*

C29 **Domain adaptation via dimensionality reduction for the comparison of cardiac simulation models.**
Duchateau N, Rumindo K, Clarysse P.

Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS
2019;11504:276-84.

C28 Left ventricular shape and motion reconstruction through a healthy model for characterizing remodeling after infarction.

De Craene M, Piro P, **Duchateau N**, Allain P, Saloux E.

Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS
2019;11504:159-67.

C27 Parallel transport of surface deformations from pole ladder to symmetrical extension.

Jia S, **Duchateau N**, Moceri P, Sermesant M, Pennec X.

Proc. Shape in Medical Imaging (ShapeMI), MICCAI'18 Workshop LNCS 2018;11167:116-24.

C26 Strain-based parameters for infarct localization : evaluation via a learning algorithm on a synthetic database of pathological hearts.

Rumindo GK, **Duchateau N**, Croisille P, Ohayon J, Clarysse P.

Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS
2017;10263:106-14.

C25 Segmentation and registration coupling from short-axis Cine MRI : application to infarct diagnosis.

Marchesseau S, **Duchateau N**, Delingette H.

Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'16 Work-
shop, LNCS 2017;10124:48-56.

C24 Combination of polyaffine transformations and supervised learning for the automatic diagnosis of LV infarct.

Rohé MM, **Duchateau N**, Sermesant M, Pennec X.

Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'15 Work-
shop, LNCS 2016;9534:190-8.

C23 Prediction of infarct localization from myocardial deformation.

Duchateau N, Sermesant M.

Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'15 Work-
shop, LNCS 2016;9534:51-9.

C22 Quantitative analysis of lead position vs. correction of electrical dyssynchrony in an experimental model of LBBB/CRT.

Soto-Iglesias D, **Duchateau N**, Butakoff C, Andreu D, Fernandez-Armenta J, Bijnens B, Berruezo A, Sitges M, Camara O.

Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS
2015:9126:74-82.

C21 Characterization of myocardial motion by multiple kernel learning : application to heart failure with preserved ejection fraction.

Sanchez-Martinez S, **Duchateau N**, Bijnens B, Erdei T, Fraser A, Piella G.

Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH), LNCS
2015:9126:65-73.

C20 Virtual cochlear electrode insertion via parallel transport frame.

Duchateau N, Mangado N, Ceresa M, Mistrik P, Vera S, González-Ballester MA.

Proc. International Symposium on Biomedical Imaging (ISBI) 2015:1398-401.

C19 Image-based estimation of myocardial acceleration using TDFFD : a phantom study.

Pashaei A, Piella G, **Duchateau N**, Gabrielli L, Camara O.

Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'13 Work-
shop, LNCS 2013:8330:262-70.

C18 Analyzing electrical patterns in an experimental swine model of dyssynchrony and CRT.

Soto-Iglesias D, **Duchateau N**, Butakoff C, Andreu D, Fernández-Armenta J, Berruezo A, Sitges M, Camara O.

Proc. Computing in Cardiology (CinC) 2013:40:623-6.

C17 Myocardial motion estimation combining tissue Doppler and B-mode echocardiogra-
phic images.
Porras AR, De Craene M, **Duchateau N**, Sitges M, Bijnens BH, Frangi AF, Piella G.

*Proc. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)*, LNCS 2013:8150:484-91.

C16 **Adaptation of multiscale function extension to inexact matching. Application to the mapping of individuals to a learnt manifold.**

Duchateau N, De Craene M, Sitges M, Caselles V.

*Proc. SEE International Conference on Geometric Science of Information (GSI)*, LNCS 2013:8085:578-86.

Code: https://github.com/nicolasduchateau/multiscale-kernel-regression

C15 **Manifold learning characterization of abnormal myocardial motion patterns : application to CRT-induced changes.**

Duchateau N, Piella G, Doltra A, Mont L, Bijnens BH, Sitges M, De Craene M.

*Proc. International Conference on Functional Imaging and Modeling of the Heart (FIMH)*, LNCS 2013:7945:450-7.

C14 **Image based cardiac acceleration map using statistical shape and 3D+t myocardial tracking models; in-vitro study on heart phantom.**

Pashaei A, Piella G, Planes X, **Duchateau N**, de Caralt TM, Sitges M, Frangi AF.

*Proc. SPIE Conference on Medical Imaging* 2013:86710U.

C13 **Which reorientation framework for the atlas-based comparison of motion from cardiac image sequences?**

Duchateau N, De Craene M, Pennec X, Merino B, Sitges M, Bijnens BH.

*Proc. Spatio-Temporal Image Analysis for Longitudinal and Time-Series Image Data (STIA)*, MICCAI'12 Workshop, LNCS 2012:7570:25-37.

Code: https://github.com/nicolasduchateau/st-postprocess-1.1

C12 **Temporal diffeomorphic Free Form Deformation to quantify changes induced by left and right bundle branch block and pacing.**

Piella G, Porras AR, De Craene M, **Duchateau N**, Frangi AF.

*Proc. Statistical Atlases and Computational Models of the Heart (STACOM)*, MICCAI'12 Workshop, LNCS 2013:7746:134-41.

C11 **Construction of a statistical atlas of the whole heart from a large 4D CT database.**

Lekadir K, Hoogendoorn C, **Duchateau N**, Frangi A. Missing authors: Sánchez-Quintana D, Whitmarsh T, Sukno FM, De Craene M.

*Proc. Computing in Cardiology (CinC)* 2012:39:541-5.

C10 **SPM to the heart : mapping of 4D continuous velocities for motion abnormality quantification.**

De Craene M, **Duchateau N**, Tobon-Gomez C, Ghafaryasl B, Piella G, Rhode KS, Frangi AF.

*Proc. International Symposium on Biomedical Imaging (ISBI)* 2012:454-7.

C09 **Characterizing pathological deviations from normality using constrained manifold-learning.**

Duchateau N, De Craene M, Piella G, Frangi AF.

*Proc. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)*, LNCS 2011:6893:256-63.

C08 **Temporal diffeomorphic Free Form Deformation (TDFFD) applied to motion and deformation quantification of tagged MRI sequences.**

De Craene M, Tobon-Gomez C, Butakoff C, **Duchateau N**, Piella G, Rhode KS, Frangi AF.

*Proc. Statistical Atlases and Computational Models of the Heart (STACOM)*, MICCAI'11 Workshop, LNCS 2012:7085:68-77.

C07 **Temporal diffeomorphic free-form deformation for strain quantification in 3D-US images.**

De Craene M, Piella G, **Duchateau N**, Silva E, Doltra A, Gao H, D'hooge J, Camara O, Sitges M, Frangi AF.

*Proc. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)*, LNCS 2010:6362:1-8.

C06 **Atlas-based quantification of myocardial motion abnormalities : added-value for the understanding of CRT outcome?**

Duchateau N, De Craene M, Piella G, Hoogendoorn C, Silva E, Doltra A, Mont L, Castel MA,
Brugada J, Sitges M, Frangi AF.

Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'10 Work-
shop, LNCS 2010:6364:65-74.

C05 **Atlas construction and image analysis using statistical cardiac models.**

De Craene M, Sukno FM, Tobon-Gomez C, Butakoff C, Figueras i Ventura RM, Hoogendoorn C,
Piella G, **Duchateau** N, Muñoz-Moreno E, Sebastián R, Camara O, Frangi AF.

*Proc. Statistical Atlases and Computational Models of the Heart (STACOM), MICCAI'10 Work-sho*, LNCS 2010:6364 :1-13.

Article invité.

C04 A groupwise mutual information metric for cost efficient selection of a suitable refe-
rence in cardiac computational atlas construction.

Hoogendoorn C, Whitmarsh T, **Duchateau** N, Sukno FM, De Craene M, Frangi AF.

*Proc. SPIE Conference on Medical Imaging 2010*;76231R.

C03 Septal flash assessment on CRT candidates based on statistical atlases of motion.

Duchateau N, De Craene M, Silva E, Sitges M, Bijnens BH, Frangi AF.

*Proc. International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)*, LNCS 2009:5762:759-66.

C02 Optimisation of beam parameters and iodine quantification in Dual-Energy Contrast-
Enhanced Digital Breast Tomosynthesis.

Puong S, Bouchevreau X, **Duchateau** N, Iordache R, Muller S.

*Proc. SPIE Conference on Medical Imaging* 2008;69130Z.

C01 Assessment of laser-dazzling effects on TV-cameras by means of pattern recognition algorithms.

Durécu A, Vasseur O, Bourdon P, Eberle B, Bürsing H, Dellinger J, **Duchateau N**.

*Proc. SPIE Conference on Technologies for Optical Countermeasures* 2007;67380J.

7.4 Résumés de conférences nationales et internationales avec co-
mité de lecture

Liste complète : https://www.creatis.insa-lyon.fr/~duchateau/#publications

7.5 Divers

Livres édités :

B02 Functional Imaging and Modeling of the Heart (FIMH'23).

Bernard O, Clarysse P, **Duchateau** N, Ohayon J, Viallon M, eds.

Springer, LNCS vol. 13958, 2023.

B01 AI and Big Data in cardiology : a practical guide.

Duchateau N, King A, eds.

Springer, 2023.

Chapitres de livre :

H11 Machine learning and biophysical models : how to benefit each other ?

Duchateau N, Camara O.

In : Chinesta F, Cueto E, Payan Y, Ohayon J, eds. *Reduced order models for the biomechanics of living organs*. Elsevier, 2023 :147-64.

Chapitre invité.

H10 Conclusion.

King A, **Duchateau** N.

In : Duchateau N, King A, eds. *AI and Big Data in cardiology : a practical guide*. Springer, 2023 :201-3.
H09 **Analysis of non-imaging data.**

**Duchateau N**, Camara O, Sebastian R, King A.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:183-200.

H08 **Outcome prediction.**

Ly B, Pop M, Cochet H, **Duchateau N**, O'Regan D, Sermesant M.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:105-33.

H07 **Diagnosis.**

Rueckert D, Knolle M, **Duchateau N**, Razavi R, Kaissis G.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:85-103.

H06 **From machine learning to deep learning.**

Jodoin PM, **Duchateau N**, Desrosiers C.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:35-56.

H05 **AI and machine learning: the basics.**

**Duchateau N**, Puyol-Antón E, Ruijsink B, King A.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:11-33.

H04 **Introduction.**

King A, **Duchateau N**.

In: Duchateau N, King A, eds. *AI and Big Data in cardiology: a practical guide*. Springer, 2023:1-10.

H03 **Three-dimensional assessment of cardiac motion and deformation.**

**Duchateau N**, Loncaric F, Sitges M, Bijnens B.

In: Shiota T, ed. *3D echocardiography, 3rd edition*. CRC press, 2020:215-22.

Chapitre invité.

H02 **Learning pathological deviations from a normal pattern of myocardial motion: Added value for CRT studies?**

**Duchateau N**, Piella G, Frangi A, De Craene M.

In: Wu G, Shen D, Sabuncu M, eds. *Machine learning and medical imaging*. Elsevier, 2016:365-82.

Chapitre invité.

H01 **3D assessment of cardiac motion and deformation.**

**Duchateau N**, Bijnens BH, D'hooge J, Sitges M.

In: Shiota T, ed. *3D echocardiography, 2nd edition*. CRC press, 2013:201-13.

Chapitre invité.

## Divers : lettres à l'éditeur, cas cliniques, etc. :

D05 **Direction-dependent decomposition of 3D right ventricular motion: beware of approximations.**

**Duchateau N**, Moceri P, Sermesant M.

*J Am Soc Echocardiography* 2021;34:201-3.

Lettre à l'éditeur.

D04 **"How to read this" : cardiac segmentation with AI.**

**Duchateau N**, Bernard O.

*ESC Digital Health Virtual Journal* 2020.

Bref article de review (invité).

D03 **Right ventricular function evolution with pregnancy in repaired Tetralogy of Fallot.**

Moceri P, Sermesant M, Baudouy D, Ferrari E, **Duchateau N**.

*Can J Cardiol* 2018;34:1369.e9-e11.

Cas clinique.

D02 **Letter regarding the article "Additive prognostic value of left ventricular systolic dysfunction in a population-based cohort" from Kuznetsova et al.**

**Duchateau N**, Bijnens B.
*Circ Cardiovasc Imaging* 2016.

Editorial invité, converti en lettre à l'éditeur.

D01 Remodelado auricular adverso en atletas de alto rendimiento: Estudio de deformación auricular con speckle tracking 2D.

Gabrielli L, Montserrat S, Bijnens BH, Brambila C, **Duchateau** N, Merino B, Gutierrez J, Mont
L, Vidal B, Azqueta M, Paré C, Brugada J, Sitges M.

Rev Chil Cardiol, 2012;31:176-83.

Article invité, journal national.
[1] T. Abraham, D. Kass, G. Tonti, and J. J. V. y. . . p. . . others, title = Imaging cardiac resynchronization therapy.

[2] A. Achille and S. Soatto. Emergence of Invariance and Disentanglement in Deep Representations. *J Mach Learn Res*, 19:1-34, 2018.

[3] K. Addetia, F. Maffessanti, M. Yamat, et al. Three-dimensional echocardiography-based analysis of right ventricular shape in pulmonary arterial hypertension. *Eur Heart J Cardiovasc Imaging*, 17:564-75, 2016.

[4] M. Amzulescu, M. De Craene, H. Langet, et al. Myocardial strain imaging : review of general principles, validation, and sources of discrepancies. *Eur Heart J Cardiovasc Imaging*, 20:605-19, 2019.

[5] L. Antelmi, N. Ayache, P. Robert, et al. Multi-channel stochastic variational inference for the joint analysis of heterogeneous biomedical data in Alzheimer's disease. *Proc. MLCN-DLF-IMIMIC, LNCS*, 11038:15-23, 2018.

[6] L. Antelmi, N. Ayache, P. Robert, et al. Sparse multi-channel variational autoencoder for the joint analysis of heterogeneous data. *Proc. ICML*, 97:302-11, 2019.

[7] M. Antonelli, A. Reinke, S. Bakas, et al. The medical segmentation decathlon. *Nat Commun*, 13:4128, 2022.

[8] M. Aubry, U. Schlickewei, and D. Cremers. The wave kernel signature : a quantum mechanical approach to shape analysis. *Proc. IEEE ICCV Workshops*, pages 1626-33, 2013.

[9] L. Badano, T. Kolias, D. Muraru, et al. Standardization of left atrial, right ventricular, and right atrial deformation imaging using two-dimensional speckle tracking echocardiography : a consensus document of the eacvi/ase/industry task force to standardize deformation imaging. *Eur Heart J Cardiovasc Imaging*, 19:591-600, 2018.

[10] C. Baumgartner, A. Gomez, L. Koch, et al. Self-Aligning manifolds for matching disparate medical image datasets. *Proc. IPMI, LNCS*, 9123:363-74, 2015.

[11] C. Baumgartner, C. Kolbitsch, J. McClelland, et al. Autoadaptive motion modelling for MR-based respiratory motion estimation. *Med Image Anal*, 35:83-100, 2017.

[12] M. Belkin and P. Niyogi. Laplacian eigenmaps for dimensionality reduction and data representation. *Neural Comput*, 15:1373-96, 2003.

[13] Y. Bengio, A. Courville, and P. Vincent. Representation learning : a review and new perspectives. *IEEE Trans Pattern Anal Mach Intell*, 35:1798-828, 2013.

[14] Y. Bengio, J. Louradour, R. Collobert, et al. Curriculum learning. *Proc. ICML*, pages 41-8, 2009.

[15] Y. Bengio, J. Paiement, P. Vincent, et al. Out-of-sample extensions for LLE, isomap, MDS, eigenmaps, and spectral clustering. *Proc. NIPS*, pages 177-84, 2003.

[16] O. Benkarim, G. Piella, I. Rekik, et al. A novel approach to multiple anatomical shape analysis : application to fetal ventriculomegaly. *Med Image Anal*, 64:101750, 2020.

[17] S. Bennett, J. Tafuro, S. Duckett, et al. Septal flash as a predictor of cardiac resynchronization therapy response : A systematic review and meta-analysis. *J Cardiovasc Echogr*, 31:198-206, 2021.

[18] A. Bermanis, A. Averbuch, and R. Coifman. Multiscale data sampling and function extension. *Appl Comput Harmon Anal*, 34:15-29, 2013.

[19] O. Bernard, A. Lalande, C. Zotti, et al. Deep learning techniques for automatic MRI cardiac multi-structures segmentation and diagnosis : is the problem solved ? *IEEE Trans Med Imaging*, 37:2514-25, 2018.

[20] O. Bernard, B. Ruijsink, T. Grenier, et al. Measurement and quantification. *AI and Big Data in cardiology : a practical guide*. Duchateau & King, eds, page In press., 2023.

[21] K. Bhatia, A. Rao, A. Price, et al. Hierarchical manifold learning for regional image analysis. *IEEE Trans Med Imaging*, 33:444-61, 2014.

[22] B. Bijnens, P. Claus, F. Weidemann, et al. Investigating cardiac function using motion and deformation analysis in the setting of coronary artery disease. *Circulation*, 116:2453-64, 2007.

[23] T. Bui, J. Hernández-Lobato, D. Hernández-Lobato, et al. Deep Gaussian processes for regression using approximate expectation propagation. *Proc. ICML*, 48:1472-81, 2016.

[24] H. Bulluck, R. Dharmakumar, A. Arai, et al. Cardiovascular magnetic resonance in acute ST-segment-elevation myocardial infarction : Recent advances, controversies, and future directions. *Circulation*, 137:1949-64, 2018.
[25] A. Bône, M. Louis, B. Martin, et al. Deformetrica 4 : An Open-Source Software for Statistical Shape Analysis. *Proc. ShapeMI-MICCAI*, LNCS, 11167:3–13, 2018.

[26] S. Calle, C. Delens, V. Kamoen, et al. Septal flash : At the heart of cardiac dyssynchrony. *Trends Cardiovasc Med*, 30:115-22, 2020.

[27] C. Chen, C. Qin, H. Qiu, et al. Deep learning for cardiac image segmentation : A review. *Front Cardiovasc Med*, 7:25, 2020.

[28] M. Cikes and S. Solomon. Beyond ejection fraction : an integrative approach for assessment of cardiac structure and function in heart failure. *Eur J Heart Fail*, 37:1642–50, 2016.

[29] J. Clough, D. Balfour, G. Cruz, et al. Weighted manifold alignment using wave kernel signatures for aligning medical image datasets. *IEEE Trans Pattern Anal Mach Intell*, 42:988–997, 2020.

[30] J. Clough, I. Oksuz, E. Puyol-Antón, et al. Global and local interpretability for cardiac MRI classification. *Proc. MICCAI*, LNCS, 11767:656–64, 2019.

[31] R. Coifman and M. Hirn. Diffusion maps for changing data. *Applied Comput Harm Anal*, 36:79–107, 2014.

[32] R. Coifman and S. Lafon. Diffusion maps. *Applied Comput Harm Anal*, 21:5–30, 2006.

[33] A. Criminisi and J. Shotton, editors. *Decision forests for computer vision and medical image analysis*. Springer, London, 2013.

[34] Z. Dai, A. Damianou, J. González, et al. Variational auto-encoded deep Gaussian processes. *Proc. ICLR*, 2016.

[35] A. Damianou and N. Lawrence. Deep Gaussian processes. *Proc. AISTATS*, 31:207–15, 2013.

[36] C. Daubert, N. Behar, R. Martins, et al. Avoiding non-responders to cardiac resynchronization therapy : a practical guide. *Eur Heart J*, 38:1463–72, 2017.

[37] J. D'hooge, A. Heimdal, F. Jamal, et al. Regional strain and strain rate measurements by cardiac ultrasound : principles, implementation and limitations. *Eur J Echocardiogr*, 1:154–70, 2000.

[38] J. Dillon, S. Chang, and H. Feigenbaum. Echocardiographic manifestations of left bundle branch block. *Circulation*, 49:876–80, 1974.

[39] A. Dosovitskiy, L. Beyer, A. Kolesnikov, et al. An image is worth 16x16 words : Transformers for image recognition at scale. *Proc. ICLR*, 2021.

[40] S. Duckett, O. Camara, M. Ginks, et al. Relationship between endocardial activation sequences defined by high-density mapping to early septal contraction (septal flash) in patients with left bundle branch block undergoing cardiac resynchronization therapy. *Europace*, 14:99–106, 2012.

[41] J. Elman. Learning and development in neural networks : the importance of starting small. *Cognition*, 48:71–99, 1993.

[42] E. Evain, Y. Sun, K. Faraz, et al. Motion estimation by deep learning in 2D echocardiography : synthetic dataset and validation. *IEEE Trans Med Imaging*, 41:1911–24, 2022.

[43] B. Fornwalt. The dyssynchrony in predicting response to cardiac resynchronization therapy : a call for change. *J Am Soc Echocardiogr*, 24:180–4, 2011.

[44] S. Francis, C. Daly, B. Heydari, et al. Cost-effectiveness analysis for imaging techniques with a focus on cardiovascular magnetic resonance. *J Cardiovasc Magn Reson*, 15:52, 2013.

[45] A. Frangi, W. Niessen, and M. Viergever. Three-dimensional modeling for functional analysis of cardiac images : a review. *IEEE Trans Med Imaging*, 20:2–25, 2001.

[46] Y. Frégnac. Big data and the industrialization of neuroscience : A safe roadmap for understanding the brain ? *Science*, 358:470–7, 2017.

[47] P. Garcia-Canadilla, S. Sanchez-Martinez, P. Martí-Castellote, et al. Machine-learning-based exploration to identify remodeling patterns associated with death or heart-transplant in pediatric-dilated cardiomyopathy. *J Heart Lung Transplant*, 41:516–26, 2022.

[48] S. Gerber, T. Tasdizen, T. Fletcher, et al. Manifold modeling for brain population analysis. *Med Image Anal*, 14:643–53, 2010.

[49] A. Graves, M. Bellemare, J. Menick, et al. Automated curriculum learning for neural networks. *Proc. ICML*, pages 1311–20, 2017.

[50] A. Groenewegen, F. Rutten, A. Mosterd, et al. Epidemiology of heart failure. *Eur J Heart Fail*, 22:1341–56, 2020.

[51] N. Guigui, S. Jia, M. Sermesant, et al. Symmetric algorithmic components for shape analysis with diffeomorphisms. *Proc. GSI*, LNCS, 11712:759–68, 2019.

[52] M. Gönen and E. Alpaydin. Multiple kernel learning algorithms. *J Mach Learn Res*, 12:2211–68, 2011.

[53] J. Ham, D. Lee, and L. Saul. Semisupervised alignment of manifolds. *Proc. AISTATS*, 120:120–7, 2005.

[54] G. Haskins, U. Kruger, and P. Yan. Deep learning in medical image registration : a survey. *Mach Vis Appl*, 31:8, 2020.

[55] D. Hearse and D. Yellon. The "border zone" in evolving myocardial infarction : controversy or confusion? *Am J Cardiol*, 47:1321–34, 1981.

[56] P. Heidenreich, B. Bozkurt, D. Aguilar, et al. 2022 AHA/ACC/HFSA Guideline for the Management of Heart Failure. *Circulation*, 145:e895–1032, 2022.

[57] F. Heinzel, F. Hohendanner, G. Jin, et al. Myocardial hypertrophy and its role in heart failure with preserved ejection fraction. *J Appl Physiol*, 119:1233–42, 1985.

[58] G. Heusch. Coronary microvascular obstruction : the new frontier in cardioprotection. *Basic Res Cardiol*, 114:45, 2019.

[59] S. Huang, K. Chaudhary, and L. Garmire. More is better : recent progress in multi-omics data integration methods. *Front Genet*, 8:84, 2017.
[60] E. Ilg, N. Mayer, T. Saikia, et al. Flownet 2.0: evolution of optical flow estimation with deep networks. Proc. IEEE CVPR, pages 2462-70, 2017.

[61] F. Isensee, P. Jaeger, S. Kohl, et al. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat Methods, 18:203-11, 2021.

[62] T. Jaunet, C. Kervadec, R. Vuillemot, et al. VisQA: X-raying vision and language reasoning in transformers. IEEE Trans Vis Comput Graph, 28:976-86, 2022.

[63] P. Jaïs, P. Maury, P. Khairy, et al. Elimination of local abnormal ventricular activities: a new end point for substrate modification in patients with scar-related ventricular tachycardia. Circulation, 125:2184-96, 2012.

[64] A. Kazerouni, E. Aghdam, M. Heidari, et al. Diffusion models for medical image analysis: A comprehensive survey. arXiv, 2023.

[65] D. Kingma and M. Welling. Auto-encoding variational Bayes. Proc. ICLR, 2014.

[66] A. Kleiner, A. Talwalkar, P. Sarkar, et al. A scalable bootstrap for massive data. J R Statist Soc B, 76:795-816, 2014.

[67] M. Konstam, D. Kramer, A. Patel, et al. Left ventricular remodeling in heart failure: current concepts in clinical significance and assessment. JACC Cardiovasc Imaging, 4:98-108, 2011.

[68] S. Lafon, Y. Keller, and R. Coifman. Data fusion and multicue data matching by diffusion maps. IEEE Trans Pattern Anal Mach Intell, 28:1784-97, 2006.

[69] W. Laskey, K. Awad, and J. Lum. An analysis of implantable cardiac device reliability. The case for improved postmarketing risk assessment and surveillance. Am J Ther, 19:248-54, 2012.

[70] N. Lawrence. Gaussian process models for visualisation of high dimensional data. Proc. NeurIPS, pages 329-36, 2004.

[71] N. Lawrence. Probabilistic non-linear principal component analysis with Gaussian process latent variable models. J Mach Learn Res, 6:1783-816, 2005.

[72] N. Lawrence and A. Moore. Hierarchical Gaussian process latent variable models. Proc. ICML, pages 481-8, 2007.

[73] C. Lee, A. Elgammal, and M. Torki. Learning representations from multiple manifolds. Pattern Recognit, 50:74-87, 2016.

[74] J. Li, J. Chen, Y. Tang, et al. Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives. Med Image Anal, 85:102762, 2023.

[75] P. Li and S. Chen. A review on Gaussian process latent variable models. CAAI Transactions on Intelligence Technology, 1:366-76, 2016.

[76] Y. Li, M. Yang, and Z. Zhang. A survey of multi-view representation learning. IEEE Trans Knowl Data Eng, 31:1863-83, 2018.

[77] Y. Lin, T. Liu, and C. Fuh. Multiple kernel learning for dimensionality reduction. IEEE Trans Pattern Anal Mach Intell, 33:1147-60, 2011.

[78] O. Lindenbaum, A. Yeredor, M. Salhov, et al. Multi-view diffusion maps. Inform Fusion, 55:127-49, 2020.

[79] G. Litjens, F. Ciompi, J. Wolterink, et al. State-of-the-art deep learning in cardiovascular image analysis. JACC Cardiovasc Imaging, 12:1549-65, 2019.

[80] X. Liu, P. Sanchez, S. Thermos, et al. Learning disentangled representations in the imaging domain. Med Image Anal, 80:102516, 2022.

[81] F. Loncaric, P. Marti Castellote, S. Sanchez-Martinez, et al. Automated pattern recognition in whole-cardiac cycle echocardiographic data: Capturing functional phenotypes with machine learning. J Am Soc Echocardiogr, 34:1170-83, 2021.

[82] F. Loncaric, P. Marti Castellote, S. Sanchez-Martinez, et al. Automated pattern recognition in whole-cardiac cycle echocardiographic data: Capturing functional phenotypes with machine learning. J Am Soc Echocardiogr, 34:1170-83, 2021.

[83] F. Loncaric, S. Sanchez-Martinez, L. Nuno, et al. Exploring hypertensive patient profiles based on full myocardial deformation and Doppler traces - insights from a machine-learning approach. Eur Heart J Cardiovasc Imaging, 21:jez319.235, 2020.

[84] M. Mahoney. Randomized algorithms for matrices and data. Found Trends Machine Learn, 3:123-224, 2011.

[85] D. Mansell, E. Frank, N. Kelly, et al. Comparison of the within-reader and inter-vendor agreement of left ventricular circumferential strains and volume indices derived from cardiovascular magnetic resonance imaging. PLoS One, 15:e0242908, 2020.

[86] M. Marciniak, A. Gilbert, F. Loncaric, et al. Septal curvature as a robust and reproducible marker for basal septal hypertrophy. J Hypertens, 39:1421-8, 2021.

[87] J. Mariette and N. Villa-Vialaneix. Unsupervised multiple kernel learning for heterogeneous data integration. Bioinformatics, 34:1009-15, 2018.

[88] T. Marwick, S. Neubauer, and S. Petersen. Use of cardiac magnetic resonance and echocardiography in population-based studies: why, where, and when? Circ Cardiovasc Imaging, 6:590-6, 2013.

[89] T. McDonagh, M. Metra, M. Adamo, et al. 2021 ESC Guidelines for the diagnosis and treatment of acute and chronic heart failure. Eur Heart J, 42:3599-726, 2021.

[90] L. McInnes, J. Healy, N. Saul, et al. UMAP: uniform manifold approximation and projection. J Open Source Softw, 3:861, 2018.

[91] J. McQueen, M. Meila, J. VanderPlas, et al. Megaman: scalable manifold learning in Python. J Mach Learn Res, 17:1-5, 2016.

[92] O. Mirea, E. Pagourelias, J. Duchenne, et al. Intervendor differences in the accuracy of detecting regional functional abnormalities: a report from the EACVI-ASE strain standardization task force. JACC Cardiovasc Imaging, 11:25-34, 2018.
[93] O. Mirea, E. Pagourelias, J. Duchenne, et al. Variability and reproducibility of segmental longitudinal strain measurement: a report from the EACVI-ASE strain standardization task force. *JACC Cardiovasc Imaging*, 11:15-24, 2018.

[94] M. Morales, D. Izquierdo-Garcia, I. Aganj, et al. Implementation and validation of a three-dimensional cardiac motion estimation network. *Radiol Artif Intell*, 1:e180080, 2019.

[95] D. Muraru, V. Spadotto, A. Cecchetto, et al. New speckle-tracking algorithm for right ventricular volume analysis from three-dimensional echocardiographic data sets: validation with cardiac magnetic resonance and comparison with the previous analysis tool. *Eur Heart J Cardiovasc Imaging*, 17:1279-89, 2016.

[96] S. Nagueh, S. Chang, F. Nabi, et al. Cardiac imaging in patients with heart failure and preserved ejection fraction. *Circ Cardiovasc Imaging*, 10:e006547, 2017.

[97] M. Nogueira, M. De Craene, S. Sanchez-Martinez, et al. Analysis of nonstandardized stress echocardiography sequences using multiview dimensionality reduction. *Med Image Anal*, 60:101594, 2020.

[98] I. of Medicine (US) Committee on Standards for Developing Trustworthy Clinical Practice Guidelines. *Clinical practice guidelines we can trust*. National Academies Press, Washington DC, 2011.

[99] N. Painchaud, Y. Skandarani, T. Judge, et al. Cardiac segmentation with strong anatomical guarantees. *IEEE Trans Med Imaging*, 11:3703-13, 2020.

[100] C. Parsai, B. Bijnens, G. Sutherland, et al. Toward understanding response to cardiac resynchronization therapy: left ventricular dyssynchrony is only one of multiple mechanisms. *Eur Heart J*, 30:940-9, 2009.

[101] A. Pati and A. Lerch. Attribute-based regularization of latent spaces for variational auto-encoders. *Neural Comput Appl*, 33:4429-44, 2021.

[102] D. Pellerin, R. Sharma, P. Elliott, et al. Tissue Doppler, strain, and strain rate echocardiography for the assessment of left and right systolic ventricular function. *Heart*, 89:iii9-17, 2003.

[103] X. Pennec, P. Fillard, and N. Ayache. A Riemannian framework for tensor computing. *Int J Comput Vis*, 66:41-66, 2006.

[104] D. Peressutti, M. Sinclair, W. Bai, et al. A framework for combining a motion atlas with non-motion information to learn clinically useful biomarkers: Application to cardiac resynchronisation therapy response prediction. *Med Image Anal*, 35:669-84, 2017.

[105] D. Perperidis, R. Mohiaddin, and D. Rueckert. Spatio-temporal free-form registration of cardiac MR image sequences. *Med Image Anal*, 9:441-56, 2005.

[106] A. Perrine, C. Lecoffre, J. Blacher, et al. L'hypertension artérielle en France: prévalence, traitement et contrôle en 2015 et évolutions depuis 2006. *Bull Epidémiol Hebd*, 10:170-9, 2018.

[107] M. Pfeffer, A. Shah, and B. Borlaug. Heart failure with preserved ejection fraction in perspective. *Circ Res*, 124:1598-617, 2019.

[108] E. Piot, N. Duchateau, M. Menut, et al. Exploration of age-related hemodynamic and mechanical changes in the human thoracic aorta using an atlas based approach. *ISMRM congress*, 2023.

[109] P. Piras, V. Varano, M. Louis, et al. Transporting deformations of face emotions in the shape spaces: A comparison of different approaches. *J Math Imaging Vis*, 63:875-93, 2021.

[110] P. Ponikowski, A. Voors, and S. Anker. 2016 ESC Guidelines for the diagnosis and treatment of acute and chronic heart failure. *Eur Heart J*, 37:2129-200, 2016.

[111] E. Puyol-Antón, M. Sinclair, B. Gerber, et al. A multimodal spatiotemporal cardiac motion atlas from MR and ultrasound data. *Med Image Anal*, 40:96-110, 2017.

[112] A. Rao, R. Chandrashekara, G. Sanchez-Ortiz, et al. Spatial transformation of motion and deformation fields using nonrigid registration. *IEEE Trans Med Imaging*, 23:1065-76, 2004.

[113] K. Reimer, J. Lowe, M. Rasmussen, et al. The wavefront phenomenon of ischemic cell death. 1. Myocardial infarct size vs duration of coronary occlusion in dogs. *Circulation*, 56:786-94, 1977.

[114] A. Rossi, M. Gheorghiade, F. Triposkiadis, et al. Left atrium in heart failure with preserved ejection fraction: structure, function, and significance. *Circ Heart Fail*, 7:1042-9, 2013.

[115] P. Shekelle. Clinical practice guidelines: what's next? *JAMA*, 320:757-8, 2018.

[116] O. Smiseth, D. Morris, N. Cardim, et al. Multimodality imaging in patients with heart failure and preserved ejection fraction: an expert consensus document of the European Association of Cardiovascular Imaging. *Eur Heart J Cardiovasc Imaging*, 23:e34-61, 2022.

[117] O. Smiseth, K. Russell, and H. Skulstad. The role of echocardiography in quantification of left ventricular dyssynchrony: state of the art and future directions. *Eur Heart J Cardiovasc Imaging*, 13:61-8, 2012.

[118] I. Stankovic, C. Prinz, A. Ciarka, et al. Relationship of visually assessed apical rocking and septal flash to response and long-term survival following cardiac resynchronization therapy (PREDICT-CRT). *Eur Heart J Cardiovasc Imaging*, 17:262-9, 2016.

[119] D. Sun, X. Yang, M. Liu, et al. PWC-Net: CNNs for optical flow using pyramid, warping, and cost volume. *Proc. IEEE CVPR*, pages 8934-43, 2018.

[120] D. Sun, X. Yang, M. Liu, et al. Models matter, so does training: an empirical study of CNNs for optical flow estimation. *IEEE Trans Pattern Anal Mach Intell*, 42:1408-23, 2020.

[121] B. Surawicz, R. Childers, B. Deal, et al. AHA/ACCF/HRS recommendations for the standardization and interpretation of the electrocardiogram: part III: intraventricular conduction disturbances. *Circulation*, 119:e235-40, 2009.

[122] J. Tenenbaum, V. de Silva, and J. Langford. A global geometric framework for nonlinear dimensionality reduction. *Science*, 290:2319-22, 2002.
[123] M. Tipping and C. Bishop. Probabilistic principal component analysis. *J R Stat Soc B*, 6:611-22, 1999.

[124] P. Tuppin, S. Rivière, A. Rigault, et al. Prevalence and economic burden of cardiovascular diseases in france in 2013 according to the national health insurance scheme database. *Arch Cardiovasc Dis*, 109:399-411, 2016.

[125] J. Valencia-Aguirre, A. Álvarez Meza, G. Daza-Santacoloma, et al. Multiple manifold learning by nonlinear dimensionality reduction. *Proc. CIARP, LNCS*, 7042:206-13, 2011.

[126] L. van der Maaten and G. Hinton. Visualizing high-dimensional data using t-SNE. *J Mach Learn Res*, 9:2579-605, 2008.

[127] J. Voigt, G. Pedrizzetti, P. Lysyansky, et al. Definitions for a common standard for 2d speckle tracking echocardiography: consensus document of the eacvi/ase/industry task force to standardize deformation imaging. *Eur Heart J Cardiovasc Imaging*, 16:1-11, 2015.

[128] B. Wang, J. Jiang, W. Wang, et al. Unsupervised metric fusion by cross diffusion. *Proc. CVPR*, pages 2997-3004, 2012.

[129] B. Wang, A. Mezlini, F. Demir, et al. Similarity network fusion for aggregating data types on a genomic scale. *Nat Methods*, 11:333-7, 2014.

[130] J. Wenger, G. Pleiss, P. Hennig, et al. Preconditioning for scalable Gaussian process hyperparameter optimization. *Proceedings ICML*, 162:23751-780, 2022.

[131] W. Wince, P. Suranyi, and U. Schoepf. Contemporary cardiovascular imaging methods for the assessment of at-risk myocardium. *J Am Heart Assoc*, 3:e000473, 2013.

[132] R. Wolz, P. Aljabar, J. Hajnal, et al. Nonlinear dimensionality reduction combining MR imaging with non-imaging information. *Med Image Anal*, 16:819-30, 2012.

[133] S. Yan, D. Xu, B. Zhang, et al. Graph embedding and extensions: a general framework for dimensionality reduction. *IEEE Trans Pattern Anal Mach Intell*, 29:40-51, 2007.

[134] A. Young and A. Frangi. Computational cardiac atlases: from patient to population and back. *Experimental Physiology*, 94:578-96, 2009.

[135] P. Zhou, Y. Shen, L. Du, et al. Incremental multi-view spectral clustering. *Knowl Based Syst*, 174:73-86, 2019.

[136] A. Østvik, I. Salte, E. Smistad, et al. Myocardial function imaging in echocardiography using deep learning. *IEEE Trans Med Imaging*, 40:1340-51, 2021.