dévlopiement.

Dans le cadre de la thèse de Kamrul Islam [Islam, 2022], nous avons proposé un framework
distribué basé sur la plateforme Ray pour les approches géométriques de KGE. Le framework
proposé utilise le stockage distribué, l'apprentissage distribué et les mécanismes de partage de
gradient Ring-Allreduce. Dans l'ensemble, le nœud principal (maître) crée plusieurs partitions
d'un KG et envoie chaque partition à chaque worker. Chaque worker génère ensuite des exemples
négatifs en utilisant notre méthode d'échantillonnage négatif simple SNS [Islam et al., 2022] et
calcule le gradient pour un lot d'exemples positifs et négatifs. Chaque worker partage son gradient
avec d'autres workers par le mécanisme Ring-AllReduce et les gradients sont ensuite agrégés
dans chaque worker pour mettre à jour ses plongements. Comme tous les workers contiennent
des plongements d'entités et de relations, le modèle formé est évalué sur un worker sélectionné au
hasard. Notre framework distribué proposé est basé sur une architecture All-Reduce où toutes les
machines fonctionnent (pour l'apprentissage des plongements) en tant que workers contrairement
à l'architecture maître-esclave où le maître gère les ressources et seuls les workers apprennent les
plongements.

Dans ce chapitre, je présente principalement le framework proposé pour l'apprentissage de
plongements dans des graphes de connaissances distribués. Je détaillerai en particulier le modèle
distribué d'apprentissage des plongements.

5.2 Une approche distribuée de KGE

L'architecture de notre framework est illustrée dans la Figure 5.1.

Notre framework se compose de deux composants : un nœud/machine principale et quelques
machines workers. Le nœud principal est un nœud spécial qui a quelques tâches spéciales comme
un maître dans une architecture maître-esclave. Le nœud principal est chargé de récupérer le KG
et de le partitionner en petites partitions. Le nœud principal initie également les communications
entre tous les nœuds de calcul, envoie une partition à chaque nœud de calcul et conserve une
partition pour lui-même. À la fin du processus d'apprentissage, le nœud principal est également
chargé de renvoyer les plongements appris. Pendant la phase d'apprentissage, le nœud principal
agit également comme un nœud de travail (ou worker). Chaque worker reçoit une partition du
<figure><img src="image_19.png" /><figcaption>FIGURE 5.1 – Architecture du framework distribué pour l’apprentissage de plongements. [Islam, 2022]</figcaption></figure>

KG et est responsable du calcul des gradients et de l’apprentissage des plongements des entités et relations du KG. Chaque worker contient un sous-composant AllReduce pour recevoir les gradients des autres workers et pour calculer ses gradients finaux.

Décrivons maintenant plus en détail les principales étapes du système distribué à savoir : (1) l'établissement d'un réseau de communication, (2) le partitionnement du KG, et (3) l'entrainement du modèle de plongement.

### 5.2.1 Établissement d'un réseau de communication

Notre framework commence par établir un réseau de communication entre toutes les machines/workers dans un environnement distribué. Soit *N* le nombre total de machines. Deux
architectures populaires de réseaux de communication sont examinées :

1. Architecture du serveur de paramètres partagés : dans cette architecture, $N - 1$ machines (workers) sont utilisées pour l'apprentissage sur $N - 1$ partitions de données et une machine est utilisée comme serveur de paramètres. Les données sur le serveur de paramètres sont partagées entre tous les workers. La disposition des machines dans le réseau pourrait être imaginée comme une topologie en étoile où la machine serveur de paramètres reste au centre et tous les workers sont aux extrémités. Les nœuds de calcul utilisent leurs partitions de données pour calculer les pertes et les gradients, et envoient leurs gradients au serveur de paramètres pour stocker et mettre à jour les paramètres des modèles d'apprentissage automatique [Li et al., 2014].

2. Architecture AllReduce : dans cette architecture, chaque machine fonctionne comme un nœud de calcul et stocke tous les paramètres pouvant être entraînés [Bruck and Ho, 1993, Thakur et al., 2005]. Tous les workers calculent les pertes et les gradients en fonction de leurs partitions de données et partagent leurs gradients avec tous les workers via un composant spécial appelé AllReduce dans chaque worker. Tous les workers agrègent tous les gradients et ils ont les mêmes gradients. Contrairement au serveur de paramètres partagés, AllReduce a N workers pour N machines dans les systèmes distribués.

L'avantage d'une meilleure utilisation des ressources de l'architecture AllReduce par rapport à l'architecture du serveur de paramètres nous motive à concevoir le réseau de communication basé sur une architecture AllReduce. Pour le cas AllReduce, deux architectures bien connues sont Tree-AllReduce et Ring-AllReduce. Dans l'architecture Tree-AllReduce, chaque worker communique avec ses workers gauche et droit [Yang and Amazon, 2018]. Dans l'architecture Ring-AllReduce, les nœuds workers sont organisés en anneau où chaque worker communique avec son nœud précédent [Sergeev and Del Balso, 2018].

## 5.2.2 Partitionnement du KG

Le processus d'apprentissage commence avec le nœud principal récupérant les triplets du graphe d'entrée. Bien qu'il existe de nombreux algorithmes pour partitionner des graphes simples, MCS [Zhong et al., 2018] est le seul algorithme de partitionnement de graphes de connaissances
dans la littérature à notre connaissance. Comme le code source de cet algorithme n'est pas accessible au public, nous implémentons un algorithme de partitionnement aléatoire de graphes. Dans le partitionnement aléatoire, nous divisons aléatoirement les triplets du KG en un nombre de partitions où chaque sous-graphe a un nombre presque égal de triplets. Le nœud principal produit N partitions d'un KG pour N nœuds ($N - 1$ workers et 1 nœud principal) dans notre environnement distribué.

<caption>**Algorithm 6 The head node**</caption>

Input: A knowledge graph (KG), number of workers ($N$), embedding method (KGE), Random partitioner (KG_Splitter), total number of epochs ($T$), number of batches ($B$), embedding optimizer (Optimizer), simple negative sampling (SNS)
/* Partition the KG using a KG partitioning method. */
41 Partitions[1:N] ← KG_Splitter(KG,N) Workers ← ∅ /* Create a temporary KGE model */
42 model_tmp ← KGE(KG) model_tmp.embeddings ← initialize embeddings() foreach Part$_{KG}$ ∈ Partitions[2:N] do
43 | /* Initialize a worker */
| worker ← ∅ worker.triples ← Part$_{KG}$.triples worker.model ← model_tmp
| worker.negative sampler ← SNS Workers.insert worker)
/* Transform the head node to a normal worker */
44 worker ← head_node worker.triples ← Partitions[1].triples worker.model ← model_tmp
| worker.negative sampler ← SNS Workers.insert worker) /* Send signal to Ray
45 platform to start training of all workers */
Signal_paralleltraining(Workers)

### 5.2.3 Entraînement du modèle de plongement

Après le partitionnement du graphe, le nœud principal instancie un modèle de plongement en initialisant les plongements d'entités et de relations de manière aléatoire à partir de distributions uniformes/gaussiennes [Wang et al., 2017]. Notre framework permet d'entraîner des modèles géométriques de KGE tels que TransE [Bordes et al., 2013], TransH [Wang et al., 2014], TransD [Ji et al., 2015], DistMult [Yang et al., 2015], Com-pleX [Trouillon et al., 2016] et RotationE [Sun et al., 2018]. Le nœud principal envoie des copies de ce modèle à d'autres $N - 1$ workers. Le nœud principal envoie un signal au backend Ray pour démarrer l'apprentissage parallèle. En même temps, il se transforme en worker normal. Les étapes de travail dans le nœud principal sont écrites dans l'Algorithme 6. Par conséquent, tous les $N$ workers de notre framework ont les mêmes plongements pour toutes les entités et relations.
Chaque worker suit le même processus d'apprentissage de plongement qui est similaire dans une certaine mesure à un modèle de plongement centralisé. Chaque worker traite ses triplets en mode batch, c'est-à-dire, il crée un nombre fixe de lots de triplets. Chaque worker suit ensuite les étapes d'apprentissage suivantes pendant $T$ fois (époques) pour mettre à jour son modèle de plongement.

## Calcul du gradient

La machine worker récupère un lot de triplets positifs $S_m$ de taille $m$ à partir de sa partition et génère un lot correspondant de triplets négatifs $S'_m$ en utilisant une méthode d'échantillonnage de triplets négatifs. Nous utilisons notre méthode SNS pour générer des triplets négatifs de haute qualité où seul l'ensemble d'entités de la partition actuelle est utilisé pour générer l'ensemble candidat. Les lots de triplets positifs et négatifs sont ensuite utilisés pour former le modèle de plongement. Nous considérons la stratégie d'apprentissage par paires où l'objectif est d'optimiser les plongements d'entités et de relations en minimisant la perte totale par paires ($L$) pour le lot tel que défini dans la Section 3.2, équations 3.1 et 3.2.

## Agrégation des gradients et mise à jour des plongements

Après avoir calculé les gradients, le composant `AllReduce` de chaque worker partage les gradients de son modèle avec les autres workers. Après le partage des gradients, chaque worker aura des copies des gradients de tous les autres workers. Le worker agrège ces gradients en les additionnant simplement. La Figure 5.2 illustre un exemple de partage de gradients entre trois workers où chaque worker contient trois gradients.

Chaque machine worker met à jour son modèle en fonction de ses gradients agrégés. Notez que les modèles appris dans tous les workers ont les mêmes plongements car tous les workers utilisent les mêmes gradients pour les mettre à jour.

Chaque machine worker répète l'étape d'apprentissage de plongements décrite ci-dessus pour tous les lots et pour toutes les époques. L'algorithme 7 résume toutes les étapes d'une machine worker. Comme tous les workers ont le même modèle appris, notre framework sélectionne le modèle de plongement du nœud principal comme modèle de sortie. Le modèle appris est utilisé dans la tâche de prédiction de liens.
<figure><img src="image_20.png" /><figcaption>FIGURE 5.2 – Illustration du mécanisme d'agrégation de gradient Ring-AllReduce pour une entité/relation spécifique dans un espace latent tridimensionnel. (a) Chaque worker $i$ calcule le vecteur gradient $v_0^i, v_1^i, v_2^i$ pour l'entité/relation. (b) Chaque worker partage ses gradients avec d'autres workers et agrève tous les gradients. [Islam, 2022]</figcaption></figure>

## 5.3 Résultats

Pour tester notre framework distribué, nous avons utilisé Grid 5000 [Balouek et al., 2013], un ensemble de machines de calcul haute performance pour le développement d'applications distribuées à grande échelle. Toutes les expériences sont réalisées sur des clusters avec des GPU Nvidia GeForce RTX 2080 Ti (11 Go). Pour les expériences centralisées, nous n'utilisons qu'un seul GPU sans le framework Ray.

Pour comparer notre framework distribué avec une solution centralisée, nous exécutons la solution centralisée pour 500 époques pour tous les ensembles de données de test. Dans notre framework distribué, nous choisissons 2,4,6,8,10 comme nombre de workers. Nous avons défini un nombre d'époques égale à 500, un nombre de lots égale à 120 pour les jeux de données FB15K et à 250 pour les jeux de données YAGO3-10. En ce qui concerne l'optimiseur, nous utilisons
**Algorithm 7 Worker computation**

**Input:** A worker (worker), number of epochs (*T*), number of batches (*B*), an embedding optimizer (Optimizer)

**Output:** Trained embedding model (KGE<sub>trained</sub>)

/* Initialize the SNS method using information for the local partition. */

46 worker.SNS.initialize() **foreach** epoch ∈ {1, 2, 3, ..., *T*} **do**

47 **foreach** batch ∈ {1, 2, 3, ..., *B*} **do**

48   gradient ← ∅ /* Sample a batch of positive and negative triples. */

49   Triples.positive ← ExtractSamples worker.triples, batch) Triples.negative ←
   worker.SNS.sample_n negative (Triples.positive) /* Compute total loss for the
   batch of triples */

50   Loss<sub>batch</sub> ← Total_pairwise_loss (Triples.positive, Triples.positive) gradients<sub>batch</sub>
   ← Optimizer (Loss<sub>batch</sub>, worker.model Positive embeddings) Gradients ← ∅ /* Use
   All_Reduce to share and collect gradients from all workers for the
   current batch */

51 **foreach** wrkr ∈ Workers **do**

52   gradient<sub>wrkr</sub> ← worker.AllReduce.getGradients(batch, wrkr)
   Gradients.insert(gradient<sub>wrkr</sub>)

53   /* Aggregate all collected gradients to update embeddings in the local
   embedding model */

54   gradient ← AllReduce.aggregateGradients(Gradients)
   worker model.updateEmbeddings (gradients)

54 KGE<sub>trained</sub> ← worker model

l'optimiseur Adam et nous fixons le taux d'apprentissage à 0,001 et la marge à 4,0.

La Figure 5.3 illustre les métriques de prédiction et le temps de calcul par époque pour l'ensemble de données FB15K. Les méthodes TransE et DistMult affichent des valeurs des mesures de performances très proches pour tous les nombres de workers. La solution d'apprentissage centralisée (worker = 1) pour FB15K montre les valeurs suivantes des métriques de performances : MRR ≈ 0.5, Hit@10 ≈ 0.7, Hit@3 ≈ 0.55, Hit@1 ≈ 0.35 (voir figures 5.3(a) et 5.3(b)). Pour l'apprentissage distribué (workers ≥ 2), les résultats montrent une légère diminution des métriques de performances de prédiction de liens. Cela n'est pas observé avec le plus grand jeu de données YAGO3-10 pour lequel nous voyons que les mesures de performances dans l'apprentissage distribué restent proches de l'apprentissage centralisé. Cela peut être imputé à la différence de taille des jeux de données. Par exemple, YAGO3-10 fait presque le double de taille par rapport à FB15K. En conséquence, la taille de chaque partition est encore suffisamment élevée pour que l'ensemble de données YAGO3-10 apprenne de bons plongements.

La Figure 5.4 illustre le temps de calcul de notre framework distribué par époque pour
<figure><img src="image_21.png" /><figcaption>FIGURE 5.3 – Métriques de performance de prédiction de liens pour les jeux de données FB15K et YAGO pour différents nombres de workers. [Islam, 2022]</figcaption></figure>

différents nombres de workers. On voit clairement que plus le nombre de workers augmente, plus le temps de calcul diminue.

Pour démontrer le grain en temps de calcul, nous présentons les résultats en termes de temps d'exécution dans la Figure 5.5. Nous voyons que le temps d'exécution augmente linéairement pour les modèles de KGE. Nous trouvons le meilleur temps d'exécution pour le modèle TransE sur le jeu de données FB15K. Bien que les métriques de temps d'exécution du modèle *DistMult*
<figure><img src="image_22.png" /><figcaption>FIGURE 5.4 – Temps de calcul par époque sur les ensembles de données FB15K et YAGO3-10 pour un nombre différent de workers. [Islam, 2022]</figcaption></figure>

<figure><img src="image_23.png" /><figcaption>FIGURE 5.5 – Accélération de l’apprentissage distribué de deux modèles de plongement sur les ensembles de données. Les chiffres sur chaque ligne indiquent les mesures d’accélération. [Islam, 2022]</figcaption></figure>

sur le plus grand jeu de données YAGO3-10 soient inférieures à celles du jeu de données FB15K, la métrique de vitesse continue d’augmenter de manière linéaire. Les figures 5.3,5.4 et 5.5 démontrent l’évolutivité de notre framework distribué pour apprendre un modèle géométrique de KGE pour les KG à grande échelle, avec un bon équilibre entre perte de performances et gain de temps.

## 5.4 Discussion et conclusions

Dans ce chapitre, nous avons présenté notre framework distribué pour le plongement dans des grands graphes de connaissances. Notre framework distribué se distingue des autres frameworks sur quatre points majeurs. Premièrement, dans la littérature et à notre connaissance, la seule tentative d’utilisation de Ray pour le plongement distribuée de KG a été faite par Sheikh et al. [Sheikh et al., 2022b] qui prend en charge l’apprentissage distribué de méthodes de plongement basée sur les réseaux de neurones en graphes (GNN). Nous sommes les premiers à utiliser
Ray pour l'apprentissage distribué des approches géométriques de KGE. Deuxièmement, notre framework implémente une méthode SNS qui montre ses performances, alors que tous les autres frameworks utilisent la méthode random-uniform ou l'une de ses variantes pour générer des exemples négatifs. Troisièmement, notre framework utilise l'architecture Ring-AllReduce pour le partage des gradients et la mise à jour des plongements, tandis que le nœud principal collecte les gradients des workers et met à jour le plongement dans la plupart des frameworks existants. Enfin, les frameworks existants utilisent des méthodes de partitionnement de graphes complexes alors que notre framework utilise une méthode de partitionnement aléatoire simple et rapide des graphes de connaissances.
Troisième partie

Projet de recherche scientifique
<figure><img src="image_24.png" /></figure>
# Chapitre 6

## Projet de recherche scientifique

L'ensemble des travaux que j'ai présentés dans ce mémoire d'HDR m'a mené à soulever de nombreuses questions d'avenir dans la continuité de mes travaux. Ainsi, mes perspectives de recherche dans les prochaines années visent à approfondir l'étude des méthodes d'intelligence artificielle et de calcul distribué, et à les appliquer pour contribuer à la résolution de problèmes biologiques. Plus spécifiquement, je vais me concentrer sur les problématiques suivantes :

1. Méthodes incrémentales d'analyse de graphes dynamiques et leur application à la biologie structurale;

2. KGE et apprentissage profond à grande échelle pour le repositionnement de médicaments;

3. Techniques d'apprentissage artificiel avancées pour l'annotation de la fonction des protéines;

Ces perspectives de recherche sont motivées par ma volonté de contribution à l'avancement des connaissances dans le domaine de la biologie, tout en exploitant le potentiel de l'intelligence artificielle d'aujourd'hui et du calcul distribué pour résoudre des problèmes complexes et ouvrir de nouvelles voies peu explorées.
## 6.1 Méthodes incrémentales d'analyse de graphes dynamiques et application à la biologie structurale

La biologie structurale est une branche de la biologie moléculaire, de la biochimie et de la biophysique qui s'intéresse à la structure moléculaire des macromolécules biologiques, en particulier les protéines et les acides nucléiques, à la manière dont elles acquièrent les structures qu'elles possèdent et à la manière dont les altérations de leurs structures affectent leur fonction. Ce sujet montre un grand intérêt pour les biologistes, car les macromolécules assurent la plupart des fonctions des cellules, et parce que ce n'est qu'en s'enroulant dans des formes tridimensionnelles spécifiques qu'elles sont capables de remplir ces fonctions [Yang et al., 2022]. La dynamique moléculaire est l'une des techniques les plus utilisées en biologie structurale pour simuler l'évolution (changements conformationnels) de la structure de la protéine au cours du temps. Elle permet de modéliser la trajectoire des particules à partir des forces qui s'exercent entre elles, en utilisant les lois de la physique. En d'autres termes, elle permet de simuler le mouvement des molécules dans un système à l'échelle atomique ou moléculaire, ce qui permet d'étudier les propriétés et le comportement de la matière à un niveau nanométrique. Dans ce contexte, je m'intéresserai, en collaboration avec mes collègues de l'équipe Capsid, à proposer des méthodes à base de graphes pour résoudre certains problèmes en biologie structurale. Un axe de recherche nouveau et important consiste à prédire les sites allostériques dans des protéines importantes [Wu et al., 2022] [Zhu et al., 2022b] [Arantes et al., 2022]. La prédiction des sites allostériques consiste à identifier les régions d'une protéine qui peuvent se lier à des molécules régulatrices, appelées modulateurs allostériques, et qui peuvent ainsi moduler l'activité de la protéine. Ces régions sont souvent situées à distance du site actif de la protéine et peuvent être difficiles à identifier expérimentalement. La dynamique moléculaire est l'une des méthodes utilisées pour prédire ces sites allostériques en simulant le comportement des atomes et des molécules dans la protéine. En utilisant nos approches d'analyse de graphes dynamiques décrites dans les sections 4.3 et 4.4 ainsi que des méthodes de réseaux de neurones en graphes (GNN), je compte analyser les mouvements de la protéine à l'échelle moléculaire et identifier les régions qui sont les plus susceptibles de se lier à des molécules régulatrices. Ces prédictions peuvent ensuite être utilisées pour concevoir de nouveaux médicaments ou pour mieux comprendre les mécanismes de régula-
tion des protéines [Meller et al., 2023].

Un deuxième axe de recherche consiste à modéliser des complexes protéiques, une associa-
tion de deux ou plusieurs protéines qui interagissent de manière spécifique pour former une
structure stable et fonctionnelle, à partir de réseaux PPI dynamiques [Zhang et al., 2016]
[Rani et al., 2019]. En effet, ces réseaux PPI sont souvent très complexes et contiennent de nom-
breuses interactions entre différentes protéines. Elles sont aussi dynamiques et leur nature est sou-
vent hautement dynamique et réactive. Les interactions entre les protéines peuvent être influen-
cées par divers facteurs tels que l'environnement cellulaire, les modifications post-traductionnelles
des protéines, les changements conformationnels, etc. Le défi ici est de pouvoir adapter nos mé-
thodes de clustering dynamique à grande échelle [Inoubli et al., 2022] pour prédire les complexes
protéiques et de mettre à jour ces complexes en fonction des changements structurels du réseau
PPI. D'autres types de méthodes incrémentales d'analyse de graphes peuvent être développées
pour analyser et interpréter les réseaux d'interactions protéine-protéine dans la cellule et leur
 évolution en réponse à une perturbation ou un traitement.

Un dernier axe de recherche consiste à utiliser des méthodes d'analyse de graphes dynamiques pour l'analyse des réseaux d'interactions microbiennes. L'objectif principal est d'utiliser des approches avancées d'apprentissage automatique ainsi que des méthodes à base de graphes afin de prédire la diversité à long terme de l'écosystème microbiologique. En particulier, je viserai à proposer des approches permettant de déduire la diversité directement à partir des propriétés statistics et internes du graphe d'interaction dans lequel les entités sont impliquées. Les approches proposées pourraient être utilisées non seulement pour concevoir des écosystèmes microbiens, mais également pour empêcher le développement d'une souche pathogène dans un écosystème microbien. Les travaux de la thèse de Mohammed Khatbane démarrée en Octobre 2023, en collaboration avec le Laboratoire d'Ingénierie des Biomolécules (LIBio) à Nancy s'inscrivent dans cet axe de recherche.
## 6.2 KGE et apprentissage profond à grande échelle pour le repositionnement de médicaments

### 6.2.1 Plongement multivues pour le repositionnement de médicaments

Le plongement multivues a été appliqué avec succès au domaine de la vision par ordinateur où plusieurs vues d'un objet image sont définies pour apprendre un seul plongement de l'objet [Cao et al., 2017, Zhu et al., 2018, Li et al., 2022]. Un plongement multivues consiste en trois étapes principales :

1. identifier plusieurs vues de l'objet;

2. intégrer l'apprentissage dans chaque vue;

3. combiner les plongements spécifiques à la vue [Li et al., 2018b].

Le plongement multivues pour le repositionnement de médicaments est une approche utilisée dans le domaine de la découverte de médicaments. Elle vise à prédire les interactions médicament-cible en exploitant des informations à partir de multiples vues ou sources de données. Traditionnellement, la découverte de médicaments implique l'identification de nouvelles molécules qui interagissent de manière spécifique avec une cible biologique donnée, telle qu'une protéine associée à une maladie. Cependant, cette approche peut être coûteuse et prendre beaucoup de temps. Le plongement multivues cherche à résoudre ce problème en utilisant différentes sources d'informations, telles que les données génomiques, les données d'expression génique, les données chimiques et les données de structure protéique. Ces différentes vues fournissent une représentation multidimensionnelle des médicaments et des cibles, ce qui permet d'explorer et d'exploiter les relations complexes entre eux. L'idée principale derrière le plongement multivues est de projeter les médicaments et les cibles dans un espace vectoriel commun, où les similitudes et les relations peuvent être capturées. Cela peut être réalisé en utilisant des techniques d'apprentissage automatique telles que les réseaux de neurones ou les méthodes d'apprentissage par projection. Une fois que les médicaments et les cibles sont représentés dans cet espace commun, il est possible d'utiliser des algorithmes de prédiction de lien pour identifier de nouvelles interactions potentielles et utiles.

En outre, les KG biologiques disponibles contiennent des entités biologiques et différentes
relations entre elles, principalement des interactions entre les biomolécules et leurs fonctions. Ce pendant, ces KG manquent d'informations structurelles sur les protéines et les composés, tels que les domaines protéiques et les structures chimiques. Une piste de recherche intéressante consiste à inclure des informations structurelles dans ces KG biologiques en plus des informations d'interaction et de fonction pour apprendre de meilleures représentations grâce au plongement multivues. Par conséquent, trois vues pourraient être définies, à savoir la vue structurelle, la vue d'interaction et la vue fonctionnelle. Une méthode de KGE multivues pourrait alors être conçue pour apprendre des plongements de haute qualité dans le contexte d'une tâche de repositionnement de médicaments.

### 6.2.2 Transférabilité des modèles de KGE

Un paradigme prometteur d'apprentissage automatique efficace est l'apprentissage par transfert, qui se concentre sur le transfert des connaissances acquises dans plusieurs domaines. L'idée générale de l'apprentissage par transfert est d'apprendre un modèle dans un domaine (domaine source) pour une tâche spécifique et de le réutiliser pour des tâches similaires dans des domaines similaires (domaines cibles) afin d'améliorer les performances dans les domaines cibles [Pan and Yang, 2009, Zhuang et al., 2020]. Le paradigme de l'apprentissage par transfert a été étudié et appliqué aux domaines du traitement de l'image et du langage avec des bonnes performances [Liu et al., 2019, Azizpour et al., 2015]. Récemment, peu de chercheurs étudient également la transférabilité ou l'utilisation de modèles pré-entraînés dans des graphes simples [Levie et al., 2021, Qiu et al., 2020, Hu et al., 2019]. L'étude de l'apprentissage par transfert pour les méthodes de KGE pourrait être pertinente dans les KG pour améliorer les performances de prédiction de lien, là où les méthodes de plongement ne fournissent pas de performances satisfaisantes. Dans ce contexte, plusieurs approches d'apprentissage par transfert pour les méthodes de KGE peuvent être utilisées :

- Transfert horizontal (ou intra-tâches) : Cette approche consiste à transférer des connaissances d'une tâche source vers une tâche cible similaire. Par exemple, pour un graphe de connaissances dans un domaine spécifique, il est possible d'entraîner un modèle KGE sur ce graphe, puis transférer les embeddings appris vers un autre graphe de connaissances similaire.
— Transfert vertical (ou inter-tâches) : Le transfert vertical implique de transférer des connaissances d'une tâche source vers une tâche cible qui peut être différente, mais qui partage des similitudes. Par exemple, le transfert de connaissances aprises dans un modèle KGE d'un graphe de connaissances biomédicales vers un graphe de connaissances dans un autre domaine, comme la finance.

— Transfert multi-tâches : Cette approche consiste à entraîner un modèle KGE sur plusieurs tâches sources pour améliorer les performances sur une tâche cible. Par exemple, vous pourriez entraîner un modèle sur plusieurs graphes de connaissances dans des domaines différents, puis utiliser ces embeddings partagés pour améliorer la représentation des entités et des relations dans un nouveau graphe de connaissances.

— Adaptation de domaine (Domain Adaptation) : L'adaptation de domaine vise à adapter les plongements de KG d'un domaine source à un domaine cible qui peut être différent en utilisant des techniques d'adaptation de domaine.

— Ensemble de modèles KGE : il est possible également de combiner les sorties de plusieurs modèles KGE entraînés sur des tâches sources pour améliorer les performances dans la tâche cible. Cette approche peut être particulièrement efficace lorsque les modèles sources sont complémentaires.

### 6.2.3 Partitionnement intelligent de grands KGs

L'étape de partitionnement d'un KG est une étape importante dans le contexte d'approches distribuées de KGE [Islam et al., 2022]. Il existe quelques méthodes simples de partitionnement de grands graphes dans la littérature, telles que ParMETIS [Karypis and Kumar, 1998c] et KAHIP [Sanders and Schulz, 2011]. Ces méthodes ne peuvent pas être adaptées au partitionnement des graphes de connaissances en raison de trois difficultées majeures. Premièrement, les KG ont des relations nommées entre des paires d'entités. Il est important de prendre en compte les noms de relation lors du partitionnement des KG. Ainsi, ignorer les noms de relation peut entraîner un déséquilibre du nombre de triplets entre différentes partitions pour une certaine relation. Deuxièmement, les KG permettent de multiples relations dirigées entre les paires d'entités. Il est important d'équilibrer les différentes partitions du point de vue du nombre de relations et d'entités et de la connectivité des graphes. Troisièmement, la plupart des KG du monde réel sont
de taille énorme et une seule machine peut ne pas suffire à stocker l'ensemble du KG pendant
la tâche de partitionnement. À notre humble connaissance, "Message Cluster and Streaming
(MCS)" est la seule méthode pour créer des partitions de KG basées sur le clustering du KG. Ce-
pendant, cette méthode néglige toujours la présence de différents noms de relation dans les KG.
Par conséquent, le développement d'une méthode de partitionnement de KG est une perspective
urgente et potentielle de mes travaux de recherche. Pour cela, je propose d'étudier la possibilité
de faire un partitionnement relationnel des triplets ou d'utiliser des ontologies de domaine pour
partitionner le KG.

### 6.2.4 Explicabilité des modèles d'apprentissage profond sur les graphes

L'explicabilité est un aspect important en intelligence artificielle, surtout lorsqu'il s'agit d'al-
gorithmes de réseaux de neurones ou d'apprentissage profond, et en particulier dans le domaine
médical. Les architectures d'apprentissage profond produisent des modèles puissants pour de
nombreuses tâches et pour plusieurs types de données (séquences, graphes, textes), mais ils sont
complexes et difficiles à interpréter [Lisboa et al., 2023]. Par conséquent, il est essentiel de pouvoir
expliquer les prédictions et les recommandations de ces modèles pour garantir la transparence et
la fiabilité des résultats obtenus. Plusieurs méthodes et approches ont été déjà proposées dans
la littérature telle que les méthodes basées sur le mécanisme d'attention, la visualisation, etc.
Ces approches sont adoptées aussi pour plusieurs types de données (images, données tabulaires,
textes). Dans ce sens, je mettrai l'accent sur l'explicabilité dans les GNNs et les autres algorithmes
d'apprentissage profond. De fait, les méthodes d'explicabilté les plus populaires comme LIME
[Ribeiro et al., 2016] et SHAP [Lundberg and Lee, 2017] ne traitent que les modèles entraînés sur
des images, textes ou données tabulaires et ne traitent pas les GNNs. En outre, L'explicabilité
des GNNs attire l'attention d'une large communauté de recherche et quelques algorithmes ont
été proposés tels que PGExplainer [Luo et al., 2020], GNNExplainer [Ying et al., 2019] et Gra-
phMask [Schlichtkrull et al., 2022]. Ces algorithmes sont des approches d'explication intrinsèque
et donnent des explications généralement de type visualisation. Dans le contexte de cette piste
de recherche, j'étudierai comment proposer une méthode d'explicabilité des graphes agnostiques
basée sur les règles. En outre, cet axe me permet de renforcer mon équipe de recherche sur le côté
explicabilité surtout en lien avec l'application de l'intelligence artificielle dans le domaine de la
santé, qui nécessite généralement des modèles prédictifs explicables vu la sensibilité de données
dans ce domaine.

6.3 Techniques d'apprentissage artificiel avancées pour l'annota-
tion de la fonction des protéines

Nos contributions à la recherche dans le domaine de l'annotation automatique des fonctions
des protéines consistent principalement à développer des approches computationnelles pour l'an-
notation fonctionnelle des protéines. Des recherches antérieures ont exploré divers attributs pro-
téiques tels que des séquences, des structures, des domaines, des réseaux d'interaction protéine-
protéine, des propriétés physico-chimiques, ainsi que diverses approches informatiques tels que
l'extraction de règles d'association, l'apprentissage automatique, l'apprentissage profond, le traï-
tement automatique du langage naturel, l'apprentissage des représentations, l'analyse de réseau,
etc. Les contributions présentées dans ce document sont basées sur la structure de graphe. Les
résultats expérimentaux montrent une forte association des domaines protéiques et des fonctions,
notamment en cas de l'annotation avec des numéros EC (voir Section 1.3).

Dans le chapitre 2.3.3, nous avons présenté nos contributions fondées sur des graphes qui
explorent le réseau de protéines pour inférer des annotations fonctionnelles. Au lieu d'un réseau
d'interaction protéine-protéine (PPI), le réseau est construit sur une similarité de domaine où
les nœuds sont des protéines et les arêtes représentent la similarité dans la composition en do-
maines des protéines. Une analyse expérimentale approfondie montre des résultats prometteurs.
Les résultats de GrAPFI et de GrAPFI-GO sont facilement explicables car elles emploient une
fonction de score interprétable. Néanmoins, les approches proposées ont certaines limites. Il existe
de nombreuses séquences protéiques courtes en termes de nombre d'acides aminés qui les com-
posent pour lesquelles les domaines ne sont pas disponibles. Dans de tels cas, nos contributions
sont limitées pour trouver une annotation, car les protéines ne peuvent pas être liées au graphe de
protéines sous-jacent. L'un des inconvénients des approches GrAPFI et GrAPFI-GO est qu'elles
fonctionnent seulement sur des domaines protéiques. Cependant, il existe de nombreux autres
attributs tels que la voie métabolique, le génotype, le phénotype et le taxon qui pourraient incor-
porer des informations importantes dans le processus. De plus, les relations hiérarchiques entre
les attributs représentés sous forme d'ontologie peuvent constituer un ajout significatif au pro-
cessus. Dans la Section 2.4, nous avons discuté l'utilisation des graphes de connaissances pour
intégrer diverses sources de données et de les utiliser pour l'annotation des protéines. Dans ce
contexte, nous avons commencé à examiner et explorer de nouvelles pistes de recherche com-
binant des techniques d'apprentissage artificiel avancées avec des graphes de protéines ou des
graphes de connaissances biologiques dédiés à la tâche d'annotation fonctionnelle de protéines.
Dans un premier travail exploratoire, nous avons généré un graphe de connaissances biologique
dédié à cette tâche d'annotation fonctionnelle de protéines et nous avons défini une méthode ba-
sée sur les réseaux antagonistes génératifs (GAN) pour la prédiction des annotations de type GO.
En suivant les terminologies du GAN, nous formons d'abord un discriminateur en utilisant un
échantillonnage négatif adaptatif au domaine pour discriminer les triplets positifs et négatifs, puis
nous formons un générateur pour guider une marche aléatoire dans le graphe de connaissances
qui identifie les chemins entre les protéines et les annotations GO [Sarker et al., 2021].

Le deuxième travail exploratoire consiste à proposer un nouveau modèle d'apprentissage
profond semi-supervisé qui vise à apprendre de meilleures représentations latentes pour chaque
protéine/nœud en prenant en compte les informations de voisinage afin d'améliorer l'annotation.
Tout d'abord, nous extrayons un ensemble de caractéristiques à partir de données de protéines
brutes. Chaque protéine est associée à un vecteur caractéristique 1-D qui représente sa composi-
tion en domaines InterPro. Comme le nombre de domaines InterPro possibles est très élevé, nous
avons conçu un modèle d'auto-encodeur profond (DAE) qui cherche à trouver une représentation
efficace de la composition en domaines des protéines dans un espace latent de dimension infé-
rieure. Ensuite, nous avons construit un graphe de protéines où chaque nœud est une protéine
associée à son vecteur de représentation latente et chaque arête est pondérée par la distance eucli-
dienne entre les deux nœuds qu'elle relie. Enfin, nous avons formé un réseau neuronal de graphe
semi-supervisé (SGNN) pour l'annotation automatique de la fonction des protéines à l'aide du
graphe de protéines construit [Sellami et al., 2022]. Le modèle a été testé sur quatre protéomes
de référence dans UniProtKB/SwissProt, à savoir Human, Arabidopsis Thaliana, Souris et Rat.
Les résultats expérimentaux montrent que le modèle proposé est compétitif pour l'annotation
fonctionnelle des protéines par rapport aux méthodes existantes

Nous allons continuer nos réflexions sur l'utilisation de techniques avancées d'apprentissage
artificiel en essayant d'enrichir le modèle SGNN par l'intégration de nouvelles caractéristiques afin d'optimiser l'annotation fonctionnelle de protéines. Une piste prometteuse pour améliorer l'annotation fonctionnelle des protéines consiste à intégrer des informations sur leur structure tridimensionnelle dans les graphes multivues [Yan et al., 2021b]. Les graphes multivues peuvent être utilisés pour intégrer des informations sur la structure tridimensionnelle des protéines dans le modèle SGNN afin d'optimiser l'annotation fonctionnelle des protéines. Les informations structurales telles que la forme de la protéine et la position des résidus peuvent fournir des indices cruciaux sur leur fonction et leur interaction avec d'autres protéines. Par exemple, les interactions entre les domaines de protéines différentes peuvent être liées à leur orientation et à leur proximité spatiale. En incorporant ces informations dans les modèles d'apprentissage multivues sur les graphes, nous pourrions améliorer considérablement la précision de l'annotation fonctionnelle. En effet, cela permettrait d'explorer des caractéristiques de la structure tridimensionnelle qui ne sont pas accessibles avec les données de séquence seule, et ainsi de mieux comprendre la relation entre la structure et la fonction des protéines. Cependant, l'intégration de données structurales dans les graphes multivues est un défi important car elle nécessite la mise en place d'une représentation adéquate des données tridimensionnelles dans un espace multivues. De plus, cela nécessite une manipulation complexe de données volumineuses, ce qui peut rendre les calculs extrêmement coûteux en termes de temps et de ressources. Malgré ces défis, l'incorporation de données structurales dans les graphes multivues est une piste prometteuse pour l'amélioration de l'annotation fonctionnelle des protéines. Cette approche pourrait aider à améliorer notre compréhension des mécanismes moléculaires sous-jacents à la fonction des protéines, ainsi que de faciliter la découverte de nouveaux médicaments ciblant des protéines spécifiques.

Une autre perspective intéressante pour améliorer la précision de l'annotation fonctionnelle des protéines est d'incorporer des informations sur leur expression dans différents tissus. En effet, l'expression des protéines varie en fonction du tissu et de l'état physiologique, ce qui peut affecter leur fonction. Pour cela, on pourrait utiliser des données d'expression génique pour annoter les protéines en fonction de leur expression tissulaire. Pour intégrer ces informations dans notre modèle de graphe multivues, nous pourrions créer des vues supplémentaires pour chaque tissu, où chaque nœud représente une protéine et les arêtes sont pondérées en fonction de la corrélation d'expression entre les protéines dans chaque tissu. Ensuite, nous pourrions combiner
ces vues avec notre vue existante qui utilise des informations sur les domaines de protéines pour
créer un graphe multivues complet. Nous pourrions ensuite former un modèle d'apprentissage en
utilisant ce graphe multivues et les annotations fonctionnelles connues pour prédire les fonctions
des protéines inconnues. En utilisant cette approche, nous pourrions améliorer la précision de
l'annotation fonctionnelle des protéines en intégrant des informations sur leur expression dans
différents tissus.

En complément des perspectives mentionnées précédemment, il est intéressant d'explorer
d'autres modèles d'apprentissage automatique pour améliorer la précision de l'annotation fonc-
tionnelle des protéines. Par exemple, les réseaux de neurones convolutifs (CNNs) sont couram-
ment utilisés pour l'analyse de séquences biologiques. Ils sont particulièrement utiles pour ex-
traire des caractéristiques locales dans les séquences de protéines, ce qui peut être utile pour
l'annotation fonctionnelle. En incorporant des informations de séquence ainsi que des données
d'expression de tissus dans un modèle de réseaux de neurones convolutif, il est possible d'amé-
liorer la précision de l'annotation fonctionnelle. D'autre part, les réseaux de neurones récur-
rents (RNNs) peuvent être utilisés pour analyser des séquences biologiques de longueur variable
[Kavipriya and Manjula, 2023]. Les RNNs sont capables de capturer les dépendances à long terme
dans les séquences, ce qui peut être particulièrement utile pour l'annotation fonctionnelle des
protéines. En utilisant des modèles de réseaux de neurones récurrents, il est possible de prendre
en compte l'historique des domaines InterPro dans la séquence protéique, ce qui peut améliorer
la précision de l'annotation fonctionnelle.
Bibliographie

[Anil et al., 2020] Anil, R., Capan, G., Drost-Fromm, I., Dunning, T., Friedman, E., Grant, T., Quinn, S., Ranjan, P., Schelter, S., and Yilmazel, O. (2020). Apache mahout : Machine learning on distributed dataflow systems. *J. Mach. Learn. Res.*, 21(1).

[Arantes et al., 2022] Arantes, P. R., Patel, A. C., and Palermo, G. (2022). Emerging methods and applications to decrypt allotery in proteins and nucleic acids. *Journal of Molecular Biology*, 434(17):167518. Allotery: From Mechanisms to Therapies.

[Aridhi et al., 2016a] Aridhi, S., Brugnara, M., Montresor, A., and Velegrakis, Y. (2016a). Distributed k-core decomposition and maintenance in large dynamic graphs. In Gal, A., Weidlich, M., Kalogeraki, V., and Venkasubramanian, N., editors, *Proceedings of the 10th ACM International Conference on Distributed and Event-based Systems, DEBS '16, Irvine, CA, USA, June 20 - 24, 2016*, pages 161-168. ACM.

[Aridhi and Mephu, 2016] Aridhi, S. and Mephu, E. (2016). Big Graph Mining: Frameworks and Techniques. *Big Data Research*, 6:1-10.

[Aridhi et al., 2017] Aridhi, S., Montresor, A., and Velegrakis, Y. (2017). Bladyg : A graph processing framework for large dynamic graphs. *Big Data Research*, 9:9-17.

[Aridhi et al., 2016b] Aridhi, S., Sghaier, H., Zoghlami, M., Maddouri, M., and Nguifo, E. M. (2016b). Prediction of ionizing radiation resistance in bacteria using a multiple instance learning model. *J. Comput. Biol.*, 23(1):10-20.

[Ashburner and et al., 2000] Ashburner, M. and et al. (2000). Gene ontology : tool for the unification of biology. *Nature genetics*, 25(1):25.

[Azizpour et al., 2015] Azizpour, H., Razavian, A. S., Sullivan, J., Maki, A., and Carlsson, S.
(2015). Factors of transferability for a generic convnet representation. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 38(9):1790-1802.

[Bajaber et al., 2016] Bajaber, F., Elshawi, R., Batarfi, O., Altalhi, A., Barnawi, A., and Sakr, S. (2016). Big data 2.0 processing systems: Taxonomy and open challenges. *Journal of Grid Computing*, 14(3):379-405.

[Balouek et al., 2013] Balouek, D., Carpen Amarie, A., Charrier, G., Desprez, F., Jeannot, E., Jeanvoine, E., Lèbre, A., Margery, D., Niclausse, N., Nussbaum, L., Richard, O., Pérez, C., Quesnel, F., Rohr, C., and Sarzyniec, L. (2013). Adding virtualization capabilities to the Grid'5000 testbed. In Ivanov, I. I., van Sinderen, M., Leymann, F., and Shan, T., editors, *Cloud Computing and Services Science*, volume 367 of *Communications in Computer and Information Science*, pages 3-20. Springer.

[Berman et al., 2000] Berman, H. M., Westbrook, J., Feng, Z., Gilliland, G., Bhat, T. N., Weissig, H., Shindyalov, I. N., and Bourne, P. E. (2000). The Protein Data Bank. *Nucleic Acids Research*, 28(1):235-242.

[Blokdyk, 2020] Blokdyk, G. (2020). *Apache NiFi A Complete Guide - 2020 Edition*. Emereo Pty Limited.

[Bordes et al., 2013] Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., and Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In *Proceedings of the 26th International Conference on Neural Information Processing Systems-Volume 2*, pages 2787-2795.

[Bruck and Ho, 1993] Bruck, J. and Ho, C.-T. (1993). Efficient global combine operations in multi-port message-passing systems. *Parallel Processing Letters*, 3(04):335-346.

[Cai et al., 2003] Cai, C., Han, L., Ji, Z. L., Chen, X., and Chen, Y. Z. (2003). Svm-prot : web-based support vector machine software for functional classification of a protein from its primary sequence. *Nucleic acids research*, 31(13):3692-3697.

[Cai and Wang, 2018] Cai, L. and Wang, W. Y. (2018). KBGAN : Adversarial learning for knowledge graph embeddings. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, Volume 1 (Long Papers), pages 1470-1480.
[Cao et al., 2017] Cao, G., Iosifidis, A., Chen, K., and Gabbouj, M. (2017). Generalized multi-view embedding for visual recognition and cross-modal retrieval. *IEEE Transactions on Cybernetics*, 48(9):2542-2555.

[Chambers et al., 2010] Chambers, C., Raniwala, A., Perry, F., Adams, S., Henry, R. R., Bradshaw, R., and Weizenbaum, N. (2010). Flumejava: Easy, efficient data-parallel pipelines. In *Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation*, PLDI ’10, page 363–375, New York, NY, USA. Association for Computing Machinery.

[Choudhary et al., 2021] Choudhary, N., Rao, N., Katariya, S., Subbian, K., and Reddy, C. (2021). Probabilistic entity representation model for reasoning over knowledge graphs. In *Advances in Neural Information Processing Systems*, volume 34, pages 23440–23451.

[Consortium, 2015] Consortium, T. U. (2015). Uniprot : a hub for protein information. *Nucleic Acids Research*, 43(D204-D212).

[Cornish-Bowden, 2014] Cornish-Bowden, A. (2014). Current iubmb recommendations on enzyme nomenclature and kinetics. *Perspectives in Science*, 1(1-6):74-87.

[Coulet, 2019] Coulet, A. (2019). *Mises en correspondances de données, textes et connaissances pour la découverte de connaissances biomédicales*. Habilitation à diriger des recherches, Université de Lorraine.

[Dalkiran et al., 2018] Dalkiran, A., Rifaioglu, A. S., Martin, M. J., Cetin-Atalay, R., Atalay, V., and Doğan, T. (2018). ECPred : a tool for the prediction of the enzymatic functions of protein sequences based on the EC nomenclature. *BMC Bioinformatics*, 19(1):334.

[De Francisci Morales, 2013] De Francisci Morales, G. (2013). Samoa : A platform for mining big data streams. In *Proceedings of the 22nd International Conference on World Wide Web*, WWW ’13 Companion, page 777–778, New York, NY, USA. Association for Computing Machinery.

[Fayyad et al., 1996] Fayyad, U., Piatetsky-Shapiro, G., and Smyth, P. (1996). The kdd process for extracting useful knowledge from volumes of data. *Commun. ACM*, 39(11):27–34.

[Fiscon et al., 2021] Fiscon, G., Conte, F., Farina, L., and Paci, P. (2021). Saverunner : A network-based algorithm for drug repurposing and its application to COVID-19. *PLoS Computational Biology*, 17(2):e1008686.
[Gao et al., 2022] Gao, Z., Ding, P., and Xu, R. (2022). Kg-predict : A knowledge graph computational framework for drug repurposing. *Journal of Biomedical Informatics*, 132:104133.

[Goodfellow et al., 2014] Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. (2014). Generative adversarial nets. In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N., and Weinberger, K., editors, *Advances in Neural Information Processing Systems*, volume 27. Curran Associates, Inc.

[Google, 2013] Google (2013). Freebase data dumps. https://developers.google.com/freebase/data.

[Gurung, 2020] Gurung, A. B. (2020). In silico structure modelling of sars-cov-2 nsp13 helicase and nsp14 and repurposing of fda approved antiviral drugs as dual inhibitors. *Gene Reports*, 21:100860.

[Hu et al., 2019] Hu, W., Liu, B., Gomes, J., Zitnik, M., Liang, P., Pande, V., and Leskovec, J. (2019). Strategies for pre-training graph neural networks. In *International Conference on Learning Representations*.

[Inoubli, 2021] Inoubli, W. (2021). *Analysis and Mining of Large Dynamic Graphs: case of graph clustering*. (Fouille et Analyse de Grands Graphes Dynamiques: Application dans le clustering de graphes). PhD thesis, Tunis El Manar University, Tunisia.

[Inoubli et al., 2018] Inoubli, W., Aridhi, S., Mezni, H., Maddouri, M., and Nguifo, E. M. (2018). An experimental survey on big data frameworks. *Future Gener. Comput. Syst.*, 86:546–564.

[Inoubli et al., 2022] Inoubli, W., Aridhi, S., Mezni, H., Maddouri, M., and Nguifo, E. M. (2022). A distributed and incremental algorithm for large-scale graph clustering. *Future Gener. Comput. Syst.*, 134:334–347.

[Inoubli et al., 2017] Inoubli, W., Cruz, L. A., da Silva, T. L. C., Coutinho, G., Peres, L., Magalhães, R. P., de Macêdo, J. A. F., Aridhi, S., and Nguifo, E. M. (2017). A distributed framework for large-scale time-dependent graph analysis. In Aridhi, S., de Macêdo, J. A. F., Nguifo, E. M., and Zeitouni, K., editors, *Proceedings of the Workshop on Large-Scale Time Dependent Graphs (TD-LSG 2017) co-located with the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2017)*,
Skopje, Macedonia, September 18, 2017, volume 1929 of CEUR Workshop Proceedings, pages 48–53. CEUR-WS.org.

[Ioannidis et al., 2020] Ioannidis, V. N., Song, X., Manchanda, S., Li, M., Pan, X., Zheng, D., Ning, X., Zeng, X., and Karypis, G. (2020). Drkg-drug repurposing knowledge graph for COVID-19. Github https://github.com/gnn4dr/DRKG.

[Islam, 2022] Islam, K. (2022). Explainable link prediction in large complex graphs - application to drug repurposing. Theses, Université de Lorraine.

[Islam et al., 2023] Islam, M. K., Amaya-Ramirez, D., Maigret, B., Devignes, M.-D., Aridhi, S., and Smaïl-Tabbone, M. (2023). Molecular-evaluated and explainable drug repurposing for COVID-19 using ensemble knowledge graph embedding. Scientific Reports, 13(1):3643.

[Islam et al., 2021] Islam, M. K., Aridhi, S., and Smaïl-Tabbone, M. (2021). Simple negative sampling for link prediction in knowledge graphs. In Benito, R. M., Cherifi, C., Cherifi, H., Moro, E., Rocha, L. M., and Sales-Pardo, M., editors, *Complex Networks & Their Applications X - Volume 2, Proceedings of the Tenth International Conference on Complex Networks and Their Applications COMPLEX NETWORKS 2021*, Madrid, Spain, November 30 - December 2, 2021, volume 1016 of *Studies in Computational Intelligence*, pages 549–562. Springer.

[Islam et al., 2022] Islam, M. K., Aridhi, S., and Smaïl-Tabbone, M. (2022). Negative sampling and rule mining for explainable link prediction in knowledge graphs. *Knowl. Based Syst.*, 250:109083.

[Ji et al., 2015] Ji, G., He, S., Xu, L., Liu, K., and Zhao, J. (2015). Knowledge graph embedding via dynamic mapping matrix. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (volume 1: Long papers)*, pages 687–696.

[Jiang and et al., 2016] Jiang, Y. and et al. (2016). An expanded evaluation of protein function prediction methods shows an improvement in accuracy. *Genome biology*, 17(1):184.

[Jones et al., 2014] Jones, P., Binns, D., Chang, H.-Y., Fraser, M., Li, W., McAnulla, C., Mc-William, H., Maslen, J., Mitchell, A., Nuka, G., Pesseat, S., Quinn, A. F., Sangrador-Vegas, A., Scheremetjew, M., Yong, S.-Y., Lopez, R., and Hunter, S. (2014). InterProScan 5: genome-scale protein function classification. *Bioinformatics*, 30(9):1236–1240.
[Kanatsoulis and Sidiropoulos, 2021] Kanatsoulis, C. I. and Sidiropoulos, N. D. (2021). Tex-graph : Coupled tensor-matrix knowledge-graph embedding for COVID-19 drug repurposing. In *Proceedings of the 2021 SIAM International Conference on Data Mining (SDM)*, pages 603–611. SIAM.

[Karypis and Kumar, 1998a] Karypis, G. and Kumar, V. (1998a). A fast and high quality multilevel scheme for partitioning irregular graphs. *SIAM Journal on Scientific Computing*, 20(1):359–392.

[Karypis and Kumar, 1998b] Karypis, G. and Kumar, V. (1998b). A fast and high quality multilevel scheme for partitioning irregular graphs. *SIAM Journal on Scientific Computing*, 20(1):359–392.

[Karypis and Kumar, 1998c] Karypis, G. and Kumar, V. (1998c). A parallel algorithm for multilevel graph partitioning and sparse matrix ordering. *Journal of parallel and distributed computing*, 48(1):71–95.

[Kavipriya and Manjula, 2023] Kavipriya, G. and Manjula, D. (2023). Drug-target interaction prediction model using optimal recurrent neural network. *Intelligent Automation & Soft Computing*, 35(2).

[Klyne, 2004] Klyne, G. (2004). Resource description framework (RDF) : Concepts and abstract syntax. *W3C Recommendation*.

[Kok and Domingos, 2007] Kok, S. and Domingos, P. (2007). Statistical predicate invention. In *Proceedings of the 24th International Conference on Machine Learning*, pages 433–440.

[Kovacs et al., 2019] Kovacs, I. A., Luck, K., Spirohn, K., Wang, Y., Pollis, C., Schlabach, S., Bian, W., Kim, D.-K., Kishore, N., Hao, T., et al. (2019). Network-based prediction of protein interactions. *Nature Communications*, 10(1):1–8.

[Kulmanov and Hoehndorf, 2020] Kulmanov, M. and Hoehndorf, R. (2020). Deepgoplus : improved protein function prediction from sequence. *Bioinformatics*, 36(2):422–429.

[Kummerfeld and Teichmann, 2009] Kummerfeld, S. K. and Teichmann, S. A. (2009). Protein domain organisation : adding order. *BMC Bioinform.*, 10.

[Leggas et al., 2021] Leggas, D., Baskaran, M., Ezick, J., and von Hofe, B. (2021). Filtered
tensor construction and decomposition for drug repositioning. In *2021 IEEE High Performance Extreme Computing Conference (HPEC)*, pages 1-7. IEEE.

[Lerer et al., 2019] Lerer, A., Wu, L., Shen, J., Lacroix, T., Wehrstedt, L., Bose, A., and Peysa-khovich, A. (2019). Pytorch-biggraph : A large scale graph embedding system. *Proceedings of Machine Learning and Systems*, 1:120-131.

[Levie et al., 2021] Levie, R., Huang, W., Bucci, L., Bronstein, M., and Kutyniok, G. (2021). Transferability of spectral graph convolutional neural networks. *Journal of Machine Learning Research*, 22(272):1-59.

[Li et al., 2014] Li, M., Andersen, D. G., Smola, A. J., and Yu, K. (2014). Communication efficient distributed machine learning with the parameter server. *Advances in Neural Information Processing Systems*, 27.

[Li et al., 2018a] Li, Y., Wang, S., Umarov, R., Xie, B., Fan, M., Li, L., and Gao, X. (2018a). DEEPre : sequence-based enzyme EC number prediction by deep learning. *Bioinformatics*, 34(5):760-769.

[Li et al., 2018b] Li, Y., Yang, M., and Zhang, Z. (2018b). A survey of multi-view representation learning. *IEEE Transactions on Knowledge and Data Engineering*, 31(10):1863-1883.

[Li et al., 2022] Li, Z., Guo, C., Feng, Z., Hwang, J.-N., and Xue, X. (2022). Multi-view visual semantic embedding. In *International Joint Conferences on Artificial Intelligence*.

[Liang et al., 2022] Liang, Z., Yang, J., Liu, H., Huang, K., Cui, L., Qu, L., and Li, X. (2022). Hrer : A new bottom-up rule learning for knowledge graph completion. *Electronics*, 11(6):908.

[Lisboa et al., 2023] Lisboa, P., Saralajew, S., Vellido, A., Fernández-Domenech, R., and Villmann, T. (2023). The coming of age of interpretable and explainable machine learning models. *Neurocomputing*, 535:25-39.

[Liu et al., 2019] Liu, N. F., Gardner, M., Belinkov, Y., Peters, M. E., and Smith, N. A. (2019). Linguistic knowledge and transferability of contextual representations. In *Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics*, pages 1073-1094.

[Low et al., 2012] Low, Y., Bickson, D., Gonzalez, J., Guestrin, C., Kyrola, A., and Hellerstein,
J. M. (2012). *Distributed graphlab: A framework for machine learning and data mining in the cloud*. *Proc. VLDB Endow.*, 5(8):716-727.

[Lü and Zhou, 2011] Lü, L. and Zhou, T. (2011). *Link prediction in complex networks: A survey*. *Physica A: Statistical Mechanics and Its Applications*, 390(6):1150-1170.

[Lundberg and Lee, 2017] Lundberg, S. and Lee, S.-I. (2017). *A unified approach to interpreting model predictions*.

[Luo et al., 2020] Luo, D., Cheng, W., Xu, D., Yu, W., Zong, B., Chen, H., and Zhang, X. (2020). *Parameterized explainer for graph neural network*.

[Malewicz et al., 2010] Malewicz, G., Austern, M. H., Bik, A. J., Dehnert, J. C., Horn, I., Leiser, N., and Czajkowski, G. (2010). *Pregel: a system for large-scale graph processing*. In *Proceedings of the 2010 ACM SIGMOD International Conference on Management of Data*, pages 135-146. ACM.

[Meller et al., 2023] Meller, A., Ward, M., Borowsky, J., Kshirsagar, M., Lotthammer, J. M., Oviedo, F., Ferres, J. L., and Bowman, G. R. (2023). Predicting locations of cryptic pockets from single protein structures using the pocketminer graph neural network. *Nature Communications*, 14(1):1177.

[Menon and Elkan, 2011] Menon, A. K. and Elkan, C. (2011). *Link prediction via matrix factorization*. In *Joint European Conference on Machine Learning and Knowledge Discovery in Databases*, pages 437-452. Springer.

[Min et al., 2013] Min, B., Grishman, R., Wan, L., Wang, C., and Gondek, D. (2013). Distant supervision for relation extraction with an incomplete knowledge base. In *Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, pages 777-782.

[Mohamed et al., 2020] Mohamed, S. K., Novavcek, V., and Nounu, A. (2020). Discovering protein drug targets using knowledge graph embeddings. *Bioinformatics*, 36(2):603-610.

[Moritz et al., 2018a] Moritz, P., Nishihara, R., Wang, S., Tumanov, A., Liaw, R., Liang, E., Elibol, M., Yang, Z., Paul, W., Jordan, M. I., et al. (2018a). *Ray: A distributed framework for emerging AI applications*. In *13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18)*, pages 561-577.
[Moritz et al., 2018b] Moritz, P., Nishihara, R., Wang, S., Tumanov, A., Liaw, R., Liang, E., Elibol, M., Yang, Z., Paul, W., Jordan, M. I., and Stoica, I. (2018b). Ray: A distributed framework for emerging ai applications. In *Proceedings of the 13th USENIX Conference on Operating Systems Design and Implementation*, OSDI’18, page 561–577, USA. USENIX Association.

[Narkhede et al., 2017] Narkhede, N., Shapira, G., and Palino, T. (2017). *Kafka: The Definitive Guide Real-Time Data and Stream Processing at Scale*. O’Reilly Media, Inc., 1st edition.

[Pan and Yang, 2009] Pan, S. J. and Yang, Q. (2009). A survey on transfer learning. *IEEE Transactions on Knowledge and Data Engineering*, 22(10):1345–1359.

[Paulheim, 2017] Paulheim, H. (2017). Knowledge graph refinement: A survey of approaches and evaluation methods. *Semantic Web*, 8(3):489–508.

[Perez-Lemus et al., 2022] Perez-Lemus, G. R., Menendez, C. A., Alvarado, W., Bylehn, F., and de Pablo, J. J. (2022). Toward wide-spectrum antivirals against coronaviruses: Molecular characterization of sars-cov-2 nsp13 helicase inhibitors. *Science advances*, 8(1):eabj4526.

[Qiu et al., 2020] Qiu, J., Chen, Q., Dong, Y., Zhang, J., Yang, H., Ding, M., Wang, K., and Tang, J. (2020). Gcc: Graph contrastive coding for graph neural network pre-training. In *Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining*, pages 1150–1160.

[Radivojac and et al., 2013] Radivojac, P. and et al. (2013). A large-scale evaluation of computational protein function prediction. *Nature methods*, 10(3):221.

[Rani et al., 2019] Rani, R. R., Ramyachitra, D., and Brindhadevi, A. (2019). Detection of dynamic protein complexes through markov clustering based on elephant herd optimization approach. *Scientific Reports*, 9(1):11106.

[Ribeiro et al., 2016] Ribeiro, M. T., Singh, S., and Guestrin, C. (2016). "why should i trust you?": Explaining the predictions of any classifier.

[Rossi et al., 2021] Rossi, A., Barbosa, D., Firmani, D., Matinata, A., and Merialdo, P. (2021). Knowledge graph embedding for link prediction: A comparative analysis. *ACM Transactions on Knowledge Discovery from Data (TKDD)*, 15(2):1–49.
[Roy et al., 2012] Roy, A., Yang, J., and Zhang, Y. (2012). Cofactor : an accurate comparative algorithm for structure-based protein function annotation. *Nucleic acids research*, 40(W1):W471–W477.

[Sadeghian et al., 2019] Sadeghian, A., Armandpour, M., Ding, P., and Wang, D. Z. (2019). Drum : end-to-end differentiable rule mining on knowledge graphs. In *Proceedings of the 33rd International Conference on Neural Information Processing Systems*, pages 15347–15357.

[Sakouhi et al., 2016] Sakouhi, C., Aridhi, S., Guerrieri, A., Sassi, S., and Montresor, A. (2016). Dynamicdfep : A distributed edge partitioning approach for large dynamic graphs. In Desai, E., Desai, B. C., Toyama, M., and Bernardino, J., editors, *Proceedings of the 20th International Database Engineering & Applications Symposium, IDEAS 2016, Montreal, QC, Canada, July 11-13, 2016*, pages 142–147. ACM.

[Sanders and Schulz, 2011] Sanders, P. and Schulz, C. (2011). Engineering multilevel graph partitioning algorithms. In *European Symposium on Algorithms*, pages 469–480. Springer.

[Sarker, 2021] Sarker, B. (2021). *On Graph-Based Approaches for Protein Function Annotation and Knowledge Discovery*. Theses, Université de Lorraine.

[Sarker et al., 2021] Sarker, B., Devignes, M.-D., Wolf, G., and Aridhi, S. (2021). Prot-A-GAN : Automatic Protein Function Annotation using GAN-inspired Knowledge Graph Embedding. In *ICML 2021 - Workshop on Computational Biology*, Virtual, United States.

[Sarker et al., 2020a] Sarker, B., Khare, N., Devignes, M., and Aridhi, S. (2020a). Graph based automatic protein function annotation improved by semantic similarity. In Rojas, I., Valenzuela, O., Rojas, F., Herrera, L. J., and Guzman, F. M. O., editors, *Bioinformatics and Biomedical Engineering - 8th International Work-Conference, IWBBIO 2020, Granada, Spain, May 6-8, 2020, Proceedings*, volume 12108 of *Lecture Notes in Computer Science*, pages 261–272. Springer.

[Sarker et al., 2022] Sarker, B., Khare, N., Devignes, M., and Aridhi, S. (2022). Improving automatic GO annotation with semantic similarity. *BMC Bioinform.*, 23-S(2):433.

[Sarker et al., 2020b] Sarker, B., Ritchie, D. W., and Aridhi, S. (2020b). Grapfi : predicting enzymatic function of proteins from domain similarity graphs. *BMC Bioinform.*, 21(1):168.
[Schlichtkrull et al., 2022] Schlichtkrull, M. S., Cao, N. D., and Titov, I. (2022). Interpreting graph neural networks for nlp with differentiable edge masking.

[Sellami et al., 2022] Sellami, A., Sarker, B., Tabbone, S., Devignes, M.-D., and Aridhi, S. (2022). A semi-supervised graph deep neural network for automatic protein function annotation. In Rojas, I., Valenzuela, O., Rojas, F., Herrera, L. J., and Ortuño, F., editors, *Bioinformatics and Biomedical Engineering*, pages 153-166, Cham. Springer International Publishing.

[Sergeev and Del Balso, 2018] Sergeev, A. and Del Balso, M. (2018). Horovod: fast and easy distributed deep learning in tensorflow. *arXiv preprint arXiv:1802.05799*.

[Shao et al., 2013] Shao, B., Wang, H., and Li, Y. (2013). Trinity: A distributed graph engine on a memory cloud. In *Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data*, SIGMOD '13, page 505-516, New York, NY, USA. Association for Computing Machinery.

[Sheikh et al., 2022a] Sheikh, N., Qin, X., Gur, Y., Reinwald, B., Xiang, Q., Yu, H., et al. (2022a). Distributed training of knowledge graph embedding models using ray. In *Twenty-fifth International Conference on Extending Database Technology*, pages 2-549.

[Sheikh et al., 2022b] Sheikh, N., Qin, X., Reinwald, B., and Lei, C. (2022b). Scaling knowledge graph embedding models. *arXiv preprint arXiv:2201.02791*.

[Singh, 2016] Singh, S. (2016). Cluster-level logging of containers with containers: Logging challenges of container-based cloud deployments. *Queue*, 14(3):83-106.

[Somolinos et al., 2021] Somolinos, F. J., León, C., and Guerrero-Aspizua, S. (2021). Drug repurposing using biological networks. *Processes*, 9(6):1057.

[Sosa et al., 2019] Sosa, D. N., Derry, A., Guo, M., Wei, E., Brinton, C., and Altman, R. B. (2019). A literature-based knowledge graph embedding method for identifying drug repurposing opportunities in rare diseases. In *Pacific Symposium on Biocomputing 2020*, pages 463-474. World Scientific.

[Sun et al., 2018] Sun, Z., Deng, Z.-H., Nie, J.-Y., and Tang, J. (2018). Rotate: Knowledge graph embedding by relational rotation in complex space. In *International Conference on Learning Representations*.
[Thakur et al., 2005] Thakur, R., Rabenseifner, R., and Gropp, W. (2005). Optimization of collective communication operations in mpich. *The International Journal of High Performance Computing Applications*, 19(1):49–66.

[Tian et al., 2013] Tian, Y., Balmin, A., Corsten, S. A., Tatikonda, S., and McPherson, J. (2013). From "think like a vertex" to "think like a graph". *Proc. VLDB Endow.*, 7(3):193–204.

[Trouillon et al., 2016] Trouillon, T., Welbl, J., Riedel, S., Gaussier, E., and Bouchard, G. (2016). Complex embeddings for simple link prediction. In *International Conference on Machine Learning*, pages 2071–2080. PMLR.

[Veras et al., 2022] Veras, M. B. A., Sarker, B., Aridhi, S., Gomes, J. P. P., de Macêdo, J. A. F., Nguifo, E. M., Devignes, M., and Smaïl-Tabbone, M. (2022). On the design of a similarity function for sparse binary data with application on protein function annotation. *Knowl. Based Syst.*, 238:107863.

[Vivek-Ananth et al., 2022] Vivek-Ananth, R., Krishnaswamy, S., and Samal, A. (2022). Potential phytochemical inhibitors of sars-cov-2 helicase nsp13: a molecular docking and dynamic simulation study. *Molecular Diversity*, 26(1):429–442.

[Wang et al., 2021] Wang, M., Qiu, L., and Wang, X. (2021). A survey on knowledge graph embeddings for link prediction. *Symmetry*, 13(3):485.

[Wang et al., 2017] Wang, Q., Mao, Z., Wang, B., and Guo, L. (2017). Knowledge graph embedding: A survey of approaches and applications. *IEEE Transactions on Knowledge and Data Engineering*, 29(12):2724–2743.

[Wang et al., 2014] Wang, Z., Zhang, J., Feng, J., and Chen, Z. (2014). Knowledge graph embedding by translating on hyperplanes. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 28.

[White et al., 2020] White, M. A., Lin, W., and Cheng, X. (2020). Discovery of COVID-19 inhibitors targeting the sars-cov-2 nsp13 helicase. *The Journal of Physical Chemistry Letters*, 11(21):9144–9151.

[Wu et al., 2022] Wu, N., Strömich, L., and Yaliraki, S. N. (2022). Prediction of allosteric sites and signaling: Insights from benchmarking datasets. *Patterns*, 3(1):100408.
[Xin et al., 2013] Xin, R. S., Gonzalez, J. E., Franklin, M. J., and Stoica, I. (2013). Graphx : a resilient distributed graph system on spark. In Boncz, P. A. and Neumann, T., editors, *GRADES*, page 2. CWI/ACM.

[Xu et al., 2007] Xu, X., Yuruk, N., Feng, Z., and Schweiger, T. A. J. (2007). Scan : a structural clustering algorithm for networks. In *KDD '07 : Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining*, pages 824–833, New York, NY, USA. ACM.

[Xu et al., 2016] Xu, Z., Pu, C., and Yang, J. (2016). Link prediction based on path entropy. *Physica A : Statistical Mechanics and its Applications*, 456:294–301.

[Yan et al., 2014] Yan, D., Cheng, J., Lu, Y., and Ng, W. (2014). Blogel : A block-centric framework for distributed computation on real-world graphs. *Proc. VLDB Endow.*, 7(14):1981–1992.

[Yan et al., 2021a] Yan, V. K., Li, X., Ye, X., Ou, M., Luo, R., Zhang, Q., Tang, B., Cowling, B. J., Hung, I., Siu, C. W., et al. (2021a). Drug repurposing for the treatment of COVID-19 : A knowledge graph approach. *Advanced Therapeutics*, 4(7):2100055.

[Yan et al., 2021b] Yan, X., Hu, S., Mao, Y., Ye, Y., and Yu, H. (2021b). Deep multi-view learning methods : A review. *Neurocomputing*, 448:106–129.

[Yang et al., 2015] Yang, B., Yih, S. W.-t., He, X., Gao, J., and Deng, L. (2015). Embedding entities and relations for learning and inference in knowledge bases. In *International Conference on Learning Representations*.

[Yang and Amazon, 2018] Yang, C. and Amazon, A. (2018). Tree-based allreduce communication on mxnet. *Technical Report*.

[Yang et al., 2022] Yang, C., Chen, E. A., and Zhang, Y. (2022). Proteinndash ;ligand docking in the machine-learning era. *Molecules*, 27(14).

[Ying et al., 2019] Ying, R., Bourgeois, D., You, J., Zitnik, M., and Leskovec, J. (2019). *GN-NExplainer : Generating Explanations for Graph Neural Networks*. Curran Associates Inc., Red Hook, NY, USA.

[Zhang et al., 2018] Zhang, C., Zheng, W., Freddolino, P. L., and Zhang, Y. (2018). Metago : Predicting gene ontology of non-homologous proteins through low-resolution protein structure
prediction and protein-protein network mapping. *Journal of molecular biology*, 430(15):2256-2265.

[Zhang et al., 2021] Zhang, R., Hristovski, D., Schutte, D., Kastrin, A., Fiszman, M., and Kili-coglu, H. (2021). Drug repurposing for COVID-19 via knowledge graph completion. *Journal of Biomedical Informatics*, 115:103696.

[Zhang et al., 2016] Zhang, Y., Lin, H., Yang, Z., Wang, J., Liu, Y., and Sang, S. (2016). A method for predicting protein complex in dynamic ppi networks. *BMC Bioinformatics*, 17(7):229.

[Zhang et al., 2019] Zhang, Y., Yao, Q., Shao, Y., and Chen, L. (2019). Nscaching: simple and efficient negative sampling for knowledge graph embedding. In *2019 IEEE 35th International Conference on Data Engineering (ICDE)*, pages 614-625. IEEE.

[Zhao and Wang, 2018] Zhao, C. and Wang, Z. (2018). Gogo: An improved algorithm to measure the semantic similarity between gene ontology terms. *Scientific reports*, 8(1):15107.

[Zheng et al., 2020] Zheng, D., Song, X., Ma, C., Tan, Z., Ye, Z., Dong, J., Xiong, H., Zhang, Z., and Karypis, G. (2020). Dgl-ke: Training knowledge graph embeddings at scale. In *Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval*, pages 739-748.

[Zhong et al., 2018] Zhong, J., Wang, C., Li, Q., and Li, Q. (2018). A new graph-partitioning algorithm for large-scale knowledge graph. In *International Conference on Advanced Data Mining and Applications*, pages 434-444. Springer.

[Zhu et al., 2022a] Zhu, C., Yang, Z., Xia, X., Li, N., Zhong, F., and Liu, L. (2022a). Multi-modal reasoning based on knowledge graph embedding for specific diseases. *Bioinformatics*, 38(8):2235-2245.

[Zhu et al., 2022b] Zhu, J., Wang, J., Han, W., and Xu, D. (2022b). Neural relational inference to learn long-range allosteric interactions in proteins from molecular dynamics simulations. *Nature Communications*, 13(1):1661.

[Zhu et al., 2018] Zhu, P., Hu, Q., Hu, Q., Zhang, C., and Feng, Z. (2018). Multi-view label embedding. *Pattern Recognition*, 84:126-135.

[Zhu et al., 2020] Zhu, Y., Che, C., Jin, B., Zhang, N., Su, C., and Wang, F. (2020). Knowledge-
driven drug repurposing using a comprehensive drug knowledge graph. *Health Informatics Journal*, 26(4):2737-2750.

[Zhu et al., 2019] Zhu, Z., Xu, S., Tang, J., and Qu, M. (2019). Graphvite: A high-performance cpu-gpu hybrid system for node embedding. In *The World Wide Web Conference*, pages 2494–2504.

[Zhuang et al., 2020] Zhuang, F., Qi, Z., Duan, K., Xi, D., Zhu, Y., Zhu, H., Xiong, H., and He, Q. (2020). A comprehensive survey on transfer learning. *Proceedings of the IEEE*, 109(1):43–76.

[Zoghlami, 2019] Zoghlami, M. (2019). *Multiple instance learning for sequence data: Application on bacterial ionizing radiation resistance prediction*. Theses, Université Clermont Auvergne [2017-2020]; Université de Tunis El Manar.

[Zoghlami et al., 2020] Zoghlami, M., Aridhi, S., Maddouri, M., and Nguifo, E. M. (2020). Multiple instance learning for sequence data with across bag dependencies. *Int. J. Mach. Learn. Cybern.*, 11(3):629–642.