<figure><img src="image_1.png" /></figure>

HAL
open science

# Une infrastructure multi-agents pour coupler des environnements robotiques physiques et numériques

Nesrine Hafiene, Flavien Balbo

<figure><img src="image_2.png" /></figure>

## ► To cite this version:

Nesrine Hafiene, Flavien Balbo. Une infrastructure multi-agents pour coupler des environnements robotiques physiques et numériques. Journées Francophones sur les Systèmes Multi-Agents (JFSMA 2025), Jun 2025, Dijon, France. hal-05128105

HAL Id: hal-05128105

https://hal.science/hal-05128105v1

Submitted on 8 Dec 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_3.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Une infrastructure multi-agents pour coupler des environnements robotiques physiques et numériques

Nesrine Hafiene<sup>a</sup>      Flavien Balbo<sup>a</sup>

nesrine.hafiene@emse.fr      flavien.balbo@emse.fr

<sup>a</sup>Mines Saint-Etienne, Univ Clermont Auvergne, INP Clermont Auvergne, CNRS, UMR 6158 LIMOS, F-42023 Saint-Etienne France

## Résumé

Cet article présente une infrastructure multi-agents pour un couplage transparent entre des environnements physiques et numériques pour la conception de systèmes robotiques. Notre objectif est de mettre à disposition une infrastructure unique pour la synchronisation et le contrôle de robots exécutés sur des plateformes existantes qu'ils soient réels ou numériques. L'infrastructure proposée introduit des agents pour agir au nom des robots physiques et numériques à des fins de conception d'un nouveau système robotique. Déployés dans la plateforme de programmation multi-agents Hypermedea, ces agents simplifient la tâche du concepteur en facilitant la mise en place de mécanismes pour l'interaction et la coordination en temps réel entre les deux environnements sans avoir à considérer les spécificités techniques de chacun d'eux. Le fonctionnement de l'infrastructure est illustré par un scénario de synchronisation entre un robot numérique et un robot physique dans le domaine de l'industrie 4.0.

**Mots-clés :** Systèmes multi-agents, Environnements robotiques, Couplage de systèmes

## Abstract

This paper presents a multi-agent based infrastructure achieving a seamless coupling between physical and digital environments, enabling effective synchronization and control of robotic systems. The proposed infrastructure introduces agents to act on behalf of physical and digital robots, facilitating real-time interaction and coordination between both environments. The infrastructure is validated through a motivating scenario using a programming framework for hypermedia multi-agent systems, that offers a solid framework for controlling and deploying agents on a robotic platform.

**Keywords:** Multi-Agent systems, Robotic environments, Coupling scenario

## 1 Introduction

L'intégration des environnements physiques et numériques dans la conception des systèmes cyber-physiques (Cyber-Physical System, CPS) est un enjeu majeur pour l'avancement des technologies modernes dans des domaines comme l'Industrie 4.0 ou les Systèmes de Transport Intelligentes. Dans ces systèmes, le monde physique interagit avec des systèmes numériques pour réaliser des tâches qui nécessitent un contrôle, une prise de décision et une synchronisation en temps réel. De plus, les besoins en CPS ne cessent d'augmenter et la nécessité de développer des solutions correspondantes nécessitent des outils appropriés pour simplifier leur conception. Le concepteur d'un CPS, doit donc être en mesure de répondre aux enjeux de chacun des environnements mais également de leurs interactions.

Dans le cadre de ce travail nous nous focalisons sur les CPS avec des robots. Il s'agit par exemple pour l'industrie 4.0, de la gestion d'une flotte d'AMR (Autonomous Mobile Robot) dont les informations de production sont issues d'un MES (Manufacturing Execution System). Pour le développement de ces applications l'usage d'une plateforme physique est essentielle pour prendre en compte les problématiques concernant les contraintes réelles de fonctionnement et les simulateurs sont aussi nécessaires pour tester de nombreux scénarios comme un passage à l'échelle ou l'intégration d'un nouveau type de robot. Il existe des plateformes dédiées à chaque type d'environnement et notre objectif est de rendre possible leur couplage avec le minimum de nouveaux développements. Idéalement, les composants testés en simulation devraient pouvoir être déployés dans le domaine physique une fois validés. Cela suppose que la solution proposée s'appuie sur le fonctionnement réel des robots physiques ou numériques.

A notre connaissance, il n'existe pas de solution permettant au concepteur de réaliser un CPS en
utilisant de manière transparente des plateformes
de robotique physiques et/ou de simulation exis-
tantes.

Dans cet article, nous proposons une infrastruc-
ture avec au cœur un système multi-agent dont
les agents sont conçus pour représenter et contrô-
ler les robots dans des environnements phy-
siques et numériques. Ce dernier peut également
contenir d'autres composants numériques, eux
mêmes considérés comme des agents. Selon une
démarche classique du paradigme multi-agent,
tous ces agents agissent comme des intermé-
diaires entre les deux mondes, garantissant que
les robots fonctionnent d'une manière transpa-
rente dans les deux environnements permettant
un partage d'information pour des prises de dé-
cision qui donnent lieu à des actions dans les
environnements physiques ou simulés. L'un des
objectifs principaux de l'infrastructure est que
le concepteur puisse proposer une nouvelle so-
lution multi-agent sans tenir compte des fonc-
tionnalités techniques de bas niveau et la tester
dans différentes configurations de l'environne-
ment.

Nous considérons la plate-forme multi-agent
Hypermedea [1] qui offre les outils nécessaires
pour créer, déployer et gérer ces agents. Nous
proposons la spécification minimale des envi-
ronnements physiques et numériques à prendre
en compte dans notre infrastructure. Nous illus-
trons la faisabilité de notre proposition par un
cas d'usage du domaine de l'industrie 4.0. Il
s'agit plus précisément d'étudier l'intégration
d'un nouveau type de robot (en l'occurrence un
bras robotisé) en interaction avec un AMR. Dans
ce cas d'usage le bras est simulé et l'AMR est
un robot physique avec lequel il faut assurer la
synchronisation.

La suite de l'article est structuré comme suit.
Tout d'abord, les travaux liés au contrôle des
systèmes robotiques, au couplage de simulations
et aux jumeaux numériques sont examinés dans
la section 2. Ensuite, nous introduisons les com-
posants de notre infrastructure dans la section 3.
Dans la section 4, nous détaillons la mise en
œuvre de notre infrastructure. Enfin, l'article est
conclu dans la Section 5.

2 Travaux antérieurs

Notre objectif est de coupler des environnements
robotiques physiques et numériques, ici compo-
sés de simulateurs, pour la conception de sys-
tèmes cyber-physiques (CPS) intégrant des ro-
bots. Par conséquent, nous présentons ici des

travaux concernant la problématique du contrôle
dans les systèmes de robotique par des agents,
puis différentes solutions pour coupler des simu-
lations numériques. Nous concluons pour cha-
cun les principes que nous souhaitons reprendre.
Enfin nous discutons le paradigme des jumeaux
numériques qui pourrait être une approche cor-
respondant à notre objectif.

## 2.1 Systèmes robotiques et SMA

Les problématiques du contrôle ou de la prise
de décision décentralisées sont étudiées depuis
longtemps dans les domaines des SMA et de
la robotique, qui partagent des objectifs et des
fonctionnalités similaires, comme le soulignait
déjà l'article [2]

En effet, un système robotiqueun cadre inté-
gré qui combine des robots physiques et des
mécanismes de contrôle informatique pour per-
mettre des comportements autonomes ou semi-
autonomes. Dans ces systèmes les robots sont
conçus pour percevoir, traiter et agir dans leur
environnement, travaillant individuellement ou
en collaboration pour effectuer des tâches telles
que la manipulation, la mobilité et la détection
[3, 4, 5]. Les systèmes multi-agents robotiques
(MARS) sont une approche dans laquelle, tou-
jours dans ce cadre, le contrôle est opéré par
des agents et se pose alors des défis en matière
de gestion des interactions et de prise de déci-
sion distribuée [6]. Différentes plateformes [3]
ont été développées pour supporter ces systèmes
avec différents choix de middleware ou encore
de langages de programmation. Notre architec-
ture doit donc pouvoir prendre en compte cette
hétérogénéité tout en limitant le besoin futur de
nouveaux développements.

Cependant, un problème central demeure : la
coordination est souvent envisagée sous l'angle
de l'interaction des robots dans l'environnement
physique, sans intégrer pleinement l'environne-
ment numérique. Une alternative est proposée
par la plateforme SMA MASH [7], qui intègre
des robots physiques et numériques contrôlés
par des agents. Toutefois, cette approche re-
pose sur un système indépendant et ne prend
pas en compte la réutilisation des plateformes
existantes.

## 2.2 Couplage de simulations

Le concept de couplage est présent dans le do-
maine de la simulation. Il implique l'intégration
de plusieurs modèles de simulation développés
indépendamment. Il permet d'analyser des systèmes complexes par la réutilisation de simulations existantes spécialisées en limitant autant que possibles de nouveaux développements. Ce couplage dépend de l'échange de données entre les simulations, garantissant des traitements synchronisés qui permettent au système de fonctionner d'une manière cohérente. La synchronisation garantit que toutes les simulations couplées progressent d'une manière cohérente au fil du temps. Les outils couramment utilisés pour le couplage des simulations incluent l'architecture de haut niveau (High Level Architecture, HLA) et l'interface de maquette fonctionnelle (Functional Mock-up Interface, FMI). HLA est un intergiciel largement utilisé qui facilite l'intégration et la coordination de plusieurs simulations par le partage d'un modèle de données et de règles d'activation des simulateurs. FMI, d'autre part, fournit une méthode standardisée pour regrouper les modèles de simulation dans des unités autonomes appelées unités de maquette fonctionnelle (Functional Mock-up Unit, FMU). Ces FMUs encapsulent le modèle, le solveur et les données pertinentes. Ils permettant une interopérabilité transparente dans divers environnements de simulation sans nécessiter de connaissances approfondies de l'implémentation du modèle interne. Nous reprenons de ces approches le besoin de partage d'un modèle de connaissances commun. Notre architecture doit donc être en mesure de faciliter la gestion de cette connaissance tout en assurant une gestion dynamique de sa mise à jour notamment à partir des informations issues de la plateforme physique.

## 2.3 Jumeaux numériques

Il existe différents points de vue sur ce qu'est un Jumeau Numérique (JN). Nous considérons ici celles données par [8] pour qui il s'agit de la synchronisation entre un composant (entité physique, processus ou systèmes) et son modèle digital. Les jumeaux numériques (Digital Twins, DT) sont des représentations virtuelles d'entités physiques, de processus ou de systèmes.

Un JN est donc composé des dimensions physiques et digitales et leur synchronisation doit permettre d'agir sur l'une des dimensions en mondifiant la seconde. Ainsi, les JN permettent dans la partie numérique d'appliquer des processus de surveillance, simulation ou optimisation à partir de l'état réel du composant. Il s'agit donc d'une approche potentielle pour atteindre notre objectif de couplage. D'autant plus pertinente qu'il existe de nombreux travaux qui combinent JN et

SMA comme paradigme de contrôle. Ainsi dans [9], les auteurs présentent le cadre MADTwin (Multi-Agent Digital Twin), qui modélise des jumeaux numériques fondés sur des agents puis leur déploiement dans [10] dans des systèmes cyber-physiques. L'article [11] propose une nouvelle stratégie collaborative de Simulation Twin, conçue pour améliorer le contrôle et l'autonomie des robots disposant de ressources limitées. Cette approche implique un système de robots mobiles opérant dans deux domaines interconnectés : un espace physique où le robot effectue des tâches sur site et un espace cyber (simulé) où un agent autonome guide ses opérations à distance via un réseau. Il s'agit donc bien de travaux intégrant du contrôle entre des composants situés dans un environnement physique ou numérique. Nous notons cependant deux différences, la première est architecturale, notre objectif est de coupler des plateformes physiques et digitales existantes et pour un composant sa dimension physique et digitale. La seconde est concepтуelle, les composants déployés dans chaque plateforme n'ont pas obligation à avoir un équivalent dans une autre plateforme avec pour problématique d'assurer leur synchronisation. Nous voulons par exemple pouvoir tester l'utilisation d'un nouveau type de robot dont nous aurions le modèle simulé avec des robots physiques déjà présents dans notre système.

Nous avons passé en revue l'état de l'art des systèmes robotiques et de leur contrôle par un SMA, du couplage de simulations et des jumeaux numériques, en décrivant leurs principes clés et des exemples d' applications existantes. Le recours aux agents pour le contrôle des CPS robotiques est une solution adaptée, mais il n'existe pas, à notre connaissance, de framework facilitant leur développement qui intègre les dimensions physiques et virtuelles. Nous reprenons le principe de coordination par des agents qui seront déployés pour orchestrer les interactions avec les systèmes robotiques physiques et digitaux. Il s'agit d'introduire une couche de médiation qui doit faciliter la conception de cps considérant différents environnement physiques. Du couplage de simulations, nous retenons le besoin de constituer un modèle de connaissances partagées par les agents pour lequel un mécanisme de synchronisation devra être assurer du fait de l'intégration de la dimension physique. Nous présentons cette infrastructure dans la section suivante
# 3 Infrastructure proposée

Dans cette section, nous donnons un aperçu des différents composants de notre infrastructure. La figure 1 illustre notre infrastructure conçue pour coordonner des robots dans des environnements numériques et physiques, avec des agents contrôlant les robots. Elle se compose de deux composants principaux : une plateforme de coordination SMA (Section 3.1), l'environnement physique/numérique (Section 3.2). Ces composants sont connectés à l'aide de Robot Operating System (ROS). ROS fournit un cadre de communication standardisé qui permet une interaction transparente entre les composants du robot via une architecture éditeur/abonné.

## 3.1 Plateforme de coordination du SMA

Pour coupler les environnements numériques et physiques, nous utilisons Hypermedea, un framework open source pour les agents Web et WoT. Hypermedea est basé sur JaCaMo [12], une plateforme de programmation orientée multi-agents. En exploitant les WebSockets et le protocole rosbridge, il permet à l'agent de recevoir des données en temps réel des environnements numériques et physiques et d'interagir avec diverses ressources, telles que des sujets et des serveurs d'actions, en utilisant des opérations RESTful standard comme GET et PUT. Hypermedea assure que l'agent peut recevoir et traiter efficacement les données des environnements numériques et physiques, lui permettant ainsi de prendre des mesures éclairées en temps réel. La figure 1 illustre les relations entre les composants de notre infrastructure. Le processus principal implique un agent utilisant l'artefact Hypermedea pour agir sur l'environnement physique ou numérique.

Au sein de la couche Agent, les agents échangent des informations ou des demandes par communication pair-à-pair. Sur la base de ce mécanisme d'interaction, les agents peuvent être coordonnés. Par exemple, un agent A1 qui souhaite agir sur un actif physique ou numérique qui n'est pas sous son contrôle doit demander cette opération par envoyer un message à l'agent A2 responsable de l'actif. L'agent récepteur traite cette demande pour décider de l'accepter ou non. Dans la plateforme JaCaMo, l'environnement est composé d'artefacts qui sont les outils utilisés par les agents et qui sont différents de l'environnement tel qu'il est défini dans la section suivante. Dans la couche Environnement, l'artefact Hypermedea utilise ROS sur WebSocket pour interagir

avec les sujets et services ROS. Il agit comme un pont entre les agents et ROS, gérant le flux de données via les protocoles REST et WebSocket. Si on considère l'exemple précédent, cela signifie que si l'agent A2 décide de satisfaire la demande, il interagira avec l'artefact Hypermedea pour envoyer l'ordre à l'actif physique. Pour plus de détails techniques, la plateforme SMA utilise le protocole Rosbridge qui est une spécification pour l'envoi de commandes JSON à ROS. Les agents peuvent effectuer des opérations GET pour s'abonner à des sujets, recevoir des mises à jour en temps réel sur l'état du robot, ou exécuter des opérations PUT pour publier des commandes qui modifient le comportement du robot. La plateforme de coordination SMA prend en charge une communication transparente entre les environnements robotiques numériques et physiques, facilitant la coordination en temps réel et le partage des ressources.

## 3.2 Environnement

Dans cette section, nous donnons les caractéristiques des environnements numériques et physiques. Un environnement comprend tout ce qui n'est pas dans la plateforme Hypermedea. Si c'est un composant physique alors il sera dans l'environnement physique et réciproquement dans l'environnement numérique. Ensuite, nous considérons dans l'environnement physique, les robots physiques et les espaces physiques où ils se déplacent. Nous considérons dans l'environnement numérique des simulateurs de robots avec un robot par simulateur. Dans la suite, en considérant l'environnement numérique, nous associons le robot et le simulateur comme une même entité. Nous considérons les robots comme des boîtes noires qui sont connectées à ROS. Leurs sujets auxquels ils souscrivent ou publient et leur sémantique comme faisant partie de la spécification du système. Sur cette base, nous pouvons décrire l'interaction entre la plateforme SMA et l'environnement numérique ou physique en suivant la même manière.

Afin de s'assurer que l'agent contrôlant le robot dans Hypermedea, il reçoive des données des capteurs du robot pour les traiter, et interpréter l'état de l'environnement, les sujets liés à l'état du robot doivent être connus par cet agent. Du point de vue du concepteur, cela implique que l'ajout d'un nouveau robot implique l'abonnement à ces sujets par l'agent concerné. De plus, les agents peuvent s'abonner à d'autres sujets que ceux du robot qu'ils contrôlent à des objec-
<figure><img src="image_4.png" /><figcaption>FIGURE 1 – Architecture de l’infrastructure proposée</figcaption></figure>

tifs de coordination. Nous faisons l'hypothèse qu'un agent ne publie que sur le sujet du robot qu'il contrôle. Des mécanismes supplémentaires devraient être ajoutés pour éviter les comportements faux ou malveillants mais cela n'est pas considéré dans le cadre de cet article. En fonction de ses objectifs et de ses entrées, l'agent décide et envoie des commandes aux actionneurs du robot pour effectuer des actions telles que se déplacer, éviter des obstacles ou ramasser des objets. De manière similaire au workflow de perception de l'environnement, cela implique une gestion du processus de publication/abonnement. Dans ce cas, cela implique que le robot s'abonne aux sujets sur lesquels l'agent va publier. Considérer les robots comme des boîtes noires implique que les sujets sont donnés par eux et que les agents les respectent.

# 4 Scénario motivant et résultats expérimentaux

Dans cette section, nous commençons par présenter un scénario motivant qui servira comme un exemple pratique pour discuter de notre proposition. Ensuite, nous discutons des détails de mise en œuvre, suivis d'une analyse des résultats expérimentaux de l'infrastructure proposée.

## 4.1 Scénario motivant

Dans cette section, nous décrivons le scénario implémenté dans cet article pour illustrer le couplage entre plateformes par un exemple de synchronisation entre un bras robotique numérique et un turtlebot physique. Considérons un cas d'usage impliquant deux agents, comme illustré dans la Figure 1. L'agent A1 dans la Figure 2 contrôle les robots numériques (le bras dans Gazebo), tandis que l'agent A2 contrôle le robot physique (le turtlebot dans Maq'It).

Dans ce scénario, l'agent A1 contrôle le bras robotique pour choisir les objets verts et jaunes qui sont prises par le turtlebot contrôlé par l'agent A2. Avant de placer l'objet, le bras publie un message sur le sujet `/moveArm` indiquant qu'il a réussi à choisir l'objet en envoyant le message "succeed". L'agent A2 qui contrôle le TurtleBot3 physique s'abonne au sujet `/moveArm`. Une fois le mot "succeed" publié, il publie la position de destination sur le sujet `/move_base/goal` afin que le TurtleBot3 se déplace vers le bras robotique.

Lorsque le TurtleBot3 physique atteint sa position désignée, il publie le message "succeed" sur le sujet `/turtlebotArrived`. L'agent A1 qui s'est abonné à ce sujet a publié sur le sujet `/rx150/arm_controller/command` pour demander au bras de placer l'objet.
<figure><img src="image_5.png" /><figcaption>FIGURE 2 – Scénario motivant</figcaption></figure>

## 4.2 Implémentation

Dans cet article, chaque environnement constitue un cadre d'expérimentation permettant de tester et de valider le système multi-agents proposé, aussi bien dans des environnements robotiques physiques que numériques.

**Environnement numérique.** Pour la simulation, nous utilisons Gazebo, un outil largement adopté dans la recherche en robotique. Il offre une plateforme de simulation puissante capable de modéliser divers systèmes et environnements robotiques. Ensemble, ROS et Gazebo garantissent des environnements robustes et flexibles pour la simulation de scénarios multi-robots, permettant une intégration efficace avec notre infrastructure. Dans nos simulations, nous utilisons le bras robotisé RX150 qui est utilisé pour les tâches de manipulation.

**Environnement physique.** La plateforme Maq'It<fnref n="1" /> est une plateforme robotique qui correspond à l'environnement physique de cette étude. Elle offre un espace où des preuves de concept tangibles peuvent être développées en utilisant différents types de robots et de paramètres physiques. L'objectif de la plateforme est de permettre un processus de développement incrémental et agile pour créer des démonstrateurs finaux. Elle intègre un des robots physiques qui communiquent à l'aide de ROS, permettant un échange de données transparent, la transmission de commandes et le partage d'informations sur les capteurs. Pour l'environnement physique, nous utilisons le TurtleBot3 Burger nommé Doc comme robot physique de la plateforme Maq'It.

**Plateforme de coordination SMA.** Nous utilisons une implémentation d'une liaison ROS pour Hypermedea<fnref n="2" />.

## 4.3 Résultats expérimentaux

Après avoir présenté le scénario motivant et le processus de mise en œuvre de l'infrastructure proposée. Dans cette section, nous présentons les résultats expérimentaux réalisés. La figure 3 (a) visualise la trajectoire de l'effecteur final du bras robotique tandis qu'il se déplace à travers différents états de joints, représentés par un chemin en 3D.

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /><figcaption>FIGURE 3 – Expérimentation du scénario motivant avec le bras robotique numérique et le Turtlebot3 physique</figcaption></figure>

<footnote n="1">1. https://maqit.wp.imt.fr/</footnote>

<footnote n="2">2. https://github.com/Hypermedea/ros-binding</footnote>
Les couleurs de la trajectoire passent du bleu au violet, offrant ainsi une vision claire de la progression du mouvement. La figure comprend également deux objets distincts, chacune marquée par des couleurs différentes (jaune et vert) pour indiquer les points de prise potentiels pour le bras robotique. Les positions de ces objets sont montrées sur la courbe, et la trajectoire du robot est comparée aux distances de chaque objet. L'objectif est de visualiser que l'effecteur final atteint les deux objets et les place dans la position rouge. Les axes du courbe représentent les positions X, Y et Z, et la légende aide à identifier les objets par couleur.

La figure 3 (b) illustre la trajectoire du TurtleBot3 montrant son mouvement basé sur les données d'odométrie jusqu'à la position où sont placées les objets verts et jaunes près du bras du robot. La ligne bleue représente le chemin du TurtleBot depuis sa position initiale (marquée par un point bleu) jusqu'à sa position finale (marquée par un point rouge). Les axes sont étiquetés en mètres et la légende identifie les différents éléments, offrant une visualisation claire du mouvement du TurtleBot vers l'objet. Les deux figures démontrent l'exécution réussie du scénario motivant, mettant en valeur la capacité du bras robotique numérique à atteindre et à interagir avec les objets désignées pendant que le TurtleBot3 navigue vers l'emplacement prévu. Cette représentation visuelle fournit des informations sur les performances des deux robots. Un examen plus approfondi des trajectoires révèle des informations sur la précision et l'exactitude de leurs mouvements, y compris les écarts par rapport aux trajectoires prévues et les erreurs dans l'atenteinte des cibles. La trajectoire réelle du TurtleBot3 peut présenter des variations dues à des facteurs tels que le patinage des roues, les perturbations environnementales, le bruit des capteurs et l'évitement des obstacles, ce qui souligne la nécessité d'évaluer la robustesse du système de navigation. De plus, l'analyse des trajectoires peut fournir des informations sur l'évolutivité et l'adaptabilité du système à des tâches plus complexes, en tenant compte de facteurs tels que le nombre de objets, leur placement et les mouvements requis.

## 5 Conclusion

Dans cet article, nous avons présenté une infrastructure multi-agents conçue pour réaliser une intégration transparente entre les environnements physiques et numériques, facilitant la synchronisation et le contrôle en temps réel des

systèmes robotiques. En introduisant des agents pour représenter à la fois les robots physiques et numériques, notre infrastructure permet une interaction et une coordination entre ces environnements. L'infrastructure proposée a été validée par un scénario motivant utilisant Hypermedea qui fournit un cadre solide pour le déploiement et le contrôle des agents sur une plateforme robotique. Les résultats de ce scénario démontrent la faisabilité de notre infrastructure pour permettre une coordination dynamique en temps réel dans les applications robotiques. Ce travail offre non seulement une solution novatrice pour l'intégration des environnements physiques et numériques, mais pose également les bases de futures recherches dans les systèmes multi-agents et le contrôle robotique. Les travaux futurs pourraient se concentrer sur l'élargissement du champ d'application de cette infrastructure, l'optimisation des mécanismes de synchronisation et l'exploration de son application sur diverses platesformes robotiques et cas d'utilisation. Nous explorerons un scénario plus complexe pour illustrer l'efficacité de notre infrastructure. Nous illustrerons comment un graphe de connaissances peut être utilisée pour découvrir et guider l'interaction de l'agent avec la plateforme robotique.

## Remerciements

Ce travail a été financé par le projet ANR MaestrIoT (ANR-21-CE23-0016).

## Références

[1] Victor Charpenay, Antoine Zimmermann, Maxime Lefrançois, and Olivier Boissier. Hypermedea : a framework for web (of things) agents. In *Companion Proceedings of the Web Conference 2022*, pages 176–179, 2022.

[2] Gregory Dudek, Michael RM Jenkin, Evangelos Milios, and David Wilkes. A taxonomy for multi-agent robotics. *Autonomous Robots*, 3:375–397, 1996.

[3] Homayun Kabir, Mau-Luen Tham, and Yoong Choon Chang. Internet of robotic things for mobile robots : concepts, technologies, challenges, applications, and future directions. *Digital Communications and Networks*, 9(6):1265–1290, 2023.

[4] Wisama Khalil and Etienne Dombre. *Modeling, identification and control of robots*. Butterworth-Heinemann, 2004.
[5] George A Bekey. *Autonomous robots : from biological inspiration to implementation and control*. MIT press, 2005.

[6] Sergey Vorotnikov, Konstantin Ermishin, Anaid Nazarova, and Arkady Yuschenko. Multi-agent robotic systems in collaborative robotics. In *Interactive Collaborative Robotics: Third International Conference, ICR 2018, Leipzig, Germany, September 18-22, 2018, Proceedings 3*, pages 270-279. Springer, 2018.

[7] Jean-Paul Jamont and Michel Occello. Meeting the challenges of decentralised embedded applications using multi-agent systems. *International Journal of Agent-Oriented Software Engineering*, 5(1):22-68, 2015.

[8] Concetta Semeraro, Mario Lezoche, Hervé Panetto, and Michele Dassisti. Digital twin paradigm: A systematic literature review. *Computers in Industry*, 130:103469, 2021.

[9] Hussein Marah and Moharram Challerger. Madtwin: a framework for multi-agent digital twin development: smart warehouse case study. *Annals of Mathematics and Artificial Intelligence*, 92(4):975-1005, 2024.

[10] Hussein Marah and Moharram Challerger. Adaptive hybrid reasoning for agent-based digital twins of distributed multi-robot systems. *SIMULATION*, page 00375497231226436, 2024.

[11] Nazish Tahir and Ramviyas Parasuraman. Mobile robot control and autonomy through collaborative twin. In *2023 IEEE International Conference on Perceptive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops)*, pages 558-563. IEEE, 2023.

[12] Olivier Boissier, Rafael H Bordini, Jomi Hubner, and Alessandro Ricci. Multi-agent oriented programming: programming multi-agent systems using JaCaMo. Mit Press, 2020.