# La localisation par les objets connectés pour une meilleure autonomie de la personne

Réjane Dalcé, Antonio Serpa, Thierry Val, Adrien van den Bossche, Frédéric Vella, Nadine Vigouroux

► To cite this version:

Réjane Dalcé, Antonio Serpa, Thierry Val, Adrien van den Bossche, Frédéric Vella, et al.. La localisation par les objets connectés pour une meilleure autonomie de la personne. 8èmes Journées d'étude sur la TéléSanté et dispositifs biomédicaux (JETSAN 2021), LAAS (CNRS); IRIT (CNRS, INP Toulouse, UT1 Capitole, UT2 Jean Jaurès, UT3 Paul Sabatier); IUT Blagnac (UTJ), May 2021, Toulouse, Blagnac, France. **hal-03203713**

HAL Id: hal-03203713

https://hal.science/hal-03203713v1

Submitted on 8 Nov 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# La localisation par les objets connectés pour une meilleure autonomie de la personne

Réjane Dalcé<fnref n="1" />, Antonio Serpa<fnref n="2" />, Thierry Val<fnref n="3" />,

Adrien van den Bossche<fnref n="3" />, Frédéric Vella<fnref n="2" />, Nadine Vigouroux<fnref n="2" />

**Abstract** - La localisation d'objets connectés est un besoin avéré des personnes en situation de handicap (déficience visuelle et cognitive). Les technologies de localisation à moindre coût foisonnent et permettent de disposer d'informations de localisation précises. Dans cet article, nous rapportons le besoin des localisations d'objets dans le champ de l'autonomie des personnes en situation de handicap. Puis nous proposons un panorama des différentes technologies de localisation en proposant des critères pour les différencier. Un modèle et une implémentation de la Description Sémantique de la Position (DSP) d'un objet par une description spatiale (« le pilulier est sur la table dans la cuisine ») est décrit pour laquelle nous détaillons les algorithmes (localisation de la pièce, estimateur de proximité et position relative). Des premiers résultats obtenus à partir avec la plateforme LocURa4IoT présent sur la Maison Intelligente de Blagnac sont rapportés. Deux scénarios prospectifs viennent illustrer l'apport de la DSP dans l'assistance à la localisation d'un pilulier pour deux populations de déficience (visuelle et cognitive).

**Keywords** : localisation sémantique, objets connectés, localisation indoor, Ultra-Wide Band, assistants à l'autonomie

## I. INTRODUCTION

La localisation des objets connectés est un domaine actuellement en pleine effervescence. Alors que jusqu'il y a encore quelques années, la localisation était systématiquement synonyme d'utilisation de la technologie GPS (ou, plus précisément, les technologies GNSS (Global Navigation Satellite System)), de nouvelles technologies sont en pleine démocratisation et se révèlent très complémentaires des historiques systèmes de navigation assistés par satellites : il est aujourd'hui possible de disposer d'une information de position d'un objet à moindre coût et avec des précisions centimétriques, y compris en environnement intérieur. Cet article propose de s'intéresser à ce champ technologique en l'appliquant au domaine de la santé et de l'autonomie des personnes, et de discuter, au travers des travaux, des besoins et des possibilités technologiques, du positionnement de ces technologies dans un futur proche. Nous commencerons par une section sur les besoins de localisation d'objets et de personnes dans le champ des personnes en situation de handicap. Nous dressons ensuite

un panorama rapide des différentes technologies de localisation et de géolocalisation existantes en proposant plusieurs critères pour les différencier. Puis nous adressons la problématique de la Description Sémantique de la Position (DSP) d'un objet par une description spatiale (« le pilulier est sur la table dans la cuisine ») pour laquelle nous détaillons les algorithmes (localisation de la pièce, estimateur de proximité et position relative). Des premiers résultats obtenus à partir avec la plateforme LocURa4IoT présent sur la Maison Intelligente de Blagnac sont rapportés. Deux scénarios prospectifs illustrent l'apport de la DSP dans l'assistance à la localisation d'un pilulier pour deux populations de déficience (visuelle et cognitive).

## II. BESOINS ET ETAT DES LIEUX DU GUIDAGE, DE L'IDENTIFICATION ET DE LA LOCALISATION D'OBJETS POUR LES PERSONNES EN SITUATION DE HANDICAP

### A. La localisation d'objets : un véritable besoin

La localisation et l'identification des objets est une activité qui peut être difficile et stressante pour les personnes en situation de handicap, mais qui est indispensable dans le maintien de leur autonomie. Nous allons essayer de le montrer pour deux situations de handicap : la déficience visuelle et la déficience cognitive.

Dans le champ de la déficience visuelle, l'enquête auprès de 54 non-voyants de Dramas et al. [1] a montré que la localisation d'objets répond à un besoin chez les personnes atteintes de cécité et qu'elle contribue à l'accroissement de leur autonomie. Cependant cette localisation nécessite que le non-voyant acquière une représentation de l'espace. Ces mêmes auteurs postulent que la localisation continue, à partir d'indices locaux, permet d'avoir une représentation de l'espace pour suivre, atteindre et saisir l'objet recherché.

Dans le champ de la déficience cognitive, [2] et [3] rapportent qu'égarer des objets est un symptôme de la maladie d'Alzheimer. De plus, l'organisation non gouvernementale à but non lucratif Alzheimer Europe [4] insiste sur l'effet de cette perte d'objet dans la relation sociale entre le patient et ses aidants.

Les personnes déficientes visuelles ont besoin d'être guidées à cause du manque de perception des objets dans l'espace. Les

<footnote n="1">¹Institut de Recherche en Informatique de Toulouse, Institut National Universitaire Champollion, France</footnote>

<footnote n="2">²Institut de Recherche en Informatique de Toulouse, Université Toulouse 3, France</footnote>

<footnote n="3">³Institut de Recherche en Informatique de Toulouse, Université Toulouse 2 Jean Jaurès, France</footnote>

<footnote>{Rejane.Dalce, Antonio.Serpa, Thierry.Val, Adrien.van-den-Bossche, Frederic.Vella, Nadine.Vigouroux}@irit.fr</footnote>
déficients cognitifs ont également besoin d'être guidés à cause de problèmes de concentration/mémorisation/compréhension. Sur la base de ces constats, la Figure 1 représente le besoin de la localisation des objets et de la nécessité d'utiliser cette localisation des objets dans une fonction de suppléance. Celle-ci s'appuiera sur des modalités et des technologies d'interaction appropriées afin de rendre compte de l'espace où se trouve l'objet à localiser. Les technologies de localisation d'objets renseigneront les modules interactionnels sur la position de l'objet. Celle-ci sera exploitée par les systèmes de guidage pour les déficients visuels par exemple ou par les systèmes d'assistance cognitive pour faciliter la réalisation des AVQ (Activités de la Vie Quotidienne) ou des AIVQ (Activités Instrumentés de la Vie Quotidienne) pour les personnes souffrant d'une dégénérescence cognitive.

<figure><img src="image_2.png" /><figcaption>Figure 1 : Le besoin de la localisation d'objets dans le champ de l'autonomie</figcaption></figure>

## B. La référence spatiale

Cette localisation d'objet nécessite de définir la référence spatiale. Shelton et Mac Namara [5] définissent « un cadre de référence spatiale » comme « un système de relations consistant à localiser les objets, les points de référence et les relations spatiales qui peuvent exister entre ceux-ci ». Il existe deux principaux types de référentiels spatiaux : les référentiels de type égocentré et de type allocentré [6], [7], [8], [9].

Dans le référentiel égocentré, la localisation de l'objet est codée en fonction de la position de l'observateur, que celui-ci soit statique ou en mouvement. Le point de vue dépend de la position et de l'orientation du sujet respectivement définis comme l'origine et l'axe de référence de toute mesure de distance ou d'angle. L'angle formé par l'orientation du sujet (référentiel tête ou référentiel corps) et la direction d'un élément de l'environnement est appelé « gisement » et on l'exprime avec des adverbes spécifiques (droite, gauche, devant, derrière, etc.), en degrés (90 degrés à gauche par exemple) voire, de façon particulièrement intuitive, notamment pour des déficients visuels, en utilisant la métaphore de l'horloge [10]. A l'inverse, le référentiel de type allocentré est lui indépendant du point de vue du sujet. L'information est exprimée en fonction de la position d'un ou de plusieurs objets fixes de l'environnement et ne varie donc pas avec la position de l'observateur (« la mairie est en face de la boulangerie »). Dans ce référentiel, le codage se fait en fonction de plusieurs points de repère distants qui

fournissent un cadre de référence à partir duquel l'objet est localisé en termes de distances et de directions.

## C. Nécessité d'une prise en compte de l'utilisateur

Dans le domaine du guidage, de la localisation et de l'identification d'objets pour des personnes ayant une déficiente visuelle et/ou avec des troubles cognitifs, un certain nombre de technologies ont déjà été explorées (voir TABLE I.). Cette table recense également les situations d'usages. On notera une prépondérance d'applications de guidage dans le champ de la déficience ou de retour (vocal, vibro-tactile, réalité augmentée). Dans notre cas, nous nous proposons d'aborder cette problématique sous un angle un peu différent. Nous souhaitons proposer une approche plus intuitive du point de vue de l'utilisateur. Notre approche permet, à la fois, la localisation indoor en utilisant les techniques d'évaluation de la distance entre objets connectés (ranging) par une Description Sémantique de la Position (DSP) des objets connectés (« vos clés sont près de la cafetière à gauche du réfrigérateur »), de connaître l'état de chaque objet à tout instant et d'intégrer des informations venant des différents capteurs disponibles dans l'environnement afin de prendre en compte le contexte. Cette approche particulière a pour but de proposer des processus d'interaction (dans le cas de l'autonomie, des assistants technologiques) les plus « intelligibles et efficients » possibles avec le ou les utilisateurs en fonction de leurs profils et du contexte d'usage. Nous émettons l'hypothèse que, dans certaines situations, une information telle que « l'objet A est entre l'objet B et l'objet C » peut être plus pertinente à interpréter que trois jeux de coordonnées [{xA, yA, zA}, {xB, yB, zB}, {xC, yC, zC}] ou que des angles et des distances.

# III. LES TECHNOLOGIES DE LOCALISATION ET DE GEOLOCALISATION

A. Après avoir décrit les besoins de systèmes d'identification, de guidage et de localisation des objets connectés pour des personnes en situation de handicap, cette section dresse un panorama rapide des différentes technologies existantes pour répondre à ces attentes, en commençant par détailler plusieurs critères différenciant ces technologies. Notions générales et généralement communes aux différentes technologies

## 1) Portée, référentiel et repère

Pour définir une technologie de localisation, il convient généralement de spécifier la portée du système de localisation. Dans la littérature, on oppose généralement deux environnements : la localisation indoor (intérieur) et la localisation outdoor (extérieure). La séparation nette entre ces deux environnements est principalement liée à deux éléments :
<table><caption>TABLE I. TECHNOLOGIES ET USAGES POUR LA LOCALISATION D'OBJETS ET DE PERSONNES</caption><thead><tr><th rowspan="2">Approche<br>Population</th><th colspan="2">Technologies utilisées</th><th rowspan="2">Exemples d'usages</th><th rowspan="2">Références</th></tr><tr><th>Guidage des<br>personnes</th><th>Localisation et/ou identification<br>d'objets/Personnes</th></tr></thead><tbody><tr><td rowspan="2">Déficients<br>cognitifs</td><td></td><td>Robot humanoïde<br>Système d'acquisition optique</td><td>Localisation d'objets (retour vocal)</td><td>[12]</td></tr><tr><td></td><td>Son spatialisé<br>Suivi RFID</td><td>Localisation d'objets</td><td>[13]</td></tr><tr><td rowspan="6">Déficients<br>visuels</td><td></td><td>Tags radiofréquences</td><td>Localisation d'objets<br>Guidage indoor/outdoor</td><td>[14]</td></tr><tr><td></td><td>Ultrasons/infrarouges</td><td>Guidage indoor/outdoor<br>Détection sources de danger<br>Reconnaissance d'objets/de formes</td><td>[15]</td></tr><tr><td></td><td>Analyse de la scène par vision<br>artificielle</td><td>Analyse automatique de texte,<br>Localisation d'objets,<br>Identification des visages,<br>Lecture de codes-barres, QR code etc.<br>Détection sources de danger</td><td>[11]<br>[16]</td></tr><tr><td></td><td>Vision prosthétique</td><td>Localisation d'objets/de formes/ de personnes<br>Reconnaissance d'objets/de formes/ de<br>personnes</td><td>[17]</td></tr><tr><td></td><td>Réalité augmentée vidéo et/ou audio</td><td>Guidage indoor/outdoor<br>Localisation d'objets,<br>Détection de sources de danger</td><td>[18]</td></tr><tr><td></td><td>Vibro-tactile</td><td>Localisation de cibles<br>Guidage indoor/outdoor<br>Détection d'obstacles/sources de danger</td><td>[19][20]</td></tr></tbody></table>

- d'une part, la technologie utilisée pour parvenir à cette localisation, qui n'est pas la même selon que l'élément mobile est placé à l'intérieur ou à l'extérieur de bâtiments,

- d'autre part, le repère ou le référentiel utilisé pour coder la position du mobile. Celui-ci peut être universel et global, ou local, exprimé en coordonnées sphériques, cartésiennes/orthonormées, etc. En extérieur et par souci d'universalité sur l'ensemble du globe terrestre, le repère sera sphérique. Pour une localisation d'intérieur, un repère local, généralement orthonormé – bien que cela puisse dépendre de la forme des bâtiments – sera plus facilement utilisé. Des règles de changement de repères permettent de passer de l'un à l'autre pour imaginer des services de localisation « sans couture ».

## 2) Références et ancrés

Pour permettre la localisation, le système a généralement besoin de points de repères identifiables et dont la position est connue et exprimée dans le référentiel utilisé : on parlera de « références» ou d'«ancres» pour désigner ces points reconnus. De la qualité de leur identification et de leur position

dépendra généralement la précision et la fiabilité de l'ensemble du système de localisation. Comme cela a été précisé dans le précédent chapitre, quand le référentiel est centré sur l'utilisateur du système, le terme ego-centré sera utilisé. Cette situation conduit à définir les positions et les distances par rapport à soi (l'objet d'intérêt). Si l'origine du référentiel est indépendante du mobile, la localisation sera dite allo-centrée et sera définie dans les coordonnées du repère.

## 3) Présence ou non d'une infrastructure

Les systèmes de localisation peuvent également être répartis entre des systèmes avec infrastructure et des systèmes sans infrastructure. Dans le premier cas, une infrastructure commune est déployée indépendamment de la présence et de l'activité des nœuds à localiser. C'est par exemple le cas des technologies GNSS : les satellites sont en orbite en tout temps. Les systèmes sans infrastructure se retrouvent généralement au stade de recherche, même si la première variante envisagée pour l'application StopCOVID<fnref n="1" /> utilisée en France en 2020 pour une détection de proximité relative.

<footnote n="1">¹ https://www.lemonde.fr/pixels/article/2020/06/16/l-application-stopcovid-collecte-plus-de-donnees-qu-annonce_6043038_4408996.html</footnote>
## B. Exemples de technologies de localisation

Dans cette section sont présentées les différentes approches (principes, grandeurs observables, technologies) utilisées pour réaliser une localisation d'objets connectés.

**Service de navigation global (GNSS)** : Service universel, de portée mondiale grâce à une infrastructure de satellites couvrant l'ensemble du globe. L'imprécision augmente en indoor (ou devient même inopérante) à cause de la Non Ligne de Vue (présence d'obstacles) des satellites par le mobile lorsque celui-ci est en intérieur. Précision de quelques mètres dans le meilleur des cas, dans une utilisation publique.

**Vision** : L'utilisation de caméras, associée à des processus de traitement d'image, permet la reconnaissance et la localisation d'objets et de personnes. Pour assurer le fonctionnement la nuit ou pour des zones faiblement éclairées, il est possible d'utiliser des caméras infrarouges (IR). C'est par exemple le cas de caméras 3D IR actives comme la très connue Kinect qui permet de générer une image en 3D de la scène filmée [21]. Ce système de localisation peut manquer de précision dans certaines situations du fait qu'il est sensible à des changements de conditions d'éclairage, à la saillance et/ou à la taille apparente des objets à reconnaitre.

**Sondes inertielles** : Accéléromètres, gyromètre et magnétomètres 3D sont les capteurs utilisés maintenant dans les centrales inertielles IMU (Inertial Measurement Unit). Pour les deux premiers, les indications fournies sont liées aux mouvements relatifs. Il est donc nécessaire de les coupler à une position/orientation initiale, ce qui peut être corrigé par l'utilisation d'un magnétomètre si le champ magnétique terrestre est disponible. La précision n'est toutefois pas très grande, et nécessite des traitements algorithmiques potentiellement lourds, notamment pour lutter contre la dérive inhérente aux calculs d'intégrales [22].

**Laser/Infrarouge//Ultra-Son** : Des solutions issues de la robotique sont potentiellement intéressantes, comme l'utilisation de Lidar (télédétection par Laser), ou de signaux infrarouge ou ultrasonores. La première solution permet de localiser des objets, pas nécessairement connectés, en 2D ou 3D. Il est également possible d'utiliser de simples capteurs PIR (Passive InfraRed) comme ceux employés par les alarmes domotiques pour détecter la variation de température dans une pièce, indicateur de la présence par exemple d'une personne en mouvement [23]. Quelques travaux se basent sur l'utilisation des signaux ultrasons, bien connu des roboticiens [24].

**RFID/NFC** : L'utilisation d'étiquettes RFID (Radio Frequency Identification) - passives ou actives- ou plus récemment de tags NFC (Near-Field Communication) est exploitée depuis de nombreuses années pour localiser des objets, principalement en indoor. Ce système impose le déploiement de nombreux tags sur les objets ou dans l'environnement qui réagissent au passage d'objets ou de personnes munies d'un lecteur spécifique. La faible portée de ces technologies

radiofréquence impose d'avoir un maillage très fin, ce qui nécessite de disposer de nombreux tags répartis dans l'environnement. Ces contraintes rendent cette technologie complexe à mettre en œuvre et peu précise.

**Force du signal radio (RSSI, Received Signal Strength Indication)** : Le système le plus connu, disponible sur la quasi-totalité des récepteurs radio est basé sur l'évaluation de la puissance du signal radio en réception. On en déduit alors la distance entre émetteur et récepteur si on connait la puissance d'émission et une loi d'affaiblissement de l'onde. Ce système est peu précis car perturbé par les conditions de propagation entre les émetteurs et récepteurs, en particulier en indoor avec les murs et obstacles à franchir induisant une non ligne de vue [25], [26].

**Temps de vol radio (ToF, Time-of-Flight)** : Mesurer le temps pris par un message radio entre son instant d'émission et son instant de réception est la solution la plus précise pour évaluer une distance entre émetteur et récepteur. Pour la localisation indoor, UWB (Ultra-Wide Band) permet une précision centimétrique, en particulier en ligne de vue directe (LOS). Le ToF offre une fonction mesure de distance (ranging) qui peut alors alimenter, si on le désire, une localisation dans un repère des algorithmes de trilatération ou d'autres plus évolués [27].

**Angle d'arrivée (AoA, Angle of Arrival)** : Ce système de goniométrie remonte à la seconde guerre mondiale pour évaluer l'angle d'arrivée de signaux radio en extérieur. Il est également utilisé par les opérateurs mobiles pour trianguler des signaux GSM, lors, par exemple, de recherche de personnes après une avalanche [28]. Pour des cas d'usage en intérieur, le problème est plus complexe car il n'est plus possible d'utiliser des grandes antennes, ou des antennes tournantes. Les dernières évolutions de Bluetooth à partir de la v5.1 visent à proposer un contrôle de l'angle de départ (AoD) et d'évaluation de l'AoA en donnant accès aux paramètres radio IQ [29]. L'entreprise Qorvo, leader mondiale de l'UWB, travaille également à l'AoA avec ces derniers tranceivers radio UWB [30]. Ces nouveaux tranceivers UWB sont sans doute les plus avancés car ils combinent à la fois la mesure de distance par ToF et la mesure d'angle d'arrivée (AoA), ce qui permet à un seul récepteur UWB DW3000 positionné et orienté, de connaître la localisation absolue d'un émetteur radio UWB, typiquement dans une pièce. La précision de la mesure d'angle est de l'ordre de 10 degrés.

La TABLE II. rappelle les éléments saillants de ces différentes technologies. Par la suite, c'est la technologie UWB que nous avons choisi de retenir, pour la précision atteignable d'une part, mais aussi pour les nombreuses possibilités offertes (ToF pour la mesure de distance, - implémentée, et AoA pour les directions d'arrivée - perspective) permettant d'ouvrir des perspectives d'approches tant allocentrées qu'égocentrées.
<table><caption>TABLE II. PRINCIPALES TECHNOLOGIES DE LOCALISATION</caption><thead><tr><th>Nom</th><th>Caractéristiques</th><th>Environ.</th><th>Infra.</th><th>Précision</th></tr></thead><tbody><tr><td>GNSS</td><td>universel/global, repère sphérique (latitude, longitude, altitude)</td><td>outdoor</td><td>satellites</td><td>métrique</td></tr><tr><td>Vision</td><td>Caméras</td><td>indoor</td><td>caméra</td><td>faible</td></tr><tr><td>Inertielles</td><td>Accéléromètres, gyromètres 3D</td><td>indoor</td><td>rien</td><td>relative</td></tr><tr><td>Laser</td><td>Lidar, lasers</td><td>outdoor</td><td>caméras</td><td>moienne</td></tr><tr><td>RFID/NFC</td><td>Détection de proximité</td><td>indoor</td><td>lecteurs</td><td>faible</td></tr><tr><td>RSSI</td><td>Mesure de distance</td><td>indoor</td><td>balises</td><td>métrique</td></tr><tr><td>ToF</td><td>Mesure de distance entre 2 nœuds E et R</td><td>indoor</td><td>balises</td><td>centimétrique</td></tr><tr><td>AoA</td><td>Détection angle réception</td><td>indoor</td><td>balises</td><td>10 degrés</td></tr></tbody></table>

### C. Sortie du système de localisation et de son utilisation

Les systèmes de localisation produisent des sorties fort variées : coordonnées GNSS, distances, positions dans le repère orthonormé local, etc. Ces informations ne sont généralement pas directement utilisables par l'usager, qui a besoin d'une technologie complémentaire comme une carte ou un interpréteur. **Il est également nécessaire de positionner le problème de la confidentialité des données relatives à la localisation directe de la personne, ou indirecte, via la position des objets connectés utilisés ; en effet, une localisation des objets utilisés permet de remonter à la position de la personne. A ce titre, comme dans tous les travaux mettant en œuvre des objets connectés, la question est légitime et l'usager doit pouvoir disposer d'une information transparente quant au stockage et à l'utilisation des données produites, et d'un droit de rétraction.**

### IV. UNE SOLUTION: LE PROJET IDEALI1-DSP

En réponse aux attentes exprimées et décrites en début d'article et aux besoins d'adaptation des informations produites par les systèmes de localisation aux utilisateurs, une démarche reposant sur l'une des technologies de localisation présentée (UWB ToF) a été initiée en vue de faciliter l'utilisation de la localisation d'un objet connecté utilisé dans la vie de tous les jours. C'est ainsi que le projet IDEALI « *Identification Assistée par la Localisation dans l'habitat Intelligent* » a été initié. Dans une première phase, un système de localisation a été imaginé, conçu et développé et sa sortie adaptée à un utilisateur en situation de handicap pré-décrite plus haut (déficience visuelle ou déficience cognitive) pour l'aider à retrouver un objet égaré. A terme, les travaux menés permettront de conceptualiser des systèmes interactifs et d'assistance plus naturels et adaptés aux capacités et aux activités des utilisateurs. La première phase du projet décrite dans cet article adresse la problématique de la *Description Sémantique de la Position* (DSP), pour permettre de meilleures assimilations compréhensions de l'information de

localisation par l'usager. Dans des situations d'AAL (*Active Assisted Living*), cette DSP sera nettement plus facile à interpréter qu'un triplet de coordonnées. Dans ce chapitre, nous présenterons l'architecture de la solution IDEALI1-DSP, ses composants ainsi qu'une illustration de résultats obtenus.

#### A. Architecture proposée

L'objectif ici est de produire automatiquement une DSP à destination d'utilisateurs (clients) par un ou plusieurs algorithmes qui seront décrits plus bas. Ces algorithmes reposent sur des jeux d'entrée pour être alimentés. Un jeu d'entrée est constitué de données de *ranging* (distances) obtenus par temps de vol radio UWB, mais également de données

sémantiques associées à des objets connectés impliqués dans le processus de *ranging*. On parlera ici de *Description Sémantique de l'Objet* (DSO). Nous faisons l'hypothèse que chaque objet connu de l'environnement est associé à une DSO qui est mémorisée par le système dans une table. En première approche, nous avons considéré que tout objet connecté peut initier un processus de *ranging* avec n'importe quel autre objet connecté de l'environnement. Ces données de *ranging* sont alors diffusées sur un bus logiciel (MQTT<fnref n="2" />, *Message Queuing Telemetry Transport*) pour une mise à disposition de ces données aux différents algorithmes, qui, à partir de ces données d'entrée, sont les générateurs de DSP. La **Figure 2** illustre l'architecture du système envisagé.

Pour chaque objet de l'environnement, les différents algorithmes produisent un fragment de DSP à partir des mesures de distance et des DSO des objets impliqués dans la mesure. En effet, pour décrire la position spatiale d'un objet, l'humain fait naturellement appel à plusieurs niveaux d'indication de localisation : par exemple, pour indiquer où se trouve son téléphone, une personne pourrait dire « *Il devrait se trouver dans le séjour, sur la table* », indiquant donc la pièce puis une zone précise de la pièce. Cette description spatiale ne fait pas l'objet de cet article. Elle pose toutefois les questions « par quel objet d'une scène la description devra-t-elle être enclenchée ? Quel est ensuite l'élément qu'il s'agira de positionner par rapport au premier, et ainsi de suite ? » [31]. Dans la suite, nous

<figure><img src="image_3.png" /><figcaption>Figure 2. Architecture du système</figcaption></figure>

<footnote n="2">² https://alse.org/</footnote>
présenterons les premiers micro-algorithmes déployés pour reconstituer ces informations.

## B. Micro-algorithmes proposés

Plusieurs micro-algorithmes ont été proposés. Parmi eux, nous avons choisi de présenter ceux permettant de fournir des indications similaires à celles d'un humain : « Détermination de la pièce », « Estimateur de proximité » et « Matrice d'alignement et position relative ». On notera ici qu'en l'absence de localisation de l'utilisateur et d'information sur son orientation, le système ne peut fournir que des informations de type allogènétiques.

### 1) Détermination de la pièce

L'algorithme de détermination de la pièce s'appuie sur une observation des voisins (au sens radio, objets connectés dans la zone de portée) les plus proches. Connaissant la pièce d'installation de ces voisins dans la DSO, un vote majoritaire est réalisé. Si une majorité ressort, le mobile est associé à la pièce des voisins majoritaires.

### 2) Estimateur de proximité

L'Estimateur de proximité considère des objets fixes Aj connaissant leur position/facilement repérables et des objets à localiser Xi, potentiellement mobiles dans l'environnement. La mesure de distance entre Xi et Aj permet de fournir une information de proximité. Une première approche consiste à déterminer des seuils à partir desquels, la formulation change: "très près de", "près de", "aux alentours de" pourraient être utilisés par exemple pour exprimer différents niveaux de proximité. La TABLE III. indique une première proposition de mapping.

<table><caption>TABLE III. EXPRESSION DE LA PROXIMITE EN FONCTION DU RANGING</caption><thead><tr><td>Distance (mètres)</td><td>Expression de la proximité</td></tr></thead><tbody><tr><td>D &lt; 0,3</td><td>« Très près »</td></tr><tr><td>0,3 &lt; D &lt; 0,6</td><td>« Près »</td></tr><tr><td>0,6 &lt; D &lt; 1,2</td><td>« Aux alentours »</td></tr></tbody></table>

### 3) Position relative

L'algorithme « Matrice d'alignement et position relative » indique l'existence d'un alignement grossier entre trois objets. Sa sortie est donc du type « l'objet Xi se trouve entre Aj et Ak ». Pour résoudre le problème, l'approche proposée est une matrice d'alignement gérée par Xi de manière autonome. Les lignes et les colonnes représentent les Aj voisins radio de Xi. Chaque cellule mlc de la matrice correspond à la valeur absolue de la différence entre la distance séparant Al et Ac et la somme des distances mesurées entre Xi et ces mêmes ancres. Xi sera considéré comme aligné avec deux ancres Al et Ac si mlc < s, s étant une valeur de seuil correspondant à une portion de la

distance entre Al et Ac. Dans la constitution de la DSP de Xi, l'existence d'un minimum mnp avec n différent de p inférieur à s générera l'expression « Xi se trouve entre An et Ap ».

## C. Combinaison des données pour les clients / Construction de la DSP résultante

Pour un objet donné, les différents algorithmes fournissent chacun un fragment de DSP, DSPi, en fonction de leur spécification. Ces fragments doivent donc être assemblés pour produire une DSP finale. Dans une première version, nous avons proposé un modèle simple où toutes informations sont utilisées et une chaîne de caractère composée de chaque DSPi en sortie de l'algorithme i séparée par une virgule. Compte tenu des trois algorithmes décrits, un exemple de sortie combinée serait : « [l'objet se trouve] dans la cuisine (1), près de l'évier (2), entre la cafetière et l'évier (3) ». L'information (1) est donnée par l'algorithme de détermination de la pièce, (2) par l'Estimateur de proximité et (3), par la Position relative.

Un premier prototype a été implémenté en utilisant le plateau 2 de la plateforme LocURa4IoT [32] présent sur la Maison Intelligente de Blagnac [33]. Sur ce plateau, une dizaine d'objets connectés UWB sont déployés dans un référentiel local allogènétique. Les deux premiers algorithmes décrits ont été implémentés, ainsi que le combinateur de données, constructeur de la DSP résultante. Un objet mobile, attaché à un trousseau de clé, a été « égaré » à de multiples positions, et recherché par le système. La sortie combinée du système IDEALI1-DSP a été observée. Plusieurs exemples sont donnés dans la TABLE IV.

<table><caption>TABLE IV. RESULTATS OBTENUS</caption><thead><tr><td>Position</td><td>Sortie combinée IDEALI1-DSP</td></tr></thead><tbody><tr><td>A quelques cm de la télévision</td><td>« Dans le salon, près de la télévision »</td></tr><tr><td>A quelques dizaines de cm de la télévision</td><td>« Dans le salon, aux alentours de la télévision »</td></tr><tr><td>Sur le canapé, loin de tout objet ancre</td><td>« Dans le salon »</td></tr><tr><td>Sur le plan de travail de la cuisine</td><td>« Dans la cuisine, près de l'évier »</td></tr></tbody></table>

Une vidéo de vulgarisation [34] illustre ces différentes positions et quelques autres, avec une illustration du contexte.

## V. PROPOSITION DE SCENARIOS

Nous présentons deux scénarios concernant la localisation d'un pilulier dans une maison connectée pour une personne atteinte de déficience visuelle et une personne atteinte de déficience cognitive. Il s'agit de scénarios prospectifs qui n'ont pas été implémentés dans le projet IDEALI1-DSP présenté plus haut.

Les objets domestiques de la maison sont dotés de nœuds réseaux UWB tels que ceux utilisés dans le projet. Ces objets connectés sont la cafetière, l'évier de la cuisine et le pilulier. Ce dernier objet dispose d'une LED rouge clignotante pour
accentuer visuellement sa position ainsi que la possibilité d'émettre un signal sonore.

La maison dispose d'une synthèse vocale, d'un système de reconnaissance vocale et du système de Description Sémantique de la Position décrit ci-dessus qui permet capable de savoir où se trouvent les objets connectés. Dans les deux situations, le pilulier a été préparé et posé sur la table de la cuisine par l'infirmier. Une femme de ménage en rangeant la cuisine, par inadvertance, lui a mis son pilulier à côté de la machine à café qui se trouve à côté de l'évier, sans le lui dire.

### A. Déficience visuelle

La personne avec une déficience visuelle se nomme Monsieur Y.

La maison, grâce à un agenda vocal, lui signale qu'il doit prendre son médicament pour sa tension. Monsieur Y, comme tous les jours, va à la cuisine chercher son pilulier sur sa table de cuisine.

Monsieur Y ne le trouve pas à sa place habituelle. Monsieur Y demande oralement alors à la maison de lui situer le pilulier.

La maison grâce au système de localisation sémantique localise le pilulier par rapport à d'autres objets connectés se trouvant dans la maison.

La maison lui répond : « Votre pilulier se trouve entre la cafetière et l'évier de la cuisine »

Monsieur Y répond : « Est-ce-que mon pilulier est plus proche de la cafetière ou de l'évier ? »

La maison au moyen d'un système d'interaction vocale intégrant des descriptions spatiales grâce aux informations apportées par le DSP lui répond: « Votre pilulier se trouve à côté de la cafetière à droite de celle-ci ».

Monsieur Y remercie la maison de lui avoir trouvé son pilulier. Il peut prendre son médicament tranquillement.

Ce scénario permet d'illustrer le concept de DSP dans un cas concret. On y voit également la composition de plusieurs DSP et le rôle important du système d'interaction qui utilise les données sémantiques de la DSP. Il est intéressant de noter que la DSP « Votre pilulier se trouve à côté de la cafetière à droite de celle-ci » appelle une localisation egocentrée ; on est donc dans le cas d'un service de localisation hybride mélangeant allocentrée et égocentrée.

### B. Déficience cognitive

Madame X est atteinte d'Alzheimer et a du mal à trouver son pilulier.

La maison, grâce à un agenda vocal, lui signale qu'il doit prendre son médicament pour sa tension.

Sachant que Madame X ne retient jamais où se trouve le pilulier pour sa prise médicamenteuse.

Madame X demande oralement à la maison : « Où se trouve mon pilulier ? »

La maison au moyen d'un système d'interaction vocale intégrant des descriptions spatiales grâce aux informations apportées par le DSP lui répond : « Votre pilulier se trouve à côté de la cafetière à droite de celle-ci ».

Madame X se déplace vers la cuisine mais elle ne se rappelle plus à quoi ressemble son pilulier.

La maison active alors une LED rouge qui clignote sur le pilulier et dit à Madame X : « Votre pilulier, qui se situe à côté de la cafetière, a une lumière rouge qui clignote avec un petit bip ».

Madame X se tourne et visualise son pilulier pour prendre son médicament.

Ce scénario permet d'illustrer le concept de DSP sur un second cas d'usage, toujours dans un contexte interactif. Ici, la localisation est uniquement allo-centrée. Cependant, le service d'aide fait appel à d'autres mécanismes que la seule localisation des objets connectés : l'utilisateur est ici sollicité par des événements multimédias perceptifs et intelligibles par la personne déficiente cognitive (clignotement de la LED et/ou bip sonore). L'interaction ne situera pas à une seule description spatiale de la localisation de l'objet mais à la mise en place d'indices d'attention pour participer à la construction du service de localisation.

## VI. CONCLUSION AND PERSPECTIVES

Dans cet article, nous avons développé l'utilisation des services de localisation des objets connectés dans le contexte de la santé et de l'autonomie des personnes. Nous avons rapporté les demandes de la communauté des personnes en situation de handicap, pour deux cas concrets de la déficience visuelle et la déficience cognitive. Plusieurs utilisations d'applications de guidage et de localisation d'objets ont été présentées. Dans la suite, un panorama des techniques et technologies de localisation utilisant les objets connectés, a été présenté ; au-delà des technologies, des concepts fondamentaux permettant de structurer et différencier les technologies ont été posés : portée, référentiel, nécessité ou non d'infrastructure et sorties de localisation. Un exemple de système de localisation adapté à l'assistance pour l'autonomie de la personne a ensuite été présenté, dans sa structure et jusqu'aux premiers résultats obtenus. Deux scénarios prospectifs ont enfin été décrits pour illustrer les différents concepts abordés dans le papier ainsi que les perspectives de concevoir des systèmes interactifs coopératifs pour assister la personne en situation de handicap.

Les perspectives de ce travail sont nombreuses et demanderons de poursuivre notre projet avec une démarche transdisciplinaire. D'abord, il est intéressant de constater qu'au-delà du projet présenté et des résultats obtenus, la localisation des objets connectés étend le champ des possibles ; de nouvelles applications innovantes sont possibles, permettant d'améliorer la vie quotidienne des utilisateurs, en situation de handicap ou non. Plus précisément sur le projet présenté, la proposition de nouveaux algorithmes est en cours pour proposer d'autres types de DSP. Nous avons également relevé, dans l'article, que l'activation de mécanismes de localisation égo-centrés n'est possible qu'en précisant la localisation et l'orientation de l'utilisateur par rapport aux objets de son environnement. L'apport des techniques par angle d'arrivée (AoA) seront déterminantes dans le futur pour améliorer ce point. Dans le champ des aides techniques d'assistance, il sera notamment intéressant de concevoir des descriptions spatiales adaptées de localisation d'entités à partir des données des DSP. La question
de l'adaptation de l'aide au contexte est également une autre
perspective. Toutes les applications devront être soumises à des
expérimentations pour en mesurer l'utilisabilité et
l'acceptabilité.

ACKNOWLEDGMENT

Cette étude a reçu le soutien du département INS2I du CNRS
en 2019.

REFERENCES

[1] F. Dramas, S. Thorpe, C. Jouffrais. "Localisation d'objets pour les non-voyants par analyse d'image : analyse du besoin et prototypage », *Conférence Internationale sur l'accessibilité et les systèmes de suppléance aux personnes en situations de handicaps* (ASSISTH 2007), Toulouse, France, Cépaduès, pp. 109-116, novembre 2007

[2] L. Hamilton, S. Fay, K. Rockwood. "Misplacing objects in mild to moderate Alzheimer's disease: a descriptive analysis from the VISTA clinical trial", *J Neurol Neurosurg Psychiatry*, vol. 80, no.9 p.960—5, 2009.

[3] B. Boudet, T. Giacobinia., I. Ferrané, C. Fortin, C. Mollaretb, F. Lerasle, P. Rumeau, « Quels sont les objets égarés à domicile par les personnes âgées fragiles ? Une étude pilote sur 60 personnes », *NPG Neurologie - Psychiatrie - Gériatrie* vol.14, pp.38-42, 2014.

[4] http://www.alzheimer-europe.org/EN/Living-with-dementia/ Caring-for someone-with-dementia/Changes-in-behaviour/Hiding-losing-objects- and-making-false-accusations#fragment

[5] A. Shelton, T. MacNamara, "Systems of Spatial Reference in Human Memory", *Cognitive Psychology*, vol. 43, pp.274-310, 2001

[6] R. Klatzky, "Allocentric and egocentric spatial representations: Definitions, distinctions, and interconnections", In C. Freksa, & C. Habel, (Eds.) Wender, *Spatial cognition - An interdisciplinary approach to representation and processing of spatial knowledge*, Berlin: Springer-verlag. pp. 1-17, 1998

[7] W. Mou, T. McNamara, « Intrinsic Frames of Reference in Spatial Memory", *Journal of experimental psychology: Learning, Memory and cognition*, vol. 28, pp.162-170, 2002

[8] S. Feigenbaum, R. Morris, "Allocentric versus egocentric spatial memory after unilateral temporal lobectomy in humans", *Neuropsychology*, vol. 18, pp.462-472, 2004

[9] E. Coluccia, I. Mammarella, C. Cornoldi, “Centred egocentric, decentred egocentric, and allocentric spatial representations in the peripersonal space of congenital total blindness”, *Perception*, vol. 38, pp.679-693, 2009

[10] M. Simonnet, S. Vieilledent, J. Tisseau, « Note théorique : Influences des activités du sujet et des caractéristiques environnementales sur la nature de l'encodage spatial », *Année Psychologique*, Centre Henri Pieron/Armand Colin, vol. 113 no.2, pp.227 – 254, 2013

[11] A. Brilhault, « Vision artificielle pour les non-voyants : une approche bio- inspirée pour la reconnaissance de formes ». *Intelligence artificielle* [cs.AI], Université Toulouse III Paul Sabatier, Français. tel-01127709, 2014

[12] P. Rumeau, B. Boudet, C. Mollaret, I. Ferrané, F. Lerasle, « Etude de l'IHR sur deux groupes de personnes âgées », *28ième conférence francophone sur l'Interaction Homme-Machine*, Fribourg, Suisse, pp.13-15, Oct 2016

[13] P. Lopes, M. Pino, G. Carletti, S. Hamidi, S. Legué, H. Kerhervé, S. Benveniste, G. Andâol, P. Bonsom, S. Reingewirtz, A.-S. Rigaud, “Co-Conception Process of an Innovative Assistive Device to Track and Find Misplaced Everyday Objects for Older Adults with Cognitive Impairment: The TROUVE Project”, *IRBM*, vol.3, no.2, pp.52-57, 2016, ISSN 1959-0318, https://doi.org/10.1016/j.irbm.2016.02.004.

[14] K. Müller, S. Das, "REANA : An RFID-Enabled Environment-Aware Navigation System for the Visually Impaired", 2010

[15] L.A. Guerrero, F. Vasquez, S.F. Ochoa, "An Indoor Navigation System for the Visually Impaired" *Sensors*, vol. 12, no.6, pp.8236-8258, 2012 https://doi.org/10.3390/s120608236

[16] F. Dramas, S. Thorpe, C. Jouffrais, "Artificial vision for the blind: a bio-inspired algorithm for objects and obstacles detection". *International Journal of Image and Graphics*, vol. 10, no.04, pp. 531-544, 2010

[17] M. Macé, G. Denis, C. Jouffrais, "Simulated prosthetic vision: The benefits from computer based object recognition and localization" *Artificial Organs*, vol. 39, no.7, pp. E102-E113, 2015 ISSN 0160-564X

[18] F. Dramas, B. Oriola, B. Katz, S. Thorpe, C. Jouffrais, "Designing an assistive device for the blind based on object localization and augmented auditory reality", *the 10th international ACM SIGACCESS conference*, Halifax, France, Oct 2008

[19] D. Appert, D. Camors, J.B. Durand, C. Jouffrais, « Assistance tactile à la localisation de cibles périphériques pour des personnes à vision tubulaire », *IHM 2015 27ème Conférence Francophone sur l'interaction Homme-Machine*, Toulouse, France, pp.1-10, Oct 2015

[20] Brock, S. Kammoun, M. Macé, C. Jouffrais, "Using wrist vibrations to guide hand movement and whole body navigation", i-com Zeitschrift für interaktive und kooperative Medien, vol. 13, no.3, pp.19-28, 2014 ISSN 1618-162X

[21] M. Asma Ben Hadj, T. Val, L. Andrieux, A. Kachouri, « A Help for Assisting People based on a Depth Cameras System Dedicated to Elderly and Dependent People », *Journal of Biomedical Engineering and Medical Imaging*, Scholar Publishing, vol. 1, no.6, December 2014

[22] https://www.challenge-malin.fr/

[23] F. Bettahar, W. Bourennane, Y. Charlon, E. Campo, « HOMECARE: une plateforme technique de surveillance pour le suivi actimétrique de patients Alzheimer », *Workshop – Alzheimer, Approche pluridisciplinaire, De la recherche clinique aux avancées technologiques*, Jan 2013

[24] A. Marco, R. Casas, J. Falco, H. Gracia, J.I. Artigas, A. Roy, « Location-based services for elderly and disabled people », *Elsevier Comuter communications*, Janv 2008

[25] R. Dalce, "Méthodes de localisation par le signal de communication dans les réseaux de capteurs sans fil en intérieur", thèse de doctorat, université de Toulouse, 2013

[26] P. Barsocchi, F. Furfari, P. Nepa, « RSSI localisation with sensors placed on the user », *Indoor Positioning and Indoor Navigation (IPIN)*, october 2010

[27] F. Despaux, A. Van Den Bossche, K. Jaffres-Runser, T. VAL, "N-TWR: An Accurate Time-of-flight-based N-ary Ranging Protocol for Ultra-Wide Band", *Ad Hoc Networks Journal*, Elsevier, juin 2018

[28] Thèse Géolocalisation d'émetteurs en une étape : Algorithmes et performances, Cyrile Delestre, fev 2016, https://tel.archives-ouvertes.fr/tel-01280408/document

[29] plateforme Bluetooth 5.1, Digi-Key. https://www.digikey.fr/fr/articles/use-bluetooth-5-1-enabled-platforms-part-1

[30] composants radio UWB AoA. https://www.qorvo.com

[31] D. Michel, « Descriptions spatiales », *Petit traité de l'espace. Un parcours pluridisciplinaire, sous la direction de Denis Michel*. Wavre, Mardaga, « PSY-Théories, débats, synthèses », pp.173-198, 2016 URL : https://www.cairn.info/petit-traité-de-l-espace--9782804703226-page-173.htm

[32] A. Van Den Bossche, R. Dalce, N. Gonzales, T. Val, "LocURa: A New Localisation and UWB-Based Ranging Testbed for the Internet of Things", *IEEE International Conference on Indoor Positioning and Indoor Navigation (IPIN 2018)*, Nantes, France, sept 2018

[33] http://mi.iut-blagnac.fr/?lang=fr

[34] https://www.irit.fr/~Adrien.Van-Den-Bossche/media/ideali1-demo.mp4