# Détection et suivi multi-objets étendus par des approches Bayésiennes

Louis Guerlin, Benjamin Pannetier, Michèle Rombaut, Dominique Poullin,

Philippe Dorey

► To cite this version:

Louis Guerlin, Benjamin Pannetier, Michèle Rombaut, Dominique Poullin, Philippe Dorey. Détection et suivi multi-objets étendus par des approches Bayésiennes. GRETSI 2022 - XXVIIIème Colloque Francophone de Traitement du Signal et des Images, Sep 2022, Nancy, France. hal-03778088

HAL Id: hal-03778088

https://hal.science/hal-03778088

Submitted on 15 Sep 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Détection et suivi multi-objets étendus par des approches Bayésiennes

Louis GUERLIN¹, Benjamin PANNETIER², Michèle ROMBAUT¹, Dominique POULLIN³, Philippe DOREY³

¹Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab
38000 Grenoble, France

²CS Group, BU Defence - Research LAB,
92350 Le Plessis-Robinson, France

³ONERA, Département Électromagnétisme et Radar (DEMR),
91120 Palaiseau, France

louis.guerlin@grenoble-inp.org, benjamin.pannetier@csgroup.eu,
Michele.Rombaut@gipsa-lab.grenoble-inp.fr
dominique.poullin@onera.fr, philippe.dorey@onera.fr

**Résumé** – L'objet de cette étude concerne le suivi multi-objets, appliqué à des objets "étendus" dont la forme engendre plusieurs mesures provenant d'un même capteur. Cette étude est appliquée au suivi d'essais de drones observés par un radar passif. Nous proposons une modélisation Bayesienne complète du système à l'aide des Ensembles Finis Aléatoires (RFS) et des Matrices Aléatoires (RM) où l'état des objets, leur nombre et leur extension modélisant leur forme sont des vecteurs et matrices aléatoires.

**Abstract** – This study concerns multi-object tracking, applied to "extended" objects, objects whose shape generates several measurements per sensor scan. This study is applied to tracking swarms of drones observed by a passive radar sensor. We propose a complete Bayesian modelling of the system using Random Finite Sets (RFS) and Random Matrices (RM) to estimate the state of the objects, their number and their extension, that are modeled by sets of random vectors and matrices.

# 1 Introduction

Le trafic aérien "basse altitude" est destiné à augmenter dans les prochaines années, augmentant inéluctablement le risque sur la sécurité des sites sensibles. En effet, les drones sont devenus très accessibles pour le grand public. La prochaine étape est l'automatisation partielle des drones dans certains domaines, comme par exemple la livraison de colis. En plus des drones civils ou commerciaux, un autre risque se profile dans les années à venir : les essais ou groupes de drones. Un groupe est composé de drones qui volent en formation et peuvent réaliser des tâches coordonnées. Par exemple, ils peuvent être utilisés pour saturer les systèmes de défense d'un site sensible.

Surveiller les espaces aériens sensibles permet de limiter le risque induit par le survol de groupes de drones. Nous proposons d'utiliser un radar passif qui est peu coûteux et simple à mettre en oeuvre en comparaison des méthodes reposant sur des capteurs hétérogènes [1].

Poullin, Martelli et al. ont proposé de nouveaux résultats pour la détection et la localisation de drones avec des radars passifs dans [2], [3]. Mais les mesures sont sujettes à plusieurs défauts qui doivent être traités : le bruit de mesure, les non-détections et les fausses alarmes. Ces mesures imparfaites nécessitent de développer un système de suivi multi-objets réalisé par des techniques de filtrage. L'objectif est d'estimer le

nombre d'objets étendus et leurs caractéristiques.

Dans [9], Mahler propose de réduire le problème du filtrage multi-objets à l'estimation du cardinal d'Ensembles Aléatoires Finis (EAS). La modélisation à l'aide d'EAS permet de décrire des filtres multi-objets optimaux. Dans cet article, nous avons sélectionné le filtre Probability Hypothesis Density (PHD) car il est simple d'usage et de faible complexité combinatoire.

D'abord décrit par Mahler, des variantes basées sur des mélanges gaussiens ont été proposées par Clark et al. et Ma et al., [10], [11]. Ces filtres peuvent retourner des pistes d'objets avec des labels, sans avoir à résoudre les problématiques usuelles d'association plots/pistes.

De plus, une extension de ces travaux par Clark et al. permet de prendre en compte les groupes d'objets [5]. Cependant, ces travaux reposent sur deux hypothèses qui ne sont pas vérifiables dans le cas de groupe de drones : un objet retourne au plus une mesure, et les objets qui composent un groupe sont discernables. En effet, un groupe de drones ressemble davantage à un objet étendu qu'à un ensemble d'objets ponctuels discernables.

Un objet étendu est une entité dynamique dont la taille est plus grande que la résolution du capteur car il génère plusieurs mesures par balayage du capteur comme un grand drone, ou un groupe de drones. Koch a proposé le modèle des matrices aléatoires pour suivre et estimer la taille d'objets étendus, sous
l'hypothèse d'une forme ellipsoïdale [4], modélisée par une matrice symétrique définie positive. Cette matrice peut être estimée avec une loi de probabilité sur les matrices aléatoires de Wishart inverse. L'estimation de cette matrice est donc réalisée avec les outils d'inférence bayésienne, conjointement à l'estimation du vecteur d'état de l'objet étendu.

Granström et al. ont proposé d'intégrer ce modèle dans le filtre Probability Hypothesis Density (PHD), donnant le filtre Gaussian Inverse Wishart PHD (GIW-PHD) [7]. Ces travaux reposent sur l'hypothèse d'un bruit de mesure négligeable devant la taille de l'objet suivi, ce qui n'est pas vérifiable avec un radar passif.

Dans [12], deux récursions basées sur les matrices aléatoires sont intégrées dans un filtre PHD et comparées : les modèles de Feldmann et al. et Lan et al. [6, 8]. Ces modèles prennent en compte le bruit de mesure. La conclusion de [12] souligne que le modèle de Lan et al. combiné au filtre PHD se montre plus performant pour l'application du suivi de groupes de drones, mais il souffre d'un problème de sous estimation de la taille du groupe de drones. Nous proposons dans cet article de résoudre ce problème avec des hypothèses supplémentaires qui nous permettent de développer une évolution du modèle de Lan et al.

Après quelques rappels sur les matrices aléatoires, nous exposons les hypothèses supplémentaires et le modèle à matrices aléatoires proposé. Cette modélisation est testée sur un jeu de données issues du radar passif dans une étude comparative.

## 2 Le modèle d'état des matrices aléatoires

Dans le cas des objets étendus, chaque objet engendre simultanément plusieurs mesures. Par exemple, un groupe de drones peut être considéré comme une cible étendue lorsque les drones évoluent en formation, comme s'ils suivaient un leader virtuel. Dans le cadre de cet article, les drones ne sont pas discernables individuellement, nous adoptons une forme elliptique comme représentation approximative du groupe. Celle-ci a deux avantages : elle englobe de nombreuses configurations spatiales de groupes et elle est paramétrée par une matrice Symétrique Définie Positive X de taille $d \times d$, d étant le nombre de dimensions spatiales du problème. Estimer la taille du groupe revient à estimer cette matrice X, dont les observations sont bruitées.

Koch a proposé le modèle des matrices aléatoires pour estimer la taille $X_k$ et le vecteur cinématique $x_k$ des objets étendus de forme elliptique [4].

Un objet $x_{k|k} = (x_{k|k}, P_{k|k}, X_{k|k}, \nu_{k|k}, V_{k|k})$ à l'instant $k$ est caractérisé par son vecteur d'état $x_{k|k}$ par exemple sa position et sa vitesse, sa matrice de covariance $P_{k|k}$, son extension $X_{k|k}$, le nombre de degrés de liberté de son extension $\nu_{k|k}$ et une matrice d'échelle $V_{k|k}$. La matrice $X_{k|k}$ définie positive symétrique représente l'espérance de la loi de Wishart inverse

$$X_{k|k} = \frac{V_{k|k}}{\nu_{k|k} - 2d - 1} \quad (1)$$

A chaque balayage capteur, l'objet étendu $x_{k|k}$ retourne un

ensemble de mesures $Z_k = \{z_k^1, \dots, z_k^{m_k}\}$ dont la moyenne $\bar{z}_k$ et la dispersion $Z_k$ peuvent être calculées

$$ \begin{aligned} \bar{z}_k &= \frac{1}{m_k} \sum_{i=1}^{m_k} z_k^i \\ Z_k &= \frac{1}{m_k} \sum_{i=1}^{m_k} (\bar{z}_k - z_k^i)(\bar{z}_k - z_k^i)^T \end{aligned} \quad (2) $$

Ce modèle de mesure aboutit à une vraisemblance qui suit une loi Gaussienne Wishart (GW). Pour obtenir une estimation récursive de l'ensemble, la densité de probabilité a priori des objets étendus est conjuguée à la vraisemblance de mesure. Mais il faut qu'après application de la loi de Bayes, la densité a posteriori ait la même structure. Dans le cas d'une vraisemblance des mesures GW, il faut que la densité a priori soit une densité Gaussienne Wishart Inverse (GWI) pour que la densité a posteriori le soit aussi.

Le modèle des matrices aléatoires de Koch repose donc sur l'estimation d'une densité Gaussienne Wishart Inverse (GWI) avec l'inférence Bayésienne pour chaque objet étendu. De plus, il suppose que le bruit de mesure est négligeable par rapport à la taille de l'objet étendu. Cette hypothèse n'est pas valable pour le radar passif utilisé. En revanche, le modèle des matrices aléatoires proposé par Lan et al. est pertinent pour résoudre ce problème [8]. Dans [12], le modèle de Lan et al. a montré des résultats prometteurs pour les groupes de drones, mais la variance pour la taille de l'ellipse estimée est grande lors de son utilisation avec un radar passif. Nous proposons d'aborder ce problème dans la prochaine section.

## 3 Lissage de la taille du groupe d'objets par agrégation de données

Le modèle que nous proposons repose sur trois hypothèses supplémentaires par rapport au modèle de Lan et al. Tout d'abord, nous supposons que la taille mesurée d'un groupe de drones est stable au cours du temps. Ensuite, nous supposons que le centroïde mesuré de l'ellipse $\bar{z}_k$ est toujours positionné proche du centre de l'objet étendu. Enfin, la dernière hypothèse est que le vecteur d'état $x_{k|k}$ est indépendant de l'extension $X_{k|k}$. Les deux premières hypothèses nous permettent d'agréger les données sur M balayages du capteur afin de lisser la matrice de dispersion mesurée $Z_k$ pour obtenir la dispersion lissée $\bar{Z}$. Dans cet article, nous choisissons $M = 10$.

La dernière hypothèse permet quant à elle d'obtenir une matrice de covariance indépendante de l'extension pour l'estimation du vecteur d'état. Même si ce n'est pas théoriquement justifiable, cela permet l'utilisation de modèles de mesures et d'évolutions non linéaires.

Avec ces hypothèses supplémentaires, en utilisant les équations de Bayes et de Chapman Kolmogorov, nous avons développé le modèle à matrices aléatoires décrit dans l'algorithme 1. Ce modèle est intégré dans un filtre Probability Hypothesis Density (PHD) pour l'aspect suivi multi-objets, l'intégration est détaillée dans [12]. La section suivante propose une comparaison avec le modèle d'origine, sur un jeu de données réelles.
# 4 Suivi d'un groupe de drones

Le scénario proposé pour les tests est basé sur des données issues d'un radar passif [2] qui fonctionne à l'aide d'un illuminateur externe : les antennes DVB-T du système de télévision numérique terrestre. Ce radar a l'avantage d'intégrer les mesures de manière continue (*Continuous Integration Time*), ce qui lui confère une période de 0.5 secondes. Sa portée est de 3 kilomètres pour un champ de vision de 90 degrés.

Le scénario proposé figure 1 décrit le mouvement d'un groupe de 3 drones qui décollent du point A, effectuent un vol en stationnaire, se dirigent vers les points B, puis C et D, avant de reprendre vers le point B. Le scénario dure 960 secondes, la période d'acquisition est de 2 secondes et la vérité-terrain est fournie par un GPS.

Le résultat du modèle proposé est représenté figure 1. Le piste ne détecte qu'un seul groupe (Groupe 0) tout au long du scénario. Cela n'est pas le cas pour la solution initiale proposée par *et al.* dont le résultat est présenté figure 2. Dans ce cas, l'algorithme perd deux fois le groupe et donc réinitialise successivement trois groupes 0, 1 et 2. De plus, la piste de la figure 1 est plus lisse que celle de la figure 2.

L'erreur quadratique moyenne sur le vecteur d'état n'est pas présentée ici, car les deux méthodes sont équivalentes avec un léger avantage pour notre proposition. Ce résultat était attendu puisque les deux modèles sont similaires pour l'estimation du vecteur d'état.

<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Groupe de trois drones suivant les points A, B, C, D, B. La zone d'observation du radar est grisée. Résultat pour la méthode proposée.</figcaption></figure>

Enfin, concernant la taille de l'extension prédite, nous proposons d'étudier la trace de la matrice symétrique définie positive $\hat{X}_{k|k}$ présentée dans la figure 3. Le modèle proposé est plus stable que le modèle d'origine, dans le sens où il l'extension reflète mieux la surface occupée par l'essaim. Quand le groupe bouge, l'illumination de l'essaim par les ondes DVB-T varient faisant varier la position des surfaces mobiles de l'essaim et dans notre cas la taille devient plus petite. Nous pouvons observer ce phénomène lorsque l'essaim manœuvre fortement en B entre les temps normalisé 0.32 et 0.4 puis C entre les temps

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Même scénario que pour la figure 1. Résultats par le modèle de Lan *et al.* [8]</figcaption></figure>

normalisés 0.5 et 0.7. Il faut noter que la taille de l'extension autour du temps normalisé 0.6 est sous-estimée dans les deux cas car le groupe au point D en bordure de champ du vision du radar passif est mal détecté.

<figure><img src="image_4.png" /><figcaption>FIGURE 3 – Trace de la matrice d'extension pendant le scénario.</figcaption></figure>

# 5 Conclusion

Avec les hypothèses supplémentaires proposées en section 3, le modèle proposé retourne une meilleure estimation de la taille du groupe de drones comparée au modèle de Lan *et al.* [8] sur les données issues du radar passif. De plus, la position estimée est plus stable. Cependant, l'erreur d'estimation reste tout de même élevée, des améliorations peuvent être apportées, notamment en intégrant un algorithme de lissage pour le modèle des matrices aléatoires.

# Références

[1] S.R. Ganti, and Y. Kim, *Implementation of Detection and Tracking Mechanism For Small UAS*, International Conference
rence on Unmanned Aircraft Systems (ICUAS), Arlington, VA, USA, Jun. 2016

[2] D. Poullin, *UAV Detection AND Locallization using Passive DVB-T radar MFN and SFN*, STO-MP-SET-231, 2016

[3] T. Martelli, F. Colone and R. Cardinali, *DVB-T based passive radar for simultaneous counter-drone operations and civil air traffic surveillance*, IET Radar, Sonar and Navigation Oct. 2019

[4] W. Koch, *Bayesian approach to extended object and cluster tracking using random matrices*, IEEE Transactions on Aerospace and Electronic Systems, 44,3, 1042–1059, Oct. 2008
T. Connare, E. Blasch, J. Greenewald, J. Schmitz, F. Salvatore, and F. Scarpino, *Group IMM Tracking utilizing Track and Identification Fusion*, Proc. of the Workshop on Estimation, Tracking, and Fusion; A Tribute to Yaakov Bar Shalom, Jul. 2005

[5] D. Clark, and S. Gosdill, *Group Target Tracking with the Gaussian Mixture Probability Hypothesis Density Filter*, 3rd International Conference on Intelligent Sensors, Sensor Networks and Information, Dec. 2007

[6] M. Feldmann, D. Fränken, and J. W. Koch, *Tracking of extended objects and group targets using random matrices*, IEEE Trans. on Signal Processings, vol. 59, no. 4, Apr. 2011

[7] K. Granstrom, C. Lundquist and U. Orguner, *Extended target tracking using a Gaussian-mixture PHD filter*, IEEE tran. on AES, vol. 48, no.4, Oct. 2012

[8] J. Lan and X.R. Li, *Tracking of extended object or target group using random matrix : new model and approach*, IEEE Tran. on AES, vol. 52, no. 6, Dec. 2016

[9] R.P.S. Mahler, *Statistical Multisource Multitarget Information Fusion*, Artech House, 2007

[10] D. Clark, K. Panta and B. Vo, *The GM-PHD filter multiple target tracker*, 9th Internat. Conf. on Information Fusion, vol, 1-8, 2006

[11] B. Vo and W.K. Ma, *The Gaussian Mixture Probability Hypothesis Density Filter*, IEEE tran. on Signal Processing, vol 54, no. 11, Nov. 2006

[12] L. Guerlin, D. Poullin, B. Pannetier and M. Rombaut, *UAS swarm detection and tracking with a passive radar*, CIE International Conference on Radar, Dec. 2021

**Algorithm 1 Modèle matrice aléatoire développé**

Entrées : $\hat{\mathbf{x}}_{k-1|k-1}$, $\mathbf{P}_{k-1|k-1}$, $\nu_{k-1|k-1}$, $\mathbf{V}_{k-1|k-1}$

Paramètres :

$\mathbf{F}_k$ : matrice de transition de l'état; $\mathbf{Q}_k$ : covariance du bruit de modèle; $\mathbf{A}_k$ : facteur d'échelle

$\mathbf{K}_k$ : gain de Kalman; $\mathbf{S}_k$ : covariance de l'innovation; $\mathbf{H}_k$ : matrice d'observation de l'état; $\mathbf{B}_k$ : matrice d'observation de l'extension;

Prédiction à l'instant k :

$$ \hat{\mathbf{x}}_{k|k-1} = \mathbf{F}_k \hat{\mathbf{x}}_{k-1|k-1} $$

$$ \mathbf{P}_{k|k-1} = \mathbf{F}_k \mathbf{P}_{k-1|k-1} \mathbf{F}_k^T + \mathbf{Q}_k $$

$$ \nu_{k|k-1} = \frac{2n(\alpha - 1)(\alpha - 2)}{\alpha(\alpha + n)} + 2d + 4 $$

$$ \mathbf{V}_{k|k-1} = \frac{n}{\alpha - 1} (\nu_{k-1|k-1} - 2d - 2) \mathbf{A}_k \mathbf{V}_{k-1|k-1} \mathbf{A}_k^T $$

$$ \alpha = \nu_{k-1|k-1} - 2d - 2 $$

Mise à jour à l'instant k :

$$ \hat{\mathbf{x}}_{k|k} = \hat{\mathbf{x}}_{k-1|k-1} + \mathbf{K}_k \tilde{z}_k $$

$$ \mathbf{P}_{k|k} = \mathbf{P}_{k-1|k-1} - \mathbf{K}_k \mathbf{S}_k \mathbf{K}_k^T $$

$$ \tilde{z}_k = \bar{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k-1|k-1} $$

$$ \nu_{k|k} = \nu_{k-1|k-1} + \bar{m} $$

$$ \mathbf{V}_{k|k} = \mathbf{V}_{k-1|k-1} + \hat{\mathbf{N}} + \hat{\mathbf{Z}} $$

$$ \mathbf{S}_k = \mathbf{H}_k \mathbf{P}_{k-1|k-1} \mathbf{H}_k^T + \frac{\mathbf{B}_k \hat{\mathbf{X}} \mathbf{B}_k^T}{\bar{m}} $$

$$ \hat{\mathbf{X}} = \frac{\mathbf{V}_{k|k-1}}{\nu_{k-1|k-1} - 2d - 1} $$

$$ \mathbf{K} = \mathbf{P}_{k-1|k-1} \mathbf{H}_k^{-1} \mathbf{S}_k^{-1} $$

$$ \hat{\mathbf{N}} = \mathbf{S}_k^{-\frac{1}{2}} \tilde{z}_k \hat{z}_k^T \mathbf{S}_k^{-\frac{T}{2}} $$

$$ \hat{\mathbf{Z}} = \mathbf{B}_k^{-1} \bar{\mathbf{Z}} \mathbf{B}_k^{-T} $$

$$ \bar{\mathbf{Z}} = \frac{1}{M} \sum_{k'=k-M+1}^{k} \mathbf{Z}_{k'} $$

$$ \bar{m} = \frac{\sum_{k'=k-M+1}^{k} m_{k'}}{M} $$

Sortie : $\hat{\mathbf{x}}_{k|k}$, $\mathbf{P}_{k|k}$, $\nu_{k|k}$, $\mathbf{V}_{k|k}$