# Une nouvelle application de détection de météores robuste aux mouvements de caméra

Clara Ciocan, Mathuran Kandeepan, Adrien Cassagne, Jeremie Vaubaillon, Fabian Zander, Lionel Lacassagne

► To cite this version:

Clara Ciocan, Mathuran Kandeepan, Adrien Cassagne, Jeremie Vaubaillon, Fabian Zander, et al. Une nouvelle application de détection de météores robuste aux mouvements de caméra. Groupe de Recherche et d'Études de Traitement du Signal et des Images (GRETSI), Aug 2023, Grenoble, France. 10.48550/arXiv.2309.06027 . hal-04198536

HAL Id: hal-04198536

https://hal.science/hal-04198536v1

Submitted on 12 Sep 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Une nouvelle application de détection de météores robuste aux mouvements de caméra

C. CIOCAN<fnref n="1" /> M. KANDEEPAN<fnref n="1" /> A. CASSAGNE<fnref n="1" /> J. VAUBAILLON² F. ZANDER³ L. LACASSAGNE<fnref n="1" />

¹LIP6, Sorbonne Université, CNRS, France

²IMCCE, CNRS, Observatoire de Paris, PSL Université, Sorbonne Université, Université de Lille 1, France

³University of Southern Queensland, Australia

**Résumé** – Cet article présente un nouvel outil pour la détection automatique des météores nommé *Fast Meteor Detection Toolbox (FMDT)* qui est capable de détecter des météores entrant dans l'atmosphère terrestre en analysant des vidéos acquises avec des caméras embarquées à bord d'un ballon-sonde ou stabilisées dans un avion. Le défi est de concevoir une chaîne de traitement composée d'algorithmes simples tout en étant robuste à une grande variabilité de vidéos et en respectant des contraintes de consommation (10 W) et de temps réel (25 images par seconde).

**Abstract** – This article presents a new tool for the automatic detection of meteors. *Fast Meteor Detection Toolbox (FMDT)* is able to detect meteor sightings by analyzing videos acquired by cameras onboard weather balloons or within airplane with stabilization. The challenge consists in designing a processing chain composed of simple algorithms, that are robust to the high fluctuation of the videos and that satisfy the constraints on power consumption (10 W) and real-time processing (25 frames per second).

## 1 Introduction

Un météore est un phénomène lumineux produit par l'entrée d'un corps céleste dans l'atmosphère terrestre. Ce phénomène est d'un intérêt majeur pour les astronomes : son observation et sa variation de luminosité permet d'en déduire sa composition et son origine afin d'en apprendre plus sur la formation du Système Solaire. La collecte de ces séquences vidéos génère de gros volumes d'images à analyser.

Dans cet article, une nouvelle application, nommée *Fast Meteor Detection Toolbox (FMDT)*<fnref n="1" />, est proposée pour du traitement temps réel embarqué à bord de ballons-sondes [18] ou d'avions [21]. La caméra est donc en mouvement, ce qui complexifie le traitement par rapport à une observation depuis le sol. La chaîne de traitement FMDT doit donc réaliser un compromis entre complexité algorithmique, temps de traitement, consommation et qualité de la détection.

La section 2 présente l'état de l'art des applications de détection de météores. La section 3 décrit la chaîne de traitement et le banc de validation. L'analyse des résultats obtenus est détaillée dans la section 4.

## 2 État de l'art

Depuis les années 1990, plusieurs chaînes de traitement d'images ont été développées. Le traitement est effectué en trois étapes : pré-traitement des images, détection de régions d'intérêt et leur classification (météores, villes, orages, ...).

Les applications METREC [15] et METEORSCAN [9] permettent une détection en temps réel avec une probabilité de détection supérieure à 80% [16]. Leur pré-traitement inclut une soustraction des pixels stationnaires entre deux images. Puis une transformée de Hough [7] est réalisée pour détecter les potentiels météores. Un pré-traitement similaire est utilisé

dans l'application FREETURE [2] du projet FRIPON [6] qui utilise plus de 250 caméras orientées vers le ciel, réparties dans plusieurs pays.

Récemment, des réseaux de neurones profonds [8, 10, 5] ont permis d'atteindre des taux de détection supérieurs à 95%. Ces résultats sont à relativiser car d'une part, la caméra est fixe – ce qui est un cas plus simple qu'une caméra en mouvement – et que d'autre part, les CPU (Intel i7-6850K) et GPU (Nvidia Quadro 4000) utilisés ont tous deux un TDP de 140 W. Enfin, un seul de ces projets mentionne avoir atteint une cadence proche du temps réel (21 images/s) [5]. A contrario, FMDT est conçu pour des SoC consommant moins de 10 Watt.

Les applications déployées au sol sont aussi dépendantes des conditions météorologiques (nuages, éclairs) et de la pol- lution lumineuse. La première mission depuis l'espace, pour pallier ce problème, est le projet METEOR à bord de l'ISS [1]. METEORIX [20][14] et SOURCE [13] sont des projets de nanosatellite universitaire actuellement en phase de définition où la caméra pointe vers la Terre. Cela nécessite un algorithme de flot optique pour calculer la vitesse apparente en tout point [19] et faire la différence entre la vitesse de défilement des tâches lumineuses à la surface de la Terre des autres zone lu- mineuses comme les nuages éclairés par la Lune, les éclairs et les météores. Dans le cas d'un ballon-sonde ou d'un avion, la caméra pointe au limbe (axe tangentiel à la Terre). Les scènes sont majoritairement sur un fond noir, avec des étoiles et une partie de l'atmosphère où sont visibles les météores. Il n'est pas nécessaire de calculer le flot.

## 3 Chaîne de traitement FMDT

La chaîne de traitement proposée repose sur l'hypothèse que les météores sont moins nombreux que les étoiles (ou les planètes brillantes). Ainsi, extraire les tâches lumineuses et faire une mise en correspondance doit permettre de recaler les

<footnote n="1">¹https://github.com/alsoc/fmdt/</footnote>
<figure><img src="image_2.png" /><figcaption>(a) Chaîne de traitement principale basée sur le calcul du mouvement entre deux images $I_{t-1}$ et $I_t$ et tracking temporel.</figcaption></figure>

<figure><img src="image_3.png" /><figcaption>(b) Chaîne de traitement secondaire basée sur la max-réduction d'images entre $I_{t-r}$, ..., $I_t$, ..., et $I_{t+r}$ et calcul d'ellipse.</figcaption></figure>

FIGURE 1 : Synoptique de la chaîne de traitement principale de FMDT et d'une extension pour la détection d'ellipses.

objets “à l'infini”. Ceux mal recalés et ayant une trajectoire linéaire sont les météores.

## 3.1 Aspect spatial

Le seuillage par hystérésis de la chaîne principale (Fig 1a) est réalisé par l'intersection ensembliste de deux ensembles de composantes connexes (CC) produits par l'étiquetage et l'analyse en composantes connexes (ECC & ACC) des images binarisées aux seuils haut et bas de l'hystéresis ($\tau_{high}$ et $\tau_{low}$). ECC et ACC sont basés sur le Light Speed Labeling (LSL) [11], qui est un étiquetage combinant traitement par segment et compression RLE, permettant d'être très rapide en ACC [3].

Concernant la sur-segmentation des météores, le seuillage par hystérésis est plus robuste qu'un seuillage simple (Fig. 2) et, combiné à un filtrage sur la taille des régions $[S_{min}, S_{max}]$, il permet de limiter les faux positifs dûs à l'atmosphère (Fig. 3).

Une première mise en correspondance par k-plus-proches-voisins [17] permet une première estimation du mouvement global (translation, puis rotation) entre deux images successeives à l'instant $t$. Cet algorithme associe à la CC de l'instant $t$ la CC à $t+1$ la plus proche n'ayant pas été associée parmi les $k$ ($k=3$ par défaut) CC les plus proches. De plus, les associations sont faites avec une contrainte sur le ratio des surfaces, ce qui permet de faire la bonne association lorsque deux CC (par exemple une étoile et un météore) se trouvent à proximité. L'erreur moyenne de recalage $\bar{e}_t$ et son écart type $\sigma_t$ servent à détecter les objets dont l'erreur de recalage $e_k$ est plus grande que la moyenne. Un seuil à 1 écart-type donne de bons résultats ($|e_k - \bar{e}_t| > \sigma_t$). Un second recalage est alors effectué en ne prenant que les régions correspondant à des étoiles. À titre d'exemple, la moyenne géométrique du premier recalage du cluster de météores dans [21], est de 0.91 pixel, tandis que celle du second recalage est de 0.18 pixel.

<figure><img src="image_4.png" /><figcaption>FIGURE 2 : Météore et sur-segmentation : (a) météore en niveau de gris, (b) seuillage simple à 75, (c) seuillage par hystérésis $\tau_{low} = 55$, $\tau_{high} = 70$.</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>(a) Atmosphère terrestre en niveau de gris.</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>(b) Seuillage simple à 75 : des pixels de l'atmosphère sont détectés et génèrent 184 régions.</figcaption></figure>

<figure><img src="image_7.png" /><figcaption>(c) Seuillage par hystérésis $\tau_{low}=55$, $\tau_{high}=70$ : 4 étoiles détectées.</figcaption></figure>

FIGURE 3 : Comparaison du seuillage simple et du seuillage par hystérésis (extrait des Géminides).

## 3.2 Aspect temporel : tracking

Un tracking par morceau (avec une contrainte sur l'angle) permet de déterminer les trajectoires des régions. Il réduit le nombre de faux positifs, car les météores sont des phénomènes de courte durée, généralement inférieure à quelques secondes, avec une trajectoire rectiligne, tandis que les régions correspondant à des étoiles persistent sur la totalité de la séquence. Une régression linéaire des moindres carrés est faite pour chaque piste et confirme l'hypothèse précédente. La distance moyenne des points à la droite est de 0.19 pixel. Enfin, l'algorithme de tracking permet d'extrapoler les pistes et de réacquérir une région si le temps d'extrapolation maximum de 3 images n'est pas dépassé.

## 3.3 Classification par détection d'ellipse

Si l'on fait l'hypothèse que le mouvement apparent des météores est supérieur à celui des étoiles (dû au mouvement du porteur), alors, rechercher des CC en forme d'ellipse peut améliorer la détection. Afin de contenir les problèmes de sur-segmentation une max-réduction – temporelle de rayon $r$ en niveau de gris – des images d'indice $[t-r, t+r]$ est réalisée pour créer une image composite en amont du seuillage par hystérésis (Fig. 1b). Cela se fait efficacement, car l'encodage RLE du LSL fait que le calcul des moments statistiques d'ordre 2 est proportionnel au nombre de segments et non au nombre de
<figure><img src="image_8.png" /><figcaption>FIGURE 4 : Max-réduction sur 5 images : les météores des τ-Herculides génèrent des ellipses plus longues que l'étalement des étoiles (à gauche) tandis que pour les Géminides (à droite) les étoiles génèrent des traînées comparables à celles des météores. Les météores sont encadrés en vert.</figcaption></figure>

<figure><img src="image_9.png" /></figure>

pixels qui compose la CC.Ainsi, il est possible de calculer lu
grand et lu petit rayon (a, b) de l'ellipse, ainsi que son ratio
d'aplatissement $\rho = a/b$.

# 4 Expérimentations

## 4.1 Banc de test

Un banc de test a été conçu pour qualifier la chaîne de traitement. Il est composé de vidéos de deux campagnes d'observation. D'une part de vidéos des Géminides 2016 [18] qui sont acquises depuis un ballon sonde non stabilisé et qui subit les courants de haute altitude qui font osciller la nacelle. Le tangage et le roulis se traduisent par une translation verticale et une rotation, mais le lacet – plus problématique – se traduit par une importante translation horizontale. D'autre part, des vidéos des τ-Herculides 2022, qui sont acquises depuis un avion ; certaines des caméras sont stabilisées avec une gimbal 3 axes (tangage, lacet, roulis), tandis que d'autres sont juste fixées à l'avion.

## 4.2 Analyse des résultats

La Table 1 présente les résultats de détection sur le banc de
test. Sur les 257 météores présents, FMDT en détecte 217. Le
taux de détection, par rapport aux météores, est de 84%. Les
météores sont présents sur 3078 images et FMDT les détecte
sur 1932 images. Cela représente un taux de détection, par
rapport aux images, de 64%. Les paramètres des algorithmes
ont été choisis en se basant sur les vérités terrains pour maxi-
miser le nombre de détections correctes (objectif scientifique)
quitte à augmenter les faux positifs (FP) (Fig. 5). Il est du
même ordre que les vrais positifs, ce qui est acceptable. De
plus, la chaîne de traitement s'exécute en 36 ms (26 images/s)
sur un Raspberry Pi 4, tout en ne consommant que 6 Watts.
Les contraintes d'embarquabilité sont donc satisfaites.

À noter que les circonstances distinctes et le mouvement
fluctuant présent sur les vidéos capturées ont permis de tester
et de confirmer l'adaptabilité de la chaîne de traitement, due
au nombre important de paramètres modifiables de l'outil.

Il apparaît *a posteriori* que la détection d'ellipse fait chuter
le taux de détection. Il y a deux raisons à cela. Premièrement,
car la vitesse apparente générée par la caméra peut être plus
importante que celle des météores et donc que l'étalement

<figure><img src="image_10.png" /><figcaption>(a) Exemple de séquence des Géminides.</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>(b) Exemple de séquence des τ-Herculides.</figcaption></figure>

<caption>FIGURE 6 : Histogrammes d'aplatissement des ellipses.</caption>

des ellipses est majoritairement dû au mouvement de la caméra. Utiliser un modèle d'ellipse pour classifier les régions en fonction de leur aplatissement ne représente pas une solution dans ce cas (Fig. 6). Deuxièmement, dans le cas de régions de faible luminosité, mais supérieure au seuil bas de l'hystérésis, celles-ci seront conservées, mais leur binarisation donnera lieu à des traces très fines et donc à un ratio $\rho = a/b$ plus élevé car le petit rayon $b$ sera numériquement inférieur aux régions fortement lumineuses. Cela est vrai à la fois pour les météores et les étoiles (Fig 4).

## 4.3 Perspectives d'évolution

D'un point de vue qualité, la recherche d'ellipse très aplaties ne permet pas de dissocier les étoiles des météores. La solution envisagée, qui entraîne un surcoût, est de réaliser une compensation du mouvement global de l'image (par flot optique mono-échelle) avant de calculer la max-réduction.

Afin de simplifier l'utilisation de FMDT, une exploration
automatique de l'espace des paramètres – s'appuyant sur une
méthode d'apprentissage statistique – est envisagée.

Enfin, d'un point de vue temps de traitement, l'hystérésis
(ECC + ACC) représente 95 % du temps total de calcul. Un
véritable algorithme d'hystérésis en une passe est en cours

<figure><img src="image_12.png" /><figcaption>(a) météore (vrai positif) (b) bruit (faux positif)
FIGURE 5 : Classification des CC.</figcaption></figure>
<table><caption>TABLE 1 : Statistiques sur l'ensemble de vidéos du banc de test (FP = faux positifs, FN = faux negatifs, VT = vérité terrain).</caption><thead><tr><th rowspan="2">Séquences vidéos</th><th colspan="2">Météores détectés</th><th colspan="2">Images détectées</th><th colspan="2">Taux (FMDT/VT)</th><th rowspan="2">FP</th><th rowspan="2">FN</th><th rowspan="2">F-score</th></tr><tr><th>FMDT</th><th>VT</th><th>FMDT</th><th>VT</th><th>Météores</th><th>Images</th></tr></thead><tbody><tr><td>Géminides</td><td>61</td><td>70</td><td>776</td><td>1222</td><td>87%</td><td>64%</td><td>41</td><td>9</td><td>0,71</td></tr><tr><td>τ-Herculides (Basler)</td><td>11</td><td>14</td><td>126</td><td>150</td><td>79%</td><td>84%</td><td>48</td><td>3</td><td>0,30</td></tr><tr><td>τ-Herculides (Sony)</td><td>111</td><td>139</td><td>807</td><td>1457</td><td>80%</td><td>55%</td><td>130</td><td>28</td><td>0,58</td></tr><tr><td>τ-Herculides (cluster)</td><td>34</td><td>34</td><td>223</td><td>249</td><td>100%</td><td>89%</td><td>4</td><td>0</td><td>0,94</td></tr><tr><td>Total & moyenne</td><td>217</td><td>257</td><td>1932</td><td>3078</td><td>84%</td><td>63%</td><td>223</td><td>40</td><td>0,62</td></tr></tbody></table>

de développement. Il utilisera des routines en SIMD [12] qui n'impactent pas trop la consommation et éventuellement le multi-threading [4] qui a un impact plus important.

## 5 Conclusion

Cet article introduit un outil de détection automatique de mé- téores (FMDT) pour systèmes aéroportés.

Avec un taux de détection de 84%, FMDT est compa- rable aux résultats présentés dans l'État de l'Art, alors que le nombre de faux positif est considérablement inférieur à certaines chaînes. De plus, FMDT respecte les contraintes de temps réel (25 FPS) et de basse consommation (6W) sur un Raspberry Pi 4, contrairement aux applications utilisant les réseaux des neurones (0.2 FPS et 140W).

La suite du projet est d'accélérer l'hystérésis, afin de réduire le temps de traitement total et ainsi pouvoir ajouter de nou- veaux algorithmes et améliorer la qualité de détection, tout en respectant les contraintes.

## Références

[1] T. ARAI, M. KOBAYASHI, M. YAMADA, T. MATSUI et Com- metss Project TEAM : Meteor observation HDTV camera on- board the International Space Station. In *LPSC*, 2014.

[2] Y. AUDUREAU : Freeture : Free software to capTure meteors. Astrophysics Source Code Library, record ascl : 2104.011, 2021.

[3] L. CABARET et L. LACASSAGNE : What is the world's fastest connected component labeling algorithm? In *IEEE Interna- tional Workshop on Signal Processing Systems (SiPS)*, pages 97–102, 2014.

[4] L. CABARET, L. LACASSAGNE et D. ETIEMBLE : Parallel Light Speed Labeling for connected component analysis on multi-core processors. *Journal of Real Time Image Processing*, 15(1):173–196, 2018.

[5] D. CECIL et M. CAMPBELL-BROWN : The application of convolutional neural networks to the automation of a meteor detection pipeline. *Planetary and Space Science*, 186:104920, 2020.

[6] F. COLAS et al. : Fripon : a worldwide network to track in- coming meteoroids. *Astronomy and Astrophysics*, 644:1–23, 2020.

[7] R. O. DUDA et P. E. HART : Use of the hough transformation to detect lines and curves in pictures. *CACM*.

[8] Y. GALINDO et A. LORENA : Deep transfer learning for meteor detection. In *ENIAC*, 2018.

[9] P. GURAL et D. SEGON : A new meteor detection proces- sing approach for observations collected by the croatian meteor network (CMN). *WGN, Journal of the IMO*, 37, 2009.

[10] P. S. GURAL : Deep learning algorithms applied to the classifi- cation of video meteor detections. *MNRAS*, 489(4):5109–5118, 2019.

[11] L. LACASSAGNE et B. ZAVIDOVIQUE : Light Speed Labeling for RISC architectures. In *International Conference on Image Analysis and Processing*, pages 3245–3248. IEEE, 2009.

[12] F. LEMAITRE, A. HENNEQUIN et L. LACASSAGNE : How to speed Connected Component Labeling up with SIMD RLE algo- rithms. In *Workshop on Programming Models for SIMD/Vector Processing*. ACM, 2020.

[13] M. LIEGIBEL, J. PETRI, P. HOFFMANN, N. GEIER et S. KLINK- NER : Meteor observation with the source cubesat-developing a simulation to test on-board meteor detection algorithms. In *SSEA*. ESA, 2022.

[14] M. MILLET, N. RAMBAUX, A. CASSAGNE, M. BOUYER, A. PETRETO et L. LACASSAGNE : High performance com- puter vision application for Meteor detection from a cubesat. In *Assembly of Committee on Space Research (COSPAR)*, 2022.

[15] S. MOLAU : The meteor detection software metrec. -1:131, 01 1999.

[16] S. MOLAU et P. S. GURAL : A review of video meteor detection and analysis software. *WGN, Journal of the IMO*, 33(1):15–20, 2005.

[17] A. MUCHERINO, P. J. PAPAJORGJI et P. M. PARDALOS : k- Nearest Neighbor Classification, pages 83–106. Springer, 2009.

[18] F. OCAÑA, A. SÁNCHEZ DE MIGUEL, Daedalus PROJECT et al. : Balloon-borne video observations of geminids 2016. preprint arXiv : 1911.10064, 2019.

[19] A. PETRETO, A. HENNEQUIN, T. KOEHLER, T. ROMERA, Y. FARGEAIX, B. GAILLARD, M. BOUYER, Q. L. MEUNIER et L. LACASSAGNE : Energy and execution time comparison of optical flow algorithms on SIMD and GPU architectures. In *DASIP*. IEEE, 2018.

[20] N. RAMBAUX et al. : Meteorix : a cubesat mission dedicated to the detection of meteors and space debris. In *ESA Space Safety Programme Office, NEO and Debris Detection Conference*.

[21] J. VAUBAILLON et al. : A 2022 τ-herculid meteor cluster from an airborne experiment : Automated detection, characterization, and consequences for meteoroids. *Astronomy and Astrophysics*, 2023.