<figure><img src="image_1.png" /></figure>

HAL
open science

Institut Pascal Long-Term dataset

Youssef Bouaziz, Eric Royer, Guillaume Bresson, Michel Dhome

► To cite this version:

Youssef Bouaziz, Eric Royer, Guillaume Bresson, Michel Dhome. Institut Pascal Long-Term dataset. RFIA, Jun 2020, Vannes, France. hal-03023944

HAL Id: hal-03023944

https://uca.hal.science/hal-03023944v1

Submitted on 25 Nov 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Institut Pascal Long-Term dataset

Youssef Bouaziz<fnref n="1" />,²

Eric Royer<fnref n="1" />

Guillaume Bresson²

Michel Dhome<fnref n="1" />

¹ UCA, CNRS, SIGMA Clermont, Institut Pascal, F-63000 CLERMONT-FERRAND, FRANCE

² Institut VEDECOM, 23 bis allée des Marronniers, 78000 Versailles, France

youssef.bouaziz@etu.uca.fr

# 1 Résumé

Les changements d'apparence sont l'un des problèmes les plus difficiles pour la localisation visuelle dans les environnements extérieurs. Revisiter des lieux familiers dans des conditions environnementales différentes peut entraîner une localisation inexacte ou erronée. C'est pourquoi nous présentons un nouveau jeu de données pour les conditions difficiles appelé IPLT<fnref n="1" /> (Institut Pascal Long-Term) dataset. Notre jeu de données est composé de séquences enregistrées sur une période de 16 mois dans un parking et contient de nombreuses conditions difficiles pour la localisation visuelle telles que la neige, le brouillard, la pluie, le crépuscule, le lever du soleil, la nuit...

## 1.1 État de l'art

Les travaux intensifs sur les algorithmes de SLAM ont produit un grand nombre de jeux de données connexes tels que KiTTi [4], Cityscapes [3]... La grande majorité de ces jeux de données sont conçus pour la localisation dans des environnements statiques avec très peu de changements environnementaux. Cependant, des jeux de données avec de nombreuses conditions environnementales sont nécessaires pour les applications qui visent la localisation à long terme dans des environnements dynamiques. Les jeux de données Oxford RobotCar [6] et NCLT [2] sont deux jeux de données largement utilisés pour les applications de localisation à long terme, étant donné qu'ils incluent différentes conditions environnementales.
En plus des conditions environnementales, nous sommes également intéressés à évaluer l'effet de l'écart latéral et angulaire entre les séquences sur la performance de la localisation. Cependant, les jeux de données mentionnés précédemment ne fournissent pas de séquences avec de tels critères. C'est la principale raison qui nous a amenés à enregistrer notre propre jeu de données.

# 2 IPLT Dataset

Notre jeu de données contient, à l'heure actuelle, 109 séquences. Chacun d'eux a une longueur d'environ 200 m et dans toutes les séquences, le véhicule a suivi le même chemin, tandis que dans certains d'entre eux, nous avons fait quelques légères déviations latérales et angulaires telle que précisée dans la Figure 1.

<figure><img src="image_3.png" /><figcaption>FIGURE 1: Exemple de 6 séquences enregistrées sur le parking.</figcaption></figure>

<footnote n="1">1. Pour télécharger notre jeu de données, veuillez visiter http://iplt.ip.uca.fr/datasets/ et entrez le nom d'utilisateur/mot de passe suivants pour un accès en lecture seule à notre serveur ftp : ipltuser/iplt_ro</footnote>
Toutes les séquences de notre jeu de données ont été enregistrées avec notre véhicule expérimental (Figure 2) qui est équipé de deux caméras (avant et arrière) ayant 100° de champ de vision.

<figure><img src="image_4.png" /><figcaption>FIGURE 2: La navette électrique EasyMile EZ10 utilisée pour enregistrer notre jeu de données.</figcaption></figure>

Les caméras ont été légèrement déplacées en avril 2019, nous avons donc deux paramètres d'étalonnage différents, un pour les séquences enregistrées avant avril 2019 et l'autre pour les séquences les plus récentes. Toutes les séquences sont enregistrées dans un format de fichier Rosbag et peuvent être lues par le middleware ROS [7]. Les fichiers Rosbag contiennent les rostopics suivants :

- /cameras/front/image, /cameras/back/image : les images avant et arrière enregistrées en niveaux de gris.

- /robot/odom : les poses absolues calculées par l'odométrie.

- /lidars/front_left/scan, /lidars/front_right/scan, /lidars/back_left/scan, /lidars/back_right/scan : données lidars.

- /gps_planar : données GPS.

- /tf_static : contient les paramètres extrinsèques de toutes les caméras et les lidars.

Dans le Tableau 1, nous présentons les paramètres intrinsèques de nos deux caméras qui sont exprimés dans le modèle de caméra unifié [1]. Le modèle de caméra unifiée a cinq paramètres : [$\gamma_x, \gamma_y, c_x, c_y, \xi$] et ils sont utilisés pour projeter un point 3D $P(X_s, Y_s, Z_s)$ exprimé dans les coordonnées de la sphère en un Point 2D $p_c$ exprimé dans le plan de l'image comme expliqué dans l'Équation (1) et la Figure 3 :

<figure><img src="image_5.png" /><figcaption>FIGURE 3: Modèle de caméra unifiée. Un point 3D $P$ est projeté dans le plan image de la caméra en un point distordu $p$ [5].</figcaption></figure>

$$p_c = Km_c$$ $$K = \begin{bmatrix} f & 0 & u_0 \\ 0 & f & v_0 \\ 0 & 0 & 1 \end{bmatrix} \text{ et } m_c = \begin{bmatrix} \frac{X_s}{\rho} \\ \frac{Y_s}{\rho} \\ \frac{Z_s}{\rho} + \xi \end{bmatrix} \quad (1)$$ $$\text{avec } \rho = \sqrt{X_s^2 + Y_s^2 + Z_s^2} \text{ et } \xi = Z_c \ge 0$$

Le Tableau 2 présente les paramètres extrinsèques des caméras qui sont déjà intégrés dans les fichiers Rosbag. On a exprimé les paramètres extrinsèques de la caméra avant en fonction de ceux de la caméra arrière, cela signifie que nous présentons la translation et la rotation de la caméra avant dans le repère de la caméra arrière (voir Figure 2). Les rotations sont exprimées en quaternion.

Dans la Figure 4, nous présentons un aperçu de quelques images montrant certains types de conditions environnementales incluses dans notre dataset.
<table><caption>Tableau 1: Paramètres intrinsèques des caméras.</caption><thead><tr><th colspan="6">de_2018-10-19-à-2019-03-08</th></tr><tr><th></th><th>γ<sub>x</sub></th><th>γ<sub>y</sub></th><th>c<sub>x</sub></th><th>c<sub>y</sub></th><th>ξ</th></tr></thead><tbody><tr><th>front</th><td>766.3141</td><td>769.5469</td><td>324.2513</td><td>239.7592</td><td>1.4513</td></tr><tr><th>back</th><td>763.5804</td><td>766.0006</td><td>326.2222</td><td>250.7755</td><td>1.4523</td></tr></tbody></table><table><thead><tr><th colspan="6">de_2019-10-01</th></tr><tr><th></th><th>γ<sub>x</sub></th><th>γ<sub>y</sub></th><th>c<sub>x</sub></th><th>c<sub>y</sub></th><th>ξ</th></tr></thead><tbody><tr><th>front</th><td>770.0887</td><td>768.9841</td><td>330.3834</td><td>222.0791</td><td>1.4666</td></tr><tr><th>back</th><td>764.4637</td><td>763.1171</td><td>322.6882</td><td>247.8716</td><td>1.4565</td></tr></tbody></table>

<table><caption>Tableau 2: Paramètres extrinsèques des caméras.</caption><thead><tr><th colspan="6">de_2018-10-19-à-2019-03-08</th></tr><tr><th colspan="4">Rotation</th><th colspan="3">Translation</th></tr><tr><th>q<sub>x</sub></th><th>q<sub>y</sub></th><th>q<sub>z</sub></th><th>q<sub>w</sub></th><th>t<sub>x</sub></th><th>t<sub>y</sub></th><th>t<sub>z</sub></th></tr></thead><tbody><tr><td>0.0030</td><td>-0.9998</td><td>0.01479</td><td>0.0123</td><td>-0.0304</td><td>-0.0698</td><td>-3.4635</td></tr></tbody></table><table><thead><tr><th colspan="6">de_2019-10-01</th></tr><tr><th colspan="4">Rotation</th><th colspan="3">Translation</th></tr><tr><th>q<sub>x</sub></th><th>q<sub>y</sub></th><th>q<sub>z</sub></th><th>q<sub>w</sub></th><th>t<sub>x</sub></th><th>t<sub>y</sub></th><th>t<sub>z</sub></th></tr></thead><tbody><tr><td>0.0002</td><td>-0.9998</td><td>0.0200</td><td>0.0089</td><td>0.0600</td><td>-0.0321</td><td>-3.4637</td></tr></tbody></table>

<figure><img src="image_6.png" /><figcaption>FIGURE 4: Un aperçu des images enregistrées avec la caméra avant pour quelques séquences de notre dataset.</figcaption></figure>

## 3 Conclusion et perspectives

Dans ce papier, nous avons présenté un nouveau jeu de données qui contient des conditions environnementales difficiles pour la localisation que nous avons mises à la disposition de la communauté dans l'espoir qu'il sera utile à d'autres personnes travaillant dans le domaine de la localisation long terme. Grâce à ce jeu de données, nous avons évalué la performance de nos différentes approches de localisation dans des environnements dynamiques. Nos travaux futurs viseront à éviter l'inflation continue de la carte en jugeant si une image doit être ajoutée à la carte ou non.

### Remerciement

Ces travaux sont sponsorisés par le programme de recherche du gouvernement français "Investissements d'Avenir" à travers le Laboratoire d'Excellence IMobS3 (ANR-10-LABX-16-01) et le RobotEx Equipment of Excellence (ANR-10-EQPX-44), par l'Union Européenne à travers le programme Regional Competitiveness and Employment 2014-2020 (ERDF - région AURA) et par la région AURA.

### Références

[1] Joao P BARRETO. "Unifying image plane liftings for central catadioptric and dioptric cameras". In: *Imaging Beyond the Pinhole Camera*. Springer, 2006, p. 21-38.

[2] Nicholas CARLEVARIS-BIANCO, Arash K. USHANI et Ryan M. EUSTICE. "University of Michigan North Campus long-term vision and lidar dataset". In: *International Journal of Robotics Research* 35.9 (2015), p. 1023-1035.

[3] Marius CORDTS, Mohamed OMRAN, Sebastian RAMOS, Timo REHFELD, Markus ENZWEILER, Rodrigo BENENSON, Uwe FRANKE, Stefan ROTH et Bernt SCHIELE. "The cityscapes dataset for semantic urban scene understanding". In: *Proceedings of the IEEE conference on computer vision and pattern recognition*. 2016, p. 3213-3223.

[4] Andreas GEIGER, Philip LENZ, Christoph STILLER et Raquel URTASUN. "Vision meets robotics: The kitti dataset". In: *The International Journal of Robotics Research* 32.11 (2013), p. 1231-1237.

[5] Pierre LÉBRALY. "Etalonnage de caméras à champs disjoints et reconstruction 3D: Application à un robot mobile". Thèse de doct. 2012.

[6] Will MADDERN, Geoff PASCOE, Chris LINEGAR et Paul NEWMAN. "1 Year, 1000km: The Oxford RobotCar Dataset". In: *The International Journal of Robotics Research (IJRR)* 36.1 (2017), p. 3-15.

[7] Morgan QUIGLEY, Ken CONLEY, Brian GERKEY, Josh FAUST, Tully FOOTE, Jeremy LEIBS, Rob WHEELER et Andrew Y NG. "ROS: an open-source Robot Operating System". In: *ICRA workshop on open source software*. T. 3. 3.2. Kobe, Japan. 2009, p. 5.