# Diffusion anisotrope et inpainting d'orthophotographies LiDAR mobile

P Biasutti, Jean-François Aujol, Mathieu Brédif, Aurélie Bugeau

► To cite this version:

P Biasutti, Jean-François Aujol, Mathieu Brédif, Aurélie Bugeau. Diffusion anisotrope et inpainting d'orthophotographies LiDAR mobile. 20ème Congrès national sur la Reconnaissance des Formes et l'Intelligence Artificielle (RFIA 2016), Jun 2016, Clermont-Ferrand, France. hal-01316487

HAL Id: hal-01316487

https://hal.science/hal-01316487v1

Submitted on 17 May 2016

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Diffusion anisotrope et inpainting d'orthophotographies LiDAR mobile

P. Biasutti¹²³

J-F. Aujol¹

M. Brédif³

A. Bugeau²

¹ IMB, CNRS, IPB, Univ. Bordeaux, ² LaBRI, CNRS, Univ. Bordeaux

³ Université Paris-Est, IGN, SRIG, MATIS, 73 avenue de Paris, 94160 Saint Mandé, France

pierre.biasutti@math.u-bordeaux.fr

## Résumé

Cet article présente un processus pour la production jointe d'orthophotographie de réflectance et de hauteur à très grande résolution (1cm) à partir d'un levé laser mobile. La projection verticale du nuage de points LiDAR sur une grille de pixels 2D, après filtrage des points du sol, génère deux images éparses et bruitées (réflectance et de hauteur). Nous proposons d'en dériver une image dense par diffusion anisotrope couplée à un débruitage par régularisation TV-L¹. De plus, nous adaptons une méthode d'inpainting afin de combler les zones d'occlutation en tirant parti de la reconstruction couplée réflectance/hauteur et d'un a priori d'alignement entre les structures à inpainer.

## Mots Clef

Orthophotographie, route, scan laser mobile, lidar

## Abstract

This paper proposes a pipeline for the joint generation of reflectance and height orthophotography at very high resolution (1cm) from a mobile laser scan. The ground projection of the LiDAR point cloud over a 2D pixel grid provides a sparse and noisy image of both channels. We offer to enhance those images by generating a dense image using anisotropic diffusion and TV-L¹ denoising. Moreover, we adapt an inpainting method in order to fill large occlusions by taking advantage of the dense images and an assumption of the alignment between structures to inpaint.

## Keywords

Orthophotography, road, mobile laser scanning, lidar

## 1 Introduction

L'orthophotographie (orthoimage) et le modèle numérique de terrain (MNT) sont des produits omniprésents dans la cartographie moderne et couramment acquis par des vecteurs satellite ou aériens. Ces méthodes d'acquisition ne permettent cependant pas d'obtenir une très haute précision (>5cm) et présentent souvent de nombreuses occultations dues aux obstacles présents entre le sol et le dispositif d'acquisition (arbres, toitures...). Les nouvelles technologies de levé laser mobile permettent de remédier à ces limitations grâce à une acquisition faite au niveau du sol.

Nous nous intéressons ici au dispositif LiDAR qui permet l'acquisition d'un nuage de points en 3D de haute résolution (>1 point/cm² sous la trajectoire du véhicule) dans lequel chaque point est associé à une réflectance et à une distance entre le point mesuré et l'émetteur LiDAR, que l'on peut coupler à sa trajectoire afin d'en dériver les coordonnées du point en 3D dans un repère fixe [2]. La production d'orthoimages précises de réflectance/hauteur à cette résolution permet une cartographie précise de l'espace public pouvant répondre à un ensemble de problématiques variées : voirie, fond de carte pour la gestion des réseaux enterrés, accessibilité...

Le problème de la génération d'orthoimage via levé laser mobile consiste principalement en un problème d'interpolation de points épars sur une grille discrète et d'inpainting des zones d'occultation [5]. Nous présentons ici un modèle de diffusion anisotrope couplé réflectance/hauteur ainsi qu'une méthode d'inpainting guidée par les informations de hauteur et de distance au capteur.

## 2 Méthodologie

**Projection du nuage de points** La première étape consiste à projeter le nuage de points LiDAR sur une grille de pixels 2D, après définition d'une équivalence entre le repère terrestre et les pixels. Un filtrage des points en fonction de leurs hauteurs est ajouté pour que les objets couvrants (feuillages, tunnels, ponts) ne soient pas projetés. Chaque pixel de l'orthoimage générée, notée $u_0 \in \Omega$, prend alors la valeur moyenne de réflectance des points qui y sont projetés. De même, $h_0 \in \Omega$ désigne la hauteur moyenne de ces points.

**Diffusion des points projetés** Le taux d'échantillonnage ne permettant pas un remplissage complet de l'image après projection, il est nécessaire de diffuser les pixels pour combler les zones faiblement échantillonnées. Nous proposons ici une amélioration de la méthode de diffusion anisotrope [1] permettant la diffusion simultanée des images de réflectance et de hauteur :

$$ \left\{ \begin{array}{l} \frac{\partial u}{\partial t} - \text{div}(c(|\nabla u|, |\nabla h|)\nabla u) = 0 \text{ dans } \Omega \times (0, t) \\ \frac{\partial h}{\partial t} - \text{div}(c(|\nabla u|, |\nabla h|)\nabla h) = 0 \text{ dans } \Omega \times (0, t) \end{array} \right. \quad (1) $$

avec $\forall x \in \Omega$, $u(0, x) = u_0(x)$ et $h(0, x) = h_0(x)$. div représente l'opérateur de divergence, $\nabla$ le gradient, $c(|\nabla u|, |\nabla h|) = 1/\sqrt{1 + |\nabla u|^2 + |\nabla h|^2}$, u et h les images
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Résultat d'ortho. (a) Nuage de points LiDAR colorisés par la réfléctance, (b) projection 2D filtrée en hauteur, (c) diffusion anisotrope, (d) débruitage, (e) inpainting. L'image initiale comporte ~ 2.10⁶ pixels, dont 31% d'information manquante.</figcaption></figure>

de réflectance et de hauteur. Cette amélioration limite la diffusion dans les zones de forte variation de hauteur et au bord des occultations tout en joignant efficacement les points proches (fig. 1(c)).

**Débruitage** La projection des points dans la grille de pixels provoque un phénomène de sur-échantillonnage dans les zones proches de l'émission, créant un effet s'apparentant au bruit poivre et sel (fig. 1(c)). Ces artefacts sont réduits par une régularisation TV-L¹ [1] (fig. 1(d)).

**Inpainting des occultations** Une fois diffusée, l'image contient encore des trous provoqués lors du blocage du faisceau laser par des structures verticales. Ces zones peuvent aisément être détectées par morphologie mathématique sur l'image non diffusée.

Nous proposons une modification de la méthode d'inpainting proposée dans [3] prenant en compte les informations de hauteur et de distance au capteur pour la sélection des patchs. Cette amélioration consiste en la redéfinition du calcul de score d'un patch candidat dans la reconstruction du patch courant :

$$S(P_t, P_c) = \left[ 1 + \left( \frac{|d(P_t) - d(P_c)|}{\gamma} \right)^2 \right] \times S_p(P_t, P_c) \quad (2)$$

$$\text{où } S_p(P_t, P_c) = SSD(P_t^R, P_c^R) + 0.2 \times SSD(P_t^H, P_c^H). \quad (3)$$

$S(P_t, P_c)$ représente le score final du patch courant $P_c$ par rapport au patch à reconstruire $P_t$, $d(P)$ la distance du centre du patch $P$ par rapport au capteur et $S_p$ la somme pondérée des SSDs des patchs dans l'image réflectance et dans l'image de hauteur. Le paramètre $\gamma$ varie en fonction du diamètre des trous. Dans le cas des trous de taille moyenne, la pondération est grandement relâchée ($\gamma = 10^4$) afin d'autoriser la sélection de patch dans un rayon plus large. A l'inverse, dans le cas d'une grande occultation (voiture, camion), ce paramètre est resserré ($\gamma = 10^{-2}$) pour conserver les structures. Ce comportement se base sur l'hypothèse selon laquelle les grandes occultations sont souvent liées à la structure des décors urbain parallèle à l'évolution du dispositif d'acquisition.

La résolution à laquelle la reconstruction est faite force l'utilisation de grands patchs. Ainsi, pour limiter le problème de jonction de patchs, nous appliquons une méthode

seam-carving par graphcut [4] sur les patchs au moment de leur ajout dans l'image finale.

## 3 Résultats

La figure 1 montre un exemple d'orthoimage obtenue à l'issue du traitement. La projection (fig. 1(b)) du nuage de points (fig. 1(a)) au sol présente des trous dus au sous échantillonnage et aux deux classes d'occultation. L'image en sortie du pipeline (fig. 1(e)) représente la zone souhaitée sans trou ni artefact apparent. Les structures sont correctement conservées, même dans le cas des occultations les plus grandes.

## 4 Conclusion et Perspectives

Nous avons proposé une méthode efficace pour la génération d'orthoimage à partir d'un levé laser mobile LiDAR. Nous allons par la suite fusionner l'étape de diffusion anisotrope et de débruitage et optimiser le processus pour pouvoir traiter une plus grande masse de données.

## 5 Remerciements

Ce travail a bénéficié d'une aide de l'État gérée par l'Agence Nationale de la Recherche au titre du programme d'Investissements d'avenir Initiative d'excellence IdEx Bordeaux portant la référence ANR-10-IDEX-03-02. J-F. Aujol est membre de l'Institut Universitaire de France.

## Références

[1] G. Aubert and P. Kornprobst. *Mathematical problems in image processing: partial differential equations and the calculus of variations*. Springer, 2006.

[2] M. Brédif, B. Vallet, and B. Ferrand. Distributed dimensionality-based rendering of lidar point clouds. *Int. Arch. of the Photogrammetry, Remote Sens. and Spatial Inf. Sciences*, 40, 2015.

[3] A. Criminisi, P. Pérez, and K. Toyama. Region filling and object removal by exemplar-based image inpainting. *IEEE Trans. on Image Processing*, 13(9), 2004.

[4] M. Rubinstein, A. Shamir, and S. Avidan. Improved seam carving for video retargeting. *ACM Trans. on Graphics*, 27(3), 2008.

[5] B. Vallet and J. P. Papelard. Road orthophoto/DTM generation from mobile laser scanning. *Int. Arch. of the Photogrammetry, Remote Sens. and Spatial Inf. Sciences*, 2, 2015.