Brevet FR3125150A1 — publié le 20230113

Procédé d’étiquetage d’une image 3D (I2) d’une scène acquise par un capteur 3D comprenant : - la réception : d’une image 2D (I1) de la même scène acquise par une caméra, des coordonnées, sur l’image 2D, d’un ensemble de pixels (PZ1) délimitant la zone d’intérêt (Z1), et d’un point de référence (PR) appartenant à la zone d’intérêt (Z1), et la détermination de la profondeur du point de référence (pr) dans un repère associé à la caméra, - l’attribution aux pixels délimitant la zone d’intérêt (Z1) sur l’image 2D (I1) d’une profondeur correspondant à la profondeur du point de référence (pr), - le calcul des coordonnées, dans l’image 3D (I2), des pixels (PZ2) délimitant la zone d’intérêt (Z2) à partir des coordonnées des pixels (PZ1) délimitant la zone d’intérêt (Z1) dans l’image 2D (I1) et de la profondeur (pr) attribuée aux pixels délimitant la zone d’intérêt. Figure de l’abrégé : Figure 1 Procédé d’étiquetage d’une image 3D La présente divulgation relève du domaine de l’étiquetage de zones d’intérêt dans des images 3D obtenues à l’aide de capteurs 3D LIDAR, RADAR ou de caméras temps de vol (« Time of Flight » en anglais). Il est connu d’étiqueter, c’est-à-dire d’identifier, dans une scène acquise par un capteur 3D d’un véhicule, différentes zones d’intérêt pouvant par exemple révéler la présence d’un objet particulier ou d’un obstacle dans l’environnement du véhicule. Cet étiquetage est fait de manière manuelle en demandant à un opérateur d’identifier, dans chaque image 3D, la zone d’intérêt. Les zones d’intérêt identifiées par l’opérateur servent ensuite de référence pour la validation d’algorithmes de détection automatique et pour la constitution d’une base d’apprentissage permettant de développer des algorithmes de détection par apprentissage automatique (« machine learning » en anglais). Il n’est cependant pas aisé, pour l’opérateur, d’identifier les zones d’intérêt dans les images 3D. En effet, les images 3D comprennent, pour chaque pixel de l’image, une information relative à une distance entre le point de mesure et le capteur qui n’est pas facile à interpréter par l’œil humain, plus habitué à interpréter des images acquises par des caméras. En effet, les couleurs des pixels des images 3D correspondent à des distances alors que, dans les images 2D, la couleur des pixels correspond aux couleurs réelles des objets présents dans la scène. De plus, les points de mesure obtenus avec des capteurs 3D sont en général plus espacés qu’avec une caméra standard. Ainsi, l’étiquetage de zones d’intérêt dans une image 3D est plus complexe et moins fiable qu’avec une image 2D. Il existe donc un besoin de trouver un moyen permettant d’étiqueter de manière plus fiable des zones d’intérêt dans des images 3D. Résumé La présente demande vient améliorer la situation en proposant un moyen permettant d’identifier, de manière fiable des zones d’intérêt au sein d’images 3D, notamment avec une meilleure précision. Il est proposé un procédé d’étiquetage d’une image 3D d’une scène acquise par un capteur 3D comprenant l’identification d’au moins une zone d’intérêt dans l’image 3D, le procédé étant mis en œuvre par un calculateur et comprenant : - une étape de réception : * d’une image 2D de la même scène acquise par une caméra, * des coordonnées, sur l’image 2D, d’un ensemble de pixels délimitant la zone d’intérêt, * des coordonnées, sur l’image 2D, d’un point de référence appartenant à la zone d’intérêt, et * de données relatives à la position et à l’orientation relatives de la caméra par rapport au capteur 3D, - une étape de détermination de la profondeur du point de référence dans un repère associé à la caméra, ladite étape comprenant : * à partir des coordonnées du point de référence dans l’image 2D, la détermination des coordonnées en deux dimensions d’une pluralité de premiers points dans l’image 3D, chaque premier point correspondant à une position possible du point de référence dans l’image 3D, * l’obtention, pour chaque premier point, d’une troisième coordonnée de profondeur par rapport au capteur 3D, * pour chaque premier point de l’image 3D, l’obtention des coordonnées du point correspondant dans l’image 2D, à partir de la coordonnée de profondeur du premier point, la sélection, dans l’image 2D, du premier point le plus proche du point de référence, et, * l’attribution au point de référence d’une profondeur correspondant à la profondeur du premier point sélectionné, - une étape d’attribution aux pixels délimitant la zone d’intérêt sur l’image 2D d’une profondeur correspondant à la profondeur attribuée au point de référence, - une étape de calcul des coordonnées, dans l’image 3D, des pixels délimitant la zone d’intérêt à partir des coordonnées des pixels délimitant la zone d’intérêt dans l’image 2D et de la profondeur attribuée aux pixels délimitant la zone d’intérêt. Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre de tout ou partie d’un procédé tel que défini dans les présentes lorsque ce programme est exécuté par un calculateur. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme. Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre, indépendamment les unes des autres ou en combinaison les unes avec les autres : Dans un mode de réalisation, la détermination des coordonnées en deux dimensions de la pluralité de premiers points dans l’image 3D comprend : - l’attribution, au point de référence, d’une profondeur maximale, - l’attribution, au point de référence, d’une profondeur minimale, - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point le plus éloigné correspondant au point de référence auquel on a attribué la profondeur maximale, - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point le plus proche correspondant au point de référence auquel on a attribué la profondeur minimale, et - la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point se trouvant entre le premier point le plus proche et le premier point le plus éloigné. Dans un mode de réalisation, la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point se trouvant entre le premier point le plus proche et le premier point le plus éloigné comprend la détermination de coordonnées en deux dimensions d’au moins un point se trouvant, dans l’image 3D, sur un segment reliant le premier point le plus éloigné et le premier point le plus proche. Dans un mode de réalisation, la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point se trouvant entre le premier point le plus proche et le premier point le plus éloigné comprend : - l’attribution, au point de référence, d’au moins une profondeur intermédiaire comprise entre la profondeur maximale et la profondeur minimale, et - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point correspondant au point de référence auquel on a attribué la profondeur intermédiaire. Dans un mode de réalisation, la détermination des coordonnées en deux dimensions de la pluralité de premiers points dans l’image 3D comprend : - l’attribution, au point de référence, d’une profondeur de l’une d’une profondeur minimale ou maximale, - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point d’extrémité correspondant au point de référence auquel on a attribué l’une d’une profondeur minimale ou maximale, et - le calcul, à partir de la résolution horizontale du capteur 3D et de la distance entre le capteur 3D et la caméra, d’une disparité maximale correspondant à un nombre maximal de pixels sur l’image 3D séparant le premier point d’extrémité et un point sur l’image 3D correspondant au point de référence auquel on a attribué l’autre de la profondeur minimale ou maximale, - la détermination des coordonnées en deux dimensions de chaque point de l’image 3D compris entre le premier point d’extrémité et un point séparé latéralement du premier point d’extrémité de la disparité maximale. Dans un mode de réalisation, l’ensemble de pixels délimitant la zone d’intérêt sur l’image 2D comprend quatre pixels délimitant un rectangle. Dans un mode de réalisation, la zone d’intérêt, dans l’image 2D, présente une forme géométrique prédéterminée et le procédé comprend en outre une étape de définition d’une zone d’intérêt dans l’image 3D présentant la même forme géométrique que la zone d’intérêt dans l’image 2D. Le procédé d’étiquetage décrit ci-dessus peut trouver à s’appliquer notamment lors de la constitution d’une base de données d’apprentissage ou la validation d’algorithmes de détection automatique de zones d’intérêt dans des images 3D. Selon l’invention, des opérateurs peuvent identifier une zone pertinente d’une image 2D prise par une caméra, par exemple une zone correspondant à un piéton ou à un véhicule, à l’aide d’un rectangle par exemple et créer des images de référence. Le procédé décrit ci-dessus peut alors être utilisé pour déterminer une zone de l’image de référence correspondante dans des données acquises par des capteurs 3D, i.e. aptes à déterminer une distance entre le capteur et le point considéré. On peut ainsi constituer une base d’apprentissage pour des algorithmes d’apprentissage destinés à repérer des objets, tels que des piétons ou des véhicules, par exemple. Par ailleurs, lorsque des algorithmes permettant de repérer des objets dans des données acquises par des capteurs 3D ont déjà été développés, le procédé décrit ci-dessus peut être mis en œuvre pour comparer les zones détectées par l’algorithme avec les zones correspondant aux objets identifiés par les opérateurs à l’aide des images prises par les caméras. Cette comparaison permet d’évaluer les performances de l’algorithme de détection. D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : Fig. 1 illustre de manière schématique une image 3D et une image 2D d’une même scène acquise respectivement par un capteur 3D et une caméra au même instant. Fig. 2 illustre un procédé d’étiquetage d’une image 3D selon un mode de réalisation. Fig. 3 illustre de manière schématique le système utilisé pour l’acquisition des images 2D et 3D et différents repères et annotations. Fig. 4 illustre certains des points utilisés par le procédé d’étiquetage selon un mode de réalisation de l’invention. Fig. 5 illustre l’algorithme de Bresenham utilisé dans le procédé selon une variante de réalisation. Procédé d’étiquetage d’une image 3D (I2) d’une scène acquise par un capteur 3D (C3D) comprenant l’identification d’au moins une zone d’intérêt (Z2) dans l’image 3D, le procédé étant mis en œuvre par un calculateur et comprenant : - une étape de réception (S100) : * d’une image 2D (I1) de la même scène acquise par une caméra (CAM), * des coordonnées, sur l’image 2D, d’un ensemble de pixels (PZ1) délimitant la zone d’intérêt (Z1), * des coordonnées (uPR, vPR), sur l’image 2D, d’un point de référence (PR) appartenant à la zone d’intérêt (Z1), et * de données relatives à la position et à l’orientation relatives de la caméra par rapport au capteur 3D (TR12), - une étape de détermination de la profondeur du point de référence dans un repère associé à la caméra (S200), ladite étape comprenant : * à partir des coordonnées du point de référence dans l’image 2D, la détermination des coordonnées en deux dimensions d’une pluralité de premiers points (P1,i) dans l’image 3D, chaque premier point (P1,i) correspondant à une position possible du point de référence dans l’image 3D, * l’obtention, pour chaque premier point (P1,i), d’une troisième coordonnée de profondeur (pi) par rapport au capteur 3D, * pour chaque premier point (P1,i) de l’image 3D, l’obtention des coordonnées (u1i, v1i) du point correspondant (P2,i) dans l’image 2D, à partir de la coordonnée de profondeur (pi) du premier point (P1,i), * la sélection, dans l’image 2D, du premier point le plus proche du point de référence, et, * l’attribution au point de référence (PR) d’une profondeur (pr) correspondant à la profondeur (pi) du premier point sélectionné, - une étape d’attribution (S300) aux pixels (PZ1) délimitant la zone d’intérêt (Z1) sur l’image 2D (I1) d’une profondeur correspondant à la profondeur attribuée au point de référence (pr), - une étape de calcul (S400) des coordonnées, dans l’image 3D, des pixels (PZ2) délimitant la zone d’intérêt (Z2) à partir des coordonnées des pixels (PZ1) délimitant la zone d’intérêt (Z1) dans l’image 2D et de la profondeur (pr) attribuée aux pixels délimitant la zone d’intérêt. Procédé selon la revendication précédente, dans lequel : - la détermination des coordonnées en deux dimensions de la pluralité de premiers points dans l’image 3D comprend : * l’attribution, au point de référence (PR), d’une profondeur maximale (dmax), * l’attribution, au point de référence, d’une profondeur minimale (dmin), * le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point le plus éloigné (P1,1) correspondant au point de référence auquel on a attribué la profondeur maximale (PA), * le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point le plus proche (P1,n) correspondant au point de référence auquel on a attribué la profondeur minimale (PB), et * la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point (P1,i) se trouvant entre le premier point le plus proche (P1,n) et le premier point le plus éloigné (P1,1). Procédé selon la revendication précédente, dans lequel la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point (P1,i) se trouvant entre le premier point le plus proche (P1,n) et le premier point le plus éloigné (P1,1) comprend la détermination de coordonnées en deux dimensions d’au moins un point (P1,i) se trouvant, dans l’image 3D, sur un segment reliant le premier point le plus éloigné (P1,1) et le premier point le plus proche (P1,n). Procédé selon la revendication 2, dans lequel la détermination des coordonnées en deux dimensions, dans l’image 3D, d’au moins un premier point (P1,i) se trouvant entre le premier point le plus proche (P1,n) et le premier point le plus éloigné (P1,1) comprend : - l’attribution, au point de référence (PR), d’au moins une profondeur intermédiaire (pi) comprise entre la profondeur maximale (dmax) et la profondeur minimale (dmin), et - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point (P1,i) correspondant au point de référence (PR) auquel on a attribué la profondeur intermédiaire (pi). Procédé selon la revendication 1, dans lequel la détermination des coordonnées en deux dimensions de la pluralité de premiers points dans l’image 3D (P1,i) comprend : - l’attribution, au point de référence (PR), d’une profondeur de l’une d’une profondeur minimale (dmin) ou maximale (dmax), - le calcul de coordonnées en deux dimensions, dans l’image 3D, d’un premier point d’extrémité (P1,1) correspondant au point de référence auquel on a attribué l’une d’une profondeur minimale ou maximale, et - le calcul, à partir de la résolution horizontale du capteur 3D et de la distance entre le capteur 3D et la caméra, d’une disparité maximale correspondant à un nombre maximal de pixels (pixmax) sur l’image 3D séparant le premier point d’extrémité (P1,1) et un point sur l’image 3D correspondant au point de référence auquel on a attribué l’autre de la profondeur minimale ou maximale (P1,n), - la détermination des coordonnées en deux dimensions de chaque point de l’image 3D (P1,i) compris entre le premier point d’extrémité (P1,1) et un point séparé latéralement du premier point d’extrémité de la disparité maximale (P1,n). Procédé selon l’une quelconque des revendications précédentes, dans lequel l’ensemble de pixels délimitant la zone d’intérêt (Z1) sur l’image 2D comprend quatre pixels (PZ1) délimitant un rectangle. Procédé selon l’une quelconque des revendications précédentes, dans lequel la zone d’intérêt, dans l’image 2D, présente une forme géométrique prédéterminée et le procédé comprend en outre une étape (S500) de définition d’une zone d’intérêt (R) dans l’image 3D présentant la même forme géométrique que la zone d’intérêt dans l’image 2D. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications 1 à 7 lorsque ce programme est exécuté par un calculateur. Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en œuvre du procédé selon l’une des revendications 1 à 7 lorsque ce programme est exécuté par un calculateur.