Brevet FR3069689A1 — publié le 20190201

La présente invention se rapporte au domaine du traitement d'images et concerne plus précisément un procédé d'estimation du mouvement d'un point dans une séquence d'images variant dans le temps. L'invention vise en particulier à suivre un point de manière fiable et précise dans une pluralité d'images consécutives. L'invention s'applique notamment à un véhicule automobile comprenant une caméra embarquée afin, par exemple, de reconstruire en trois dimensions des éléments de l'environnement du véhicule ou bien de déterminer la trajectoire du véhicule. En traitement d'images, le flot optique est une approximation du mouvement des pixels correspondant à un même objet observé dans une séquence d'images variant dans le temps. Le flot optique permet notamment de suivre un point représenté dans la séquence d'images afin, par exemple, de détecter le mouvement du point dans la séquence d'images, de réaliser une segmentation d'un objet associé au point suivi, de réaliser des calculs de temps de collision entre le véhicule et un objet associé au point suivi (par exemple un autre véhicule), etc. De manière connue, un flot optique correspond au mouvement d'un point entre deux images et s'exprime comme un vecteur de déplacement du point entre lesdites deux images. Dans un véhicule automobile, il est connu d'utiliser le flot optique pour suivre 20 des points dans des images générées par une caméra vidéo montée dans le véhicule. Un tel suivi permet de reconstruire l'environnement tridimensionnel observé par le véhicule ou bien la trajectoire du véhicule afin notamment d'assister le conducteur dans sa conduite. Par exemple, la reconstruction de la trajectoire et/ou de l'environnement tridimensionnel du véhicule permettent respectivement le suivi des lignes de marquage au 25 sol ou la détection d'un obstacle pouvant déclencher un freinage d'urgence du véhicule. Plusieurs méthodes peuvent être utilisées pour déterminer le flot optique. Un exemple de méthode connue, intitulée méthode de Lukas-Kanade, est basée sur un algorithme de minimisation au sens des moindres carrés entre deux sections d'images consécutives de la séquence d'images. 30 De manière connue, on constate que le niveau d'erreur relatif à la valeur du flot associé à une telle estimation est d'autant plus élevé, c'est-à-dire que la qualité du flot optique est d'autant plus faible, que la vitesse du véhicule est faible ou que le point que l'on suit est éloigné, c'est-à-dire peu dynamique dans la séquence d'images. Aussi, dans ce cas, le suivi d'un point entre deux images peut conduire à déterminer une position 35 erronée de l'objet. En effet, le flot optique d'un point étant estimé entre deux images 2 consécutives, il en résulte que les erreurs sur les flots optiques de plusieurs images consécutives, dans lesquelles on suit un même point, se cumulent au fil des images, entrainant une dérive dans le suivi du point. Ainsi, la reconstruction 3D de l'environnement du véhicule ou la détermination de la trajectoire du véhicule peuvent être significativement 5 erronées de sorte que cela présente un danger important lors de l'assistance à la conduite fournie au conducteur. La présente invention vise à remédier en partie à ces inconvénients en proposant une solution fiable et efficace pour réduire la dérive générée par l'accumulation d'erreurs sur les flots optiques calculés pour une séquence d'images et augmenter la 10 précision dans le suivi d'un point dans une séquence d'images. A cette fin, l'invention a tout d'abord pour objet un procédé d'estimation du mouvement d'au moins un point dans une séquence d'images variant dans le temps, ladite séquence comprenant au moins une première image, une deuxième image et une troisième image, la deuxième image étant postérieure à la première image et la troisième 15 image étant postérieure à la deuxième image, le procédé comprenant : - une étape de détermination, dans la première image, d'au moins une première zone de pixels correspondant à un point à suivre, - une étape de détermination, dans la deuxième image, d'une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la deuxième image à partir de la première zone de pixels déterminée, - une étape de détermination, dans la troisième image, d'une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image et la troisième image à partir de la deuxième zone de pixels déterminée. Le procédé est remarquable en ce qu'il comprend en outre : - une étape de détermination, dans la troisième image, d'une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image et la troisième image à partir de la première zone de pixels déterminée et - une étape de détermination, dans la troisième image, d'une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. Ainsi, en utilisant une pluralité de flots optiques calculés au moins à partir de trois images différentes pour déterminer la position du point dans la troisième image, le procédé selon l'invention permet d'éviter le cumul des erreurs d'estimation de flots optiques successifs qui est obtenu lors du suivi seulement basé sur des estimations de flots optiques entre paires d'images successives. 3 De préférence, la détermination de la cinquième zone de pixels est réalisée en moyennant la troisième zone de pixels déterminée et la quatrième zone de pixels déterminée. Dans un mode de réalisation, les trois images sont consécutives dans la 5 séquence d'images. En variante, des images intermédiaires peuvent exister entre la première et/ou la deuxième image et/ou la troisième image et le procédé peut alors comprendre une étape supplémentaire d'estimation du flot optique entre cette image supplémentaire et au moins deux des trois images mentionnées précédemment, donnant ainsi une nouvelle 10 mesure de la position du point dans la troisième image. De manière avantageuse, la deuxième image et la troisième image sont consécutives dans la séquence d'images. Dans un mode de réalisation, la première image, la deuxième image et la troisième image sont consécutives dans la séquence d'images. 15 Selon un aspect de l'invention, le procédé comprend une étape de stockage de la première zone de pixels. Selon un aspect de l'invention, le procédé comprend une étape de stockage de la deuxième zone de pixels, Selon un aspect de l'invention, le procédé comprend une étape de stockage 20 de la troisième zone de pixels. Selon un aspect de l'invention, le procédé comprend une étape de stockage de la quatrième zone de pixels. Selon un aspect de l'invention, le procédé comprend une étape de stockage de la cinquième zone de pixels. 25 Dans un mode de réalisation, la première zone de pixels constitue une zone de pixels de référence servant de base à la détermination d'une pluralité de troisièmes zones de pixels et de quatrièmes zones de pixels différentes à partir d'une pluralité de deuxièmes images et de troisièmes images différentes. Avantageusement, la zone de pixels de référence est utilisée tant que la 30 distance entre la troisième zone de pixels et la quatrième zone de pixels est inférieure à un seuil de distance prédéterminé. De préférence, le seuil de distance prédéterminé correspond au niveau de bruit de la troisième image. La distance entre la troisième zone de pixels et la quatrième zone de pixels 35 peut être déterminée en utilisant une distance de Mahalanobis (distance normalisée par les variances) comparée à une valeur d'incertitude donnée par une distribution dite de chi-2 (« chi carré ») à 2 degrés de liberté. 4 Avantageusement encore, la distance entre la troisième zone de pixels et la quatrième zone de pixels étant inférieure au seuil prédéterminé, la zone de pixels de référence est utilisée tant que l'apparence entre la première zone de pixels et la quatrième zone de pixels est similaire. 5 Par le terme REVENDICATIONS1. Procédé d'estimation du mouvement d'au moins un point dans une séquence d'images variant dans le temps, ladite séquence comprenant au moins une première image (t), une deuxième image (t+n-1) et une troisième image (t+n), la deuxième image (t+n-1) étant postérieure à la première image (t) et la troisième image (t+n) étant 5 postérieure à la deuxième image (t+n-1), le procédé comprenant : - une étape de détermination, dans la première image (t), d'au moins une première zone de pixels correspondant à un point à suivre, - une étape de détermination, dans la deuxième image (t+n-1), d'une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la 10 première image (t) et la deuxième image (t+n-1) à partir de la première zone de pixels déterminée, - une étape de détermination, dans la troisième image (t+n), d'une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image (t+n-1) et la troisième image (t+n) à partir de la deuxième zone de pixels 15 déterminée, ledit procédé étant caractérisé en ce qu'il comprend en outre : - une étape de détermination, dans la troisième image (t+n), d'une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la troisième image (t+n) à partir de la première zone de pixels 20 déterminée, - une étape de détermination, dans la troisième image (t+n), d'une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. 2. Procédé selon la revendication précédente, dans lequel la deuxième 25 image (t+n-1) et la troisième image (t+n) sont consécutives dans la séquence d'images. 3. Procédé selon la revendication précédente, dans lequel la première image (t), la deuxième image (t+n-1) et la troisième image (t+n) sont consécutives dans la séquence d'images. 4. Procédé selon l'une des revendications précédentes, comprenant une étape 30 de stockage de la première zone de pixels, de la deuxième zone de pixels, de la troisième zone de pixels et de la quatrième zone de pixels. 5. Procédé selon la revendication précédente, comprenant une étape de stockage de la cinquième zone de pixels. 6. Procédé selon l'une des revendications précédentes, dans lequel la première 35 zone de pixels constitue une zone de pixels de référence servant de base à la 15 détermination d'une pluralité de troisièmes zones de pixels et de quatrièmes zones de pixels différentes à partir d'une pluralité de deuxièmes images (t+n-1) et de troisièmes images (t+n) différentes. 7. Procédé selon la revendication précédente, dans lequel la zone de pixels de référence est utilisée tant que la distance entre la troisième zone de pixels et la quatrième zone de pixels est inférieure à un seuil prédéterminé. 8. Procédé selon la revendication précédente, dans lequel le seuil prédéterminé correspond au niveau de bruit de la troisième image (t+n). 9. Calculateur pour véhicule automobile, destiné à estimer le mouvement d'au moins un point dans une séquence d'images variant dans le temps générée par une caméra montée dans ledit véhicule, ladite séquence comprenant au moins une première image (t), une deuxième image (t+n-1) et une troisième image (t+n), la deuxième image (t+n-1) étant postérieure à la première image (t) et la troisième image (t+n) étant postérieure à la deuxième image (t+n-1), le calculateur étant configuré pour : - déterminer, dans la première image (t), au moins une première zone de pixels correspondant à un point à suivre, - déterminer, dans la deuxième image (t+n-1), une deuxième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la deuxième image (t+n-1) à partir de la première zone de pixels déterminée, - déterminer, dans la troisième image (t+n), une troisième zone de pixels correspondant audit point en calculant le flot optique entre la deuxième image (t+n-1) et la troisième image (t+n) à partir de la deuxième zone de pixels déterminée, ledit calculateur étant caractérisé en ce qu'il est en outre configuré pour : - déterminer, dans la troisième image (t+n), une quatrième zone de pixels correspondant audit point en calculant le flot optique entre la première image (t) et la troisième image (t+n) à partir de la première zone de pixels déterminée, - déterminer, dans la troisième image (t+n), une cinquième zone de pixels, dite « zone affinée », à partir de la troisième zone de pixels déterminée et de la quatrième zone de pixels déterminée. 10. Véhicule automobile comprenant une caméra et un calculateur, selon la revendication précédente, relié à ladite caméra de manière à recevoir au moins une séquence d'images capturée par la caméra afin d'estimer le mouvement d'au moins un point dans ladite séquence et permettre une assistance à la conduite du véhicule.