Brevet FR2971604A1 — publié le 20120817

i La présente invention concerne un procédé d'analyse et/ou de traitement d'une image bidimensionnelle. Ce type de procédé de traitement d'image comprend notamment les procédés de réduction de bruit, également appelé procédés de débruitage. s Le principe du débruitage est issu du traitement d'images photographiques. Le procédé physique traitant de la captation de l'information lumineuse du sujet photographié entraine nécessairement une présence d'information non pertinente sous forme d'un bruit. Il s'agit là d'une conséquence de la nature discrète de l'information lumineuse décomposée en transmission de photons. io Les images bidimensionnelles issues d'un procédé de génération artificiel d'image photoréaliste sont appelées communément images de synthèse. La génération d'image de synthèse photoréaliste à l'aide de méthodes de simulation du transport physique de la lumière génère aussi un bruit. Ce bruit est alors de nature très différente. Il est en général la conséquence d'une is sous-évaluation de l'information à calculer pour réduire le temps de calcul. En particulier, dans le cas d'un calcul basé sur un algorithme aléatoire de type Monte Carlo ou « ray-marching », le nombre d'échantillons réellement traités est nettement insuffisant pour produire une évaluation de qualité du phénomène calculé. Par conséquent, le résultat présentera un bruit 20 caractéristique de la composante aléatoire de l'évaluation. Le nombre d'échantillons nécessaire à la réduction de l'amplitude de ce bruit est proportionnel au carré de l'atténuation du bruit souhaitée. Sachant que la qualité d'une image de synthèse est entre autres liée à la quantité de bruit présente dans l'image et sachant également que le coût de calcul d'une 25 image de synthèse est directement lié au nombre d'échantillons, il apparaît que cette technique de débruitage qui permet de "réutiliser" les échantillons voisins afin de réduire la quantité de bruit visible pour un nombre d'échantillons donné permet de réduire de manière significative le coût global de production des images ou animations de synthèse. La caractéristique 30 principale d'une image photographique par rapport à une image de synthèse réside dans la fugacité du sujet photographié. L'information contenue dans une photographie est figée au moment de la prise. Des techniques pallient à ce problème, par exemple en captant une série de photographies sur un laps de temps court afin de rajouter plus de redondance dans l'information de l'image commune à cette série. Dans le cadre de la génération d'une image de synthèse il n'existe pas un tel phénomène de fugacité. Le sujet donnant s lieu à la génération de l'image est une information pérenne. Il a été proposé, notamment pas la société Pixar, de modifier la façon dont les images de synthèse sont générées afin d'améliorer la cohérence du bruit de façon à l'extraire de manière optimisée grâce à une technique de débruitage traditionnelle non spécifique aux images de synthèse. Cette mise en oeuvre io est toutefois réalisée uniquement en amont du débruitage pour le faciliter. Un autre type de procédés d'analyse de données d'image comprend notamment les procédés ayant pour objectif d'améliorer la qualité des images ou animations. Les méthodes d'analyse d'images existantes ont été développées conjointement avec les progrès de la photographie numérique. is Ainsi ces méthodes traitent les images comme une grille d'informations de couleur. L'association entre un point de la grille et la couleur, niveau de gris ou information colorimétrique, qui lui est associé est appelée «pixel» lorsque la grille est à deux dimensions et « voxel » lorsqu'elle est à trois dimensions. Les images produites par les capteurs tridimensionnels et constituées de 20 voxels sont caractéristiques des technologies issues du monde médical. L'analyse de ces images utilise les informations tridimensionnelles qui leurs sont directement associées. Ces procédés ne s'appliquent toutefois pas aux images bidimensionnelles. La plupart des images bidimensionnelles sur lesquelles on applique des méthodes d'analyse représentent une information 25 ayant un caractère géométrique tridimensionnel. Il s'agit alors de projection bidimensionnelle de cette information tridimensionnelle. Cette information tridimensionnelle est pourtant cruciale pour l'analyse de l'image. Il est par exemple naturel d'envisager une méthode de floutage préservant la dissociation entre les sujets représentés. Les méthodes traditionnelles 30 procèdent alors à une reconstruction, généralement délicate, des informations géométriques des sujets présents dans l'image. Ce type de méthode est compliqué et son efficacité n'est pas optimale. Pour de nombreuses méthodes d'analyse d'image, comme le débruitage et l'extraction de particularités, il est essentiel de pouvoir établir si deux pixels sont semblables ou non. Cette estimation se fait en pratique sur la distance dans l'espace colorimétrique dans lequel les pixels ont valeur. Le document s FR 2 870 071 décrit un tel procédé. Ce type de procédé a le désavantage d'amener à rapprocher deux pixels ayant potentiellement des natures très différentes dans le sujet de l'image. La présente invention concerne plus particulièrement un tel procédé d'analyse de données d'une image bidimensionnelle. io La présente invention a pour but de surmonter les inconvénients susmentionnés. La présente invention a notamment pour but de fournir un procédé d'analyse et/ou de traitement d'image(s) qui permet d'améliorer la qualité des images. is La présente invention a aussi pour but de fournir un tel procédé qui est simple et peu coûteux à réaliser. La présente invention a donc pour objet un procédé d'analyse de données d'une image bidimensionnelle comprenant l'étape d'utiliser des pixels enrichis d'informations tridimensionnelles. 20 Avantageusement, l'image est une image de synthèse. Avantageusement, lesdites informations tridimensionnelles sont utilisées pour évaluer la similarité entre les pixels de ladite image. Avantageusement, ladite analyse de l'image permet de réduire la quantité de bruit présent dans ladite image. 25 Avantageusement, lesdites informations tridimensionnelles comprennent l'une ou plusieurs des informations suivantes : normale locale, direction de déplacement, vitesse de déplacement, distance à la caméra, matériau de l'objet, caractéristiques de surface, telles que par exemple la rugosité, la réflectivité ou la transparence, caractéristiques de la lumière 30 reçue, telles que par exemple la lumière ambiante, la lumière directe, la couleur ou l'intensité, coordonnées UV. Avantageusement, l'analyse de données de l'image comprend une recherche de portions d'images présentant des similitudes. Avantageusement, l'analyse de données de l'image comprend une extrapolation des données des images existantes guidée par les informations s tridimensionnelles. Avantageusement, ledit procédé est appliqué à une séquence d'images bidimensionnelles. Ces caractéristiques et avantages et d'autres de la présente invention apparaîtront plus clairement au cours de la description détaillée suivante de io celle-ci, faite en référence aux dessins joints, donnés à titre d'exemples non limitatifs, et sur lesquels - la figure 1 est un diagramme de flot de contrôle du procédé de débruitage avec rétroaction, - la figure 2 est une image de synthèse d'une scène, is - les figures 3 à 5 sont des vues illustrant différentes informations de l'image de la figure 2, et - les figures 6 à 8 représentent schématiquement des informations liées aux déplacements d'objets dans une scène. Le procédé d'analyse d'image décrit sur la figure 1 s'applique en 20 particulier à la génération d'une image de synthèse. Comme expliqué ci-dessus, contrairement à une image photographique, il n'existe pas de phénomène de fugacité dans le cadre de la génération d'une image de synthèse. Le sujet donnant lieu à la génération de l'image est une information pérenne. Il est ainsi possible de réaliser à deux instants différents 25 une image de synthèse d'un même sujet. En matière de débruitage cela signifie que la quantité d'information contenue dans une image de synthèse peut être raffinée au besoin de manière locale. Selon un premier aspect, il est proposé un environnement de débruitage d'image de synthèse reposant sur une symbiose entre 30 l'algorithme de débruitage et le procédé de génération d'images de synthèse. Cette symbiose est caractérisée par un couplage bidirectionnel entre ces deux composantes. Le procédé de génération d'image de synthèse fournit alors une image de départ à l'algorithme de débruitage qui, lorsqu'il manque d'information, effectue une rétroaction vers le procédé de génération. Ainsi, le procédé a pour but le traitement d'une image de synthèse de départ, pour obtenir une image de synthèse finale de meilleure qualité. Pour ce faire, le procédé utilise un algorithme, typiquement un algorithme de débruitage. Un niveau de qualité prédéfini est établi pour l'image de synthèse finale, et l'algorithme calcule des informations relatives à ladite image de synthèse de départ. Ledit niveau de qualité peut, par exemple, s'exprimer sous la forme d'un niveau de bruit maximum toléré, d'une estimation de la io variance des informations, ou d'un nombre minimum d'échantillons trouvés dans l'image et satisfaisant au critère de prise en compte par l'algorithme de débruitage. Ce niveau de qualité peut également prendre en compte certains critères locaux tels que des caractéristiques locales de la surface (par exemple la rugosité, la réflectivité, la transparence), et/ou des 15 caractéristiques de la lumière reçue (par exemple la luminosité, la lumière ambiante, la lumière directe, la couleur, l'intensité, éventuellement différenciée par source), et/ou les coordonnées UV, etc. Après analyse de ladite image de synthèse de départ au moyen desdites informations calculées, le procédé détermine si lesdites informations 20 sont suffisantes pour obtenir ledit niveau de qualité prédéfini pour ladite image de synthèse finale. Si le procédé détermine que les informations sont suffisantes, alors ladite image de synthèse de départ est débruitée pour obtenir ladite image de synthèse finale. Si par contre le procédé détermine que les informations sont insuffisantes, alors il propose de raffiner le calcul 25 précédent. Ce raffinement peut comprendre le calcul d'échantillons supplémentaires pour un pixel donné, ou une zone donnée de l'image, voire l'image dans son intégralité, ou un recalcul à partir d'une position de caméra différente. Il serait ainsi possible pour un objet se situant dans la pénombre de demander une vue de derrière pour savoir si l'objet reçoit de la lumière et 30 ainsi le différencier d'autres zones de pénombre. Le fait de rajouter des informations après une première analyse d'une image de synthèse est standard pour résoudre, par exemple, les problèmes de crénelage. Mais il s'agit alors d'analyse de l'image obtenue par détection locale de variation de couleur, de distance ou de contraste. L'image finale est alors produite par application d'un filtre moyennant sur ces échantillons locaux. s En revanche, aucune technique existante ne propose à ce jour d'analyser la globalité de l'image ou de l'animation, dans le but, par exemple, de détecter et d'exploiter des zones similaires puis d'affiner les calculs localement, si besoin est. Un algorithme de débruitage possède généralement deux phases io distinctes. Dans un premier temps l'algorithme analyse l'image fournie en entrée afin de produire des informations intermédiaires qui sont dans un second temps traitées par la partie débruitage proprement dite qui produit une nouvelle image. Le présent procédé prévoit alors d'analyser un sujet fixé pour l'image is de synthèse, à partir d'une représentation potentiellement très bruitée du sujet. Ces informations sont ensuite transmises à la première passe de l'algorithme d'image qui peut, s'il le souhaite, proposer de raffiner ces informations en certaines zones. L'information totale calculée peut-être accumulée par l'algorithme de débruitage jusqu'à obtenir une information de 20 qualité suffisante pour effectuer le débruitage et fournir l'image finale. Ce processus est représenté sur la figure 1. Les algorithmes de débruitage et plus généralement d'analyse d'image ont une approche globale de l'image et des informations qu'elle contient. L'apport du présent procédé est alors dans la possibilité de laisser 25 l'algorithme de débruitage le soin de préciser les informations qu'il souhaite affiner. Il est à préciser que le procédé décrit ci-dessus reste valide dans la perspective d'analyse de séquences d'images représentant une animation. Les propositions de raffinement devraient alors faire référence aux zones de 30 l'image à raffiner ainsi qu'aux positions temporelles auxquelles le calcul doit s'effectuer. Un autre procédé d'analyse d'image va maintenant être décrit en références aux figures 2 à 8. Ce procédé d'analyse de données d'une image bidimensionnelle, de préférence une image de synthèse, prévoit d'utiliser des pixels enrichis, s c'est-à-dire des pixels auxquels sont associés des informations tridimensionnelles. Le procédé traite donc de l'analyse de données d'une image bidimensionnelle possédant des informations supplémentaires issues de la nature tridimensionnelle de leurs sujets. L'objectif est, en particulier, d'améliorer la qualité des images ou animations en réutilisant certaines io données déjà présentes dans l'image ou l'animation. En particulier, le but est de réduire la quantité de bruit présent dans une image. Ces données tridimensionnelles peuvent avoir été obtenues à l'aide d'un couplage entre un appareil photo et des capteurs physiques ou bien grâce à un procédé de génération d'images de synthèses à partir d'une représentation is tridimensionnelle. Il est plus particulièrement fait référence à la génération d'images de synthèse à l'aide de descriptions géométriques, dans la mesure où cela est favorable au niveau de la disponibilité des informations. L'image de synthèse permet alors de fournir des méthodes pouvant être associées au capteur 20 photographique : la pertinence d'une méthode d'analyse d'image vis-à-vis d'un enrichissement spécifique pourrait ainsi amener à introduire une telle association. La figure 2 présente une image ayant été générée par un procédé de génération d'image de synthèse. Pour réaliser une telle image de 25 nombreuses informations géométriques ont été renseignées. Schématiquement il s'agit de découper la scène géométrique sous forme de petits triangles et de fournir des informations comme l'orientation du vecteur normal à la surface ou des coordonnées bidimensionnelles pour pouvoir plaquer un motif sur ces surfaces. 30 La figure 3 présente l'information de distance à la caméra, encore appelée profondeur qui est associée à la scène de la figure 2. Cette information est extrapolée à partir du point d'impact à la surface au point représenté par un pixel donné. De même, les figures 4 et 5 présentent les informations de normales et de coordonnées de texture associées à cette même image. Les figures 6 à 8 présentent une information liée aux déplacements s d'objets dans une scène. Il est possible d'extraire un vecteur dit de vélocité donnant, pour un pixel donnée d'une image à un instant donné, son vecteur de déplacement en espace image à l'instant d'après. L'utilisation de telles informations pour effectuer de l'analyse d'image peut se faire de deux manières différentes. La première manière, très proche io de manière opérationnelle de l'utilisation qu'en font les artistes, consiste à découper l'image initiale en zones cohérentes à l'aide de ces informations. Il serait ainsi possible de traiter séparément les murs d'une pièce et les objets qu'elle contient. Cette manière de procéder est connue. La seconde manière, proposé par le présent procédé, consiste à modifier les techniques d'analyse is d'images existantes en prenant directement en compte ces informations supplémentaires comme des composantes supplémentaires associées à la couleur d'un pixel. En particulier, l'analyse de données de l'image consiste en une extrapolation des données des images existantes guidée par les informations tridimensionnelles. 20 Pour ce faire il existe de nombreuses possibilités, dont l'une d'entre elles est présentée ici, de manière non limitative. Le principe du procédé inventif réside dans le principe général d'analyse de pixels enrichis. Il est également à préciser que les images fixes peuvent être substituées par des séquences d'images représentant une animation. La 25 pertinence des enrichissements est alors liée à la cohérence temporelle de ceux-ci. Il est ainsi nécessaire que deux normales sur des images successives soient exprimées de la même manière. Comme expliqué précédemment, le procédé de débruitage du document FR 2 870 071 estime si deux pixels sont semblables ou non en se 30 basant sur la distance dans l'espace colorimétrique dans lequel les pixels ont valeur. Il est alors par exemple possible qu'un pixel issu d'une représentation d'un mur ait la même couleur qu'un pixel issu d'une représentation d'une feuille d'un arbre. Il peut alors être très mauvais, d'un point de vue du résultat de l'analyse, de les associer. Le mur aura par exemple tendance à être présent au sein d'une zone plate alors que les contours de la feuille pourront être plus découpés. Rajouter un simple critère de proximité en espace image s n'est pas suffisant. En effet, on peut vouloir traiter de manière similaire deux murs pourtant distants dans l'image. Le présent procédé utilise des informations tridimensionnelles qui permettent de remplacer l'espace de valeur dans lequel on calcule la distance par un espace plus pertinent. On peut notamment considérer deux io pixels comme semblables lorsque leurs couleurs le sont ainsi que, par exemple, la normale à la surface sur laquelle ils reposent. Ainsi on différenciera directement le mur et la feuille de l'exemple précédent tout en rapprochant les deux murs. Le présent procédé peut également utiliser les informations is tridimensionnelles pour orienter une extrapolation de l'une quelconque des informations bidimensionnelle ou tridimensionnelle contenue dans l'image. Par exemple dans le cas d'une séquence d'images, l'utilisation des informations de déplacement d'un pixel d'une image pourra servir à extrapoler la position dudit pixel pour une autre position temporelle. 20 Parmi les informations tridimensionnelles pouvant être utilisées, on notera plus particulièrement la normale locale, la direction de déplacement, la vitesse de déplacement, la distance à la caméra, le matériau de l'objet ou toute autre caractéristique permettant de discriminer les objets, les caractéristiques de surface, telles que par exemple la rugosité, la réflectivité, 25 la transparence, les caractéristiques de la lumière reçue, telles que par exemple la lumière ambiante, la lumière directe, la couleur, l'intensité, éventuellement différenciée par source, les coordonnées UV, etc. Il est à noter que le procédé de traitement, en particulier débruitage, d'une image de synthèse décrit en référence à la figure 1, peut également 30 utiliser des pixels enrichis d'informations tridimensionnelles, tel que décrit ci- dessus en référence aux figures 2 à 8. Le débruitage peut ainsi être optimisé. 2971604 io Bien que la présente invention ait été décrite en référence aux modes de réalisation illustrés sur les dessins, il est entendu que l'homme du métier peut apporter toutes modifications utiles sans sortir du cadre de la présente invention tel que défini par les revendications annexées. REVENDICATIONS1.- Procédé d'analyse de données d'une image bidimensionnelle caractérisé en ce qu'il comprend l'étape d'utiliser des pixels enrichis d'informations tridimensionnelles. 2.- Procédé selon la revendication 1, dans lequel l'image est une image de synthèse. 3.- Procédé selon la revendication 1 ou la revendication 2, dans lequel lesdites informations tridimensionnelles sont utilisées pour évaluer la similarité entre les pixels de ladite image. 4.- Procédé selon l'une quelconque des revendications précédentes, dans lequel ladite analyse de l'image permet de réduire la quantité de bruit présent dans ladite image. 5.- Procédé selon l'une quelconque des revendications précédentes, dans lequel lesdites informations tridimensionnelles comprennent l'une ou plusieurs des informations suivantes : normale locale, direction de déplacement, vitesse de déplacement, distance à la caméra, matériau de l'objet, caractéristiques de surface, telles que par exemple la rugosité, la réflectivité ou la transparence, caractéristiques de la lumière reçue, telles que par exemple la lumière ambiante, la lumière directe, la couleur ou l'intensité, coordonnées UV. 6.- Procédé selon l'une quelconque des revendications précédentes, dans lequel l'analyse de données de l'image comprend une recherche de portions d'images présentant des similitudes. 7.- Procédé selon l'une quelconque des revendications précédentes, 30 dans lequel l'analyse de données de l'image comprend une extrapolation des 11données des images existantes guidée par les informations tridimensionnelles. 8.- Procédé selon l'une quelconque des revendications précédentes, s dans lequel ledit procédé est appliqué à une séquence d'images bidimensionnelles.