Brevet FR2971602A1 — publié le 20120817

i La présente invention concerne un procédé d'analyse et/ou de traitement d'une image bidimensionnelle. Ce type de procédé de traitement d'image comprend notamment les procédés de réduction de bruit, également appelé procédés de débruitage. s Le principe du débruitage est issu du traitement d'images photographiques. Le procédé physique traitant de la captation de l'information lumineuse du sujet photographié entraine nécessairement une présence d'information non pertinente sous forme d'un bruit. Il s'agit là d'une conséquence de la nature discrète de l'information lumineuse décomposée en transmission de photons. io Les images bidimensionnelles issues d'un procédé de génération artificiel d'image photoréaliste sont appelées communément images de synthèse. La génération d'image de synthèse photoréaliste à l'aide de méthodes de simulation du transport physique de la lumière génère aussi un bruit. Ce bruit est alors de nature très différente. Il est en général la conséquence d'une is sous-évaluation de l'information à calculer pour réduire le temps de calcul. En particulier, dans le cas d'un calcul basé sur un algorithme aléatoire de type Monte Carlo ou « ray-marching », le nombre d'échantillons réellement traités est nettement insuffisant pour produire une évaluation de qualité du phénomène calculé. Par conséquent, le résultat présentera un bruit 20 caractéristique de la composante aléatoire de l'évaluation. Le nombre d'échantillons nécessaire à la réduction de l'amplitude de ce bruit est proportionnel au carré de l'atténuation du bruit souhaitée. Sachant que la qualité d'une image de synthèse est entre autres liée à la quantité de bruit présente dans l'image et sachant également que le coût de calcul d'une 25 image de synthèse est directement lié au nombre d'échantillons, il apparaît que cette technique de débruitage qui permet de "réutiliser" les échantillons voisins afin de réduire la quantité de bruit visible pour un nombre d'échantillons donné permet de réduire de manière significative le coût global de production des images ou animations de synthèse. La caractéristique 30 principale d'une image photographique par rapport à une image de synthèse réside dans la fugacité du sujet photographié. L'information contenue dans une photographie est figée au moment de la prise. Des techniques pallient à ce problème, par exemple en captant une série de photographies sur un laps de temps court afin de rajouter plus de redondance dans l'information de l'image commune à cette série. Dans le cadre de la génération d'une image de synthèse il n'existe pas un tel phénomène de fugacité. Le sujet donnant s lieu à la génération de l'image est une information pérenne. Il a été proposé, notamment pas la société Pixar, de modifier la façon dont les images de synthèse sont générées afin d'améliorer la cohérence du bruit de façon à l'extraire de manière optimisée grâce à une technique de débruitage traditionnelle non spécifique aux images de synthèse. Cette mise en oeuvre io est toutefois réalisée uniquement en amont du débruitage pour le faciliter. La présente invention concerne plus particulièrement un tel procédé de réduction de bruit d'une image de synthèse avec rétroaction. Un autre type de procédés d'analyse de données d'image comprend notamment les procédés ayant pour objectif d'améliorer la qualité des is images ou animations. Les méthodes d'analyse d'images existantes ont été développées conjointement avec les progrès de la photographie numérique. Ainsi ces méthodes traitent les images comme une grille d'informations de couleur. L'association entre un point de la grille et la couleur, niveau de gris ou information colorimétrique, qui lui est associé est appelée «pixel» lorsque 20 la grille est à deux dimensions et « voxel » lorsqu'elle est à trois dimensions. Les images produites par les capteurs tridimensionnels et constituées de voxels sont caractéristiques des technologies issues du monde médical. L'analyse de ces images utilise les informations tridimensionnelles qui leurs sont directement associées. Ces procédés ne s'appliquent toutefois pas aux 25 images bidimensionnelles. La plupart des images bidimensionnelles sur lesquelles on applique des méthodes d'analyse représentent une information ayant un caractère géométrique tridimensionnel. Il s'agit alors de projection bidimensionnelle de cette information tridimensionnelle. Cette information tridimensionnelle est pourtant cruciale pour l'analyse de l'image. Il est par 30 exemple naturel d'envisager une méthode de floutage préservant la dissociation entre les sujets représentés. Les méthodes traditionnelles procèdent alors à une reconstruction, généralement délicate, des informations géométriques des sujets présents dans l'image. Ce type de méthode est compliqué et son efficacité n'est pas optimale. Pour de nombreuses méthodes d'analyse d'image, comme le débruitage et l'extraction de particularités, il est essentiel de pouvoir établir si deux pixels s sont semblables ou non. Cette estimation se fait en pratique sur la distance dans l'espace colorimétrique dans lequel les pixels ont valeur. Le document FR 2 870 071 décrit un tel procédé. Ce type de procédé a le désavantage d'amener à rapprocher deux pixels ayant potentiellement des natures très différentes dans le sujet de l'image. io La présente invention a pour but de surmonter les inconvénients susmentionnés. La présente invention a notamment pour but de fournir un procédé d'analyse et/ou de traitement d'image(s) qui permet d'améliorer la qualité des images. is La présente invention a aussi pour but de fournir un tel procédé qui est simple et peu coûteux à réaliser. La présente invention a donc pour objet un procédé de traitement d'une image de synthèse de départ, pour obtenir une image de synthèse finale de meilleure qualité, comprenant les étapes suivantes : 20 (a) établir un niveau de qualité prédéfini pour l'image de synthèse finale, (b) calculer des informations relatives à ladite image de synthèse de départ, (c) analyser ladite image de synthèse de départ au moyen desdites 25 informations calculées, (d) déterminer si lesdites informations sont suffisantes pour obtenir ledit niveau de qualité prédéfini pour ladite image de synthèse finale, (e) si l'étape (d) détermine que les informations sont suffisantes, réduire le bruit de ladite image de synthèse de départ pour obtenir ladite 30 image de synthèse finale, (f) si l'étape (d) détermine que les informations sont insuffisantes, raffiner le calcul de l'étape (b). Avantageusement, l'étape (f) consiste à recalculer un ou plusieurs échantillon(s) supplémentaire(s) pour un pixel ou une portion de l'image donnée. Avantageusement, l'étape (f) consiste à recalculer à partir d'une s position de caméra différente. Avantageusement, un procédé de réduction de bruit est couplé à un procédé de génération d'images de synthèse. Avantageusement, lesdites étapes (b), (c) et (d) traitent des pixels enrichis d'informations tridimensionnelles de ladite image de synthèse de io départ. Avantageusement, le niveau de qualité prédéfini à l'étape (a) consiste en une estimation de la variance des informations. Avantageusement, le niveau de qualité prédéfini à l'étape (a) consiste en une quantité minimale d'information disponible dans l'image. is Avantageusement, le niveau de qualité prédéfini à l'étape (a) est dépendant des caractéristiques locales de la surface, telles que par exemple la rugosité, la réflectivité, la transparence, et/ou des caractéristiques de la lumière reçue, telles que par exemple la luminosité, la lumière ambiante, la lumière directe, la couleur, l'intensité, et/ou des coordonnées UV. 20 Avantageusement, ledit procédé est appliqué à une séquence d'images bidimensionnelles. Ces caractéristiques et avantages et d'autres de la présente invention apparaîtront plus clairement au cours de la description détaillée suivante de celle-ci, faite en référence aux dessins joints, donnés à titre d'exemples non 25 limitatifs, et sur lesquels - la figure 1 est un diagramme de flot de contrôle du procédé de débruitage avec rétroaction, - la figure 2 est une image de synthèse d'une scène, - les figures 3 à 5 sont des vues illustrant différentes informations de 30 l'image de la figure 2, et - les figures 6 à 8 représentent schématiquement des informations liées aux déplacements d'objets dans une scène. Le procédé d'analyse d'image décrit sur la figure 1 s'applique en particulier à la génération d'une image de synthèse. Comme expliqué ci-dessus, contrairement à une image photographique, il n'existe pas de phénomène de fugacité dans le cadre de la génération d'une image de synthèse. Le sujet donnant lieu à la génération de l'image est une information pérenne. Il est ainsi possible de réaliser à deux instants différents une image de synthèse d'un même sujet. En matière de débruitage cela signifie que la quantité d'information contenue dans une image de synthèse peut être raffinée au besoin de manière locale. io Selon un premier aspect, il est proposé un environnement de débruitage d'image de synthèse reposant sur une symbiose entre l'algorithme de débruitage et le procédé de génération d'images de synthèse. Cette symbiose est caractérisée par un couplage bidirectionnel entre ces deux composantes. Le procédé de génération d'image de synthèse fournit 15 alors une image de départ à l'algorithme de débruitage qui, lorsqu'il manque d'information, effectue une rétroaction vers le procédé de génération. Ainsi, le procédé a pour but le traitement d'une image de synthèse de départ, pour obtenir une image de synthèse finale de meilleure qualité. Pour ce faire, le procédé utilise un algorithme, typiquement un algorithme de 20 débruitage. Un niveau de qualité prédéfini est établi pour l'image de synthèse finale, et l'algorithme calcule des informations relatives à ladite image de synthèse de départ. Ledit niveau de qualité peut, par exemple, s'exprimer sous la forme d'un niveau de bruit maximum toléré, d'une estimation de la variance des informations, ou d'un nombre minimum d'échantillons trouvés 25 dans l'image et satisfaisant au critère de prise en compte par l'algorithme de débruitage. Ce niveau de qualité peut également prendre en compte certains critères locaux tels que des caractéristiques locales de la surface (par exemple la rugosité, la réflectivité, la transparence), et/ou des caractéristiques de la lumière reçue (par exemple la luminosité, la lumière 30 ambiante, la lumière directe, la couleur, l'intensité, éventuellement différenciée par source), et/ou les coordonnées UV, etc. Après analyse de ladite image de synthèse de départ au moyen desdites informations calculées, le procédé détermine si lesdites informations sont suffisantes pour obtenir ledit niveau de qualité prédéfini pour ladite image de synthèse finale. Si le procédé détermine que les informations sont s suffisantes, alors ladite image de synthèse de départ est débruitée pour obtenir ladite image de synthèse finale. Si par contre le procédé détermine que les informations sont insuffisantes, alors il propose de raffiner le calcul précédent. Ce raffinement peut comprendre le calcul d'échantillons supplémentaires pour un pixel donné, ou une zone donnée de l'image, voire io l'image dans son intégralité, ou un recalcul à partir d'une position de caméra différente. Il serait ainsi possible pour un objet se situant dans la pénombre de demander une vue de derrière pour savoir si l'objet reçoit de la lumière et ainsi le différencier d'autres zones de pénombre. Le fait de rajouter des informations après une première analyse d'une is image de synthèse est standard pour résoudre, par exemple, les problèmes de crénelage. Mais il s'agit alors d'analyse de l'image obtenue par détection locale de variation de couleur, de distance ou de contraste. L'image finale est alors produite par application d'un filtre moyennant sur ces échantillons locaux. 20 En revanche, aucune technique existante ne propose à ce jour d'analyser la globalité de l'image ou de l'animation, dans le but, par exemple, de détecter et d'exploiter des zones similaires puis d'affiner les calculs localement, si besoin est. Un algorithme de débruitage possède généralement deux phases 25 distinctes. Dans un premier temps l'algorithme analyse l'image fournie en entrée afin de produire des informations intermédiaires qui sont dans un second temps traitées par la partie débruitage proprement dite qui produit une nouvelle image. Le présent procédé prévoit alors d'analyser un sujet fixé pour l'image 30 de synthèse, à partir d'une représentation potentiellement très bruitée du sujet. Ces informations sont ensuite transmises à la première passe de l'algorithme d'image qui peut, s'il le souhaite, proposer de raffiner ces informations en certaines zones. L'information totale calculée peut-être accumulée par l'algorithme de débruitage jusqu'à obtenir une information de qualité suffisante pour effectuer le débruitage et fournir l'image finale. Ce processus est représenté sur la figure 1. s Les algorithmes de débruitage et plus généralement d'analyse d'image ont une approche globale de l'image et des informations qu'elle contient. L'apport du présent procédé est alors dans la possibilité de laisser l'algorithme de débruitage le soin de préciser les informations qu'il souhaite affiner. io II est à préciser que le procédé décrit ci-dessus reste valide dans la perspective d'analyse de séquences d'images représentant une animation. Les propositions de raffinement devraient alors faire référence aux zones de l'image à raffiner ainsi qu'aux positions temporelles auxquelles le calcul doit s'effectuer. is Un autre procédé d'analyse d'image va maintenant être décrit en références aux figures 2 à 8. Ce procédé d'analyse de données d'une image bidimensionnelle, de préférence une image de synthèse, prévoit d'utiliser des pixels enrichis, c'est-à-dire des pixels auxquels sont associés des informations 20 tridimensionnelles. Le procédé traite donc de l'analyse de données d'une image bidimensionnelle possédant des informations supplémentaires issues de la nature tridimensionnelle de leurs sujets. L'objectif est, en particulier, d'améliorer la qualité des images ou animations en réutilisant certaines données déjà présentes dans l'image ou l'animation. En particulier, le but est 25 de réduire la quantité de bruit présent dans une image. Ces données tridimensionnelles peuvent avoir été obtenues à l'aide d'un couplage entre un appareil photo et des capteurs physiques ou bien grâce à un procédé de génération d'images de synthèses à partir d'une représentation tridimensionnelle. 30 Il est plus particulièrement fait référence à la génération d'images de synthèse à l'aide de descriptions géométriques, dans la mesure où cela est favorable au niveau de la disponibilité des informations. L'image de synthèse permet alors de fournir des méthodes pouvant être associées au capteur photographique : la pertinence d'une méthode d'analyse d'image vis-à-vis d'un enrichissement spécifique pourrait ainsi amener à introduire une telle association. s La figure 2 présente une image ayant été générée par un procédé de génération d'image de synthèse. Pour réaliser une telle image de nombreuses informations géométriques ont été renseignées. Schématiquement il s'agit de découper la scène géométrique sous forme de petits triangles et de fournir des informations comme l'orientation du vecteur io normal à la surface ou des coordonnées bidimensionnelles pour pouvoir plaquer un motif sur ces surfaces. La figure 3 présente l'information de distance à la caméra, encore appelée profondeur qui est associée à la scène de la figure 2. Cette information est extrapolée à partir du point d'impact à la surface au point is représenté par un pixel donné. De même, les figures 4 et 5 présentent les informations de normales et de coordonnées de texture associées à cette même image. Les figures 6 à 8 présentent une information liée aux déplacements d'objets dans une scène. Il est possible d'extraire un vecteur dit de vélocité 20 donnant, pour un pixel donnée d'une image à un instant donné, son vecteur de déplacement en espace image à l'instant d'après. L'utilisation de telles informations pour effectuer de l'analyse d'image peut se faire de deux manières différentes. La première manière, très proche de manière opérationnelle de l'utilisation qu'en font les artistes, consiste à 25 découper l'image initiale en zones cohérentes à l'aide de ces informations. Il serait ainsi possible de traiter séparément les murs d'une pièce et les objets qu'elle contient. Cette manière de procéder est connue. La seconde manière, proposé par le présent procédé, consiste à modifier les techniques d'analyse d'images existantes en prenant directement en compte ces informations 30 supplémentaires comme des composantes supplémentaires associées à la couleur d'un pixel. En particulier, l'analyse de données de l'image consiste en une extrapolation des données des images existantes guidée par les informations tridimensionnelles. Pour ce faire il existe de nombreuses possibilités, dont l'une d'entre elles est présentée ici, de manière non limitative. Le principe du procédé s inventif réside dans le principe général d'analyse de pixels enrichis. Il est également à préciser que les images fixes peuvent être substituées par des séquences d'images représentant une animation. La pertinence des enrichissements est alors liée à la cohérence temporelle de ceux-ci. Il est ainsi nécessaire que deux normales sur des images io successives soient exprimées de la même manière. Comme expliqué précédemment, le procédé de débruitage du document FR 2 870 071 estime si deux pixels sont semblables ou non en se basant sur la distance dans l'espace colorimétrique dans lequel les pixels ont valeur. Il est alors par exemple possible qu'un pixel issu d'une représentation is d'un mur ait la même couleur qu'un pixel issu d'une représentation d'une feuille d'un arbre. Il peut alors être très mauvais, d'un point de vue du résultat de l'analyse, de les associer. Le mur aura par exemple tendance à être présent au sein d'une zone plate alors que les contours de la feuille pourront être plus découpés. Rajouter un simple critère de proximité en espace image 20 n'est pas suffisant. En effet, on peut vouloir traiter de manière similaire deux murs pourtant distants dans l'image. Le présent procédé utilise des informations tridimensionnelles qui permettent de remplacer l'espace de valeur dans lequel on calcule la distance par un espace plus pertinent. On peut notamment considérer deux 25 pixels comme semblables lorsque leurs couleurs le sont ainsi que, par exemple, la normale à la surface sur laquelle ils reposent. Ainsi on différenciera directement le mur et la feuille de l'exemple précédent tout en rapprochant les deux murs. Le présent procédé peut également utiliser les informations 30 tridimensionnelles pour orienter une extrapolation de l'une quelconque des informations bidimensionnelle ou tridimensionnelle contenue dans l'image. Par exemple dans le cas d'une séquence d'images, l'utilisation des 2971602 io informations de déplacement d'un pixel d'une image pourra servir à extrapoler la position dudit pixel pour une autre position temporelle. Parmi les informations tridimensionnelles pouvant être utilisées, on notera plus particulièrement la normale locale, la direction de déplacement, s la vitesse de déplacement, la distance à la caméra, le matériau de l'objet ou toute autre caractéristique permettant de discriminer les objets, les caractéristiques de surface, telles que par exemple la rugosité, la réflectivité, la transparence, les caractéristiques de la lumière reçue, telles que par exemple la lumière ambiante, la lumière directe, la couleur, l'intensité, io éventuellement différenciée par source, les coordonnées UV, etc. Il est à noter que le procédé de traitement, en particulier débruitage, d'une image de synthèse décrit en référence à la figure 1, peut également utiliser des pixels enrichis d'informations tridimensionnelles, tel que décrit ci-dessus en référence aux figures 2 à 8. Le débruitage peut ainsi être optimisé. is Bien que la présente invention ait été décrite en référence aux modes de réalisation illustrés sur les dessins, il est entendu que l'homme du métier peut apporter toutes modifications utiles sans sortir du cadre de la présente invention tel que défini par les revendications annexées. REVENDICATIONS1.- Procédé de traitement d'une image de synthèse de départ, pour obtenir une image de synthèse finale de meilleure qualité, caractérisé en ce qu'il comprend les étapes suivantes : (a) établir un niveau de qualité prédéfini pour l'image de synthèse s finale, (b) calculer des informations relatives à ladite image de synthèse de départ, (c) analyser ladite image de synthèse de départ au moyen desdites informations calculées, io (d) déterminer si lesdites informations sont suffisantes pour obtenir ledit niveau de qualité prédéfini pour ladite image de synthèse finale, (e) si l'étape (d) détermine que les informations sont suffisantes, réduire le bruit de ladite image de synthèse de départ pour obtenir ladite image de synthèse finale, is (f) si l'étape (d) détermine que les informations sont insuffisantes, raffiner le calcul de l'étape (b). 2.- Procédé selon la revendication 1, dans lequel l'étape (f) consiste à recalculer un ou plusieurs échantillon(s) supplémentaire(s) pour un pixel ou 20 une portion de l'image donnée. 3.- Procédé selon la revendication 1 ou la revendication 2, dans lequel l'étape (f) consiste à recalculer à partir d'une position de caméra différente. 25 4.- Procédé selon l'une quelconque des revendications précédentes, dans lequel un procédé de réduction de bruit est couplé à un procédé de génération d'images de synthèse. ii .- Procédé selon l'une quelconque des revendications précédentes, dans lequel lesdites étapes (b), (c) et (d) traitent des pixels enrichis d'informations tridimensionnelles de ladite image de synthèse de départ. s 6- Procédé selon l'une quelconque des revendications précédentes, dans lequel le niveau de qualité prédéfini à l'étape (a) consiste en une estimation de la variance des informations. 7- Procédé selon l'une des revendications 1 à 5, dans lequel le niveau 10 de qualité prédéfini à l'étape (a) consiste en une quantité minimale d'information disponible dans l'image. 8- Procédé selon l'une quelconque des revendications précédentes, dans lequel le niveau de qualité prédéfini à l'étape (a) est dépendant des 15 caractéristiques locales de la surface, telles que par exemple la rugosité, la réflectivité, la transparence, et/ou des caractéristiques de la lumière reçue, telles que par exemple la luminosité, la lumière ambiante, la lumière directe, la couleur, l'intensité, et/ou des coordonnées UV. 20 9.- Procédé selon l'une quelconque des revendications précédentes, dans lequel ledit procédé est appliqué à une séquence d'images bidimensionnelles.