Brevet FR3016989A1 — publié le 20150731

PROCEDE DE TRANSFORMATION COMBINEE DE L'ECHELLE ET DU RAPPORT D'ASPECT D'UNE IMAGE Domaine technique L'invention est relative à l'affichage d'images sur des afficheurs, ou dans des zones 5 d'affichage, ayant une résolution et/ou un rapport d'aspect différents de ceux de l'image d'origine. Arrière-plan Compte tenu des nombreux formats d'image (fixe ou vidéo), ayant une variété de résolutions et de rapports d'aspect, il arrive souvent que l'afficheur ne soit pas adapté à 10 l'image d'origine, par exemple lorsqu'on souhaite afficher une vidéo en format 4/3 sur un afficheur 16/9, ou inversement. Les formats des images fixes sont encore plus variés, de sorte qu'on rencontre plus de difficultés. Dans certaines applications, on souhaite afficher une mosaïque d'images, par exemple des vignettes d'un album photo, ou des sous-images souvent appelées PIP (de l'anglais 15 « Picture-In-Picture »), provenant de sources multiples. Les vignettes ou les sous-images peuvent avoir un rapport d'aspect proche de 1 alors que les sources peuvent avoir un rapport d'aspect de 16/9 ou 4/3, ou encore d'autres s'il s'agit de photos. La figure 1 illustre deux techniques d'affichage classiques pouvant servir à afficher une image 16/9 (à gauche) dans une vignette carrée (à droite), à titre d'exemple. 20 Dans la vignette du haut, on conserve le rapport d'aspect de l'image d'origine. Le changement d'échelle de l'image d'origine est calculé pour faire correspondre la plus grande dimension de l'image au côté du carré. L'image ainsi modifiée est centrée verticalement dans le carré, et des bandes noires sont affichées dans les zones du carré ne correspondant à aucune image. Une partie de la vignette n'est pas exploitée pour 25 afficher l'image. Dans la vignette du bas, on cherche à transformer l'image pour qu'elle remplisse le carré. Pour cela, les dimensions horizontale et verticale de l'image d'origine subissent des changements d'échelle de rapports différents. La totalité de la surface de la vignette est utilisée pour afficher l'image, mais l'image est déformée par un étirement vertical. Par ailleurs, on constate souvent des détériorations sensibles de la qualité visuelle des images ainsi transformées, même en utilisant des algorithmes de modification d'échelle sophistiqués. Résumé On souhaiterait donc exploiter au maximum la surface d'une zone d'affichage cible sans provoquer de déformation notable d'une image source, tout en offrant une bonne qualité visuelle. On tend à satisfaire ce besoin en prévoyant un procédé de transformation d'une image source en une image cible ayant un rapport d'aspect cible, comprenant les étapes consistant à : définir une zone de référence dans l'image source, plus petite que l'image source ; trouver une zone minimale de l'image source, ayant le rapport d'aspect cible et contenant la zone de référence ; former un jeu de zones d'image candidates de résolutions croissantes à partir de la zone minimale, ayant chacune le rapport d'aspect cible et contenant chacune la zone de référence ; modifier l'échelle de chaque zone candidate pour former une image cible candidate ; calculer un critère de qualité sur chaque image cible candidate ; et choisir, pour former l'image cible finale, l'image cible candidate fournissant la meilleure valeur du critère de qualité. Selon un mode de mise en oeuvre, la zone de référence est définie par un algorithme de détection de zone d'intérêt. Selon un mode de mise en oeuvre, le procédé comprend les étapes consistant à : stocker une liste de rapports d'échelle défavorables ; et en formant le jeu de zones d'image candidates, omettre les zones candidates produisant l'un quelconque des rapport d'échelle défavorables en formant l'image cible. Selon un mode de mise en oeuvre, le procédé comprend les étapes consistant à : calculer un critère de qualité par défaut sur chaque image cible candidate ; et si le critère de qualité par défaut ne produit pas de valeur discriminante sur le jeu d'images cible candidates, calculer un deuxième critère de qualité sur chaque image cible candidate ; et choisir l'image cible candidate fournissant la meilleure valeur du deuxième critère de qualité. Selon un mode de mise en oeuvre, le critère de qualité est un facteur de flou basé uniquement sur l'image cible à évaluer. Selon un mode de mise en oeuvre, le critère de qualité est un facteur de similarité structurelle basé sur la zone candidate et l'image cible candidate correspondante. Selon un mode de mise en oeuvre, le critère de qualité par défaut est un facteur de flou basé uniquement sur l'image cible à évaluer, et le deuxième critère de qualité est un 5 facteur de similarité structurelle basé sur la zone candidate et l'image cible candidate correspondante. Description sommaire des dessins Des modes de réalisation seront exposés dans la description suivante, faite à titre non limitatif en relation avec les figures jointes parmi lesquelles : 10 - la figure 1, précédemment décrite, représente une image source transformée selon deux techniques classiques différentes pour être affichée selon un rapport d'aspect différent de celui de l'image source ; et - les figures 2A à 2C représentent différentes étapes d'un procédé de transformation offrant une qualité visuelle améliorée. 15 Description de modes de réalisation Un mode de mise en oeuvre de procédé de transformation d'image est décrit ci-après dans le cadre de l'exemple de la figure 1, c'est-à-dire où on souhaite transformer une image source 16/9 en une image cible à afficher de manière intelligible dans une zone carrée. Dans le cas général, les résolutions des images source et cible sont différentes et 20 les rapports d'aspect de ces images sont différents et arbitraires. La figure 2A représente la même image source que la figure 1, ayant un rapport d'aspect de 16/9. On souhaite transformer cette image pour l'afficher, dans cet exemple, dans une zone carrée, de rapport d'aspect 1/1. La zone carrée peut être une vignette d'album photo ou une sous-image d'une mosaïque représentant des chaînes de 25 télévision. Dans ce cas, la résolution de la zone carrée est généralement inférieure à la résolution de l'image source. Dans un autre exemple, la zone d'affichage peut avoir une résolution supérieure à celle de l'image source, par exemple lorsqu'on souhaite afficher des photos de basse résolution sur un écran 1-ID. Comme on l'a indiqué plus haut, on souhaite transformer l'image source pour l'afficher 30 de manière « intelligible » dans la zone d'affichage. Cela signifie qu'on n'affiche de l'image source qu'une partie contenant des informations clé, dont les dimensions sont choisies pour offrir la meilleure qualité visuelle. Pour cela, on commence par définir dans l'image source une zone de référence ROI, dont le rapport d'aspect peut être arbitraire. Cette zone de référence peut être définie manuellement par l'utilisateur, mais elle est de préférence fournie automatiquement par un algorithme classique de recherche de zone d'intérêt ("Region Of Interest" en anglais). L'identification de visages est une application typique d'un tel algorithme. Dans l'exemple de la figure 2A, une zone de référence ROI a été définie autour d'un visage. Comme cela est représenté, cette zone ROI est rectangulaire avec un rapport d'aspect proche de 3/4, loin du rapport d'aspect de l'image source, mais différent aussi du rapport d'aspect 1/1 de la zone d'affichage. En règle générale, les algorithmes de recherche de zone d'intérêt produisent des zones rectangulaires mais de rapport d'aspect arbitraire. Ils peuvent également produire 15 plusieurs zones d'intérêt, par exemple en présence de plusieurs visages. A la figure 2B, on définit une zone d'intérêt étendue ROIe qui possède le rapport d'aspect cible de la zone d'affichage (ici 1/1), et qui est de taille minimale pour contenir intégralement la zone de référence (représentée en hachuré). Dans cet exemple, la zone étendue ROIe est un carré dont les côtés supérieur et inférieur coïncident avec les bords 20 supérieur et inférieur de la zone de référence ROI. Les côtés restants, gauche et droit, sont de préférence placés à égale distance des bords gauche et droit de la zone de référence. Dans le cas général, la zone de référence ROI se situe à l'intérieur de l'image source, c'est-à-dire qu'il subsiste une marge entre chacun des bords de la zone ROI et le bord 25 correspondant de l'image source, comme cela est représenté. Si la marge est insuffisante pour centrer la zone étendue ROIe sur la zone de référence, par exemple quand la zone de référence est contre un bord de l'image source, la zone étendue peut être excentrée par rapport à la zone de référence afin de conserver le rapport d'aspect cible. En d'autres termes, si les marges autour de la zone de référence ROI le permettent, la 30 zone étendue ROIe est de préférence centrée autour de la zone de référence. Si les marges sont insuffisantes, la zone étendue est décalée de manière à maintenir son rapport d'aspect tout en contenant la zone de référence. Dans un exemple de cas limite, à la figure 2B, le bord droit de la zone ROI peut coïncider avec le bord droit de l'image source. Alors la zone étendue ROIe est décalée vers la gauche de manière que son bord droit coïncide avec le bord droit de la zone ROI et de l'image source. Un algorithme d'indentification de zone d'intérêt peut produire plusieurs zones, par exemple en présence de plusieurs visages. La zone étendue ROIe peut alors être définie 5 pour contenir toutes les zones d'intérêt identifiées, seulement la plus grande, ou la plus proche du centre de l'image source. Une fois que la zone étendue ROIe est ainsi définie, il pourrait suffire de modifier son échelle, de façon homogène verticalement et horizontalement, pour produire une image cible compatible avec la zone d'affichage, c'est-à-dire qui remplit la zone d'affichage 10 sans distorsion. Toutefois, on s'est aperçu que certains rapports d'échelle, en fonction du contenu de l'image et de l'algorithme de modification d'échelle, produisent des effets visuels qui nuisent à l'intelligibilité ou à la qualité perçue de l'image finale. L'intelligibilité est altérée, par exemple, dans le cas de structures répétitives fines, notamment si elles se 15 déplacent. La qualité perçue est généralement altérée par des piqués moindres ou des variations de piqué sur une texture. Par exemple, en utilisant les algorithmes de modification bilinéaire et bicubique, des rapports d'échelle différents de 1 et compris entre 0,9 et 1,1 produisent des résultats médiocres dans la plupart des cas. Mais d'autres valeurs à éviter peuvent exister qui dépendent du contenu de l'image. 20 La figure 2C illustre une série d'étapes supplémentaires permettant de produire une image cible de bonne qualité visuelle de manière automatisée. A partir de la zone étendue ROIe, hachurée à la figure 2C, on forme un jeu de zones d'image candidates CO, Cl, C2..., contenant toutes la zone ROIe et ayant le même rapport d'aspect (ici 1/1). La première zone candidate CO est la zone ROIe. Les zones candidates vont en 25 grandissant, et restent centrées, de préférence, sur la zone initiale CO. On souhaite ainsi évaluer plusieurs rapports d'échelle pour former l'image cible, et choisir celui qui produit la meilleure qualité visuelle. Une zone candidate courante peut être définie en agrandissant la plus petite dimension de la zone candidate précédente d'un incrément en nombre de pixels de part et d'autre. 30 La plus grande dimension est alors ajustée, à un pixel près, pour conserver le rapport d'aspect et le centrage. Si le rapport d'aspect est 1/1, on agrandit la zone candidate précédente d'un incrément à chaque bord. A un moment donné, l'un des bords de la zone candidate courante atteint le bord correspondant de l'image source (le bord inférieur à la figure 2C). Dans ce cas, les zones candidates suivantes sont agrandies dans la marge restante du côté opposé (vers le haut à la figure 2C) et sont excentrées par rapport à la zone initiale CO. Le jeu de zones candidates est complet lorsque, comme cela est représenté pour la zone C2, la zone candidate courante atteint deux bords opposés de l'image source, et ne peut plus grandir en conservant le rapport d'aspect. En pratique, un jeu de moins de dix zones candidates suffit et les deux bords de l'image sont atteintes seulement lorsque les marges entre la zone de référence et les bords de l'image source sont trop petites. A partir de chaque zone candidate Ci on forme une image cible candidate Ti en appliquant à la zone candidate, en 10, le rapport d'échelle Zi requis pour atteindre la résolution définie pour l'image cible. Sur chaque image cible candidate ainsi obtenue, on calcule un critère de qualité Q-METRIC. En comparant en 12 les valeurs Q produites pour le critère de qualité, on peut sélectionner la zone candidate Cs et le rapport d'échelle associé Zs produisant la meilleure valeur Q pour le critère de qualité. Comme on l'a précédemment indiqué, il existe des rapports d'échelle qui sont quasi systématiquement à proscrire, quel que soit le contenu de l'image source et l'algorithme de modification d'échelle, par exemple les rapports différents de 1 et compris entre 0,9 et 1,1. Il peut exister d'autres rapports qui sont indépendants du contenu de l'image mais qui dépendent de l'algorithme de modification d'échelle. En stockant une liste des rapports d'échelle à éviter, le procédé peut être conçu pour exclure du jeu à évaluer les zones candidates associées à des rapports d'échelle contenus dans la liste. Cela permet de limiter le nombre de candidats à évaluer aux seuls candidats ayant une chance. Parmi les rapports d'échelle à éviter, on a également les valeurs trop grandes, au-dessus d'une limite maximale, amenant à afficher à résolution élevée une zone d'image contenant trop peu d'informations. Si la zone de référence ROI (figure 2A) s'avère être trop petite, nécessitant un rapport d'échelle au-dessus de la limite, le procédé est de préférence conçu pour que la zone de référence étendue ROIe (figure 2B), et donc le premier candidat CO, soit de la taille produisant le rapport d'échelle limite. La zone ROIe est alors grande par rapport à la zone ROI ; elle est de préférence choisie centrée autour de la zone ROI. En utilisant cette technique de choix de la zone de référence étendue ROIe, la zone de référence ROI peut se limiter à un point de l'image que l'utilisateur définit manuellement à l'aide d'une interface humaine, comme un écran tactile. Le critère de qualité peut être choisi simple afin que les calculs puissent être effectués en temps réel sans retarder l'affichage de l'image cible finale. On peut dans ce cas utiliser un facteur de flou basé seulement sur l'image cible, tel que celui décrit dans l'article [Frédérique Crète et al., "The Blur Effect: Perception and Estimation with a New No-Reference Perceptual Blur Metric", SPIE Electronic Imaging Symposium Conf, Human Vision and Electronic Imaging, San Jose 2007]. Si les ressources de calcul le permettent, on peut utiliser un critère de qualité plus sophistiqué basé sur la zone candidate source Ci et sur l'image cible Ti, comme un facteur de similarité structurelle (SSIM) modifié, tel que décrit dans la demande de brevet US 2013-0243333. Un tel facteur SSIM modifié permet de comparer deux images de tailles différentes. Dans certaines circonstances un critère peut être plus discriminant qu'un autre, c'est-à-dire qu'un premier critère (par exemple le facteur de flou) peut ne pas révéler de valeur clairement meilleure sur un jeu de candidats, alors que le deuxième critère (par exemple le facteur SSIM) révèle une valeur singulière sur le même jeu de candidats. Pour tenir compte de cette situation, le procédé peut être conçu pour calculer un deuxième critère sur les candidats dans les cas où un critère par défaut produit des valeurs ayant un écart inférieur à un seuil. Le critère par défaut peut être le plus simple à calculer, de sorte qu'on n'est amené à calculer le critère plus sophistiqué que dans des cas exceptionnels. REVENDICATIONS1. Procédé de transformation d'une image source en une image cible ayant un rapport d'aspect cible, comprenant les étapes suivantes : - définir une zone de référence (ROI) dans l'image source ; - trouver une zone minimale (ROIe) de l'image source, ayant le rapport d'aspect cible et contenant la zone de référence ; - former un jeu de zones d'image candidates (CO, Cl, C2) de résolutions croissantes à partir de la zone minimale, ayant chacune le rapport d'aspect cible et contenant chacune la zone de référence ; - modifier l'échelle (ZO, Z1, Z2) de chaque zone candidate pour former une image cible candidate ; - calculer un critère de qualité (QO, Ql, Q2) sur chaque image cible candidate ; et - choisir, pour former l'image cible finale, l'image cible candidate fournissant la meilleure valeur du critère de qualité. 2. Procédé selon la revendication 1, dans lequel la zone de référence (ROI) est définie par un algorithme de détection de zone d'intérêt. 3. Procédé selon la revendication 1, comprenant les étapes suivantes : - stocker une liste de rapports d'échelle défavorables ; et - en formant le jeu de zones d'image candidates, omettre les zones candidates produisant l'un quelconque des rapport d'échelle défavorables en formant l'image cible. 4. Procédé selon la revendication 1, comprenant les étapes suivantes : - calculer un critère de qualité par défaut sur chaque image cible candidate ; et - si le critère de qualité par défaut ne produit pas de valeur discriminante sur le jeu d'images cible candidates, calculer un deuxième critère de qualité sur chaque image cible candidate ; et- choisir l'image cible candidate fournissant la meilleure valeur du deuxième critère de qualité. 5. Procédé selon la revendication 1, dans lequel le critère de qualité est un facteur de flou basé uniquement sur l'image cible à évaluer. 6. Procédé selon la revendication 1, dans lequel le critère de qualité est un facteur de similarité structurelle (SSIM) basé sur la zone candidate et l'image cible candidate correspondante. 7. Procédé selon la revendication 4, dans lequel le critère de qualité par défaut est un facteur de flou basé uniquement sur l'image cible à évaluer, et le deuxième critère de qualité est un facteur de similarité structurelle (SSIM) basé sur la zone candidate et l'image cible candidate correspondante.