Brevet FR3082980A1 — publié le 20191227

PROCEDE PERMETTANT D'AUGMENTER LA RESOLUTION D'UNE IMAGE DOMAINE DE L'INVENTION L'invention appartient au domaine du traitement d'images. En particulier, l'invention se rapporte à un procédé de reconstruction super-résolution permettant d'augmenter la résolution d'une image. ETAT DE L'ART 15 Le besoin d'images numériques de haute résolution existe dans divers domaines, par exemple les domaines médical et spatial. L'obtention d'images numériques haute résolution peut se faire au moment de la prise de vue, mais cela est souvent synonyme de coûts importants du fait du matériel nécessaire. 20 Pour éviter de tels coûts, il est connu d'utiliser des méthodes de reconstruction super-résolution, consistant à partir d'une ou plusieurs images basse résolution pour obtenir une image haute résolution. Le brevet américain US 9 208 537 décrit un tel algorithme. Une zone d'une image basse résolution est isolée et catégorisée en fonction des informations 10 2 contenues dans les pixels formant les bordures de la zone. La catégorie de la zone détermine le type d'interpolation utilisé pour rajouter des pixels dans ladite zone, afin d'augmenter la netteté des images. Il est également connu de reconstruire une image basse résolution en 5 image haute résolution en utilisant un modèle de reconstruction super-résolution dont un apprentissage est basé sur des réseaux de neurones et sur une image ou une banque d'images. La demande de brevet chinois CN 107563965 et la publication scientifique « Pixel Recursive Super Resolution ,), R. Dahl, M. Norouzi, J. Shlens 10 proposent de telles méthodes. EXPOSE DE L'INVENTION 15 L'invention propose une méthode de reconstruction super-résolution alternative aux solutions de l'art antérieur. L'invention concerne un procédé de traitement d'image permettant 20 d'augmenter une résolution d'une image, caractérisé en ce qu'il comporte : une étape de stockage au cours de laquelle sont stockées, pour au moins un canal de l'image, une intensité de chacun des pixels de ladite image une étape de reconstruction de l'image ; 25 ladite étape de reconstruction de l'image comportant : une sous-étape de fractionnement au cours de laquelle chaque pixel est fractionné en pixels formant des blocs de taille K x K pixels, où K désigne un pas, chacun des K x K pixels de chacun desdits blocs étant de même intensité 11, 12, 13, 14 que le pixel avant fractionnement ; 30 une sous-étape d'interpolation conditionnelle au cours de laquelle l'intensité de chacun des K x K pixels de chacun des blocs de pixels est modifiée en fonction de l'intensité des blocs voisins et de contraintes p2, p3, p4 ; 3 une sous-étape d'interpolation directionnelle au cours de laquelle une déconvolution est appliquée, au moyen d'un filtre, à l'image obtenue à l'issue de la sous-étape d'interpolation conditionnelle. 5 Dans un mode de mise en oeuvre, au cours de la sous-étape d'interpolation conditionnelle, chacun des blocs de pixels est divisé en quatre sous-blocs distincts de pixels comportant chacun un pixel formant un angle du bloc de pixels correspondant, une intensité desdits sous-blocs étant fonction des contraintes et de l'intensité des blocs de pixels et déterminée de la manière suivante, pour former un premier niveau d'interpolation conditionnelle : l'intensité du sous-bloc contenant le pixel supérieur gauche du bloc est inchangée et égale à 11 ; l'intensité du sous-bloc contenant le pixel supérieur droit du bloc est égale à (11+12)/2 si 111-12 1 p2 et égale à 11 sinon ; l'intensité du sous-bloc contenant le pixel inférieur gauche du bloc est égale à (11+13)/2 si 111-13 1 Dans un mode de mise en oeuvre, le pas K est pair et les sous-blocs ont une taille de K/2 x K/2 pixels. Dans un mode de mise en oeuvre, le pas K est impair et : le sous-bloc contenant le pixel supérieur gauche du bloc a une taille de E(K/2)+1 x E(K/2)+1 pixels ; le sous-bloc contenant le pixel supérieur droit du bloc a une taille de E(K/2) x E(K/2)+1 pixels ; le sous-bloc contenant le pixel inférieur gauche du bloc a une taille de E(K/2)+1 x E(K/2) pixels ; le sous-bloc contenant le pixel inférieur droit du bloc a une taille de E(K/2) x E(K/2) pixels. 4 Dans un mode de mise en oeuvre, au moins un sous-bloc est divisé en sous-sous-blocs dont une intensité est modifiée en fonction des pixels des sous-blocs voisins pour former un second niveau d'interpolation conditionnelle. 5 Dans un mode de mise en oeuvre, le filtre servant à la déconvolution est un filtre de flou cinétique présentant un paramètre d'orientation et un paramètre de longueur. Dans un mode de mise en oeuvre, les contraintes p2, p3, p4 et les 10 paramètres d'orientation et de longueur sont déterminés au cours d'une étape préalable d'apprentissage. Dans un mode de mise en oeuvre, les contraintes p2, p3, p4 et les paramètres du filtre de flou cinétique sont déterminés dépendamment les uns des 15 autres par des tests réalisés sur une banque d'images haute résolution, de la manière suivante : la résolution des images haute résolution est dégradée pour obtenir une banque d'images correspondant à la banque d'images haute résolution ; les étapes de stockage, de fractionnement, d'interpolation conditionnelle 20 et d'interpolation directionnelle sont réalisées sur la banque d'images pour diverses valeurs de contraintes p2, p3, p4 et de paramètres du filtre ; il est retenu les valeurs desdites contraintes et desdits paramètres permettant de maximiser un nombre d'images reconstruites en 25 cohérence avec les images haute résolution associées. Dans un mode de mise en oeuvre, l'image comporte au moins deux canaux et : le procédé comporte une étape de séparation des canaux en amont des 30 étapes de stockage, de fractionnement, d'interpolation conditionnelle et d'interpolation directionnelle ; chacun des canaux de l'image est traité séparément lors de l'étape de reconstruction de l'image ; 5 ledit procédé comporte à l'issue de la sous-étape d'interpolation directionnelle une étape de recombinaison desdits canaux pour former l'image de meilleure résolution. 5 BREVE DESCRIPTION DES FIGURES L'invention sera mieux comprise à la lecture de la description qui suit et à 10 l'examen des figures qui l'accompagnent. Celles-ci ne sont présentées qu'à titre indicatif et nullement limitatif de l'invention. La figure 1A représente une image formée de quatre pixels. La figure 1B représente les intensités des pixels de l'image de la 15 figure 1A. La figure 2 schématise le procédé selon l'invention. La figure 3A représente l'image de la figure 1A après fractionnement, dans un premier mode de mise en oeuvre de l'invention. La figure 3B représente les intensités des pixels de l'image de la 20 figure 3A. La figure 4 représente les divisions successives des blocs de pixels en sous-blocs et sous-sous-blocs, ainsi que les intensités des pixels. La figure 5A représente l'image de la figure 3A après interpolation conditionnelle de niveau 1. 25 La figure 5B représente les intensités des pixels de l'image de la figure 5A. La figure 6A représente l'image de la figure 5A après interpolation conditionnelle de niveau 2. La figure 6B représente les intensités des pixels de l'image de la 30 figure 6A. La figure 7 représente l'image de la figure 1A fractionnée, dans un mode alternatif de mise en oeuvre du procédé. 6 La figure 8 représente les sous-blocs mis en oeuvre au cours de l'interpolation conditionnelle de niveau 1, dans le mode alternatif de mise en oeuvre de la figure 7. La figure 9 représente l'image de la figure 7 après interpolation 5 conditionnelle de niveau 1- La figure 10 représente l'image de la figure 9 après interpolation conditionnelle de niveau 2. La figure 11A représente une image formée de 9 pixels avant traitement. 10 La figure 11B représente l'image de la figure 11A après interpolations conditionnelles de niveau 1 et de niveau 2. DESCRIPTION DETAILLEE 15 Dans la description, les sigles LR et HR sont utilisés respectivement pour désigner les expressions « basse résolution » (Low Resolution en terminologie anglo-saxonne) et « haute résolution » (High Resolution en terminologie anglo20 saxonne). En référence aux figures lA et 1B, il est considéré une image 10 présentant une définition de 2x2 pixels P1, P2, P3, P4. La figure 1A représente l'image 10 en niveaux de gris, et la figure 1B indique une intensité 11, 12, 13, 14 de chacun des 25 pixels P1, P2, P3, P4, l'intensité lj étant associée au pixel Pj, avec j compris entre 1 et 4. L'image considérée ici est une image en niveaux de gris, mais l'invention s'applique aussi bien à une image en couleur, comme il sera compris par la suite. En référence à la figure 2, le procédé 100 selon l'invention comporte : 30 - une étape de stockage 110; - une étape de reconstruction 120. 7 Au cours de l'étape de stockage 110, les intensités des pixels de l'image 10 sont stockés chacun dans un vecteur de type octet. Dans le cas de figure illustré sur les figures 1A et 1B, on a donc : = [0 1 1 0 1 0 0 1] /2 = [0 1 1 0 0 1 1 1] /3 = [0 1 1 1 1 0 0 0] /4 = [0 1 0 1 1 0 1 0] 5 L'étape de reconstruction 120 comporte : une sous-étape de fractionnement 121 ; - une sous-étape d'interpolation conditionnelle 122 ; - une sous-étape d'interpolation directionnelle 123. 10 Au cours de la sous-étape de fractionnement 121, chaque pixel P1, P2, P3, P4 est divisé en K x K « sous-pixels », de même intensité que ledit pixel qu'ils divisent, où K représente un pas. Les c REVENDICATIONS1. Procédé (100) de traitement d'image permettant d'augmenter une résolution d'une image (10), caractérisé en ce qu'il comporte : une étape de stockage (110) au cours de laquelle sont stockées, pour au moins un canal de l'image (10), une intensité (11,12, 13,14) de chacun des pixels (P1, P2, P3,P4) de ladite image ; une étape de reconstruction (120) de l'image (10) ; ladite étape de reconstruction de l'image comportant : une sous-étape de fractionnement (121) au cours de laquelle chaque pixel (H, P2, P3, P4) est fractionné en pixels formant des blocs (B1, B2, B3, B4) de taille K x K pixels, où K désigne un pas, chacun des K x K pixels de chacun desdits blocs étant de même intensité (11,12, 13,14) que le pixel (P1, P2, P3, P4) avant fractionnement ; une sous-étape d'interpolation conditionnelle (122) au cours de laquelle l'intensité (11, 12, 13, 14) de chacun des K x K pixels de chacun des blocs de pixels (B1) est modifiée en fonction de l'intensité des blocs voisins (B2, B3, B4) et de contraintes (p2, p3, p4) ; une sous-étape d'interpolation directionnelle (123) au cours de laquelle une déconvolution est appliquée, au moyen d'un filtre, à l'image (10") obtenue à l'issue de la sous-étape d'interpolation conditionnelle (122). 2. Procédé (100) de traitement d'image selon la revendication 1 caractérisé en ce qu'au cours de la sous-étape d'interpolation conditionnelle (122), chacun des blocs de pixels (B1) est divisé en quatre sous-blocs distincts de pixels (B11, B12, B13, B14) comportant chacun un pixel formant un angle du bloc de pixels (B1) correspondant, une intensité (111,112, 113, 114) desdits sous-blocs étant fonction des contraintes (p2, p3, p4) et de l'intensité (11, 12, 13, 14) des blocs de pixels (B1, B2, B3, B4) et déterminée de la manière suivante, pour former un premier niveau d'interpolation conditionnelle : 19 l'intensité (111) du sous-bloc (B11) contenant le pixel supérieur gauche du bloc (B1) est inchangée et égale à 11 ; l'intensité (112) du sous-bloc (B12) contenant le pixel supérieur droit du bloc (B1) est égale à (11+12)/2 si 111-12 1 3. Procédé (100) de traitement d'image selon la revendication 2 caractérisé en ce que le pas K est pair et en ce que les sous-blocs (B11, B12, B13, B14) ont une taille de K/2 x K/2 pixels. 4. Procédé (100) de traitement d'image selon la revendication 2 15 caractérisé en ce que le pas K est impair et en ce que : le sous-bloc (B11) contenant le pixel supérieur gauche du bloc (B1) a une taille de E(K/2)+1 x E(K/2)+1 pixels ; le sous-bloc (B12) contenant le pixel supérieur droit du bloc (B1) a une taille de E(K/2) x E(K/2)+1 pixels ; 20 le sous-bloc (B13) contenant le pixel inférieur gauche du bloc (B1) a une taille de E(K/2)+1 x E(K/2) pixels ; le sous-bloc (B14) contenant le pixel inférieur droit du bloc (B1) a une taille de E(K/2) x E(K/2) pixels. 25 5. Procédé (100) de traitement d'image selon l'une quelconque des revendications 2 à 4 caractérisé en ce qu'au moins un sous-bloc (B11) est divisé en sous-sous-blocs (B111, B112, B113, B114) dont une intensité (1111, 1112, 1113, 1114) est modifiée en fonction des pixels des sous-blocs voisins (B12, B13, B14) pour former un second niveau d'interpolation 30 conditionnelle. 6. Procédé (100) de traitement d'image selon l'une quelconque des revendications précédentes caractérisé en ce que le filtre servant à la 20 déconvolution est un filtre de flou cinétique présentant un paramètre d'orientation (6) et un paramètre de longueur (L). 7. Procédé (100) de traitement d'image selon la revendication 6 5 caractérisé en ce que les contraintes (p2, p3, p4) et les paramètres d'orientation (6) et de longueur (L) sont déterminés au cours d'une étape préalable d'apprentissage (000). 8. Procédé (100) de traitement d'image selon la revendication 7 10 caractérisé en ce que les contraintes (p2, p3, p4) et les paramètres (8, L) du filtre de flou cinétique sont déterminés dépendamment les uns des autres par des tests réalisés sur une banque d'images haute résolution, de la manière suivante : la résolution des images haute résolution est dégradée pour obtenir une banque d'images correspondant à la banque d'images haute résolution ; 15 les étapes de stockage (110), de fractionnement (121), d'interpolation conditionnelle (122) et d'interpolation directionnelle (123) sont réalisées sur la banque d'images pour diverses valeurs de contraintes (p2, p3, p4) et de paramètres (8, L) du filtre ; il est retenu les valeurs desdites contraintes et desdits paramètres 20 permettant de maximiser un nombre d'images reconstruites en cohérence avec les images haute résolution associées. 9. Procédé (100) de traitement d'image selon l'une quelconque des revendications précédentes caractérisé en ce que l'image (10) comporte au moins 25 deux canaux et en ce que : le procédé (100) comporte une étape de séparation des canaux en amont des étapes de stockage (110), de fractionnement (121), d'interpolation conditionnelle (122) et d'interpolation directionnelle (123) ; chacun des canaux de l'image est traité séparément lors de l'étape de reconstruction de l'image (120) ; ledit procédé comporte à l'issue de la sous-étape d'interpolation directionnelle (123) une étape de recombinaison desdits canaux pour former l'image de meilleure résolution.