Brevet FR3124671A1 — publié le 20221230

L’invention concerne un procédé de décodage d’une image à partir d’ une couche de base (C base ) et d’informations d’amélioration (I am ), ledit procédé comprenant les étapes suivantes : - décodage de ladite une couche de base (C base ) afin d’obtenir au moins une composante de base (Y dec base , U dec base , V dec base ), - suréchantillonnage de la au moins une composante de base (Y dec base , U dec base , V dec base ) afin d’obtenir au moins une composante suréchantillonnée (Y surech , U surech , V surech ), - décodage des informations d’amélioration (I am ) au moyen d’une partie au moins de réseau de neurones artificiels (B) afin d’obtenir des valeurs d’amélioration (V am ), - reconstruction de l’image à partir de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et des valeurs d’amélioration (V am ). L’invention porte également sur un procédé de codage, un dispositif électronique de décodage, un dispositif électronique de codage et un signal associés. Figure pour l’abrégé : figure 2 Procédés de décodage et de codage d’une image, dispositifs et signal associés Domaine technique de l'invention La présente invention concerne le domaine technique du décodage et du codage de contenus audiovisuels. Elle concerne en particulier des procédés de décodage et de codage d’une image, ainsi que des dispositifs et un signal associés. Etat de la technique Afin d’améliorer la qualité d’expérience des utilisateurs, les contenus audiovisuels sont constamment enrichis. On peut par exemple recenser les contenus à ultra haute définition (UHD 4K), les contenus à plage dynamique étendue (HDR), ou encore les contenus vidéo à fréquences d’images élevées. Ces contenus contiennent un grand volume de données qu’il est souvent nécessaire pour un fournisseur de compresser avant de les transmettre vers les utilisateurs finaux. La technique d’adaptation spatiale de résolution consiste à sous-échantillonner un contenu audiovisuel avant de le compresser, puis à remettre à l’échelle le contenu décompressé et utiliser des techniques d’amélioration de qualité telles que des méthodes de super-résolution pour reconstruire le contenu audiovisuel initial. Cependant, l’utilisation de cette technique laisse subsister une perte d’informations et de détails due au sous-échantillonnage et à la quantification lors de la compression. Ainsi se pose la problématique d’amélioration de la qualité de l’image lors de l’utilisation de la technique d’adaptation spatiale. Il a été proposé dans l’article « A Hybrid Layered Image Compressor with Deep-Learning Technique », de Lee, W. C., Chang, C. P., Peng, W. H., & Hang, H. M., 2020 IEEE 22nd International Workshop on Multimedia Signal Processing (MMSP) (pp. 1-6) de compresser des données d’amélioration d’une image par l’application à une couche d’amélioration de l’image d’un réseau de neurones artificiels utilisant des modules d’attention spatiale (« spatial attention modules ») guidés par une couche de base de l’image. Toutefois, la technique proposée dans cet article n’envisage pas l’application d’une adaptation spatiale de la couche de base et n’offre ainsi pas de scalabilité spatiale. Présentation de l'invention Dans ce contexte, la présente invention propose un procédé de décodage d’une image à partir d’une couche de base et d’informations d’amélioration, ledit procédé comprenant les étapes suivantes : - décodage de ladite une couche de base afin d’obtenir au moins une composante de base, - suréchantillonnage de la au moins une composante de base afin d’obtenir au moins une composante suréchantillonnée, - décodage des informations d’amélioration au moyen d’une partie au moins de réseau de neurones artificiels afin d’obtenir des valeurs d’amélioration, - reconstruction de l’image à partir de la au moins une composante suréchantillonnée et des valeurs d’amélioration. On reconstruit ainsi l’image sur la base de la couche de base (qui pourrait être utilisée seule pour reconstruire une image de qualité inférieure) et d’informations d’amélioration dont le décodage au moyen du réseau de neurones artificiels est particulièrement efficace. La composante de base est par exemple l’une des composantes colorimétriques de l’image, par exemple dans le système de codage colorimétrique YUV ou le système de codage colorimétrique RGB. D’autres caractéristiques avantageuses et non limitatives du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes : - l’étape de reconstruction de l’image comprend une application de la au moins une composante suréchantillonnée et des valeurs d’amélioration à une autre partie de réseau de neurones artificiels ; - l’étape de reconstruction de l’image comprend au moins une somme pixel à pixel entre la au moins une composante suréchantillonnée et au moins un sous-ensemble des valeurs d’amélioration ; - le procédé de décodage comprend une étape d’obtention de paramètres représentatifs d’un modèle entropique, et le décodage des informations d’amélioration comprend : -une première étape de décodage entropique utilisant les paramètres représentatifs du modèle entropique, - une deuxième étape de décodage au moyen de la partie de réseau de neurones artificiels ; - les paramètres représentatifs du modèle entropique sont obtenus au moyen d’une partie supplémentaire de réseau de neurones artificiels. L’invention prévoit également un procédé de codage d’une image à partir d’au moins une composante de ladite image, le procédé comprenant les étapes suivantes : - obtention d’au moins une composante de base à partir de la au moins une composante de ladite image au moyen d’un processus de codage, - suréchantillonnage de la au moins une composante de base afin d’obtenir au moins une composante suréchantillonnée, - obtention d’informations d’amélioration par codage au moyen d’une partie au moins de réseau de neurones artificiels et à partir de la au moins une composante de l’image et de la au moins une composante suréchantillonnée. La au moins une composante de base présente par exemple une résolution inférieure à celle de la au moins une composante de l’image. Préférentiellement, l’étape d’obtention de la au moins une composante de base comprend les sous-étapes suivantes : - sous-échantillonnage de la au moins une composante de ladite image afin d’obtenir au moins une composante intermédiaire, - codage de la au moins une composante intermédiaire afin d’obtenir une couche de base, - décodage de la couche de base afin d’obtenir la au moins une composante de base. Selon une possibilité de réalisation, la partie au moins de réseau de neurones artificiels reçoit, d’une part, la au moins une composante suréchantillonnée et, d’autre part, la au moins une composante de l’image. Selon une possibilité de réalisation, le procédé de codage comprend avant l’étape d’obtention d’informations d’amélioration, au moins une différence pixel à pixel entre la au moins une composante de l’image et la au moins une composante suréchantillonnée. Cette différence pixel à pixel correspond à un calcul de résidu entre la au moins une composante de l’image et la au moins une composante suréchantillonnée. L’invention porte également sur un dispositif de décodage d’une image à partir d’une couche de base et d’informations d’amélioration comprenant : - une première unité de décodage conçue pour obtenir au moins une composante de base par décodage de la couche de base, - une unité de suréchantillonnage conçue pour obtenir au moins une composante suréchantillonnée par suréchantillonnage de la au moins une composante de base, - une deuxième unité de décodage conçue pour obtenir des valeurs d’amélioration par décodage des informations d’amélioration au moyen d’une partie au moins de réseau de neurones artificiels, - une unité de reconstruction conçue pour reconstruire ladite image à partir de la au moins une composante suréchantillonnée et des valeurs d’amélioration. Selon une possibilité de réalisation, l’unité de reconstruction est conçue pour reconstruire ladite image par application de la au moins une composante suréchantillonnée et des valeurs d’amélioration à une autre partie de réseau de neurones artificiels. Selon une possibilité de réalisation, l’unité de reconstruction est conçue pour reconstruire ladite image à partir d’au moins une somme pixel à pixel entre la au moins une composante suréchantillonnée et au moins un sous-ensemble des valeurs d’amélioration. L’invention porte également sur un dispositif de codage d’une image à partir d’au moins une composante de l’image comprenant : - une unité d’obtention d’au moins une composante de base à partir de la au moins une composante de l’image, - une unité de suréchantillonnage conçue pour obtenir au moins une composante suréchantillonnée par suréchantillonnage de la au moins une composante de base, - une unité de codage conçue pour obtenir des informations d’amélioration par codage au moyen d’une partie au moins de réseau de neurones artificiels à partir de la au moins une composante de l’image et de la au moins une composante suréchantillonnée. L’unité d’obtention peut comprendre : - un module de sous-échantillonnage conçu pour sous-échantillonner la au moins une composante de l’image, afin d’obtenir au moins une composante intermédiaire, - un module de codage conçu pour coder la au moins une composante intermédiaire, afin d’obtenir une couche de base, - un module de décodage conçu pour décoder ladite couche de base, afin d’obtenir ladite au moins une composante de base. L’invention porte également sur un signal représentatif d’au moins une composante d’une image, comprenant une couche de base et des informations d’amélioration, lesdites informations d’amélioration étant obtenues à partir de la au moins une composante de l’image et d’au moins une composante suréchantillonnée. Procédé de décodage d’une image à partir d’une une couche de base (C base ) et d’informations d’amélioration (I am ), ledit procédé comprenant les étapes suivantes : - décodage de ladite une couche de base (C base ) afin d’obtenir au moins une composante de base (Y dec base , U dec base , V dec base ), - suréchantillonnage de la au moins une composante de base (Y dec base , U dec base , V dec base ) afin d’obtenir au moins une composante suréchantillonnée (Y surech , U surech , V surech ), - décodage des informations d’amélioration (I am ) au moyen d’une partie au moins de réseau de neurones artificiels (B) afin d’obtenir des valeurs d’amélioration (V am ), - reconstruction de l’image à partir de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et des valeurs d’amélioration (V am ). Procédé de décodage selon la revendication 1, dans lequel l’étape de reconstruction de l’image comprend une application de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et des valeurs d’amélioration (V am ) à une autre partie de réseau de neurones artificiels (M). Procédé de décodage selon la revendication 1, dans lequel l’étape de reconstruction de l’image comprend au moins une somme pixel à pixel entre la au moins une composante suréchantillonnée et au moins un sous-ensemble des valeurs d’amélioration (V am ). Procédé de décodage selon l’une des revendications 1 à 3, comprenant une étape d’obtention de paramètres représentatifs d’un modèle entropique, et dans lequel le décodage des informations d’amélioration comprend : - une première étape de décodage entropique utilisant les paramètres représentatifs du modèle entropique, - une deuxième étape de décodage au moyen de la partie de réseau de neurones artificiels (B). Procédé de décodage selon la revendication 4, dans lequel les paramètres représentatifs du modèle entropique sont obtenus au moyen d’une partie supplémentaire de réseau de neurones artificiels. Procédé de codage d’une image à partir d’au moins une composante de ladite image (Y, U, V), ledit procédé comprenant les étapes suivantes : - obtention d’au moins une composante de base (Y dec base , U dec base , V dec base ) à partir de la au moins une composante de ladite image au moyen d’un processus de codage, - suréchantillonnage de la au moins une composante de base afin d’obtenir au moins une composante suréchantillonnée (Y surech , U surech , V surech ), - obtention d’informations d’amélioration (I am ) par codage au moyen d’une partie au moins de réseau de neurones artificiels (A) et à partir de la au moins une composante de l’image (Y, U, V) et de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ). Procédé de codage d’une image selon la revendication 6, dans lequel l’étape d’obtention de la au moins une composante de base comprend les sous-étapes suivantes : - sous-échantillonnage de la au moins une composante de ladite image (Y, U, V) afin d’obtenir au moins une composante intermédiaire (Y int , U int , V int ), - codage de la au moins une composante intermédiaire (Y int , U int , V int ) afin d’obtenirune couche de base (C base ), - décodage de la une couche de base C base afin d’obtenir la au moins une composante de base (Y dec base , U dec base , V dec base ). Procédé de codage selon la revendication 6 ou 7, dans lequel la partie au moins de réseau de neurones artificiels (A) reçoit, d’une part, la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et, d’autre part, la au moins une composante de l’image (Y, U, V). Procédé de codage selon la revendication 6 ou 7, comprenant, avant l’étape d’obtention d’informations d’amélioration, au moins une différence pixel à pixel entre la au moins une composante de l’image (Y, U, V) et la au moins une composante suréchantillonnée (Y surech , U surech , V surech ). Dispositif de décodage d’une image à partir d’une couche de base (C base ) et d’informations d’amélioration (I am ) comprenant : - une première unité de décodage (11) conçue pour obtenir au moins une composante de base (Y dec base , U dec base , V dec base ) par décodage de la couche de base(C base ) , - une unité de suréchantillonnage (13) conçue pour obtenir au moins une composante suréchantillonnée (Y surech , U surech , V surech ) par suréchantillonnage de la au moins une composante de base (Y dec base , U dec base , V dec base ), - une deuxième unité de décodage (15) conçue pour obtenir des valeurs d’amélioration (V am ) par décodage des informations d’amélioration (I am ) au moyen d’une partie au moins de réseau de neurones artificiels (B), - une unité de reconstruction (17) conçue pour reconstruire ladite image à partir de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et des valeurs d’amélioration (V am ). Dispositif de décodage selon la revendication 10 dans lequel l’unité de reconstruction (17) est conçue pour reconstruire ladite image par application de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et des valeurs d’amélioration (V am ) à une autre partie de réseau de neurones artificiels (M). Dispositif de décodage selon la revendication 10 dans lequel l’unité de reconstruction (17) est conçue pour reconstruire ladite image à partir d’au moins une somme pixel à pixel entre la au moins une composante suréchantillonnée (Y surech , U surech , V surech ) et au moins un sous-ensemble des valeurs d’amélioration. Dispositif de codage d’une image à partir d’au moins une composante de l’image (Y, U, V) comprenant : - une unité d’obtention (8) d’au moins une composante de base (Y dec base , U dec base , V dec base ) à partir de la au moins une composante de l’image (Y, U, V), - une unité de suréchantillonnage (10) conçue pour obtenir au moins une composante suréchantillonnée (Y surech , U surech , V surech ) par suréchantillonnage de la au moins une composante de base (Y dec base , U dec base , V dec base ), - une unité de codage (6) conçue pour obtenir des informations d’amélioration (I am ) par codage au moyen d’une partie au moins de réseau de neurones artificiels (A) à partir de la au moins une composante de l’image (Y, U, V) et de la au moins une composante suréchantillonnée (Y surech , U surech , V surech ). Dispositif de codage selon la revendication 13 dans lequel l’unité d’obtention (8) comprend : - un module de sous-échantillonnage (81) conçu pour sous-échantillonner la au moins une composante de l’image (Y, U, V), afin d’obtenir au moins une composante intermédiaire (Y int , U int , V int ), - un module de codage (82) conçu pour coder la au moins une composante intermédiaire (Y int , U int , V int ), afin d’obtenir une couche de base (C base ), - un module de décodage conçu pour décoder ladite couche de base, afin d’obtenir ladite au moins une composante de base Y dec base , U dec base , V dec base ). Signal représentatif d’au moins une composante d’une image (Y, U, V), comprenant une couche de base (C base ) et des informations d’amélioration (I am ), lesdites informations d’amélioration (I am ) étant obtenues à partir de la au moins une composante de l’image (Y, U, V) et d’au moins une composante suréchantillonnée (Y surech , U surech , V surech ).