Brevet FR3096538A1 — publié le 20201127

Description Titre de l'invention : Procédé et dispositif de traitement de données de vidéo multi-vues [0001] 1. Domaine de l'invention [0002] L'invention concerne les vidéos dites immersives, représentatives d'une scène capturée par une ou plusieurs caméras, incluant les vidéos pour la réalité virtuelle et la navigation libre. Plus particulièrement, l'invention concerne le traitement (codage, décodage, synthèse de vues intermédiaires) de données de telles vidéos. [0003] 2. Art Antérieur [0004] Une vidéo immersive permet à un spectateur de regarder une scène de n'importe quel point dc vue, même d'un point de vue qui n'a pas été capturé par une caméra. Un système d'acquisition typique est un ensemble dc caméras, qui capture une scène avec plusieurs caméras situées en dehors dc la scène ou avec des caméras divergentes construites sur une plate-forme sphérique, situées à l'intérieur de la scène. Les vidéos sont généralement affichées via des casques de réalité virtuelle (aussi connu sous le nom HMD pour Head Mounted Device en anglais), mais peuvent également être affichées sur des écrans 2D dotés d'un système supplémentaire pour interagir avec l'utilisateur. [0005] La navigation libre dans une scène nécessite dc gérer correctement chaque mouvement de l'utilisateur afin d'éviter le mal des transports. Le mouvement est généralement correctement capturé par le dispositif d'affichage (un HMD par exemple). Cependant, fournir les pixels corrects à l'affichage, quel que soit le mouvement dc l'utilisateur (rotationnel ou en translation), est actuellement un problème. Cela nécessite plusieurs vues capturées et la possibilité dc générer des vues virtuelles (synthétisées) supplémentaires, calculées à partir des vues capturées décodées et des cartes dc profondeur associées. Le nombre dc vues à transmettre varie selon les cas d'utilisation. Toutefois, le nombre dc vues à transmettre est grand et la quantité de données associées est donc souvent volumineuse. Par conséquent, la transmission des vues est un aspect essentiel des applications dc vidéos immersives. Il est donc nécessaire de réduire autant que possible le débit binaire des informations à transmettre sans compromettre la qualité de la synthèse des vues intermédiaires. En effet, la synthèse de vues intermédiaires est une étape cruciale des applications de vidéos immersives, et le débit de transmission global doit donc être réduit en facilitant simultanément la synthèse de vues. [0006] Dans un schéma de traitement de vidéo immersive typique, les vues sont capturées physiquement ou générées par ordinateur. Dans certains cas, les profondeurs sont 2 également capturées, avec des capteurs dédiés. Cependant, la qualité de ces informations de profondeurs est généralement mauvaise et empêche de synthétiser efficacement des points de vue intermédiaires. [0007] Des cartes de profondeur peuvent également être calculées à partir des images de texture des vidéos capturées. De nombreux algorithmes d'estimation de profondeurs existent et sont utilisés dans l'état de la technique. Les images de texture et les informations de profondeur estimées sont codées et envoyées à un dispositif d'affichage d'un utilisateur, comme illustré en figure 1. La figure 1 montre un schéma de traitement de vidéo immersive comprenant par exemple deux vues capturées VO et V2, et des informations de profondeur DO et D2 associées à chaque vue VO et V2. Par exemple, les informations de profondeur DO et D2 sont obtenues par un logiciel d'estimation de profondeur (par exemple DERS pour Depth Estimation Reference Software en anglais), les vues VO et V2 et les informations de profondeur obtenues DO et D2 sont ensuite codées, par exemple en utilisant un codeur MV-HEVC. Du côté du client, les vues (VO*ct V2*) et les profondeurs de chaque vue (DO* et D2*) sont décodées et utilisées par un algorithme de synthèse pour calculer des vues intermédiaires, par exemple ici une vue intermédiaire VI. Par exemple, le logiciel VSRS (pour View Synthesis Reference Software en anglais) peut être utilisé comme algorithme de synthèse de vue. [0008] Lorsque les cartes de profondeur sont calculées avant le codage et la transmission des données codées d'une vidéo immersive, différents problèmes sont rencontrés. Notamment, le débit associé à la transmission des différentes vues est important. En particulier, bien que les cartes de profondeur coûtent généralement moins que la texture, elles restent une proportion importante du train de bits (entre 15% et 30% du total). [0009] De plus, des cartes de profondeurs complètes sont générées et envoyées, alors que côté client, toutes les parties de toutes les cartes de profondeurs ne sont pas forcément utiles. En effet, les vues peuvent avoir des informations redondantes, ce qui rend certaines parties de cartes de profondeurs inutiles. De plus, dans certains cas, les spectateurs peuvent demander uniquement des points de vue spécifiques. Sans canal de retour entre le client et le serveur fournissant la vidéo immersive codée, l'estimateur de profondeur situé côté serveur ignore la connaissance de ces points de vue spécifiques. [0010] Le calcul des informations de profondeur côté serveur évite toute interaction entre l'estimateur de profondeur et l'algorithme de synthèse. Par exemple, si un estimateur de profondeur souhaite informer l'algorithme de synthèse du fait qu'il ne peut pas trouver correctement la profondeur d'une zone spécifique, il doit transmettre cette information dans le flux binaire, très probablement sous la forme d'une carte binaire. [0011] De plus, la configuration du codeur pour coder les cartes de profondeur afin d'obtenir 3 le meilleur compromis entre la qualité de la synthèse et le coût de codage pour la transmission des cartes de profondeur n'est pas évidente. [0012] Enfin, le nombre de pixels à traiter par un décodeur est élevé lorsque les textures et les cartes de profondeur sont codées, transmises et décodées. Cela peut par exemple ralentir le déploiement des schémas de traitement de vidéos immersives sur des terminaux de type smartphone (pour téléphone intelligent en français). [0013] Il existe donc un besoin d'améliorer l'état de la technique. [0014] 3. Exposé de l'invention [0015] L'invention vient améliorer l'état de la technique. Elle concerne à cet effet un procédé de traitement de données de vidéo multi-vues, lesdites données de vidéo multi-vues comprenant au moins une partie d'une image reconstruite d'au moins une vue de la vidéo multi-vues, à partir d'un flux de données codées représentatif de la vidéo multivues, le procédé de traitement comprend: [0016] - l'obtention d'au moins une donnée, à partir d'au moins ladite une partie de l'image reconstruite, dite donnée de synthèse, [0017] - la synthèse d'au moins une image d'une vue intermédiaire de la vidéo multi-vues non codée dans ledit flux de données codées, à partir d'au moins ladite une partie de l'image reconstruite et de ladite donnée de synthèse obtenue. [0018] Selon l'invention, des vues intermédiaires d'une vidéo multi-vues peuvent être syn- thétisées au niveau du décodeur ou du dispositif d'affichage sans nécessiter la transmission des données nécessaires à la synthèse de telles vues. Par exemple les vues intermédiaires peuvent être synthétisées par un dispositif situé après le décodeur dans la chaîne de restitution d'une vidéo multi-vues, ou dans un module compris dans le décodeur lui-même, après le processus de décodage du flux de données. [0019] Avantageusement, les données nécessaires à la synthèse de vues intermédiaires sont obtenues côté décodeur, à partir d'au moins une partie de vues décodées et reconstruites qui ont été transmises au décodeur. De telles vues peuvent être des vues de la scène capturées ou non capturées par les caméras. [0020] L'obtention de telles données peut être réalisée au niveau du décodeur, ou bien par un module indépendant du décodeur prenant en entrée les vues décodées et reconstruites par le décodeur. L'invention permet ainsi de réduire le débit de codage d'une vidéo multi-vues. [0021] De plus, les données utilisées à la synthèse n'étant plus codées au contraire de l'art antérieur, il n'est plus nécessaire de trouver un codage optimal de ces données. Par exemple, dans le cas où les données utilisées pour la synthèse correspondent à des cartes de profondeur, il, n'est plus nécessaire de trouver un compromis entre le coût de codage des textures de la vidéo multi-vues et le coût de codage des cartes de profondeurs associées. [0022] Le décodage de la vidéo multi-vues est également simplifié, puisque le décodeur n'a plus à décoder les données utilisées pour la synthèse de vues intermédiaires qui étaient selon l'art antérieur codées dans un flux de données. De plus, le taux de pixels à traiter par le décodeur est ainsi réduit. [0023] Selon un mode particulier de réalisation de l'invention, ladite donnée de synthèse correspond à au moins une partie d'une carte de profondeur. [0024] Selon un autre mode particulier de réalisation de l'invention, la donnée de synthèse est obtenue à l'aide d'un réseau de neurones. [0025] Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement de données de vidéo multi-vues comprend en outre: [0026] - le décodage à partir d'un flux de données codées, d'au moins une donnée de raf- finement de ladite donnée de synthèse, [0027] - la modification de ladite donnée de synthèse à partir de la donnée de raffinement décodée. [0028] Ce mode particulier de réalisation de l'invention permet d'améliorer les données de synthèse obtenues côté décodeur, et donc la qualité de la synthèse de vues intermédiaires, en modifiant les données de synthèse grâce à des données de raffinement codées dans un flux de données transmis au dispositif mettant en oeuvre le procédé de traitement de données par le décodeur ou le codeur. Les données de raffinement peuvent être codées dans le flux de données codées de la vidéo multi-vues, ou bien dans un autre flux de données codées. [0029] Ici, le décodage de la donnée de raffinement peut correspondre seulement à la lecture de données codées dans le flux correspondant à la donnée de raffinement. En variante, le décodage de la donnée de raffinement peut aussi comprendre le décodage entropique des données codées pour obtenir la donnée de raffinement. [0030] Selon encore une autre variante, le décodage de la donnée de raffinement peut également comprendre d'autres étapes de décodage pour reconstruire la donnée de raffinement, par exemple prédiction de la donnée de raffinement, transformée inverse, etc... [0031] Selon un autre mode particulier de réalisation de l'invention, la donnée de synthèse est modifiée en ajoutant la donnée de raffinement à la donnée de synthèse. [0032] Par exemple, côté codeur, une donnée de synthèse optimale correspondant à une donnée de synthèse obtenue à partir d'images originales (non codées) de la vidéo mufti-vues peut être utilisée pour calculer une différence entre cette donnée de synthèse optimale et la donnée de synthèse obtenue à partir d'une partie de l'image reconstruite au décodeur. La donnée de raffinement correspond alors à une telle différence. Côté client, la donnée de synthèse est raffinée par ajout de la différence. [0033] Ce mode particulier de réalisation de l'invention permet d'améliorer la qualité des images de vues intermédiaires synthétisées. En effet, les données de synthèse raffinées sont alors plus proches des données de synthèse qui seraient obtenues à partir d'images source de vues de la vidéo mufti-vues. [0034] Selon un autre mode particulier de réalisation de l'invention, le procédé de traitement de données de vidéo multi-vues comprend en outre: [0035] - le décodage à partir d'un flux de données codées, d'au moins un paramètre de contrôle, [0036] - l'application dudit paramètre de contrôle lors de l'obtention de ladite donnée de synthèse. [0037] Ce mode particulier de réalisation de l'invention permet de contrôler le procédé d'obtention de la donnée de synthèse, par exemple par l'application d'un filtre pour dé-bruiter les données de synthèse obtenues ou aiguiser des bords d'objets dans les images. Un tel paramètre de contrôle peut avoir été déterminé au niveau du codeur via un processus d'optimisation débit/distorsion visant à optimiser la qualité des images synthétisées. [0038] Selon un autre mode particulier de réalisation de l'invention, l'obtention de la donnée de synthèse comprend: [0039] - l'extraction de ladite donnée de synthèse à partir d'au moins ladite une partie de l'image reconstruite, [0040] - la modification de ladite donnée de synthèse obtenue à l'aide d'un réseau de neurones. [0041] Ce mode particulier de réalisation de l'invention permet d'améliorer la qualité de la synthèse en raffinant les données de synthèse obtenues côté décodeur à partir des textures reconstruites de la vidéo multi-vues. Selon ce mode particulier de réalisation de l'invention, les données de synthèse obtenues sont modifiées à l'aide d'un réseau de neurones qui a été préalablement entraîné sur un ensemble de vidéos d'apprentissage. [0042] Selon un autre mode particulier de réalisation de l'invention, le paramètre de contrôle correspond à un paramètre de mise à jour dudit réseau de neurones utilisé pour modifier ladite donnée de synthèse. [0043] Ce mode particulier de réalisation de l'invention permet d'améliorer la qualité de la synthèse en raffinant les données de synthèse obtenues côté décodeur à l'aide d'une mise à jour du réseau de neurones. [0044] L'invention concerne également un dispositif de traitement de données de vidéo multi-vues, lesdites données de vidéo multi-vues comprenant au moins une partie d'une image reconstruite d'au moins une vue de la vidéo multi-vues, à partir d'un flux de données codées représentatif de la vidéo mufti-vues, le dispositif de traitement comprend un processeur et une mémoire configurés pour: [0045] - obtenir au moins une donnée à partir d'au moins ladite une partie de l'image re- 6 construite au moins une donnée, dite donnée de synthèse, utilisée pour synthétiser au moins une vue intermédiaire de la vidéo multi-vues non codées dans ledit flux de données codées, [0046] - synthétiser au moins une image d'une vue intermédiaire de la vidéo multi-vues non codée dans ledit flux de données codées, à partir d'au moins ladite une partie de l'image reconstruite et de ladite donnée de synthèse obtenue. [0047] Selon un mode particulier de réalisation de l'invention, un tel dispositif est compris dans un terminal. [0048] Le procédé de traitement de données vidéo multi-vues selon l'invention peut être mis en oeuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Selon un mode particulier de réalisation de l'invention, le procédé de traitement de données vidéo multi-vues est mis en oeuvre par un programme d'ordinateur. L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de traitement de données vidéo multi-vues selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n'importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. [0049] Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable. [0050] L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, une clé USB, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. [0051] 4. Liste des figures [0052] D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la 7 lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : [0053] [fig.1] La figure 1 illustre un schéma de traitement de données de vidéo multi-vues selon l'art antérieur. [0054] [fig.2] La figure 2 illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un mode particulier de réalisation de l'invention. [0055] [fig.3A] La figure 3A illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. [0056] [fig.313] La figure 3B illustre des sous-étapes d'une étape d'obtention des cartes de profondeur selon un mode particulier de réalisation de l'invention. [0057] [fig.4A] La figure 4A illustre des étapes d'un procédé de codage de vidéo multi-vues selon un mode particulier dc réalisation de l'invention. [0058] [fig.413] La figure 4B illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. [0059] [F10. 4C] La figure 4C illustre des sous-étapes d'une étape d'obtention des cartes de profondeur selon un autre mode particulier de réalisation de l'invention. [0060] [fig.5] La figure 5 illustre un exemple d'un réseau de neurones utilisé pour l'extraction d'une donnée de synthèse dans le procédé de traitement de données de vidéo multi-vues selon un mode particulier de réalisation dc l'invention. [0061] [fig.6] La figure 6 illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. [0062] [fig.7] La figure 7 illustre un exemple d'un réseau de neurones utilisés pour le raf- finement d'une donnée de synthèse dans le procédé de traitement de données de vidéo multi-vues selon un mode particulier de réalisation de l'invention. [0063] [fig.8] La figure 8 illustre des étapes d'un procédé de codage de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. [0064] [fig.9] La figure 9 illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention de l'invention. [0065] [fig.10] La figure 10 illustre des étapes d'un procédé de codage de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention de l'invention. [0066] [fig.11] La figure 11 illustre un dispositif de codage de vidéo multi-vues selon un mode particulier de réalisation de l'invention. [0067] [fig.12] La figure 12 illustre un dispositif de traitement de données de vidéo multi- vues selon un mode particulier de réalisation de l'invention. [0068] 5. Description d'un mode de réalisation de l'invention [0069] 5.1 Principe général de l'invention [0070] Le principe général de l'invention est de permettre de réaliser des synthèses de vues intermédiaires côté client à partir d'au moins une partie d'une vue reconstruite sans né- 8 cessiter le codage et la transmission de cartes de profondeur au décodeur. [0071] Au lieu de transmettre de manière explicite les cartes de profondeur, i.e. de les coder dans le flux de données représentant la vidéo multi-vues, les cartes de profondeur sont estimées côté décodeur à partir des textures décodées de la vidéo multi-vues. [0072] Ce principe général s'applique de manière préférentielle aux cartes de profondeur, niais il peut être étendu à tous types de données susceptibles d'être utilisées lors de la synthèse de vues intermédiaires. Ces données peuvent être utilisées en plus or en remplacement des cartes de profondeur. [0073] Des exemples de données susceptibles d'être utilisées lors de la synthèse de vues in- termédiaires peuvent être, de manière non exhaustive: [0074] - des cartes de profondeur partielles, i.e. des images pour lesquelles certains pixels correspondent à des cartes de profondeur et d'autres à une valeur réservée indiquant qu'aucune carte de profondeur n'est disponible, [0075] - des cartes de contour ou des angles présents dans une image: les informations struc- turelles contenues dans les cartes de contour, les angles et les contours actifs peuvent être utilisés par l'algorithme de synthèse de vues, par exemple pour éviter les artefacts de rémanence (ghosting artifacts en anglais). Ceci peut être réalisé en améliorant l'algorithme de synthèse ou en améliorant les cartes de profondeur. Les approches de détection de contour peuvent comprendre l'utilisation d'opérateurs de type Sotie', Canny, Prcwitt ou Roberts. Les angles peuvent être estimés à l'aide d'un opérateur de détection d'angle de type Harris, [0076] - des caractéristiques extraites par des algorithmes de type SIFT pour "Scale- Invariant Feature Transfome en anglais, ou SURF pour "Speeded-Up Robust Features" en anglais. De tels algorithmes sont utilisés pour l'estimation d'homographies, de matrices fondamentales et d'appariement d'images. Les caractéristiques extraites par ces méthodes partagent donc des caractéristiques similaires à celles des cartes de profondeur, ce qui implique une relation entre les images L'algorithme SURF est une extension de l'algorithme SIFT, remplaçant le filtre gaussien dans SIFT par un filtre moyen, [0077] - des caractéristiques statistiques calculées sur une ou plusieurs textures (locales ou sur l'image complète), histogrammes, etc. [0078] Des méthodes d'apprentissage machine (machine lemming en anglais), tel que des réseaux de neurones en convolution (CNN pour Convolutional Neural Networks en anglais), peuvent également être utilisées pour extraire à partir des textures reconstruites des caractéristiques utiles à la synthèse de vues. [0079] On appellera par la suite les données susceptibles d'être utilisées lors de la synthèse de vues intermédiaires: données de synthèse. Une telle expression couvre non seulement des cartes de profondeur, mais aussi les données précitées. D'autres types de 9 données non citées ici sont aussi possibles. [0080] 5.2 Modes particuliers de réalisation de l'invention [0081] La figure 2 illustre des étapes d'un procédé de traitement dc données de vidéo multi- vues selon un mode particulier de réalisation de l'invention. [0082] Par exemple, une scène est capturée par deux caméras convergentes situées hors de la scène et regardant la scène depuis deux emplacements différents, avec une distance différente de la scène et des orientations ou angles différents. [0083] Chaque caméra fournit une séquence d'images 2D non compressée. Chaque séquence d'images 2D comprend respectivement une succession d'images de textures T00 et T xlyt)- [0084] Lors d'une étape 10, ces séquences d'images sont codées à l'aide d'un codeur vidéo COD, par exemple un codeur vidéo multi-vues MV-HEVC, qui produit un flux de données binaires STR envoyé sur le réseau. [0085] Côté client, un téléspectateur possède un smartphone équipé de fonctions de décodage de navigation libre. Le spectateur regarde la scène du point de vue fourni par la première caméra. Puis, par exemple, il glisse lentement à gauche vers l'autre caméra. Pendant ce processus, le smartphone affiche des vues intermédiaires de la scène qui n'ont pas été capturées par les caméras. Ces vues intermédiaires sont synthétisées par un module de synthèse SYNTH à partir des données de texture qui ont été reconstruites à partir du flux de données reçues. [0086] Le mode particulier de réalisation décrit en relation avec la figure 2 est expliqué en relation avec le cas d'usage ci-dessus. La mise en oeuvre du mode particulier de réalisation décrit en relation avec la figure 2 n'est toutefois pas limitée à ce seul cas d'usage. [0087] Lors d'une étape 20, le flux binaire STR est décodé par un décodeur DEC, par exemple ici un décodeur MV-HEVC. A l'issue du décodage du flux binaire STR, le smartphone obtient les textures décodées T*,00 et [0088] Selon l'invention, lors d'une étape 21, les cartes de profondeur D Oy 0 et D xly() sont extraites à l'aide des textures décodées T41,0 et T*,1y0par un estimateur de profondeur FE. Par exemple, ici le logiciel DERS (logiciel d'évaluation de la profondeur). [0089] Lors d'une étape 22, les cartes de profondeur extraites D et D xoyo 1y0 et les textures décodées T*0 et T',1,0 sont transmises en entrée du module de synthèse SYNTH pour effectuer la synthèse de vue du point de vue intermédiaire demandé par l'utilisateur à un instant donné. Par exemple, le module de synthèse SYNTH peut être un module de synthèse VSRS (View Synthesis Reference Software en anglais). [0090] A l'issue de l'étape 22, le module de synthèse fournit les images de vues synthétisées x01/0 et S x 1 correspondant au point de vue demandé. 100911 La figure 3A illustre des étapes d'un procédé de traitement de données de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. Selon cet autre mode particulier de réalisation de l'invention, les cartes de profondeur extraites côté client sont raffinées à l'aide de données de raffinement transmises par le codeur. 100921 Par exemple, une scène est capturée par deux caméras divergentes, situées au centre de la scène et regardant vers l'extérieur, dans des directions différentes, mais avec quelques chevauchements. 100931 Chaque caméra fournit une séquence d'images 2D non compressée. Chaque séquence d'images 2D comprend respectivement une succession d'images de textures Tx9y0 et T xlyO- 100941 Lors d'une étape 10, ces séquences d'images sont codées à l'aide d'un codeur vidéo COD, par exemple un codeur vidéo multi-vues MV-HEVC, qui produit un flux de données biliaires STR envoyé sur le réseau. 100951 Afin de raffiner les données de synthèse, ici des cartes de profondeur, extraites côté client, le codeur calcule des informations de raffinement à partir des cartes de profondeur estimées à partir de textures décodées et des cartes de profondeur estimées à partir de textures sources. [0096] Pour cela, lors d'une étape 11, les cartes de profondeur D g0),0 ct D10 sont extraites par l'estimateur de profondeur FE à l'aide des textures décodées T*,0y0 et T'. 0 et T xlyt). Ces textures ne font pas partie de l'ensemble d'apprentissage initial Kitty utilisé pour former le réseau de neurones et permettent donc d'actualiser le réseau de neurones à l'aide des données de la séquence multi-vues à transmettre au client. [0184] Pour cela, lors d'une étape 80, des cartes de profondeur Dxuyo et D10 sont extraites par un estimateur de profondeur DERS à l'aide des textures sources T0,0 et Tx1,0. [0185] Lors de l'étape 22, les cartes de profondeur D xoy0 x iy 0 et D extraites à partir des textures reconstruites et les textures décodées Ttx0,0 et Ttx1,0 sont transmises en entrée d'un module de synthèse SYNTH pour effectuer la synthèse de vues de la scène. 101861 A l'issue de l'étape 22, le module de synthèse fournit un ensemble de vues syn- thétisées [ c. 1. [ `-` x0-03, Sx0.1y0, "" -1x1y0 [0187] Lors de létape 22', les cartes de profondeur D xoyo xly0 et D extraites à partir des textures sources et les textures sources T110 et Txly, sont transmises en entrée du module de synthèse SYNTH pour effectuer la synthèse de vues de la scène. A l'issue de l'étape 22', le module de synthèse SYNTH fournit un ensemble de vues synthétisées G T 1SG r S or x01'0, x0.1)70, ' ly [0188] Pour calculer une erreur de rétro-propagation lors de l'apprentissage du réseau de neurones CNNDef, l'erreur calculée est une distance L2 entre les vues synthétisées r [-xoyo, x0.1y0, x 1),0 .obtenues à partir des cartes de profondeurs x Oy (1 et D xiy0 et les vues synthétisées dites réelles [SOT eGT [ xOy0, D xoyo et D xi y 9 extraites à partir des textures sources. [0189] Lors de l'étape 81, les poids du réseau de neurones CNNDcf sont ajustés pour fournir un réseau de neurones amélioré CNNEe. Grâce à ce ré-apprentissage, les perfoimances du réseau de neurones CNNDcf sont améliorées. [0190] Lors d'une étape 82, les paramètres }V enh de mise à jour du réseau de neurones i benh amélioré CNN,,,,, sont déterminés, où we',, représente les poids du réseau de neurones et ben', le biais. [0191] Lors d'une étape 83, l'information complémentaire est déterminée comme la estimées D s°T obtenues à partir des cartes de profondeurs 1 xly0 21 différence IV di f f entre les paramètres Wenh du réseau de neurones [ b dia b e ii h amélioré CNNe',, et les paramètres 1 I 1 du réseau de neurones initial CNN,,,r, avec bv enh - %V et h Jiu = b , - b. [0192] Lors d'une étape 84, l'information complémentaire est codée dans le flux de données binaire STR ou un autre flux de données SI. Une telle information complémentaire correspond à un paramètre de contrôle à appliquer lors de l'obtention des données de synthèse au sens de l'invention. [0193] La figure 9 illustre des étapes d'un procédé de traitement de données de vidéo multi- vues selon le mode particulier de réalisation de l'invention décrit en relation avec la figure 8. [0194] Lors de l'étape 20, les flux binaires STR1 et STR2, correspondant respectivement aux deux vues codées par le procédé de codage décrit en relation avec la figure 8, sont décodés par un ou des décodeurs DEC, par exemple ici un décodeur HEVC. A l'issue du décodage des flux binaires STR1 et STR2, les textures décodées T*0 et Tsxiyo sont obtenues. i[0195] Lors d'une étape 20', le flux binaire SI comprenant les informations complémentaires est décodé par exemple par le décodeur DEC, pour fournir les règles d'ajustement Wdiff du réseau de neurones pré-entrainé CNNDcf. - b dut [0196] Lors d'une étape 90, le réseau de neurones pré-entrainé CNNDef est mis à jour à l'aide des règles d'ajustement Wdiff pour fournir le réseau de neurones amélioré CNN [ Enh. [0197] Lors d'une étape 91, les cartes de profondeur D Euh et n Eu h. sont x xiyo t(b, extraites par l'estimateur de profondeur FE,,, à l'aide des textures décodées Tto,, et Tt Après leur extraction, ces cartes de profondeur sont améliorées en utilisant le réseau de neurones amélioré CNN,',,. [0198] Lors de l'étape 22, les cartes de profondeur n Enh et n Enh obtenues à x ' xly0 l'étape 91 sont transmises en entrée d'un module de synthèse SYNTH avec les textures reconstruites Ttxoyo et T*,,,o pour effectuer la synthèse de vues de la scène demandées par l'utilisateur. [0199] A l'issue de l'étape 22, le module de synthèse fournit par exemple les vues syn- thétisées et S x 03,0 x ly ' b [0200] La figure 10 illustre des étapes d'un procédé de codage de vidéo multi-vues selon un autre mode particulier de réalisation de l'invention. Selon ce mode particulier de réalisation de l'invention, le codeur multi-vues est amélioré en tenant compte de l'optimisation débit/distorsion réalisée par ce codeur de la qualité de la synthèse de vues obtenue à partir des données de synthèse extraites des textures décodées. Autrement dit, le codage des textures est optimisé pour optimiser la qualité des vues synthétisées côté client. Classiquement, les décisions distorsion/débit sont basées sur la distorsion de chaque composante d'une vue (texture/profondeur) par rapport à la version non compressée de cette composante. Dans le codeur 3D-HEVC, la compression des cartes de profondeur dépend de la qualité de la synthèse. Étant donné que la qualité de la texture est importante pour la qualité de la synthèse, selon le mode particulier de réalisation de l'invention décrit ici, une distorsion conjointe des vues synthétisées est calculée et utilisée pour l'optimisation débit/distorsion dans le processus de codage de la texture. [0201] Pour cela, lors d'une étape 10, les séquences d'images Tx0,0 et Tx1,0 capturées par les caméras sont codées à l'aide d'un codeur vidéo COD, par exemple un codeur vidéo multi-vues MV-HEVC. [0202] Lors d'une étape 100, un décodeur DEC compris dans le codeur COD, reconstruit les textures codées, fournissant des textures décodées T*,0,..0 et [0203] Lors d'une étape 102, des données de synthèse F* sont extraites à partir des textures reconstruites, par un estimateur de profondeur FE. Ces données de synthèse sont par exemple des cartes de profondeur. [0204] Lors d'une étape 103, les données de synthèse F* et les textures décodées T*,0,0 et rt xm sont transmises en entrée du module de synthèse SYNTH pour effectuer la synthèse de vues. A l'issue de l'étape 103, le module de synthèse fournit les images de vues synthétisées S*,0,..0 et S*,m. [0205] Une différence est alors calculée respectivement entre les images d'une vue source et les images d'une vue synthétisée correspondant à un même point de vue. Dans l'exemple décrit ici, on considère seulement deux points de vue distincts x0y0 et xly0, mais d'autres points de vue peuvent être également pris en compte. [0206] La qualité de la synthèse est évaluée à partir de la MSE (Mean Square Error en anglais) calculée entre une vue synthétisée et une texture source correspondante. [0207] Pour cela, lors d'une étape 104, la distorsion conjointe des vues synthétisées est calculée. Par distorsion conjointe, on entend ici, une somme pondérée de distorsions comprenant la distorsion d'une vue décodée par rapport à sa vue source correspondante, et la distorsion des vues synthétisées par rapport à leurs vues source correspondantes, c'est à dire correspondant au même point de vue. Une même texture peut être utilisée pour synthétiser plusieurs vues. Par exemple, peut être utilisée pour 23 synthétiser respectivement une vue Sx1,0 et une vue correspondant respectivement à un même point de vue que les textures sources Tayoct tiyu. [0208] Dans ce cas, la distorsion conjointe prend en compte l'erreur calculée entre et sa texture source Tx1,0 et l'erreur calculée entre S,2,0 et sa texture source [0209] Dans ce cas, le codeur COD prend une décision commune pour toutes les vues. Par exemple, si la compression est effectuée image par image, c'est à dire que la décision de codage est prise au niveau image au lieu d'un niveau bloc dans l'image, il y a N décisions de codage possibles, avec N = NixN,x...xN', K étant le nombre de vues à coder, et Ni étant le nombre de décisions de codage possibles pour la vue i (1 REVENDICATIONS[Revendication 1] Procédé de traitement de données de vidéo multi-vues, lesdites données de vidéo multi-vues comprenant au moins une partie d'une image reconstruite (20) d'au moins une vue de la vidéo multi-vues, à partir d'un flux (STR) de données codées représentatif de la vidéo multi-vues, le procédé de traitement comprend: - l'obtention (21) d'au moins une donnée, à partir d'au moins ladite une partie de l'image reconstruite, dite donnée de synthèse, - la synthèse (22) d'au moins une image d'une vue intermédiaire de la vidéo multi-vues non codée dans ledit flux de données codées, à partir d'au moins ladite une partie de l'image reconstruite et de ladite donnée de synthèse obtenue. [Revendication 2] Procédé de traitement de données de vidéo multi-vues selon la reven- dication 1, dans lequel ladite donnée de synthèse correspond à au moins une partie d'une carte de profondeur. [Revendication 3] Procédé de traitement de données de vidéo multi-vues selon la reven- dication 1 ou la revendication 2, dans lequel la donnée de synthèse est obtenue à l'aide d'un réseau de neurones. [Revendication 4] Procédé de traitement de données de vidéo multi-vues selon l'une quelconque des revendications 1 à 3, comprenant en outre: - le décodage à partir d'un flux de données codées, d'au moins une donnée de raffinement de ladite donnée de synthèse, - la modification de ladite donnée de synthèse à partir de la donnée de raffinement décodée. [Revendication 5] Procédé de traitement de données de vidéo multi-vues selon la reven- dication 4, dans lequel la donnée de synthèse est modifiée en ajoutant la donnée de raffinement à la donnée de synthèse. [Revendication 6] Procédé de traitement de données de vidéo multi-vues selon l'une quelconque des revendications 1 à 5, comprenant en outre: - le décodage à partir d'un flux de données codées, d'au moins un paramètre de contrôle, - l'application dudit paramètre de contrôle lors de l'obtention de ladite donnée de synthèse. [Revendication 7] Procédé de traitement de données de vidéo multi-vues selon l'une quelconque des revendications 1 à 3, dans lequel l'obtention de la donnée de synthèse comprend: - l'extraction de ladite donnée de synthèse à partir d'au moins ladite une 26 [Revendication 8] [Revendication 9] [Revendication 10] [Revendication 11] [Revendication 12] partie de l'image reconstruite, - la modification de ladite donnée de synthèse obtenue à l'aide d'un réseau de neurones. Procédé de traitement de données de vidéo multi-vues selon la revendication 7 et la revendication 6, dans lequel le paramètre de contrôle correspond à un paramètre de mise à jour dudit réseau de neurones utilisé pour modifier ladite donnée de synthèse. Dispositif (DTV) de traitement de données de vidéo multi-vues, lesdites données de vidéo multi-vues comprenant au moins une partie d'une image reconstruite d'au moins une vue de la vidéo multi-vues, à partir d'un flux de données codées représentatif de la vidéo multi-vues, le dispositif de traitement comprend un processeur (PROCO) et une mémoire (MEMO) configurés pour: - obtenir au moins une donnée à partir d'au moins ladite une partie de l'image reconstruite au moins une donnée, dite donnée de synthèse, utilisée pour synthétiser au moins une vue intermédiaire de la vidéo multi-vues non codées dans ledit flux de données codées, - synthétiser au moins une image d'une vue intermédiaire de la vidéo multi-vues non codée dans ledit flux de données codées, à partir d'au moins ladite une partie de l'image reconstruite et de ladite donnée de synthèse obtenue. Terminal comprenant un dispositif selon la revendication 9. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de traitement de données de vidéo multi-vues selon l'une quelconque des revendications 1 à 8, lorsque le programme est exécuté par un processeur. Support d'enregistrement lisible pat- ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 11.