Patent WO-2023057781-A1 (WO)
Inventor: SARAFIANOS NIKOLAOS
IPC: G06T15/04
Filed: 2021-10-08
Abstract: Dans des modes de réalisation particuliers, pour générer deux vidéos correspondant aux deux vues d'un être humain à partir de la vidéo unique, de multiples réseaux neuronaux peuvent être utilisés pour traiter une vidéo 2D d'un être humain en mouvement. Initialement, une vidéo d'une personne peut être capturée par une caméra vidéo standard. La vidéo peut comprendre une pluralité de trames comprenant des images RGB de la personne. Un système informatique peut traiter ces images pour générer les deux vidéos correspondant aux deux vues d'un être humain. À titre d'exemple et non de limitation, un casque de réalité artificielle peut traiter ces images pour générer un mappage entre les pixels RGB de chacune des images et un modèle de surface 3D de la partie du corps de la personne. Afin de générer le mappage, le casque de réalité artificielle peut utiliser un modèle d'apprentissage automatique de mappage pour traiter une des images RGB pour générer le mappage entre les pixels de l'image RGB unique et le modèle de surface 3D de la partie du corps de la personne. Un modèle d'apprentissage automatique peut être utilisé pour affiner le modèle de surface 3D en un modèle de surface 3D affiné. Le modèle de surface 3D affiné est ensuite utilisé pour déformer l'image RGB unique qui a été utilisée pour générer le modèle de surface 3D pour générer une texture de la personne. La texture peut ensuite être utilisée en tant qu'entrée dans un modèle d'apprentissage automatique de texture complète qui génère une texture UV du corps entier à partir de la texture partielle générée par les images RGB déformées. Le modèle d'apprentissage automatique de texture complète peut être utilisé pour retoucher des régions qui ne sont pas visibles ou sont des zones auto-occlusives. À titre d'exemple et non de limitation, si la texture partielle générée par les images RGB déformées a une texture partielle des mains d'une personne, alors le modèle d'apprentissage automatique de texture complète peut retoucher la région correspondant aux mains de la personne pour générer une texture complète des mains de la personne. Après la génération de la texture complète à l'aide du modèle d'apprentissage automatique de texture complète, le casque de réalité artificielle peut ensuite utiliser un modèle d'apprentissage automatique de génération de vues pour générer deux vues différentes de la personne à l'aide du modèle de surface 3D affiné. Autrement dit, le modèle d'apprentissage automatique de génération de vues peut générer un modèle de surface 3D affiné pour l'œil gauche et un modèle de surface 3D affiné pour l'œil droit. La texture complète générée à partir du modèle d'apprentissage automatique de texture complète peut ensuite être déformée sur le modèle de surface 3D affiné pour l'œil gauche et le modèle de surface 3D affiné pour l'œil droit. Un modèle d'apprentissage automatique de soumissionnaire neuronal peut ensuite être appliqué aux images gauche et droite déformées pour remplir les informations de pixel manquantes pour générer la paire stéréo d'images de la personne. Le procédé selon l'invention de génération d'une paire stéréo d'images et/ou d'une image au niveau d'un point de vue virtuel peut être réalisé sans reconstruction 3D explicite de la personne.