Brevet FR2870970A1 — publié le 20051202

PROCÉDÉ DE GÉNÉRATION DE SÉQUENCES ANIMÉES À PARTIR D'UNE PHOTOGRAPHIE La présente invention concerne le domaine des équipements pour la production automatique de séquences audiovisuelles virtuelles à partir notamment d'un message textuel et pour la diffusion de telles séquences. On connaît dans l'état de la technique différentes 10 solutions pour produire des séquences d'animation virtuelles associées à la synthèse vocale. Le brevet américain US 5 970 459 par exemple décrit un système pour la synchronisation entre une image animée et un 15 convertisseur de synthèse vocale. Le brevet US 5 630 017 décrit un équipement pour l'animation des mouvements de lèvres d'une image de synthèse en fonction de données textuelles. Dans le brevet français délivré sous le numéro FR 2 807 188, les inventeurs ont déjà proposé un procédé permettant d'automatiser en temps réel la production d'images animées audiovisuelles dont le comportement est représentatif d'une part du contenu syntaxique et grammatical et du contexte des données textuelles provenant de sources extérieures et d'autre part d'évènements extérieurs indépendants et d'assurer la diffusion en temps réel ou différé de ses images animées audiovisuelles. Dans ce brevet, illustré figure 1, un texte fourni à un serveur (2), est analysé par un module d'analyse (1). Ce texte est alors marqué pour lui associer des attitudes de personnages communicants spécifiques stockés dans la base de données (3). Ce texte marqué est alors fourni à une machine de rendu (4) générant un signal vidéo par un module vidéo (6) et un signal audio par un module audio (7). Ces signaux sont synchronisés pour l'envoi vers le destinataire (8). Dans ce brevet, l'animation est réalisée à partir de personnages communicants et par voix de synthèse sans que l'utilisateur ait besoin de télécharger de logiciel de visionnement des séquences. La présente invention entend étendre cette technologie à la messagerie interpersonnelle où les animations sont réalisées non plus par des personnages prédéfinis, mais à partir d'une photographie, par exemple celle de l'émetteur du message textuel. Pour ce faire, la présente invention est du type décrit ci-dessus et elle est remarquable, dans son acception la plus large, en ce qu'elle concerne un procédé de génération d'au moins une séquence audiovisuelle à partir d'au moins une image avatar et d'au moins un message d'entrée comportant les étapes consistant à : analyser ledit message d'entrée pour produire au moins un marqueur en fonction des données composant ledit message d'entrée, ledit marqueur étant associé à ladite image avatar; - générer un signal audiovisuel, ledit marqueur pilotant un module graphique synchronisé avec un module de 30 synthèse vocale pour la génération dudit signal audiovisuel caractérisé en ce que ladite image avatar est obtenue par les étapes supplémentaires consistant à : - fournir une image initiale; reconnaître au moins une partie spécifique de ladite image initiale; - générer ladite image avatar correspondant à au moins une modification de ladite image initiale au niveau de ladite partie spécifique de ladite image initiale. De préférence, ladite reconnaissance d'une partie spécifique de ladite image initiale est réalisée par positionnement d'au moins un indicateur au niveau de ladite partie spécifique de ladite image. Dans ce cas, ledit positionnement est réalisé par le fournisseur de ladite image initiale. Avantageusement, ladite reconnaissance de ladite partie spécifique est réalisée automatiquement par reconnaissance de forme au niveau de ladite image initiale. Selon une variante, ledit module graphique est un module Flash Selon une autre variante, ledit module graphique est un module vidéo. Selon une troisième variante, ledit module graphique est un module MMS. De préférence, ladite image initiale correspond à la 30 photographie d'au moins un visage. Avantageusement, ladite partie spécifique dudit visage correspond à la bouche. De préférence, ledit message d'entrée comprend au moins un texte composé d'un ensemble de phonèmes. De préférence, ledit message d'entrée comprend au moins une donnée environnementale. Avantageusement, ledit procédé est réalisé au niveau d'au moins un serveur. Selon une variante, ladite image initiale est fournie via Internet. Selon une seconde variante, ladite image initiale est 15 fournie via un terminal mobile. On comprendra mieux l'invention à l'aide de la description, faite ciaprès à titre purement explicatif, d'un mode de réalisation de l'invention, en référence aux figures annexées où : - la figure 1 illustre la plate-forme de traitement du texte pour l'animation selon l'art antérieur; - la figure 2 illustre le schéma global de création d'un avatar animé à partir d'une photographie; - la figure 3 illustre l'envoi d'une animation dans le cas d'un fichier de type MMS; - la figure 4 illustre la plate-forme d'animation des avatars selon l'invention. L'idée générale de la présente invention est de transmettre à un destinataire une animation d'un visage à partir d'un texte et d'une photographie sélectionnée par l'émetteur du message animé. Pour ce faire, l'émetteur sélectionne une image à envoyer au destinataire. Cette image peut être issue d'une base de données d'images spécifiques ou d'une photographie numérique. Notons que toute la suite du procédé ne dépend pas du format de l'image et est compatible avec tout type de format connu. L'émetteur rédige également un texte qu'il souhaite 10 voir associé à l'animation de l'image, ainsi que différentes données environnementales. Ces données environnementales peuvent être sous forme de smileys dans le texte définissant des états comme triste , heureux , amoureux ... Elles peuvent également correspondre à des images d'arrière-plan de la photographie, ou à des animations prédéfinies (tonnerre qui gronde en arrière plan, soleil qui défile sur l'image). Notons par ailleurs que le texte et les données environnementales peuvent être obtenues depuis un clavier de saisie, ou une base de données, ou encore par un réseau informatique, par exemple Internet, ou par un réseau téléphonique, par reconnaissance vocale ou analyse de la voix. Selon un premier mode de réalisation, l'ensemble constitué par le texte, l'image représentant la photographie et les données environnementales sont envoyées au destinataire. L'envoi peut se faire sur une adresse mail par Internet, sur un numéro de téléphone, sur une adresse mail par téléphone, ou sur tout autre identifiant de l'utilisateur. Selon un second mode de réalisation, l'utilisateur a la possibilité d'insérer différents indicateurs sur la photographie. Un premier exemple d'indicateur est la sélection de la zone d'un visage, par exemple dans une image présentant plusieurs visages distincts ou sur une photographie en pied. Cet indicateur facilite le traitement futur de l'image en restreignant la zone à traiter. Un second exemple d'indicateur est la spécification sur l'image de zones caractéristiques d'animation. Ces zones qui seront ultérieurement animées correspondent par exemple aux yeux et à la bouche. Il est entendu que toute zone caractéristique du visage peut être sélectionnée et animée de la même façon. Selon un mode de mise en uvre, ces zones caractéristiques sont repérées par un ensemble de pointeurs que l'utilisateur positionne par exemple au niveau des yeux et aux extrémités de la bouche sur la photographie avant l'envoi. Notons que tout type de sélection des zones caractéristiques est envisageable dans ce prétraitement. Ainsi, illustré figure 2, l'ensemble constitué par la photographie brute ou prétraitée par l'utilisateur, ainsi que le texte et les données environnementales est envoyé au destinataire de l'animation. Celui-ci est alors reçu par un serveur de traitement du texte et de la photographie. Le premier module correspond au traitement de la photographie brute ou prétraitée par l'utilisateur. Nous allons maintenant décrire un mode d'obtention 5 d'un avatar à partir d'une photographie en ajoutant une ouverture de la bouche simulant la parole. Si l'image n'a pas été prétraitée par l'utilisateur, la détection de la bouche se subdivise elle-même en 10 plusieurs sous-étapes. On effectue d'abord éventuellement un redimensionnement de l'image quand celle-ci a une trop grande résolution. Cela permet d'accélérer les calculs qui suivront, sans nuire au résultat final. En effet, le message devra nécessairement avoir une taille limitée, principalement pour une question de poids du fichier lors de l'acheminement. Ensuite, on sélectionne une zone assez large dans la partie basse de l'image où la bouche est censée se situer. En effet, la bouche est toujours à l'intérieur d'un rectangle positionné dans le bas de la photographie. Les paramètres de ce rectangle s'obtiennent rapidement à partir tests réalisés sur un nombre significatif d'images. La détection de la bouche étant basée sur les ombres, les informations de couleur doivent être éliminées. L'image à traiter est donc convertie en niveau de gris. La prochaine étape est l'application d'un algorithme de détection de bords. La détection retenue est une détection des bords horizontaux car tous les bords d'une 2870970 8 bouche sont horizontaux. Notons que les bords n'ont pas besoin d'être strictement horizontaux pour être détectés de cette manière, et une tête inclinée sur le côté ne pose pas de problème. Il reste à faire le tri parmi les bords détectés pour découvrir celui correspondant à la bouche, et obtenir précisément sa longueur. Ce traitement correspond à un seuillage, suivi d'un filtre de fermeture et d'une isolation des composants trouvés. Ces éléments sont ensuite soumis à une évaluation du résultat basée sur des contraintes de taille et de forme. Ceci permet de localiser la bouche avec précision dans une majorité de cas en moins de deux secondes. Il faut noter que cette méthode de reconnaissance de la bouche est connue dans le domaine de la reconnaissance de motifs dans les images. Dans le cas où l'image est prétraitée, les deux sous-étapes ci-dessus ne sont pas nécessaires et la bouche est directement localisée, par exemple par deux pointeurs Une fois que l'on connaît la position de la bouche, il nous faut créer une image qui représentera l'avatar avec la bouche ouverte. Pour cela, une simulation de l'abaissement de la mâchoire inférieure en abaissant la partie de l'image située sous la bouche. La détermination de la zone précise à manipuler pour obtenir un effet naturel quelle que soit la photo est faite en expérimentant sur de nombreuses photographies de test. Il est entendu que ces traitements sont réalisables également pour d'autres parties caractéristiques du visage, avec ou sans prétraitement. Différents fichiers d'avatar sont alors créés, avec différents niveaux d'ouverture de la bouche ou différents niveaux de fermeture des yeux. Par ailleurs, selon un mode de réalisation, lorsque l'animation personnalisée est lue par MMS, il est connu que le format des images lisibles est spécifique au type de terminal lisant le fichier MMS. Il convient donc de créer des images d'avatar compatibles avec le terminal de lecture. Notons que cette problématique n'est pas présente dans le cas d'une lecture grâce à un player Flash. Pour cela, illustré figure 3, le serveur interroge les bases de données des opérateurs téléphoniques pour connaître le type de terminal associé au numéro du destinataire du message. En effet, l'achat d'un terminal mobile est en théorie associé à un enregistrement auprès d'un opérateur de téléphonie mobile. Une fois connu le type de terminal du destinataire et donc les types d'images lisibles par celui-ci, l'ensemble d'avatars correspondant au format lisible est sélectionné et inséré dans le second module de création de l'animation illustré figure 4. Un ensemble de marqueurs comportementaux associés aux avatars est également inséré dans le module d'animation. Ces marqueurs correspondent par exemple à l'effet crée par chaque avatar: l'avatar représentant la photographie la bouche ouverte est donc par exemple associé à un marqueur bouche ouverte et l'avatar représentant la photographie les yeux fermés est associé à un marqueur yeux fermés Ce second module correspond sensiblement à la plate-forme de la figure 1, proposée par le déposant dans le brevet antérieur FR 2 807 188. En effet, les fichiers d'avatar de la photographie brute sont stockés dans la base de données (11). Cette base de données correspondait à des séquences ou des images prédéfinies selon l'art antérieur mais selon la présente invention, elle est remplie par les avatars des images correspondant aux différents émetteurs des messages. La base de données (12) comprend la table de correspondance entre les différents phonèmes et les différentes attitudes de l'avatar. Cette base de données permet de lier un son i avec un avatar à la bouche très étirée et un son o avec une bouche en forme de o . Le procédé d'association du texte à la séquence d'avatar est alors sensiblement identique au procédé décrit dans le brevet FR 2 807 188. La base de données de comportement (13) contient d'autres marqueurs correspondant aux correspondances entre les unités lexicales et syntaxiques du texte et les données environnementales. Ainsi, ces marqueurs environnementaux sont placés dans le texte pour l'affichage d'une ou plusieurs images environnementales issues de la base de données (12) (par exemple une animation de tonnerre pour un smiley colère ), mais également pour l'affichage d'un avatar. Cet avatar a par exemple les yeux fermés pour une donnée environnementale du type sommeil . Un module d'analyse (14) est chargé d'insérer dans le 5 texte source les marqueurs comportementaux correspondant aux avatars ainsi qu'aux données environnementales. Une machine de rendu (15) produit les scènes animées et sonorisées, à partir d'un automate et du texte marqué. La machine de rendu (15) comprend un automate de traitement. Les états de l'automate contiennent les actions sur les scènes (chargement, animation, .) et des scripts. Les transitions entre les états se feront à partir des mots et marqueurs du texte issus du module d'analyse (4). La définition de l'image initiale à charger (décors, photographie) se trouve dans l'état initial de l'automate...DTD: Le texte issu du module d'analyse (4) et contenant les mots et les marqueurs est lu par le séquenceur (16) qui déclenche la prononciation du texte et les actions sur la scène par l'intermédiaire de l'automate (23). Le module graphique (17) dépend cette fois du type de 25 format de lecture du destinataire de l'animation et est adapté au type de format. Pour une lecture au format MMS, le module graphique (17) est un module de traitement MMS de type connu. Il permet de générer un fichier GIF animé et un fichier smil standard MMS pour la synchronisation avec le fichier sonore produit par le module de synthèse vocale (18). Pour une lecture au format Flash, le module graphique est un module Flash où sont intégrés les différentes images d'avatar et d'environnement synchronisés avec la piste correspondant au module de synthèse vocale (18) . Le module graphique (17) peut également être un module vidéo pour MMS pour la production d'un format MPEG-4 ou un module vidéo adapté à la diffusion télévisuelle haut-débit. Dans tous les cas, ce module graphique (17) est synchronisé avec le module de synthèse-vocale (18). Notons qu'il est également possible de déporter le 15 module de synthèse vocale sur une autre machine. Eventuellement, par exemple dans le cas de vidéos ou selon certains formats MMS, un encodeur (20) numérise les données d'image et audio et génère un signal numérique comprimé dirigé vers un serveur de diffusion (20). Ce signal correspond par exemple selon les modes de réalisation, soit à un fichier Flash, soit à un fichier MMS en GIF animé, soit à un fichier vidéo, soit à un fichier vidéo haut débit. L'ensemble des opérations, depuis l'entrée du texte jusqu'à la génération des images et la synthèse du son, est effectué en temps réel. La diffusion de masse peut être effectuée en temps réel ou en temps différé, suivant le procédé utilisé. La machine de rendu (15) peut éventuellement être déportée sur chaque terminal. Enfin, comme illustré figure 3, dans le cas d'une animation par MMS, l'animation n'est pas envoyée directement au destinataire, mais au centre de traitement MMS (MMS Center) de l'opérateur, qui réexpédie automatique le message. Dans le cas d'une animation Flash, le fichier Flash crée est envoyé au destinataire sur l'adresse du destinataire, par exemple dans le corps d'un e-mail, qui peut alors visionner l'animation grâce à son player Flash. L'invention est décrite dans ce qui précède à titre d'exemple. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet. REVENDICATIONS 1. Procédé de génération d'au moins une séquence audiovisuelle à partir d'au moins une image avatar et d'au moins un message d'entrée comportant les étapes consistant a: analyser ledit message d'entrée pour produire au moins un marqueur en fonction des données composant ledit message d'entrée, ledit marqueur étant associé à ladite image avatar; - générer un signal audiovisuel, ledit marqueur pilotant un module graphique synchronisé avec un module de synthèse vocale pour la génération dudit signal audiovisuel; caractérisé en ce que ladite image avatar est obtenue par les étapes supplémentaires consistant à : - fournir une image initiale; - reconnaître au moins une partie spécifique de ladite image initiale; - générer ladite image avatar correspondant à au moins une modification de ladite image initiale au niveau de ladite partie spécifique de ladite image initiale. 2. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ladite reconnaissance d'une partie spécifique de ladite image initiale est réalisée par positionnement d'au moins un indicateur au niveau de ladite partie spécifique de ladite image. 3. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 2, caractérisé en ce que ledit positionnement est réalisé par le fournisseur de ladite image initiale. 4. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ladite reconnaissance de ladite partie spécifique est réalisée automatiquement par reconnaissance de forme au niveau de ladite image initiale. 5. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ledit module graphique est un module Flash 6. Procédé de génération d'au moins une séquence 15 audiovisuelle selon la revendication 1, caractérisé en ce que ledit module graphique est un module vidéo. 7. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce 20 que ledit module graphique est un module MMS. 8. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ladite image initiale correspond à la photographie d'au moins un visage. 9. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 8, caractérisé en ce que ladite partie spécifique dudit visage correspond à la bouche. 10. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ledit message d'entrée comprend au moins un texte composé d'un ensemble de phonèmes. 11. Procédé de génération d'au moins une séquence 5 audiovisuelle selon la revendication 1, caractérisé en ce que ledit message d'entrée comprend au moins une donnée environnementale. 12. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ledit procédé est réalisé au niveau d'au moins un serveur. 13. Procédé de génération d'au moins une séquence 15 audiovisuelle selon la revendication 1, caractérisé en ce que ladite image initiale est fournie via Internet. 14. Procédé de génération d'au moins une séquence audiovisuelle selon la revendication 1, caractérisé en ce que ladite image initiale est fournie via un terminal mobile.