Brevet FR3123487A1 — publié le 20221202

L’invention présente un procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo comprenant une étape d’étiquetage de séquences dudit jeu par la génération automatique de descripteurs à des séquences temporelles dudit jeu, caractérisé en ce que ladite étape d’étiquetage consiste à appliquer un traitement numérique, au flux audio, par une architecture de réseau neuronal [par exemple convolutif (CNN) (notamment pour l’audio et l’image) et une couche de codage NLP pour la tâche d'identification du langage, pour extraire une première série de descripteurs horodatés et à appliquer un traitement numérique au flux vidéo pour fournir une deuxième série de descripteurs horodatés par une architecture de réseau neuronal pour la tâche de caractérisation des scènes de chaque image dudit flux vidéo [reconnaissance de caractères sur les sous-titres, l’histogramme colorimétrique, et pour fournir une troisième série de descripteurs par un classificateur de composantes graphiques], et la transmission sous forme de M-uplets à un réseau de neurone le procédé comportant en outre un traitement de biosignaux générés par un moyen d’acquisition de l’état émotionnel d’au moins un joueur pour extraire des signaux horodatés valeur S arousal (t) et valeur S valence (t) et leur transmission sous forme de N-uplets à un réseau de neurones le procédé comportant en outre le traitement desdits M-uplets correspondant auxdits descripteurs horodatés du premier et du deuxième type et lesdits N-uplets par un réseau de neurones pour fournir au moins un indicateur prédictif de l’état émotionnel induit par un type de séquence audiovisuelle. Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo Domaine de l’invention La présente invention concerne le domaine du jeu vidéo, et plus particulièrement de l’adaptation automatique de l’expérience de jeu à la réaction émotionnelle des joueurs, de manière individualisée. Dans le jeu vidéo, la précision et la profondeur des mécaniques de jeu, ainsi que la conception d’un niveau, et de l’intelligence artificielle d’un personnage peuvent être la source d’émotion qui dépendent en partie du déroulé du jeu, et du tempérament du joueur ainsi que de son vécu ludique et son interaction défi-compétence passée et actuelle. Le but est d’aboutir à une expérience optimale correspondant à un état d’esprit plaisant dans lequel le joueur réussit à échapper à l’anxiété d’un objectif trop difficile à relever et à l’ennui d’un but trop facile à atteindre. Avec un jeu vidéo narratif, dans lequel le joueur adopte les préoccupations et les objectifs posés par le jeu et son récit, les émotions vidéoludiques peuvent résulter de la culpabilité pour avoir fait du mal, la peur d’être incapable de fuir un monstre, ou encore la joie pour avoir accompli une prouesse, ou la déception devant les conséquences malheureuses que le résultat négatif entraîne sur des personnages fictifs sympathiques. Les jeux vidéo les plus évolués cherchent à entrelacer et agencer conjointement et sans discordance des émotions artistiques, fictionnelles et vidéoludiques par un choix stylistique et une motivation narrative cohérentes, incluant l’animation de personnages, le mixage sonore et le design de niveaux. Le concepteur de jeu doit prendre en compte le fait que le joueur possède deux désirs contradictoires : l’un d’un ordre immédiat, qui est d’éviter l’échec ; l’autre d’un ordre esthétique, qui est de prendre part à une expérience incluant un échec partiel. L’industrie des jeux informatiques et vidéo à propose de nombreuses approches différentes pour améliorer les aspects sociaux de l'expérience de jeu, notamment en essayant de catégoriser les interactions entre le joueur et le jeu vidéo, et en essayant de modéliser les modes émotionnels induits par des paramètres du jeu. Etat de la technique Le brevet américain US10449461 concerne une solution pour annoter une trame vidéo générée par un jeu vidéo. Un modèle de jeu vidéo qui associe des étiquettes d'éléments à des éléments du jeu vidéo peut être généré. Le modèle de jeu vidéo peut être appliqué par une superposition de jeu vidéo s'exécutant en même temps que le jeu vidéo. La superposition de jeu vidéo peut recevoir une entrée d'utilisateur à distance provenant d'un ou de plusieurs dispositifs à distance sur un réseau. L'entrée d'utilisateur à distance peut être multiplexée et/ou normalisée, puis analysée par application du modèle de jeu vidéo pour extraire une étiquette d'élément correspondant au jeu vidéo. En appliquant le modèle de jeu vidéo, un élément de jeu du jeu vidéo correspondant à l'étiquette d'élément peut être identifié dans la trame vidéo. Sur la base de l'élément identifié dans la trame vidéo du jeu vidéo, la trame vidéo peut être annotée et présentée à l'utilisateur du jeu vidéo. La demande de brevet US10449461B1 décrit un modèle de jeu vidéo qui associe des étiquettes à des éléments du jeu vidéo. Le modèle de jeu vidéo peut être appliqué par une superposition de jeu vidéo s'exécutant simultanément avec le jeu vidéo. La superposition de jeu vidéo peut recevoir une entrée d'utilisateur à distance d'un ou plusieurs dispositifs distants sur un réseau. L'entrée d'utilisateur à distance peut être multiplexée et/ou normalisée, puis analysée en appliquant le modèle de jeu vidéo pour extraire une étiquette d'élément correspondant au jeu vidéo. En appliquant le modèle de jeu vidéo, un élément en jeu du jeu vidéo correspondant à l'étiquette d'élément peut être identifié dans l'image vidéo. Le but est de fournir une telle expérience de jeu social permettant à une pluralité d'individus situés à distance de discuter, de collaborer et d'aider à résoudre des missions de jeu ou analogues. Une telle solution est toutefois statique et ne permet pas de relier facilement l’état émotionnel du joueur avec la modélisation résultant de l’exploitation des étiquettes d’éléments du jeu. Le brevet européen EP3687388 (WARNER BROS ENTERTAINMENT) décrit un procédé pour signaler à des acteurs en direct et contrôler des accessoires et des effets pendant une performance d'acteurs en direct sur un plateau physique, le procédé consistant à : - recevoir, par un processeur informatique, des données de capteur provenant d'au moins un capteur positionné pour détecter une réponse biométrique involontaire d'un ou plusieurs membres du public faisant l'expérience d'une performance en direct par un ou plusieurs acteurs ; - déterminer, par le processeur informatique sur la base des données de capteur, une mesure de l'état neurologique du ou des membres du public; - générer, par comparaison des mesures avec un arc narratif ciblé, des directions d'étape pour la performance; et - signaler des directions de la scène au ou aux acteurs pendant la représentation en direct. Le but de ce brevet est d’aider les producteurs de films à succès et de pièces de théâtre immersif à offrir des expériences de divertissement plus convaincantes pour le public. Le brevet américain US10818312 (Disney Enterprises) propose une solution de génération de dialogues axés sur les effets induit sur le spectateur comprenant : une plate-forme informatique comprenant un processeur matériel et une mémoire système; un code logiciel stocké dans la mémoire système, le code logiciel comprenant une architecture séquence à séquence (seq2seq) entraînée à l'aide d'une fonction de perte ayant un terme de régularisation affectif basé sur une différence de contenu émotionnel entre une réponse de dialogue cible et une séquence de dialogue déterminé par l'architecture seq 2 seq pendant la formation. Le processeur matériel configuré pour exécuter le code logiciel pour: recevoir une séquence de dialogue d'entrée; générer, en utilisant l'architecture seq 2 seq, une pluralité de réponses de dialogue émotionnellement diverses à la séquence de dialogue d'entrée sur la base de la séquence de dialogue d'entrée et d'une émotion cible prédéterminée; déterminer, en utilisant l'architecture seq 2 seq, une séquence de dialogue finale en réponse à la séquence de dialogue d'entrée sur la base d'une pertinence émotionnelle de chacune de la pluralité de réponses de dialogue émotionnellement diverses à la séquence de dialogue d'entrée; et fournir la séquence de dialogue finale comme sortie pour répondre à la séquence de dialogue d'entrée. Inconvénients de l’art antérieur Les solutions de l’art antérieur ne sont pas totalement satisfaisantes car les signaux dermo-galvanique sont fortement perturbés par les artefacts se produisant à l’interface entre les capteurs et la peau de l’utilisateur. Lorsque celui-ci bouge, la qualité de la liaison électrique change, et les données sont ainsi bruitées. Solution apportée par l’invention Afin de remédier à ces inconvénients, la présente invention concerne selon son acception la plus générale procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo comprenant une étape d’étiquetage de séquences dudit jeu par la génération automatique de descripteurs à des séquences temporelles dudit jeu, caractérisé en ce que ladite étape d’étiquetage consiste à appliquer un traitement numérique au flux audio par une architecture de réseau neuronal convolutif (CNN) et une couche de codage (NetFV ou NetVLAD) pour la tâche d'identification du langage, pour extraire une première série de descripteurs horodatés et à appliquer un traitement numérique au flux vidéo pour fournir une deuxième série de descripteurs horodatés en fonction de l’histogramme colorimétrique, et pour fournir une troisième série de descripteurs par un classificateur de composantes graphiques, et la transmission sous forme de M-uplets à un réseau de neurone le procédé comportant en outre un traitement de biosignaux générés par un moyen d’acquisition de l’état émotionnel d’au moins un joueur pour extraire des signaux horodatés valeur S arousal (t) et valeur S valence (t) et leur transmission sous forme de N-uplets à un réseau de neurones le procédé comportant en outre le traitement par un réseau de neurones desdits M-uplets et N-uplets pour fournir au moins un indicateur prédictif de l’état émotionnel induit par un type de séquence audiovisuelle. Selon une première variante, on procède à l’aggrégation des M-uplets et des N-uplets provenant d’un joueur à plusieurs exécutions du même jeu vidéo. Selon une deuxième variante, on procède à l’agrégation des M-uplets et des N-uplets provenant du plusieurs joueurs utilisant le même jeu vidéo. Selon un mode de réalisation spécifique, on procède à une segmentation de la population de joueur et en ce que l’on procède au traitement par le réseau de neurone de l’agrégation des M-uplets et des N-uplets provenant d’un joueur à plusieurs exécutions du même jeu vidéo pour chacun des segments. L’invention concerne aussi un procédé pour le paramétrage automatique des séquences de jeu vidéo comprenant une étape de détermination, pour une séquence vidéo, dudit indicateur prédictif de l’état émotionnel induit par un type de séquence audiovisuelle par application du procédé susvisé, en ce que l’on compare l’indicateur mesuré calculé à partir des traitement de biosignaux générés par un moyen d’acquisition de l’état émotionnel d’un joueur et des signaux horodatés valeur S arousal (t) et valeur S valence (t) mesurés, en ce que l’on compare ledit indicateur prédictif et ledit indicateur mesuré, et en ce que l’on détermine au moins un paramètre d’ au moins une séquence vidéo suivante en fonction de la distance entre lesdits indicateurs. Description détaillée d’un exemple non limitatif de l’invention La présente invention sera mieux comprise à la lecture de la description qui suit, se référant aux dessins annexés relatives à un exemple non limitatif de réalisation, où : La représente une vue schématique de l’architecture fonctionnelle La représente une vue schématique d’un image de sortie du Réseau Adversaire Génératif Convolutionnel Profond(DCGAN). La illustre le résultat de ces traitements. Architecture fonctionnelle La description qui suit illustre un exemple d’architecture fonctionnelle de la solution de prédiction de l’effet émotionnel, permettant de dont le but technique est de fournir des données numériques destinées à modifier le déroulement d’un programme multimédias individuel ou collectif. Etape (1) : reconnaissance d’image (Computer Vision) Cette étape consite à créer à partir des images issues d’un jeu vidéo (100) des jeux données d’entrainement labélisés enregistrées dans une mémoire (10), constituées par une série d’images associées chacune à des données numériques correspondant à des labels ou classes, selon une terminologie issue d’une bibliotheque de jeux vidéos. Tous les objets et personnages qui peut comprendre des monstres, animaux, fourchettes, épees (non limitatif) deviennent des classes. Etape (2) Entraînement d’un modele neuronal à reconnaitre ses classes. La catégorisation des scènes est un problème fondamental en vision par ordinateur, et il est opportun de compléter les données d’apprentissage locale de la base (10) par des données de qualité provenant de sources vérifiées externe (20). En effet, la recherche sur la compréhension des scènes ne permet pas la capture de toute la variété des catégories de scènes. Ces données d’entraînement locales de la base (10) sont exploités dans l’exemple décrit par un moteur d’apprentissage, en complément d’autres données provenant de sources externes (20 telles que SUN : SUN Databas: Scene Categorization Benchmark (4919 Classes). La base de données SUN (Scene UNderstanding) contient 899 catégories et 130 519 images. Elle utilise 397 catégories bien échantillonnées pour évaluer des algorithmes de pointe pour la reconnaissance de scènes et établir de nouvelles limites de performance. Les caractéristiques de la source SUN sont décrite par exemple dans les articles suivants : J. Xiao, J. Hays, K. Ehinger, A. Oliva et A. Torralba. Base de données SUN: reconnaissance de scènes à grande échelle de l'abbaye au zoo . Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes ( CVPR ) J. Xiao, KA Ehinger, J. Hays, A. Torralba et A. Oliva. Base de données SUN : Exploration d'une grande collection de catégories de scènes International Journal of Computer Vision ( IJCV ) Le résultat de cette étape d’apprentissage est l’obtention de plusieurs modèles (3) qui reconnaissent une pluralité de classes d’objet sur une trame d’image (en anglais « frame »). Pour les nouveaux jeux (11) dont les objets ne sont pas encore connus on procède à un entraînement d’un modèle d’apprentissage automatique non supervisé pour détecter automatiquement (12) les objets (« softmasks extraits du background (detection object) ») puis les labelliser (13) à la main par un annotateur qui attribuera à chaque image extraite une ou plusieurs classes d’objets de descripteurs visuels (monstres, épée, chien etc..). A l’issue de cette étape on dispose de plusieurs modèles (3) deployables sur le cloud (30) qui peuvent reconnaitre X classes d’objets par frame. Les mêmes types de traitements sont appliqués au signal audio issu du jeu vidéo (100). On crée des jeux de données « datasets » (101) labélisés à partir de sequence audio d’un jeu (100). Le label permet de décrire l’ambiance (« stressante, dynamique, Epique etc… ») Des labels avec le moins de biais possible sont utilisés ainsi que des jeux de données d’audio d’ambiance pré labélisés (201). On entraine par une étape (31) également un modèle (32) pour reconnaitre le volume à partir de données (101) par exemple extraite du système en temps réel et les waveforms du signal audio par une étape d’extration (30). Un nouveau modèle est entraîné pour reconnaire par exemple du texte dans l’audio de différent languages à partir des waveforms et utilise pour transcrire le texte à partir du flux audio des modèles pré entrainés (201) comme ceux-ci-dessous (non limitatif) : Multi-Purpose NLP Models (ULMFiT, Transformer, Google’s BERT, Transformer-XL, OpenAI’s GPT-2) ; Word Embeddings (ELMo, Flair) ou StanfordNLP. Un modèle de reconnaissance par intelligene artificielle est également mis en oeuvre pour entrainer des données de textes afin de reconnaitre le texte afficher à l’écran (sous-titres ou autres informations). Création d’un nouveau jeu de données personnalisé L’étape suivante consiste à créer un nouveau jeu de données audio et images d’entrainement labélisées (50) et horodatées en associant les valeurs émotionnelles fournies par un équipement (51) par un procédé tel que décrit dans le brevet FR3100972A1. Ces données sont enregistrées et stockées à partir de toutes les parties des joueurs utilisant le cloud (30), image par image et flux audios. Puis le flux audio-visuel enregistrés est utilisé comme donnée d’entrée des algorithmes précédents : Le résultat de ce traitement est un un nouveau jeu de données avec les labels suivants horodatés et synchronisés : Classes Modeles Computer vision (SUN etc..) Classes monstres/objets (Jeux de données Jeux vidéo) Ambiance et volume sonore Texte de l’audio Texte de l’image Arousal et valence On entraine ensuite un nouveau modèle avec le nouveau jeu de données labélisées créée : en entrée les données visuelles : toutes les frames du flux vidéos (RGB) que nous pouvons redimensionner pour diminuer le besoin de calcul et les données du flux audio en utilisant la technique MelSpec (128 x 128 pixels) représentation (Grayscale) à partir de la waveform du flux audio et les données émotionnelles (arousal valence). Donc le modèle devrait pouvoir prédire un score arousal/valence à partir d’une frame et d’une série de représentation audio (images melspec). Ces modèles sont ensuite déployés sur le cloud pour disposer d’une prédiction en temps réel des émotions avant que les joueurs aient vraiment joué au jeu simplement à partir du flux audio vidéo. Ces prédictions seront comparées avec les vrai score émotionnels issues des algorithmes du brevet FR3100972A1 et une variable « LOSS » sera calculée afin de pouvoir afiner le modèle en permanence pour tous les joueurs. Pour la partie générative, pour un joueur donné. A chaque réaction émotionnelle forte (Arousal >70) on crée un jeu de données spécifiques émotionnels en enregistrant l’audio et les images du flux vidéo. On dispose ainsi des séquences émotionnelles enregistrées (Arousal > 70 et un score de valence). Par exemple la peur/colere (Arousal > 70 et valence 70 et valence >70). Les séquences sont transformées en nouveaux jeux de données sont utilisées comme données d’entrée des modèles de reconnaissance de classes d’objets. On selectionne uniquement les images ou un monstre est reconnu comme classe présente (probabilité de présence > 90%). Après un entrainement des images du modèle de 1000 epochs, on génére des images de faibles résolutions 128x128 via un modèle génératif convolutionel profond (DCGAN). En parallèle, on entraine un nouveau modèle Super Résolution Génératif à partir des images de hautes résolutions de la classe reconnue. Ce modèle a appris à reconstruire une image haute résolution à partir d’une image faible résolution. On utilise une image de sortie du Réseau Adversaire Génératif Convolutionnel Profond(DCGAN) pour produire une image de sortie du modèles DCGAN redimensionnées 64x64 pour être une donnée d’entrée du SRGAN Pour obtenir des textures plus réalistes on applique une méthode de Transfert de style neuronales par un traitement de ll’image avec un filtre convolutionel pour la moyenner(averaging): kernel = np.ones((5,5),np.float32)/25 img = cv.filter2D(img,-5,kernel) On applique ensuite le transfer de style avec un modèle pré entrainté VGG19 à partir d’une image haute résolution pour obtenir une image modifiée à partir des séquences émotionnelles. Traitement du flux audio On applique une méthode similaire pour le flux audio : Création des séquences emotionelles, les passer de l’algorithme de classification audio (pitch/ambiance) se focaliser sur une ambiance spécificque réconnue. Entraintement une modèle GAN audio pour créer des séquences similaires La illustre le résultat de ces traitements. – Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo comprenant une étape d’étiquetage de séquences dudit jeu par la génération automatique de descripteurs à des séquences temporelles dudit jeu, caractérisé en ce que ladite étape d’étiquetage consiste à appliquer un traitement numérique, au flux audio, par une architecture de réseau neuronal et une couche de codage NLP pour la tâche d'identification du langage, pour extraire une première série de descripteurs horodatés et à appliquer un traitement numérique au flux vidéo pour fournir une deuxième série de descripteurs horodatés par une architecture de réseau neuronal pour la tâche de caractérisation des scènes de chaque image dudit flux vidéo et pour fournir une troisième série de descripteurs par un classificateur de composantes graphiques, et la transmission sous forme de M-uplets à un réseau de neurone le procédé comportant en outre un traitement de biosignaux générés par un moyen d’acquisition de l’état émotionnel d’au moins un joueur pour extraire des signaux horodatés valeur S arousal (t) et valeur S valence (t) et leur transmission sous forme de N-uplets à un réseau de neurones le procédé comportant en outre le traitement desdits M-uplets correspondant auxdits descripteurs horodatés du premier et du deuxième type et lesdits N-uplets par un réseau de neurones pour fournir au moins un indicateur prédictif de l’état émotionnel induit par un type de séquence audiovisuelle. – Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo selon la revendication 1 caractérisé en ce que l’on procède à l’aggrégation des M-uplets et des N-uplets provenant d’un joueur à plusieurs exécutions du même jeu vidéo. – Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo selon la revendication 1 caractérisé en ce que l’on procède à l’agrégation des M-uplets et des N-uplets provenant du plusieurs joueurs utilisant le même jeu vidéo. – Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo selon la revendication précédente caractérisé en ce que l’on procède à une segmentation de la population de joueur et en ce que l’on procède au traitement par le réseau de neurones de l’agrégation des M-uplets et des N-uplets provenant d’un joueur à plusieurs exécutions du même jeu vidéo pour chacun des segments. – Procédé pour le paramétrage automatique des séquences de jeu vidéo comprenant une étape de détermination, pour une séquence vidéo, dudit indicateur prédictif de l’état émotionnel induit par un type de séquence audiovisuelle par application du procédé conforme à la revendication 1, en ce que l’on calcule un indicateur mesuré calculé à partir des traitement de biosignaux générés par un moyen d’acquisition de l’état émotionnel d’un joueur et des signaux horodatés valeur S arousal (t) et valeur S valence (t) mesurés, en ce que l’on compare ledit indicateur prédictif et ledit indicateur mesuré, et en ce que l’on détermine au moins un paramètre d’au moins une séquence vidéo suivante en fonction de la distance entre lesdits indicateurs.