Brevet FR3058607A1 — publié le 20180511

PF160142 - FR-NP 1 DISPOSITIF DE CAPTURE VIDEO AVEC CAPTURE DU MOUVEMENT DES YEUX DE L'UTILISATEUR Domaine technique La présente invention se rapporte au domaine de la capture de séquence vidéo à l'aide de dispositifs de capture munis d'une caméra avant et d'une caméra arrière. Etat de la technique Les téléphones mobiles et les tablettes sont de nos jours très utilisés pour filmer tout type d'événement, tels que par exemple des repas de famille, des mariages, des spectacles, des conférences. Pendant la capture, l'utilisateur regarde généralement l'écran de son téléphone ou de sa tablette pour s'assurer que la scène capturée est bien cadrée et qu'elle montre bien les personnes et/ou les objets souhaités. L'utilisateur est donc contraint de regarder la scène au travers de l'écran du téléphone. Il peut en résulter un sentiment de frustration de ne pouvoir regarder directement la scène. Il existe donc un besoin d'aider l'utilisateur à pouvoir filmer une scène sans avoir à surveiller constamment l'écran du dispositif de capture. Ce besoin est d'autant plus difficile à satisfaire lorsque la scène comporte des éléments qui se déplacent et que la capture doit suivre ces éléments. 3058607 PF160142 - FR-NP 2 La figure 1 illustre schématiquement le cas d'un père P filmant avec son téléphone mobile T le spectacle de danse de sa fille F. Ce père souhaite tout particulièrement filmer sa fille. Comme le montre la 5 figure, le père est alors contraint de regarder le spectacle au travers de l'écran de son téléphone pour s'assurer qu'il filme bien sa fille. Il réoriente son téléphone au gré des déplacements de sa fille. Résumé de l'invention 10 L'invention propose une solution permettant d'éviter à l'utilisateur d'avoir à regarder en permanence la scène filmée au travers de l'écran de son dispositif de capture vidéo pour réorienter si nécessaire le dispositif de capture vidéo. 15 Selon l'invention, on considère que l'utilisateur souhaite filmer ce qu'il regarde. Par ailleurs, les dispositifs de capture vidéo, tels que les téléphones mobiles ou les tablettes, sont désormais, et de manière standard, équipés d'une caméra avant pour filmer une 20 scène frontale et une caméra arrière pour capturer l'utilisateur, en particulier son visage, en particulier ses yeux. Selon l'invention, il est donc proposé d'utiliser la caméra arrière du dispositif de capture vidéo pour 25 suivre le regard de l'utilisateur, estimer le déplacement de l'objet, appelé objet d'intérêt, que suit du regard l'utilisateur et en déduire si l'objet d'intérêt est toujours dans la scène capturée par la caméra avant du dispositif. 3058607 PF160142 - FR-NP 3 Plus particulièrement, l'invention concerne un dispositif de capture d'images vidéo comprenant : - une caméra, dite caméra avant, pour capturer des images, dites images avant, d'une scène frontale 5 comportant initialement un objet d'intérêt pour l'utilisateur du dispositif, ledit objet d'intérêt étant potentiellement mobile et susceptible de sortir de la scène frontale capturée, - une caméra, dite caméra arrière, pour capturer des 10 images, dites images arrière, d'une scène arrière, ladite caméra arrière étant configurée pour capturer des images des yeux d'un utilisateur du dispositif, formant les images arrière, - un circuit de traitement des images arrière pour 15 estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et - un circuit de décision pour déterminer, à partir du 20 déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action. Selon un mode de réalisation particulier, l'action déclenchée est l'émission d'un signal sonore et/ou 25 l'émission d'une vibration. Selon un autre mode de réalisation particulier, la caméra avant est montée mobile dans ledit dispositif et l'action consiste à déplacer la caméra avant pour modifier l'axe de prise de vue. 3058607 PF160142 - FR-NP 4 Selon un autre mode de réalisation particulier, le dispositif comporte un accéléromètre pour estimer le mouvement du dispositif et le mouvement estimé du dispositif est fourni au circuit de traitement. Le 5 circuit de traitement estime alors le déplacement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif. L'invention concerne également un procédé de capture 10 d'images vidéo comprenant les étapes suivantes : - capturer avec une caméra dite caméra avant, des images, dites images avant, d'une scène frontale comportant initialement un objet d'intérêt pour l'utilisateur du dispositif, ledit objet d'intérêt 15 étant potentiellement mobile et susceptible de sortir de la scène frontale capturée, - capturer, avec une caméra dite caméra arrière, des images, dites images arrière, d'une scène arrière, et caractérisé en ce que la caméra arrière est configurée 20 pour capturer des images des yeux d'un utilisateur, formant les images arrière, et en ce que le procédé comprend en outre les étapes suivantes: - traiter les images arrière pour estimer le mouvement 25 des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et - déterminer, à partir du déplacement estimé de 30 l'objet d'intérêt, si l'objet d'intérêt sort de la 3058607 PF160142 - FR-NP 5 scène frontale capturée et, dans l'affirmative, déclencher une action. Comme mentionné précédemment, l'action déclenchée est l'émission d'un signal sonore et/ou l'émission d'une 5 vibration ou bien, si la caméra avant est mobile, l'action consiste à déplacer la caméra avant pour modifier son axe de prise de vue. Selon un autre mode de réalisation particulier, le procédé comporte en outre une étape d'estimation du 10 mouvement de caméra avant et de la caméra arrière. On estime alors le mouvement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif. D'autres avantages pourront encore apparaître à l'homme 15 du métier à la lecture des exemples ci-dessous, illustrés par les figures annexées, donnés à titre illustratif. Brève description des figures - La figure 1, déjà décrite, est une vue schématique 20 illustrant la capture vidéo d'une scène avec un dispositif selon l'art antérieur ; - La figure 2 est une vue schématique illustrant la capture vidéo de la même scène avec un dispositif conforme à l'invention ; 25 - La figure 3 est un schéma fonctionnel d'un dispositif de capture vidéo selon un mode de réalisation de l'invention, et 3058607 PF160142- FR-NP 6 - La figure 4 est un organigramme des étapes du procédé selon l'invention. Description détaillée de l'invention La figure 2 illustre une opération de capture vidéo 5 avec un dispositif de capture vidéo selon l'invention. Selon l'invention, la caméra avant du dispositif est utilisée pour filmer la scène désirée pendant que la caméra arrière est utilisée pour capturer des images des yeux, au moins, de l'utilisateur. Un algorithme de 10 détection du mouvement des yeux est alors appliqué sur les images capturées par la caméra arrière pour estimer le mouvement des yeux de l'utilisateur et en déduire le déplacement de l'objet d'intérêt dans la scène filmée par la caméra avant. L'utilisateur peut alors 15 positionner le dispositif de capture vidéo en dehors de son champ de vision comme illustré sur la figure 2. La position de l'objet d'intérêt dans la scène filmée par la caméra est en permanence estimée et l'utilisateur est averti quand l'objet d'intérêt sort de la scène 20 filmée par la caméra avant. La figure 3 représente un schéma fonctionnel d'un dispositif de capture vidéo 1 conforme à l'invention. Le dispositif de capture vidéo 1 comprend une caméra avant 10 pour capturer des images d'une scène frontale, 25 par exemple un spectacle comme sur les figures 1 et 2, comportant un objet d'intérêt et une caméra arrière 11 pour capturer des images d'une scène arrière. La caméra arrière 11 est plus particulièrement configurée pour capturer des images des yeux de l'utilisateur du 3058607 PF160142 - FR-NP 7 dispositif. Elle peut capturer une scène plus large que les yeux de l'utilisateur, par exemple sa tête. Le dispositif 1 comporte également un circuit de traitement d'image 12 pour traiter les images capturées 5 par la caméra arrière 11 et un circuit de décision 13. Le circuit de traitement d'image 12 met en oeuvre un algorithme d'estimation du mouvement des yeux de l'utilisateur et un algorithme d'estimation du déplacement de l'objet d'intérêt à partir du mouvement 10 estimé des yeux. Le circuit de décision 13 détermine ensuite, à partir du déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale et, dans l'affirmative, déclenche une action. Cette action peut être multiple. Elle peut consister à 15 avertir l'utilisateur que l'objet d'intérêt est en train de sortir de la scène frontale filmée et qu'il doit donc modifier l'orientation ou la position du dispositif de capture vidéo pour conserver l'objet d'intérêt dans la scène filmée. Le circuit de décision 20 13 envoie par exemple une commande à un vibreur 14 du dispositif pour que celui-ci se mette à vibrer. Il peut également déclencher l'émission d'un signal sonore par un haut-parleur 15. Le vibreur 14 et le haut-parleur 15 font partie intégrante du dispositif de capture. En 25 variante, le vibreur 14 et le haut-parleur 15 sont des éléments séparés du dispositif de capture pour ne pas gêner l'enregistrement de la vidéo ; par exemple le vibreur 14 peut être intégrer dans une montre ou un vêtement et le haut-parleur 15 peut être une oreillette. Ainsi la vibration et/ou le son ne seront 3058607 PF160142 - FR-NP 8 pas enregistrés par le dispositif de capture. L'action déclenchée par le circuit de décision 13 correspond à un signal représentatif d'une vibration à destination du vibreur 14 ou à un signal représentatif d'un son à 5 destination du haut-parleur 15. En variante, l'action déclenchée par le circuit de décision 13 comporte plusieurs signaux à destination de plusieurs effecteurs, par exemple des vibreurs ou de haut-parleurs. 10 Si la caméra avant 10 est une caméra montée mobile dans le dispositif de capture, l'action peut aussi consister à déplacer la caméra avant pour modifier son axe de prise de vue et ainsi conserver l'objet d'intérêt dans la scène filmée. 15 L'estimation du déplacement de l'objet d'intérêt dans la scène filmée nécessite une calibration du circuit de traitement d'image 12 et/ou du circuit de décision 13, notamment pour déterminer un paramètre de correspondance (ou facteur d'échelle) entre le 20 mouvement des yeux et le déplacement de l'objet d'intérêt dans la scène capturée par la caméra avant 10. Selon l'invention, on suppose que la façon dont l'utilisateur tient le dispositif de capture vidéo par 25 rapport à sa tête est connue par les circuits 12 et 13. Le paramètre de correspondance peut alors être déterminé de la manière suivante. L'utilisateur fixe les quatre coins d'un cadre, réel ou virtuel, dans la scène réelle pour un réglage, dit de référence, du zoom 3058607 PF160142 - FR-NP 9 de la caméra avant de sorte que la scène capturée par la caméra corresponde au cadre mentionné précédemment. La caméra arrière capture le mouvement des yeux de l'utilisateur. Ce mouvement des yeux est estimé dans 5 les images arrière par un algorithme approprié, tel que celui décrit dans la demande américaine US 20150092983 Al. On peut alors en déduire que, pour ce zoom dit de référence, le mouvement des yeux estimé dans les images arrière correspond à un déplacement de l'objet 10 d'intérêt sur le pourtour de la scène. Plus particulièrement, le déplacement des yeux entre le coin supérieur gauche et le coin supérieur droit correspond à un déplacement de l'objet d'intérêt entre le bord gauche et le bord droit de la scène de la scène. De 15 même, le déplacement des yeux entre le coin supérieur droit et le coin inférieur droit correspond à un déplacement de l'objet d'intérêt entre le bord supérieur et le bord inférieur de la scène de la scène. On peut alors en déduire une correspondance entre le 20 mouvement des yeux et le déplacement de l'objet d'intérêt dans la scène pour le zoom de référence. Si on considère initialement un objet d'intérêt au centre de la scène filmée et si on détecte un mouvement des yeux égal à la moitié du mouvement estimé pour un 25 déplacement de l'objet d'intérêt entre le bord gauche et le bord droit, on peut en déduire que l'objet d'intérêt est sur le point de sortir de la scène filmée. En fonctionnement, le dispositif de capture de 30 l'invention est utilisé de la manière suivante. 3058607 PF160142 - FR-NP 10 L'utilisateur lance la capture vidéo par la caméra avant. Cela déclenche automatiquement la capture d'images des yeux de l'utilisateur par la caméra arrière. 5 Selon un mode de réalisation de base, l'utilisateur place l'objet d'intérêt au centre de la scène filmée par la caméra avant. Cela permet de connaitre la position initiale de celui-ci dans la scène filmée sans avoir à traiter les images avant. 10 En variante, l'utilisateur peut sélectionner la position initiale de l'objet d'intérêt en le pointant sur un écran tactile du dispositif de capture affichant les images capturées par la caméra avant. En supposant que l'utilisateur suit l'objet d'intérêt, 15 le mouvement de ses yeux donne une information sur le déplacement de l'objet d'intérêt. Le circuit de traitement d'image estime alors le déplacement de l'objet d'intérêt à partir du mouvement estimé des yeux de l'utilisateur et du facteur de zoom de la caméra 20 avant. Si le facteur de zoom employé (Z) est différent du zoom de référence (Zref), il faut multiplier le déplacement de l'objet d'intérêt estimé à partir du mouvement estimé des yeux par le rapport Z/Zref. Lorsque le circuit de décision détermine, à partir du 25 déplacement estimé de l'objet d'intérêt, que ce dernier a atteint a atteint un bord de la scène filmée, il déclenche une alarme, par exemple l'émission d'un signal sonore et/ou d'une vibration. Avantageusement, on déclenche cette alarme avant que l'objet n'atteigne 3058607 PF160142 - FR-NP 11 un bord de la scène. On la déclenche par exemple à une distance seuil prédéterminée avant que l'objet d'intérêt n'atteigne le bord. Cette distance seuil peut varier au cours de la capture et dépendre notamment de 5 la vitesse de déplacement de l'objet d'intérêt. La réception de cette alarme invite l'utilisateur à vérifier la position du dispositif de capture et à se repositionner par rapport à la scène si nécessaire. L'utilisateur doit se repositionner, par exemple en 10 pivotant angulairement sur ses pieds de manière à conserver la position du dispositif de capture par rapport à sa tête. En variante, on peut autoriser l'utilisateur à bouger le dispositif de capture pendant la capture vidéo. On 15 mesure alors le déplacement du dispositif, par exemple avec une unité de mesure inertielle comprenant par exemple un ou plusieurs accéléromètre(s) (tel que l'accéléromètre montré sur la figure 3) et/ou un ou plusieurs gyroscope(s) et/ou une boussole et/ou un 20 niveau, embarquée dans le dispositif de capture. En variante, le déplacement du dispositif de capture peut être détecté par un système de positionnement externe au dispositif de capture, par exemple un réseau de caméras infra-rouge. Le circuit de traitement estime 25 alors le déplacement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif et en fonction du facteur de zoom appliqué au dispositif de capture. Avantageusement, cette variante permet de corriger les 3058607 PF160142 - FR-NP 12 erreurs liées aux déplacements involontaires du dispositif de capture par l'utilisateur. L'invention concerne également un procédé de capture vidéo avec un dispositif de capture comprenant une 5 caméra avant et une caméra arrière. La figure 4 illustre les étapes de ce procédé. Selon une première étape El, on capture une scène frontale à filmer avec la caméra avant du dispositif de capture. La scène frontale comporte un objet d'intérêt 10 que l'utilisateur souhaite voir apparaître dans les images tout au long de la capture. Selon une étape E2, on capture avec la caméra arrière des images des yeux, au moins, de l'utilisateur. Selon une étape E3, on traite les images de la caméra 15 arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale à partir du mouvement estimé des yeux de l'utilisateur. Selon une étape E4, on détermine, à partir du 20 déplacement estimé de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, on déclenche une alarme pour prévenir l'utilisateur. L'invention est décrite dans ce qui précède à titre 25 d'exemple. Il est entendu que la personne de l'art est à même de réaliser différentes variantes de réalisation de l'invention, en associant par exemple les différentes caractéristiques ci-dessus prises seules ou 3058607 PF160142 - FR-NP 13 en combinaison, sans pour autant sortir du cadre de l'invention. REVENDICATIONS1) Dispositif (1) de capture d'images vidéo comprenant : - une caméra, dite caméra avant (10), pour capturer des images, dites images avant, d'une scène frontale comportant initialement un objet d'intérêt pour un utilisateur du dispositif, ledit objet d'intérêt étant potentiellement mobile et susceptible de sortir de la scène frontale capturée, - une caméra, dite caméra arrière (11), pour capturer des images, dites images arrière, d'une scène arrière, et caractérisé en ce que la caméra arrière est 15 configurée pour capturer des images des yeux de l'utilisateur du dispositif, formant les images arrière, et en ce que le dispositif comporte en outre - un circuit de traitement (12) des images arrière pour estimer le mouvement des yeux de 20 l'utilisateur et estimer le déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et - un circuit de décision (13) pour déterminer, à partir du déplacement estimé de l'objet d'intérêt, si 25 l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action. 2) Dispositif selon la revendication 1, dans lequel l'action déclenchée est l'émission d'un signal 30 sonore et/ou l'émission d'une vibration. 3058607 PF160142 - FR-NP 3) Dispositif selon la revendication 1, dans lequel la caméra avant est montée mobile dans ledit dispositif et dans lequel l'action consiste à déplacer la caméra avant pour modifier l'axe de prise de vue. 5 4) Dispositif selon l'une quelconque des revendications précédentes comportant un accéléromètre (16) pour estimer le mouvement du dispositif, dans lequel le mouvement estimé du dispositif est fourni au 10 circuit de décision et dans lequel le circuit de traitement estime le déplacement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif. 15 5) Procédé de capture d'images vidéo comprenant les étapes suivantes; - capturer (El), avec une caméra dite caméra avant, des images, dites images avant, d'une scène frontale comportant initialement un objet d'intérêt pour un utilisateur du dispositif, ledit objet d'intérêt étant potentiellement mobile et susceptible de sortir de la scène frontale capturée, - capturer (E2), avec une caméra dite caméra arrière, des images, dites images arrière, d'une scène 25 arrière, et caractérisé en ce que la caméra arrière est configurée pour capturer des images des yeux de l'utilisateur, formant les images arrière, et en ce que le procédé comprend en outre les 30 étapes suivantes: - traiter (E3) les images arrière pour estimer le mouvement des yeux de l'utilisateur et estimer le 3058607 PF160142 - FR-NP 16 déplacement de l'objet d'intérêt dans la scène frontale capturée à partir du mouvement estimé des yeux de l'utilisateur, et - déterminer (E4), à partir du déplacement estimé 5 de l'objet d'intérêt, si l'objet d'intérêt sort de la scène frontale capturée et, dans l'affirmative, déclencher une action. 6) Procédé selon la revendication 5, dans lequel 10 l'action déclenchée est l'émission d'un signal sonore et/ou l'émission d'une vibration. 7) Procédé selon la revendication 5, dans lequel la caméra avant est montée mobile dans ledit dispositif 15 et dans lequel l'action consiste à déplacer la caméra avant pour modifier l'axe de prise de vue. 8) Procédé selon la revendication 5, comportant en outre une étape d'estimation du mouvement de caméra 20 avant et de la caméra arrière et dans lequel on estime le déplacement de l'objet d'intérêt à partir de la différence entre le mouvement estimé des yeux et le mouvement estimé du dispositif.25