Brevet FR2836567A1 — publié le 20030829

DESCRIPTION Domaine de linvention L'invention concerne un procédé de montage pour produire un matériel de sortie à partir d'un matériel d'entrée comportant des images et/ou des séquences d'images. Llnvention concerne aussi u n program me comportant des instructions pour la mise en oeuvre d'un tel s procédé de montage lorsqull est exécuté par un processeur. Llnvention con_rne aussi un équipement électronique doté de moyens de lecture d'un matériel d'entrée comportant des images eVou des séquences dimages, et de moyens de traitement dudit matériel d'entrée pour produire un matériel de sortie à partir dudit matériel d'entrée. Arrière plan technoloaique de linvention Le brevet US 5,404,316 décrit un procédé de traitement vidéo permettant de faire de l'édition vidéo. Le procédé décrit dans ce brevet est adapté à des utilisations professionnelles. Il est trop complexe pour être utilisé par le grand-public. Il est aussi trop complexe pour être mis en _uvre sur des équipements électroniques grand-public ayant des capacités de traitement eVou d'affichage limitées, en particulier sur des équipements électroniques portables. Résumé de linvention Un but de l'invention est de proposer un procédé de montage destiné à être utilisé par le grand-public, et susceptibie d'être mis en _uvre sur des équipements électroniques grand public ayant des capacités de traitement eVou d'affichage limitées, par exemple sur des caméras ou des appareils photos numériques. Ce but est atteint avec un procédé de montage selon l1nvention, tel que décrit dans le paragraphe introductif, et caractérisé en ce qu'il comporte: 2s - au moins une étape d'acquisition d'un plan en plusieurs parties relatif audit matériel de sortie, - au moins une étape de sélection, à partir d'une description dudit matériel d'entrée, d'images et ou séquences dimages correspondant aux dites parties, - au moins une étape d'ordonnancement, selon ledit plan, des images et / ou séquences d'images sélectionnées. Optionnellement, un procédé de montage selon l'invention comporte aussi, pour générer ladite description: - une étape d'extraction automatique d'une structure dudit matériel d'entrée, - une étape d'annotation de ladite structure à partir d'informations sémantiques fournies par un utilisateur. Ainsi, selon l'invention, au lieu d'effectuer des opérations de montage classiques telles que la sélection, le coupage, le collage dimages ou de séquences dimages, l'utilisateur fournit un plan pour le matériel de sortie, et dans certains cas, il annote une structure dudit matériel 2 2836567 d'entrée, ladite structure étant obtenue par extraction automatique. Le montage se fait ensuite automatiquement en suivant le plan défini par l'utilisateur. Le plan du matériel de sortie et les informations sémantiques sont fournies par l'utilisateur dans son langage naturel, par exemple manuellement en utilisant un clavier ou oralement en utilisant des outils de reconnaissance vocale. Les opérations qui sont effectuées par l'utilisateur conformément à l'invention sont donc beaucoup plus simples que les opérations qui doivent être effectuées avec un procédé de montage selon l'art antérieur. Elles ne requièrent aucun savoir-faire spécifique. En particulier il n'est pas nécessaire de savoir manipuler correctement l'outil informatique pour utiliser un lo procédé de montage selon l'invention. De plus, pour mettre en _uvre un procédé de montage selon l'invention, il n'est pas nécessaire de disposer d'une interface utilisateur sophistiquée. Par conséquent l'invention peut être mise en _uvre dans une grande variété d'équipements électroniques, notamment des équipements éle*roniques portables, par exemple des caméras ou des appareils photo numériques. Llnvention présente aussi l'avantage de permettre à l'utilisateur de modifier le montage obtenu, de façon simple et autant de fois qull le souhaite. En effet, un matériel de sortie Vo peut constituer un nouveau matériel d'entrée Vi' pour une nouvelle mise en _uvre du procédé de montage selon l'invention. Il sufffit à l'utilisateur de modifier le plan P. par exemple de supprimer ou de déplacer une phrase pour obtenir un nouveau montage. Brève description des fiaures D'autres détails et avantages de l'invention appara^'tront dans la description qui va suivre, faite en regard des dessins annexés donnés à titre d'exemples non limitatifs: - la figure 1 est un diagramme décrivant les principales étapes d'un procédé de montage selon l'invention, - la figure 2 est un exemple d'équipement électronique selon linvention. Description d'un mode de réalisation de linvention Sur la figure 1, on a représenté un diagramme résumant les différentes étapes d'un procédé de montage selon l'invention. Le procédé de montage selon 11nvention permet de générer un matériel de sortie Vo à partir d'un matériel d'entrée Vi qui comporte des images et/ou séquences dimages, en tenant compte dinstructions définies par un utilisateur U. Le procédé de montage selon l'invention utilise une description D du matériel d'entrée Vi. Le procédé selon linvention comporte une étape S1 d'acquisition d'un plan P relatif au matériel de sortie que l'utilisateur souhaite obtenir. Ce plan P est défini par l'utilisateur U. Il comporte plusieurs parties Tj (j=1,...,N). 3 2836567 Le procédé selon l1nvention comporte des étapes de sélection 52 pour sélectionner dans la description D des images eVou séquences d'images correspondant à chacune des parties Tj du pian P. Il comporte aussi des étapes d'ordonnancement S3 pour ordonnancer les images eVou séquences dimages sélectionnées selon le plan P. s Pour la mise en _uvre des étapes 52 et S3, le plan P est parcouru partie par partie. Pour chaque partie Tj: - une étape S2-1 d'analyse logique du contenu de la partie Tj permet de générer un critère de recherche Q(Tj) relatif à ladite partie, - une étape S2-2 de recherche dans la description D permet de sélectionner une ou plusieurs images eVou séquences d'images VS(j, k) répondant au critère de recherche Q(Tj), - et l'étape d'ordonnancement S3 consiste à ajouter la ou les images et/ou séquences dimages sélectionnées à la suite de la ou des images eVou séquences dimages précédemment sélectionnées. La suite dimages et/ou séquences dimages obtenue à la fin de la dernière étape d'ordonnancement 53 constitue le matériel de sortie Vo. Ce matériel d'entrée Vo peut constituer un nouveau matériel d'entrée Vi' pour une nouvelle mise en _uvre des étapes 51, 52 et 53. Dans _ cas, à l'étape 51, l'utilisateur peut soit définir un nouveau plan P', soit modifier le plan P initial, en ajoutant, supprimant ou déplasant une ou plusieurs parties Tj. Avantageusement le procédé de montage selon l'invention comporte une étape optionnelle SO de génération de la description D L'étape SO est mise en _uvre lorsqu'aucune description n'est disponible pour le matériel d'entrée Vi. Avantageusement, l'étape SO comporte: - une étape SO-1 d'extraction automatique d'une structure du matériel d'entrée Vi, - une étape 50-2 d'annotation de ladite structure à partir dinformations sémantiques I fournies par l'utilisateur. Des outils pour générer une description d'un tel matériel d'entrée sont par exemple décrits dans l'article intitulé aA Survey on the Automatic Indexing of Video Data >> publié par R. Brunelli, O. Mich et C. M. Modena dans la revue a Journal of Visual Communication and Image Representation 10, 78-112 (1999) ". Avantageusement, la description produite avec ce type d'outils est conforme à la norme MPEG-7. Une description MPEG-7 est une structure hiérarchique de segments vidéo qui comportent des éléments qui sont des instances de descripteurs définis dans la norme MPEG-7. Parmi les descripteurs définis dans la norme MPEG-7, figurent des descripteurs destinés à être utilisés pour décrire les aspects conceptuels qui ne peuvent pas se déduire automatiquement du matériel d'entrée (par exemple le contexte, le lieu, le temps, l'action, les objets, les 3s personnes). Le contenu des éléments qui sont des instances de ces descripteurs doit être fourni par un opérateur. Lorsque le procédé de montage selon linvention comporte une étape SO de génération de la description D, le contenu des éléments qui sont des instances de ces descripteurs est constitué par les informations sémantiques I fournies par l'utilisateur U. 4 2836567 Pour permettre d'établir une correspondance entre le plan P et la description D, il faut q ue le plan P et les informations séma ntiques I soient définis da ns un méme la ngage, par exemple da ns une la ngue parlée par l'utilisateur U. Dans ce cas chaque pa rtie Tj du plan P est constituée par une phrase. Le plan P et les informations sémantiques I sont saisies manuellement en utilisant un clavier, ou oralement en utilisant des moyens de reconnaissance vocale. On va maintenant donner un exemple d'une description D pour un matériel d'entrée constitué de séquences vidéo filmées par l'utilisateur pendant ses vacances (cette description D est une description conforme à la norme MPEG-7; elle est écrite dans le langage de balisage XML défini par le consortium W3C): Exemple de description file:///D:\VIDEOS\vacances.mpg video 25.0 Paris 3s 21 Juillet 2000 En avion s 2836567 5 11 lo Tour Eiffel Visite Pa ris 22 Juillet 2000 Is 16 37 Panthéon 23 Juillet 2000 53 28 Diner Restaurant 6 2836567 81 20 101 22 5 118 Dans cet exemple, les informations sémantiques I ont été indiquées en caractères gras. Cette description comporte un segment relatif à l'ensemble du matériel d'entrée Vi. Ce segment comporte lui-même 4 éléments relatifs à 4 segments vidéo. Les éléments comportent notamment des éléments , , , qui décrivent respectivement le type de l'action, le lieu de l'action, le temps de l'action et le mode d'action, et qui contiennent des informations sémantiques. L'élement et les éléments ont chacun un attribut " id >> contenant un titre. Ce titre est aussi une information sémantique. On va maintenant donner un exemple de plan P pouvant être utilisé pour générer un matériel de sortie Vo à partir du matériel d'entrée Vi qui est décrit dans cette description: 7 2836567 Exemple de plan " Pendant les vacances, nous avons passé deux jours à Paris. Nous sommes descendus à l'hotel Beauséjour. Nous avons fait un tour au Panthéon. Nous avons aussi visité la Tour Eiffel. Nous avons conclu notre voyage par un dner en amoureux.> - s Dans cet exemple, le matériel de sortie Vo comportera les 4 segments vidéo contenus dans le matériel d'entrée Vi, mais réordonnés de la fa5On suivante: hôtel >>, " Un tour au panthéon >>, " Visite de la Tour Eiffel >>, " D'ner en amoureux ". Pour la mise en _uvre de l'étape S2-1 de formulation d'un critère de recherche, plusieurs modes de réalisation sont utilisables. Dans un premier mode de réalisation, le critère de recherche est constitué par la phrase entière. Dans un second mode de réalisation, un ou plusieurs mots significatifs sont extraits de la phrase Tj (par exemple en utilisant un dictionnaire pour supprimer les mots inutiles tels que le articles, les prépositions, les liens entre les mots...). Les mots extraits sont ensuite utilisés indépendamment les uns des autres pour former un critère de recherche. Dans un troisième mode de réalisation, une analyse grammaticale est effectuée de façon à établir des liens logiques entre les mots significatifs. Et les mots extraits sont ensuite utilisés en combinaison pour former un critère de recherche. Avantageusement, l'analyse grammaticale est aussi utilisée pour déterminer le descripteur sur lequel la recherche doit porter pour chaque mot ou combinaison de mots contenu dans le critère de recherche. Par exemple, si l'analyse grammaticale montre que le premier mot significatif de la phase est un nom propre relatif à une personne, le descripteur à scruter pour ce premier mot sera le descripteur "who"; si l'analyse grammaticale montre que le second mot significatif de la phrase est un lieu, le descripteur à scruter pour ce second mot sera le descripteur "where"Dans ce cas, le segment video qui répond au critère de recherche est celui pour lequel: l'élément contient ledit premier mot, - et l'élément contient ledit second mot. Sur la figure 2 on a donné un exemple d'équipement électronique selon l'invention. D'après la figure 2, un équipement 10 selon linvention comporte des moyens 11 de lecture d'un matériel d'entrée Vi, une mémoire de programme 12 et un processeur 14. Le matériel d'entrée Vi est stocké dans une mémoire de données 15 qui fait ou non partie de l'équipement 10. Cette mémoire de données 15 est par exemple constituée par un composant, un disque dur, ou un support amovible du type disque, cassette, disquette... L'équipement 10 comporte aussi une interface utilisateur 16 qui permet au moins à l'utilisateur de saisir un plan P pour la mise en _uvre du procédé de montage selon l1nvention. Optionnellement, l1nterface utilisateur 16 permet aussi de saisir les informations sémantiques I destinées à être utilisées pour annoter la description du matériel d'entrée Vi. Dans un premier mode de réalisation, l'interface 16 est une 8 2836567 interface vocale. El le comporte un microphone et des moyens logiciels de reconnaissance vocale stockés dans la mémoire de programme 12. De fason optionnelle elle comporte aussi un écran d'affichage. Dans un deuxième mode de réalisation, I'interface 16 est une interface tactile. Elle comporte par exemple un clavier et un écran d'affichage, ou un écran tactile. La mémoire de programme 12 contient notamment un programme CP qui comporte des instructions pour implémenter un procédé de montage selon 11nvention lorsque le programme CP est exécuté par le processeur 14. Le matériel de sortie Vo généré avec le procédé de montage selon 11nvention est par exemple stocké dans la mémoire de données 15. Dans certains cas, I'équipement 10 comporte aussi des moyens 20 de capture du o matériel d'entrée Vi. 9 2836567 REVENDICATIONS 1. Procédé de montage pour produire un matériel de sortie (Vo) à partir d'au moins un matériel d'entrée (Vi) comportant des images et/ou des séquences dimages, caractérisé en ce qull comporte: - au moins une étape (51) d'acquisition d'un plan (P) en plusieurs parties (Tj) relatif audit matériel de sortie, - au moins une étape (S2) de sélection, à partir d'une description (D) dudit matériel d'entrée, d'images et ou séquences d'images correspondant aux dites parties, - au moins une étape (S3) d'ordonnancement, selon ledit plan, des images et / ou séquen_s dimages sélectionnées. 2. Procédé de montage selon la revendication 1, caractérisé en ce qu'il comporte, pour générer ladite description: - une étape (S0-1) d'extraction automatique d'une structure dudit matériel d'entrée, - une étape (S0-2) d'annotation de ladite structure à partir dinformations sémantiques (I) fournies par un utilisateur (U). 3. Procédé de montage selon la revendication 1, caractérisé en ce que ladite étape de sélection comporte: - une étape (S2-1) d'analyse dudit plan (P) pour générer au moins un critère de recherche (Q(Tj)) relatif à chacune desdites parties (Tj), - une étape (S2-2) de recherche dans ladite description (D) d'une ou plusieurs images et/ou séquences d'images répondant à chaque critère de recherche (Q(Tj)). 4. Equipement électronique doté de moyens de lecture (11) d'un matériel d'entrée (Vi) comportant des images et/ou des séquences d'images, et de moyens de traitement (12, 14, 16, CP) dudit matériel d'entrée pour produire un matériel de sortie (Vo) à partir dudit matériel d'entrée, caractérisé en ce que lesUits moyens de traitement comportent: - des moyens d'acquisition d'un plan en plusieurs parties relatif audit matériel de sortie, - des moyens de sélection, à partir d'une description dudit matériei d'entrée, dimages et ou séquences dimages correspondant aux dites parties, - des moyens d'ordonnancement, selon ledit plan, des images et / ou séquences dimages sélectionnées. 5. Equipement électronique selon la revendication 4, caractérisé en ce que lesdits moyens de sélection comportent: - des moyens d'analyse dudit plan pour générer au moins un critère de recherche relatif à chacune desdites parties, 2836567 - des moyens de recherche dans ladite description d'une ou plusieurs images et/ou séquences dimages répondant à chaque critère de recherche. 6. Equipement électronique selon la revendication 4, caractérisé en ce qull comporte, pour s générer ladite description: - des moyens d'extraction automatique d'une structure dudit matériel d'entrée, - des moyens d'annotation de ladite structure à partir des informations sémantiques fournies par un utilisateur. 7. Equipement électronique selon la revendication 4, caractérisé en ce qull comporte des moyens (20) de capture dudit matériel d'entrée. 8. Programme (CP) comportant des instructions pour la mise en oeuvre d'un procédé de montage selon l'une des revendications lou 2, lorsque ledit programme est exécuté par un