Brevet FR2916879A1 — publié le 20081205

Titre de l'invention Dispositif et méthode de traitement d'images pour déterminer une signature d'un film. Domaine technique de l'invention L'invention se rapporte au domaine de traitement d'images. Plus précisément, l'invention concerne l'utilisation d'un traitement d'images, notamment de séquences vidéo, pour déterminer une signature d'un document visuel animé, par exemple un film ou une vidéo quelque soit le format et le type de codage (numérique, mpeg, divx, etc.). Arrière-plan de l'invention Afin d'obtenir une caractéristique représentative du rythme visuel d'une vidéo, il est connue des méthodes qui exploitent des propriétés sémantiques locales. Ces propriétés comportent par exemple, l'identification des plans, scènes, ou mouvements d'objets, incrustation de texte, et reconnaissance de formes ou de visages. En effet, les principaux travaux en indexation vidéo passent soit par une description de l'ensemble du document soit par la détection de ruptures ou de discontinuités dans le film. Ces discontinuités peuvent porter sur le mouvement, la couleur, etc. Cette approche impose de parcourir tout le film à la recherche de ces discontinuités ce qui est lourd et très coûteux en temps. Un autre aspect très coûteux en termes de ressources des techniques habituelles est l'identification et le choix des images clés dans chaque plan. Les images clés sont définies comme les images les plus significatives. Ainsi, ces techniques cherchent à identifier des trajectoires d'objets, du texte, des fonctions des personnages par le costume, reconnaissances de visages, mouvements du corps humain, etc. Par exemple on identifie qu'une vidéo traite de sport lorsqu'on capture les mouvements de balles, ou des joueurs. On s'intéresse dans ces techniques à des descripteurs locaux qui ont un sens (balle, joueurs, etc). A l'opposé de ces techniques on trouve aussi des méthodes rapides d'inspiration statistiques comme la macro segmentation qui prend en compte les caractéristiques statistiques du signal, par exemple des données audio ou vidéo de très bas niveau. Par exemple, il est connu un document concernant une analyse de la rythmique d'un film publié par B. Ionescu et al. intitulé Analyse et caractérisation de séquences de films d'animation Orasis 2005). Ce document met en oeuvre une technique qui calcule des moyennes et écarts entre différents plan d'un film. Cependant, cette méthode utilise des plans espacés de plusieurs dizaines de secondes et dont la détection nécessite une algorithmique très complexe. Objet résumé de l'invention La présente invention concerne une méthode de traitement d'images pour déterminer une signature d'un film comportant les étapes suivantes : -sélectionner de manière chronologique une suite d'images dudit film, -définir au moins un descripteur pour évaluer des écarts visuels entre lesdites images, -exploiter statistiquement lesdits écarts visuels associés audit au moins un descripteur pour deLeri rilr lei- la signature du film. Ainsi, on réalise un échantillonnage statistique basé uniquement sur un critère temporel sur des discontinuités visuelles entre les images pour obtenir une caractéristique représentative du rythme visuel du film de manière simple et rapide, On peut se satisfaire d'un échantillonnage limité sachant qu'un film présente une forte cohérence interne. Selon un aspect de la présente invention, la suite d'images comporte un nombre P déterminé de groupes d'images selon un taux de couverture prédéterminé du film, chaque groupe d'images comportant un nombre N prédéterminé d'images. Ainsi, le film peut être segmenté de manière simple et rapide sans référence à des plans ou des images clés. Selon un exemple de la présente invention, chaque groupe d'images comporte quatre images. Ainsi, il suffit d'un nombre très petit d'images pour déterminer la signature d'un film sachant qu'un film présente d'une manière générale une information continue et non aléatoire. Selon un autre aspect de la présente invention, les groupes d'images sont espacés entre eux selon un premier écart temporel, et les images dans chacun des groupes d'images sont espacées entre elles selon un second écart temporel. Dans une variante de l'invention le premier écart temporel est calculé pour chaque film en fonction de différents paramètres dont la durée du film et le taux de couverture désiré et le second écart temporel peut être prédéfini et applicable à chaque film de manière identique. Ainsi, les images sélectionnées couvrent le film de manière relativement homogène ce qui simplifie l'échantillonnage et améliore la caractérisation du film. Ledit au moins un descripteur permet d'évaluer pour chaque groupe d'images un nombre N-1 déterminé d'écarts visuels primaires et en ce que ledit descripteur correspond à un descripteur de luminance, de mouvement, de forme géométnque, ou de couleur. Ainsi, il suffit d'exploiter des propriétés physiques très simple à mettre en ouvre pour caractériser le film de manière précise. A titre d'exemple, ledit au moins descripteur est choisi parmi les descripteurs suivants : - descripteur de luminance permettant de calculer un écart visuel primaire entre deux images consécutives dans chaque groupe d'images d'un ratio entre le nombre de pixels sombre et le nombre de pixels clairs dans chaque image, -descripteur de mouvement permettant de calculer un écart visuel primaire correspondant à un recouvrement de contours ou de formes dominantes entre deux images consécutives dans chaque groupe d'images, et - descripteur d'ambiance permettant de calculer un écart visuel primaire 10 correspondant à une variation de couleur entre deux images consécutives dans chaque groupe d'images. Ces descripteurs sont très simple à mettre en oeuvre et dont l'exploitation statistique permet de déterminer la signature du film de manière simple et rapide. 15 L'exploitation statistique desdits écarts visuels comporte les étapes suivantes : -calculer des différences entre lesdits écarts visuels primaires pour déterminer pour au moins un groupe et pour au moins un descripteur un nombre N-2 déterminé d'écarts visuels secondaires, 20 -calculer des différences entre lesdits écarts visuels secondaires pour déterminer pour au moins un groupe et pour au moins un descripteur un nombre N-3 déterminé d'écarts visuels tertiaires, et -déterminer pour l'ensemble des groupes d'images la moyenne et l'écart type des écarts visuels primaires, secondaires, et tertiaires associés à 25 chaque descripteur pour obtenir une première signature du film. Ainsi, la première signature permet de caractériser le film d'une manière synthétique et globale. En outre, l'exploitation statistique peut comporter une classification des écarts visuels associés à chaque descripteur pour obtenir 30 une seconde signature du film. Ainsi, la seconde signature per . et de caractériser le film d'une manière analytique. L'invention vise aussi un dispositif de traitement d'images pour déterminer une signature d'un film, comportant : -des moyens de sélection pour sélectionner de manière chronologique une suite d'images dudit film, -des moyens de définition pour définir au moins un descripteur pour évaluer des écarts visuels entre lesdites images, et -des moyens d'exploitation pour exploiter statistiquement lesdits écarts 10 visuels associés audit au moins un descripteur pour déterminer la signature du film. L'invention vise également un programme d'ordinateur comportant des instructions de code de programme pour la mise en oeuvre du procédé de traitement d'images selon l'une quelconque des 15 caractéristiques ci-dessus, lorsque ledit programme est chargé et exécuté dans un ordinateur ou un système informatique. Brève description des dessins D'autres particularités et avantages de l'invention ressortiront à 20 la lecture de la description faite, ci-après, à titre indicatif mais non limitatif, en référence au dessin unique annexé, illustrant une vue schématique d'un dispositif de traitement d'images pour déterminer une signature d'un film, selon l'invention. 25 Description détaillée de modes de réalisation Conformément à l'invention, l'unique figure illustre un exemple d'un dispositif 1 de traitement d'images pour déterminer une signature d'un film comportant des moyens de sélection 3, des moyens de définition 5 et des moyens d'exploitation 7. On notera que cette figure est 30 également une illustration des principales étapes de la méthode de traitement d'images selon l'invention pour déterminer une signature d'un Les moyens de sélection 3 sélectionnent de manière chronologique une suite d'images In, 112,...IpN du film. La sélection des images fait uniquement référence à des écarts chronologiques T1, T2 indépendamment des plans ou scènes ou de tout autre découpage du film. Les moyens de définition 5 définissent au moins un descripteur D1, D2, D3 pour évaluer des écarts visuels EP1,1,1,...,ES1,1,1,... ,3,N-3 entre ces images 112,...IpN. Finalement, les moyens d'exploitation 7 exploitent statistiquement ces écarts visuels associés au descripteur DI, D2, D3 pour déterminer la signature SI, S2 du film ainsi que sa classification. Ainsi, les écarts entre ces images 112,...IpN, qui sont sélectionnées sur une base temporelle T1, T2, peuvent être considérés comme des discontinuités dans les événements du film. L'échantillonnage statistique de ces discontinuités permet d'obtenir une caractéristique plus générale représentative du rythme visuel du film. La segmentation du film en une suite d'images 112,...IpN indexées sur la chronologie du film peut comporter un nombre P déterminé de groupes d'images Gp selon un taux de couverture prédéterminé du film. Par ailleurs, chaque groupe d'images peut comporter un nombre N prédéterminé d'images In, 112f...11N. Les groupes d'images Gp sont espacés entre eux selon un premier écart temporel T1 (dans l'exemple de la figure, le premier écart temporel T1 est constan et les images In, 112,...IpN dans chacun des groupes d'images Gp sont espacées entre elles selon un second écart temporel T2 (dans l'exemple de la figure, le second écart temporel T2 est constant). Avantageusement, chacun des premier et/ou second écarts temporels T1, T2 est paramétrable et peut avoir une durée de base fixe pour tout le On notera que premier écart temporel Tl peut être calculé pour chaque film en fonction de différents paramètres dont la durée du film et le taux de couverture désiré et le second écart temporel T2 peut être prédéfini et applicable à chaque film de manière identique. A titre d'exemple, chaque groupe d'images Gp peut être composé de quatre images (N=4) espacées entre elles par un premier écart temporel T2 relativement faible (par exemple, de l'ordre de 500ms). D'une manière générale, le nombre et l'espacement temporel T1 des différents groupes d'images Gp peuvent être choisis de manière à ce que ces groupes soient de préférence, (mais non nécessairement) équi-répartis avec un certain taux de couverture du film. Par exemple, pour un film qui dure une heure, si chaque groupe d'images G1,..., Gp occupe un espace temporel de trois secondes et que l'on souhaite un taux de couverture de 10% alors, on extrait 120 groupes d'images G120 (P=120) séparés entre eux deux-à-deux de 27 secondes (premier écart temporel T1=27s). Ainsi, le premier écart temporel T1 correspond à une durée d'équi-répartition qui permet de couvrir le film de manière relativement homogène. On notera que chaque groupe d'images Gp fait l'objet d'un traitement identique pour extraire une série de caractéristiques de chacun de ces groupes d'images. Les caractéristiques ou descripteurs D1, D2, D3 extraites d'un groupe d'images sont analysées par des différences entre les images lm, 112,...IpN composant le groupe. Chacun des descripteurs D1, D2, D3 évalue l'écart d'une propriété physique entre deux images consécutives III, 112 du groupe d'images. Ainsi, chaque descripteur permet d'évaluer pour chaque groupe d'images un nombre N-1 déterminé d'écarts visuels primaires. Plus particulièrement, l'exemple de la figure montre une évaluation des écarts visuels 51, 52, 53 pour chacun des groupes et seule l'évaluation 51 du premier groupe G1 est illustrée avec plus de détail. Par exemple, pour le groupe Gl, le descripteur Dl évalue N-1 écarts visuels primaires EP1,1,1p..,EP1,1,N4, le descripteur D2 évalue un autre N-1 écarts visuels primaires EP1,2,1,...,EP1,2,N-1, et le descripteur D3 évalue encore un autre N-1 écarts visuels primaires EP1,3,1,...,EP1,3,N-1. D'une manière générale, pour un groupe Gi, un descripteur Dk évalue N-1 écarts visuels primaires EPI,k,l,...,EPI,k,N-1. A titre d'exemple, le descripteur peut correspondre à un descripteur de luminance Dl, de mouvement D2, d'ambiance ou de couleur D3, de forme géométrique, ou un tout autre type de descripteur. Le descripteur de luminance D1 permet de calculer un écart visuel primaire entre deux images consécutives dans chaque groupe d'images Gp d'un ratio entre le nombre de pixels sombre et le nombre de pixels clairs dans chaque image (par exemple, EP1,1,1 pour le groupe G1 et pour les images consécutives Ill, 112). Le descripteur de mouvement D2 permet de calculer un écart visuel primaire entre deux images consécutives dans chaque groupe d'images Gp d'un recouvrement entre contours ou formes dominantes entre deux images successives de chaque groupe (par exemple, EP1,2,1 pour le groupe G1 et pour les images consécutives Ill, 112). Finalement, le descripteur d'ambiance D3 permet de calculer un écart visuel primaire entre deux images consécutives dans chaque groupe d'images d'une variation de couleurs (par exemple, EP1,3,1 pour le groupe G1 et pour les images consécutives 111, 112). Par ailleurs pour exploiter statistiquement les écarts visuels, on calcule des différences entre les écarts visuels primaires (par exemple, EP1,14,...,EP1,1,N_1 pour le groupe G. et le descripteur Dl) pour déterminer un nombre N-2 déterminé d'écarts visuels secondaires (par exemple, ES1,14,...,ES1,1,N_2 pour le groupe G1 et le descripteur D1). D'une manière générale, pour un groupe G, et un descripteur Dk, on calcule N-2 écarts visuels secondaires ES1,k,11-rESl,k,N-2• Ensuite, on calcule des différences entre les écarts visuels secondaires (par exemple, ES1,1,1,...,ES1,1,N-2 pour le groupe G1 et le descripteur D1) pour déterminer un nombre N-3 déterminé d'écarts visuels tertiaires (par exemple, ET1,1,1,..., 1,N-3 pour le groupe G1 et le descripteur D1). D'une manière générale, pour un groupe G, et un descripteur Dk, on calcule N-3 écarts visuels tertiaires ET,k,I,... i,k,N-3. Afin de caractériser le film d'une manière synthétique et globale on détermine pour l'ensemble des groupes d'images Gp la moyenne et l'écart type des écarts visuels primaires, secondaires, et tertiaires associés à chaque descripteur D1, D2, D3 pour obtenir une première signature Si du film. En outre, afin de caractériser le film d'une manière analytique, on classifie les écarts visuels primaires, ou secondaires, ou tertiaires associées à chaque descripteur DI, D2, D3 pour obtenir une seconde signature S1 du film. Ainsi, selon l'exemple où chaque groupe d'images est composé de quatre images III, 112, 113, 114 (N=4 et P=1), on calcul trois écarts visuels primaires par groupe et pour chaque descripteur D1, D2, D3 (par exemple, EP1,1,1, EP1,1,2, EP1,1,3 pour le groupe G1 et le descripteur D1) A partir de ces écarts visuels primaires, on calcul deux écarts visuels secondaires par groupe et pour chaque descripteur (par exemple, ES1,1,1=EP1,1,1-EP1,1,2 et E51,1,2= EP1,1,2-EP1,1,3 pour le groupe G1 et le descripteur D1). De la même manière on calcul un écart visuel tertiaire par groupe et pour chaque descripteur à partir des deux écarts visuels secondaires (par exemple, ET1,1,1=ES1,1,1-ES1,1,2 pour le groupe G1 et le descripteur D1). La statistique réalisée sur les écarts visuels primaires, secondaires et tertiaire permet de modéliser la vitesse et l'accélération des événements dans le film. Par exemple, dans le cas d'un film comportant 100 groupes 30 afin d'obtenir une signature très synthétique on calcul pour chaque descripteur Dk, la moyenne et l'écart type de l'ensemble des 300 écarts visuels primaires EPI,ka,...,EP100,k,3 (3 écarts x 100 groupes), des 200 écarts visuels secondaires ES1,ka,...,ES100,k,2 (2 écarts x 100 groupes), et des 100 écarts visuels tertiaires ETI,k,I,...,E1-100,k,I (1 écart x 100 groupes). Le film est donc finalement décrit pour les trois descripteurs DI, D2, D3 par une signature SI correspondant à un vecteur de 18 valeurs comprenant 9 moyennes et 9 écarts types, Par ailleurs, afin d'obtenir une signature plus détaillée, toujours selon l'exemple d'un film comportant 100 groupes G100, on détermine la répartition des classes de la valeur des écarts pour chacun des trois descripteurs DI, D2, D3. On détermine trois histogrammes par descripteur. Ainsi, pour un descripteur DI, on détermine la répartition en classe ou histogramme S2 de 300 écarts visuels primaires, de 200 écarts visuels secondaires et de 100 écarts visuels tertiaires. Le film peut alors être décrit par un ensemble de 9 histogrammes (un par couple descripteur (D1-D3) - type de caractéristique (primaire, secondaire, tertiaire)). Une fois calculés, les éléments des signatures SI, S2 peuvent être utilisés tels quels pour comparer deux films ou être utilisés avec des algorithmes de catégorisation pour segmenter en classes une grande quantité de films. On peut par exemple, classifier ou rechercher des films d'une base de donnée de films selon les signatures de ces films. Plus particulièrement, on peut regrouper des films ayant des caractéristiques proches en les comparant entre eux. Autrement dit, on rentre un ensemble de films inconnus et on sort un ensemble de catégories incluant les films de chaque catégorie. Par ailleurs, on peut mémoriser un certain profil de film (exemple, film d'action) à partir de quelques exemples de films d'action connus. Ce profil sert ensuite de filtre pour identifier les films proches de ce profil. est aussi possible d'utiliser des techniques d'apprentissage comme les réseaux de neurones qui permettent des performances importantes en terme de détection d'associations, par exemple, on peut détecter si un film est de type film d'action ou de romance. Ainsi, pour la détermination de la signature d'un film selon la présente invention, on ne considère que des images sélectionnées chronologiquement sans référence au plan ce qui est très rapide à identifier. L'échantillonnage statistique d'événements permet d'avoir une approche systématique et simple d'un point de vue algorithmique qui fait économiser des ressources de traitements importantes. Par ailleurs, la forte cohérence interne des films permet de se satisfaire d'un échantillonnage très limité. Ainsi, la présente invention permet de réaliser une indexation vidéo très rapide. Ceci permet de réaliser une indexation en quasi temps réel ou à la volée (par exemple, pour un flux de vidéos stream video ) ainsi que l'utilisation de l'indexation dans des services sur terminaux légers (par exemple, téléphones multifonctions smart phones ) comme la recherche de vidéo par l'exemple de type visualseek . Par ailleurs, on notera que le dispositif 1 de traitement d'images de la figure unique peut être mis en oeuvre par un système informatique comportant de manière classique une unité centrale de traitement commandant par des signaux une mémoire, une unité d'entrée et une unité de sortie raccordées entre elles par des bus de données. De plus, ce système informatique peut être utilisé pour exécuter un programme d'ordinateur comportant des instructions de codes de programme pour la mise en oeuvre du procédé de traitement d'images selon l'invention. En effet, l'invention vise aussi un produit programme d'ordinateur téléchargeable depuis un réseau de communication comprenant des instructions de codes de programme pour l'exécution des étapes du procédé de traitement d'images selon l'invention lorsqu'il est exécuté sur un ordinateur. Ce programme d'ordinateur peut être stocké sur un support lisible par ordinateur et peut être exécutable par un microprocesseur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable. L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. REVENDICATIONS 1. Méthode de traitement d'images pour déterminer une signature d'un film, caractérisé en ce qu'il comporte les étapes suivantes : -sélectionner de manière chronologique une suite d'images (In, 112f...IpN) dudit film, -définir au moins un descripteur (DI, D2, D3) pour évaluer des écarts visuels (EPI,ti,",ESla,I, 1,3,N-3) entre lesdites images, 10 -exploiter statistiquement lesdits écarts visuels associés audit au moins un descripteur pour déterminer la signature du film (SI, S2). 2. Méthode selon la revendication 1, caractérisé en ce que la suite d'images comporte un nombre P déterminé de groupes d'images 15 Gp) selon un taux de couverture prédéterminé du film, chaque groupe d'images comportant un nombre N prédéterminé d'images. 3. Méthode selon la revendication 2, caractérisé en ce que chaque groupe d'images comporte quatre images. 20 4. Méthode selon l'une quelconque des revendication 1 à 3, caractérisé en ce que les groupes d'images Gp) sont espacés entre eux selon un premier écart temporel (T1), et en ce que les images dans chacun des groupes d'images sont espacées entre elles selon un second écart 25 temporel (T2), 5. Méthode selon la revendication 4, caractérisé en ce que le premier écart temporel est calculé pour chaque film en fonction de différents paramètres comportant la durée du film et le taux de couverture désiré et en ce que lesecond écart temporel est prédéfini et applicable à chaque film de manière identique. 6. Méthode selon l'une quelconque des revendications 1 à 5, caractérisé en ce que ledit au moins un descripteur permet d'évaluer pour chaque groupe d'images un nombre N-1 déterminé d'écarts visuels primaires (EP1,1,1,...,EP1,3,N4) et en ce que ledit descripteur correspond à un descripteur de luminance, de mouvement, de forme géométrique, ou de couleur (DI, D2, D3). 7. Méthode selon la revendication 6, caractérisé en ce que ledit au moins descripteur est choisi parmi les descripteurs suivants : - descripteur de luminance permettant de calculer un écart visuel primaire entre deux images consécutives dans chaque groupe d'images d'un ratio entre le nombre de pixels sombre et le nombre de pixels clairs dans chaque image, -descripteur de mouvement permettant de calculer un écart visuel primaire correspondant à un recouvrement de contours ou de formes dominantes entre deux images consécutives dans chaque groupe d'images, et - descripteur d'ambiance permettant de calculer un écart visuel primaire correspondant à une variation de couleur entre deux images consécutives dans chaque groupe d'images. 8. Méthode selon l'une quelconque des revendications 1 à 7, caractérisé en ce que l'exploitation statistique desdits écarts visuels comporte les étapes suivantes : -calculer des différences entre lesdits écarts visuels primaires pour déterminer pour au moins un groupe et pour au moins un descripteur un 30 nombre N-2 déterminé d'écarts visuels secondaires (ES1,14,...,ES1,1,N_2),-calculer des différences entre lesdits écarts visuels secondaires pour déterminer pour au moins un groupe et pour au moins un descripteur un nombre N-3 déterminé d'écarts visuels tertiaires (ET1,1,N_3, ET1,1,N_3), et -déterminer pour l'ensemble des groupes d'images la moyenne et l'écart type des écarts visuels primaires, secondaires, et tertiaires associés a chaque descripteur pour obtenir une première signature (S1) du film. 9. Méthode selon la revendication 8, caractérisé en ce que l'exploitation statistique comporte en outre une classification sur au moins une parties 0 des groupes des écarts visuels associés à chaque descripteur pour obtenir une seconde signature (S2) du film. 10. Dispositif de traitement d'images pour déterminer une signature d'un film, caractérisé en ce qu'il comporte : 15 -des moyens de sélection (3) pour sélectionner de manière chronologique une suite d'images (In, 112,...IpN) dudit film, -des moyens de définition (5) pour définir au moins un descripteur pour évaluer des écarts visuels (EP1,1,1,...,ES1,1,1,... ,3,N-3) entre lesdites images, et 20 -des moyens d'exploitation (7) pour exploiter statistiquement lesdits écarts visuels associés audit au moins un descripteur pour déterminer la signature du film (Si, S2). 11. Programme d'ordinateur comportant des instructions de code de 25 programme pour la mise en oeuvre du procédé de traitement d'images selon l'une quelconque des revendications 1 à 9, lorsque ledit programme est chargé et exécuté dans un ordinateur ou un système informatique.