FR 2990035 A1 20131101 FR 1353525 A 20130418 111441-FR-NP 1 SYSTEME ET PROCEDE D'EXTRACTION EXPLOITANT DES ETIQUETTES DE NIVEAU DE CATEGORIE [0001] Le mode de réalisation donné à titre d'exemple concerne les techniques de l'extraction. Il trouve une application particulière en liaison avec l'extraction d'images à l'aide d'une image en tant qu'interrogation et où des représentations originales à la fois de l'image d'interrogation et des images cibles sont intégrées dans un sous-espace qui est particulièrement approprié pour extraire des images dans la même catégorie que l'image d'interrogation. [0002] Des systèmes d'extraction permettent une extraction sélective d'images à partir d'une base de données (par exemple, une base de données dédiée, ou l'Internet, ou une autre collection de documents). Une utilisation de tels systèmes est dans l'extraction d'images de niveau d'instance d'interrogation par l'exemple : étant donnée une image d'interrogation représentant un objet/scène/repère/document, le but consiste à extraire d'autres images du même objet/scène/repère/document, dans une base de données potentiellement importante. [0003] Typiquement, les images d'interrogation et les images de base de données sont décrites avec des vecteurs de longueur fixe qui agrègent des statistiques d'images locales (représentations d'image originale ou « signatures »). Comme exemples, le sac de mots visuels ou le vecteur de Fisher peuvent être utilisés pour générer un vecteur multidimensionnel. Pour une facilité de calcul, une étape de réduction de dimensionnalité non supervisée, telle qu'une analyse par composantes principales (PCA), peut être réalisée. 111441-FR-NP 2 [0004] L'objectif pour de tels systèmes d'interrogation par l'exemple peut être, par exemple, un retrait de double, une détection de copie ou une annotation d'image. Pour de telles applications, il est souhaitable d'avoir une bonne performance d'extraction, à la fois en termes de précision et de rappel. Il y a souvent le cas où les images de base de données ne sont pas étiquetées, ou ne sont pas étiquetées avec des étiquettes précises ou utiles. Ainsi, dans plusieurs exemples, il peut ne pas être possible d'améliorer des mesures de précision et de rappel par création d'une interrogation hybride, qui repose sur une recherche par mots-clés ainsi que sur une signature d'image. Il reste une nécessité pour un système et un procédé qui fournissent des améliorations dans l'extraction d'interrogation par l'exemple. [0005] Selon un aspect du mode de réalisation donné à titre d'exemple, un procédé d'extraction comprend la fourniture d'une projection pour intégrer une représentation d'image originale dans un espace d'intégration. La représentation d'image originale est basée sur des caractéristiques extraites de l'image. La projection a été apprise à partir de données d'apprentissage étiquetées en catégorie pour optimiser un taux de classification sur les données d'apprentissage. Pour chacune d'une pluralité d'images de base de données, le procédé comprend le calcul d'une mesure de comparaison entre une image d'interrogation et l'image de base de données, la mesure de comparaison étant calculée dans l'espace d'intégration. Des représentations d'image originale respectives de l'image d'interrogation et de l'image de base de données sont intégrées dans l'espace d'intégration avec la projection. Il est prévu d'extraire 111441-FR-NP 3 au moins l'une des images de base de données sur la base de la comparaison. [0006] Dans un autre aspect, un système d'extraction comprend une mémoire qui stocke une matrice de projection pour intégrer des caractéristiques d'image dans un espace d'intégration, la matrice de projection ayant été apprise à partir de données d'apprentissage étiquetées en catégorie pour optimiser un taux de classification sur les données d'apprentissage. Des instructions sont fournies pour calculer une comparaison entre une image d'interrogation et une image de base de données dont les caractéristiques respectives sont intégrées dans l'espace d'intégration avec la matrice de projection. Un processeur en communication avec la mémoire met en oeuvre les instructions. [0007] Selon un autre aspect, un procédé de génération d'un système d'extraction comprend la fourniture d'une représentation basée sur des caractéristiques et d'une étiquette de catégorie pour chacune d'un ensemble d'images d'apprentissage. Chacune des étiquettes de catégorie correspond à l'une respective d'un ensemble de catégories. Le procédé comprend l'apprentissage conjointement d'une projection et d'un ensemble de classificateurs basés sur des représentations basées sur des caractéristiques et des étiquettes de catégorie, l'apprentissage optimisant une classification des images d'apprentissage par l'ensemble de classificateurs dans un espace d'intégration dans lequel les représentations basées sur des caractéristiques sont intégrées avec la projection, l'ensemble de classificateurs comprenant un classificateur pour chacune des catégories ; et le stockage de la projection pour intégrer une image d'interrogation et des images de base de données dans l'espace d'intégration. 111441-FR-NP 4 [0008] La FIGURE 1 est un schéma fonctionnel d' un système d'extraction selon un aspect du mode de réalisation donné à titre d'exemple ; et [0009] la FIGURE 2 est un organigramme illustrant un procédé d'extraction selon un autre aspect du mode de réalisation donné à titre d'exemple. [0010] Des aspects du mode de réalisation donné à titre d'exemple concernent un système et un procédé pour une extraction d'images et un système et un procédé pour développer un tel système. Le système d'extraction donné à titre d'exemple facilite une extraction d'images de niveau d'instance d'interrogation par l'exemple. [0011] Si l'on se réfère à la FIGURE 1, un système d'extraction donné à titre d'exemple 10 est illustré dans un environnement d'exploitation. Le système prend en tant qu'entrée une image d'interrogation 12 représentant un élément, tel qu'un objet physique, une scène, un repère ou un document. Le système 10 tente ensuite d'extraire d'autres images 14 de l'élément exactement identique à partir d'une base de données d'images 16 qui contient une large collection d'images. Le système 10 est entraîné à l'aide d'un ensemble étiqueté d'images d'apprentissage 18 qui permettent à une réduction de dimensionnalité pour les images d'interrogation et de base de données d'être apprise d'une manière supervisée. L'utilisation de ces données étiquetées peut conduire à de meilleures projections de l'image d'interrogation 12 et des images cibles 14 qui peuvent augmenter la précision pour un taux de compression cible ou augmenter le taux de compression pour une précision cible. 111441-FR-NP 5 [0012] Chacune des images d'apprentissage 18 est étiquetée avec une (ou plusieurs) étiquette(s) de catégorie choisie(s) à partir d'un ensemble fini d'étiquettes de catégorie, qui peuvent avoir été appliquées manuellement aux images d'apprentissage. Pour améliorer la performance, chaque image d'apprentissage 18 a généralement uniquement une seule étiquette. L'étiquette peut être sous la forme d'une balise, telle qu'une balise XML, ou stockée dans un fichier séparé. Chaque étiquette correspond à une catégorie respective à partir d'un ensemble fini de catégories. Il peut y avoir un grand nombre de catégories tel qu'au moins 20, au moins 50, ou au moins 100 et jusqu'à 10 000 ou plus catégories, en fonction de l'application et de la disponibilité de données d'apprentissage. Pour chaque catégorie, il y a un ensemble d'images étiquetées avec cette catégorie. Par exemple, il peut y avoir au moins 10 ou au moins 100, ou au moins 1 000 images d'apprentissage pour chaque catégorie. En général, les images de base de données 16 n'ont pas de telles étiquettes, bien qu'il soit envisagé que certaines ou toutes les images étiquetées 18 puissent former un sous-ensemble des images de base de données 18. Les étiquettes de catégorie pour apprentissage peuvent être choisies selon l'application d'intérêt particulière. Par exemple, si le but est de trouver des images de bâtiments spécifiques, il peut y avoir des étiquettes de catégorie pour différents types de bâtiments, tels que des monuments, des tours, des maisons, des bâtiments civils, des ponts, des bâtiments de bureaux et similaires. Les étiquettes de catégorie ne sont ainsi pas à grain fin au point qu'elles soient des étiquettes de niveau d'instance. Dans ce qui suit, « instance » indique l'occurrence d'un élément particulier (par exemple, la Tour 111441-FR-NP 6 Eiffel), alors que « catégorie » indique une classe générique d'objets (par exemple, des monuments). [0013] Les étiquettes de niveau de catégorie sont utilisées pour apprendre conjointement un ensemble de classificateurs 20, 22, un pour chaque catégorie, et une projection 24. Chaque projection 24 comprend un vecteur multidimensionnel, une matrice ou une fonction objective, qui, lorsqu'ils sont appliqués à une représentation d'image originale (signature originale) 26 sous la forme d'un vecteur multidimensionnel, convertissent la représentation d'image originale en une nouvelle représentation d'image (désignée présentement par signature intégrée ou représentation d'image intégrée) dans un nouvel espace multidimensionnel qui est un vecteur multidimensionnel de typiquement moins de dimensions que celui de la signature d'entrée, un processus désigné présentement par intégration. En général, la projection peut être une matrice et l'intégration est le résultat de la multiplication de la matrice par le vecteur 26. [0014] La projection 26 est apprise à partir des données d'apprentissage étiquetées en catégorie 18 pour optimiser un taux de classification pour les classificateurs 20, 22, à savoir, la probabilité que le classificateur pour une catégorie délivrera en sortie un score plus élevé pour une image étiquetée avec cette catégorie que les autres classificateurs. Uniquement la projection apprise 24 est utilisée pour la réduction de dimensionnalité lorsque le système est utilisé pour une extraction. Par conséquent, les classificateurs 20, 22 sont écartés par la suite. Alors que la projection calculée 24 n'optimise pas directement le but d'extraction d'instance, elle peut conduire à des améliorations de performance substantielles. Alors que le système donné à titre d'exemple 10 comprend des composants 111441-FR-NP 7 pour apprendre la ou les projections 24, il peut être apprécié que l'apprentissage pourrait être réalisé par un dispositif informatique séparé. [0015] Le système donné à titre d'exemple 10 fournit des améliorations sur un système dans lequel l'apprentissage de la projection est diffusé en tant que problème d'apprentissage de mesure, tel que donné à titre d'exemple ci-dessous. [0016] Le système illustré 10 comprend un processeur 30, qui met en oeuvre au moins une partie du procédé représenté sur la FIGURE 2 par exécution d'instructions de traitement logiciel 32 qui sont stockées dans une mémoire, telle qu'une mémoire principale 34, qui est connecté en communication au processeur 30. Le processeur 30 peut également commander le fonctionnement global du système d'ordinateur 10 par exécution d'instructions stockées dans une mémoire principale 34. La mémoire de données 36, qui peut être séparée ou incorporée à la mémoire principale 34, stocke l'image d'entrée 12 durant le traitement. Le système d'ordinateur 10 comprend également une ou plusieurs interfaces d'entrée/sortie 38, 40 pour communiquer avec des dispositifs externes et/ou une mémoire externe, telle(s) que mémoire/mémoires à distance qui stocke(nt) les images de base de données 16. L'interface 38 est configurée pour recevoir l'image d'interrogation 12 (ou une représentation originale précalculée 26 de celle-ci) et peut comprendre un modem lié à un réseau filaire ou sans fil, un composant recevant une mémoire portable, tel qu'un port USB, un lecteur de disque ou similaire. L'interface 40 peut communiquer avec un ou plusieurs d'un dispositif d'affichage 42, pour afficher des informations à des utilisateurs, telles que des images 14, et d'un dispositif d'entrée d'utilisateur 44, tel qu'un clavier ou un écran 111441-FR-NP 8 tactile ou inscriptible, et/ou un dispositif de commande de curseur, tel qu'une souris, une boule de commande ou similaire pour entrer un texte et communiquer des informations d'entrée d'utilisateur et des sélections de commande au processeur 30. Les différents composants matériels 30, 34, 36, 38, 40, 42 du système 10 peuvent être tous connectés par un bus 46. Dans certains modes de réalisation, le dispositif d'affichage 42 et le dispositif d'entrée d'utilisateur 44 peuvent former une partie d'un dispositif informatique client qui est lié en communication à l'ordinateur de système d'extraction par une liaison filaire ou sans fil, telle qu'un réseau local ou un réseau étendu, tel que l'Internet. [0017] Les instructions données à titre d'exemple 32 comprennent un composant d'apprentissage 50 qui apprend conjointement la matrice de projection 24 et les classificateurs 20, 22. L'apprentissage est basé sur l'ensemble d'échantillons d'apprentissage étiquetés 18, ou plus particulièrement basé sur des représentations d'image originale (en général, uniquement une par image d'apprentissage) et des étiquettes d'image de niveau de catégorie correspondantes. Les images d'apprentissage 18 (ou leurs signatures d'image) peuvent être stockées dans une mémoire locale, telle qu'une mémoire 34, 36 ou dans un dispositif de stockage de mémoire à distance. Une fois que la matrice de projection 24 a été apprise, le composant d'apprentissage 50 peut être omis du système 10. [0018] Un générateur de représentation 54 génère une signature (représentation d'image originale) 26, telle qu'un vecteur multidimensionnel, pour l'image d'entrée 12, et également facultativement pour chacune des images d'apprentissage 18 et des images de base de données 16, si leurs signatures n'ont pas été précalculées. Un composant 111441-FR-NP 9 d'intégration 58 intègre les signatures 26 de l'image d'interrogation 12 et des images de base de données 16 dans le nouveau sous-espace, utilisant la matrice de projection apprise 24 pour générer des signatures d'images projetées respectives 60, 62. Un composant d'extraction 64 compare des images de base de données 18 avec l'image d'interrogation 12 à l'aide d'une mesure de comparaison appropriée pour comparer leurs signatures d'images projetées 60, 62. Par exemple, le composant d'extraction 64 extrait une (ou plusieurs) images similaires 14 à partir de la base de données 16 d'images, la similarité (ou distance) étant calculée sur la base de la projection 60 de la représentation d'image originale de l'image d'entrée 12, et des projections 62 des représentations d'image originale des images de base de données dans le nouvel espace multidimensionnel. Les signatures d'images projetées respectives sont calculées par le composant d'intégration par application de la matrice de projection 24 aux représentations d'image originale. Le calcul de similarité/distance et l'intégration peuvent être réalisés conjointement. Comme cela sera apprécié, des interrogations peuvent être générées qui utilisent des critères de recherche additionnels, tels qu'une plage de données, une dimension de fichier ou similaire, qui peuvent limiter le nombre d'images renvoyées en réponse à l'interrogation. [0019] Par commodité, des projections précalculées 62 pour les images de base de données 16 (générées par application de la matrice de projection apprise 24 à leurs signatures d'image) peuvent être stockées en mémoire 36 pour une utilisation par le composant d'extraction 64. Un composant de traitement 70 peut réaliser un traitement ultérieur sur les images de base de données extraites et/ou délivrer en sortie au moins une partie des images de base 111441-FR-NP 10 de données extraites en réponse à l'interrogation, par exemple, pour un affichage sur le dispositif d'affichage 42. Le fait de délivrer en sortie la ou les images de base de données peut comprendre le fait de délivrer en sortie des images de base de données elles-mêmes, le fait de délivrer en sortie une résolution de pixel réduite, des versions rognées ou autrement modifiées des images de base de données et/ou le fait de délivrer en sortie un localisateur, tel qu'une URL, où l'image peut être trouvée. Le traitement ultérieur peut comprendre une décision basée sur le calcul de similarité, tel qu'un marquage d'une ou plusieurs de l'image d'interrogation et de la ou des images de base de données extraites 14 en tant que copie, double, ou similaire. Ou il peut générer une interrogation pour un examen humain de l'interrogation et des images de base de données avant qu'une telle décision ne soit faite. [0020] Dans certains modes de réalisation, la ou les images extraites 14 peuvent être mises en entrée d'un procédé d'extraction ultérieur pour identifier un sous-20 ensemble d'images extraites. [0021] Le système d'ordinateur 10 peut comprendre un ou plusieurs dispositifs informatiques, tels qu'un PC, tel qu'un ordinateur de bureau, un ordinateur portable, un ordinateur de poche, un assistant numérique portable (PDA), 25 un ordinateur de serveur, un téléphone cellulaire, un ordinateur en tablette, un téléavertisseur, leurs combinaisons, ou un autre dispositif informatique apte à exécuter des instructions pour réaliser le procédé donné à titre d'exemple. Par exemple, l'extraction peut être 30 réalisée sur un ordinateur de serveur et les résultats délivrés en sortie à un dispositif client lié. [0022] La mémoire 34, 36 peut être séparée ou combinée et peut représenter un quelconque type de support apte à 111441-FR-NP 11 être lu par ordinateur non transitoire tel qu'une mémoire vive (RAM), une mémoire morte (ROM), un disque ou une bande magnétique, un disque optique, une mémoire flash ou une mémoire holographique. Dans un mode de réalisation, la mémoire 34, 36 comprend une combinaison de mémoire vive et de mémoire morte. Dans certains modes de réalisation, le processeur 30 et la mémoire 34 peuvent être combinés en une seule puce. [0023] Le processeur numérique 30 peut être réalisé sous différents modes de réalisation, tels que par un processeur à coeur unique, un processeur double coeur (ou plus généralement par un processeur à coeurs multiples), un processeur numérique et un coprocesseur mathématique coopérant, un contrôleur numérique ou similaire. Le processeur numérique donné à titre d'exemple 30, en plus de commander le fonctionnement du système d'ordinateur 10, exécute les instructions 32 stockées dans la mémoire 34 pour réaliser le procédé illustré sur la FIGURE 2. [0024] La FIGURE 2 illustre un procédé d'extraction selon un aspect du mode de réalisation donné à titre d'exemple qui peut être réalisé avec le système de la FIGURE 1. Le procédé comprend une phase d'apprentissage, pour apprendre la projection 24, et une phase d'extraction, dans laquelle la projection est utilisée dans une extraction de niveau d'instance. Le procédé débute à S100. [0025] En S102, des données d'apprentissage sont fournies. Elles comprennent un ensemble d'images d'apprentissage 18 et leurs étiquettes correspondantes. Elles peuvent comprendre des images ayant un contenu visuel similaire à l'image d'interrogation 12, telles que des images de bâtiments comprenant des monuments dans l'exemple ci-dessus. Dans le mode de réalisation donné à titre d'exemple, une grande collection d'images de contenus 111441-FR-NP 12 divers est fournie en tant qu'ensemble d'apprentissage, permettant au système de trouver une application avec une large diversité d'images d'interrogation. [0026] En S104, des signatures d'image originale 26 sont calculées pour chacune des images d'apprentissage 18 (par le générateur de représentation 54), si cela n'a pas déjà été fait. [0027] En S106, une matrice de projection 24 et des classificateurs 20, 22 sont appris conjointement (par le composant d'apprentissage 50), sur la base de l'ensemble de signatures d'image 26 et de leurs étiquettes de catégorie correspondantes pour les données d'apprentissage 18. Ceci est décrit plus en détail ci-dessous. Le but consiste à trouver une matrice de projection qui, lorsqu'elle est appliquée à la signature d'image d'apprentissage 26 dans le sous-espace d'entrée, intègre la signature d'image dans un nouveau sous-espace, ce qui améliore la probabilité que le classificateur 20, 22 pour la catégorie à laquelle l'image appartient, lorsqu'elle est mise en entrée avec la signature intégrée, délivrera en sortie un score plus élevé que pour d'autres classificateurs. Comme décrit ci-dessous, l'étape d'apprentissage peut être un processus itératif dans lequel la matrice de projection et les classificateurs sont mis à jour sur la base du point de savoir si le score produit par le classificateur courant sur la signature projetée, dépasse celui d'un autre classificateur. Cependant, d'autres procédés d'apprentissage machine sont également envisagés. La matrice de projection finale 24 est stockée dans une mémoire 36. Les classificateurs 20, 22 ne sont plus nécessaires. Le résultat de cette étape est une matrice de projection apprise 24 pour intégrer des représentations d'image dans un sous-espace dans lequel une 111441-FR-NP 13 extraction de niveau d'instance peut être réalisée par calcul de similarité. [0028] En S108, des images de base de données 16 à interroger sont fournies. [0029] En S110, des signatures d'image 26 pour les images de base de données 16 sont calculées dans le sous-espace d'entrée (par le générateur de représentation 54), comme pour les images de base de données. [0030] En S112, les images de base de données 16 peuvent être intégrées dans le nouveau sous-espace à l'aide de la matrice de projection 24 générée en S106. Ainsi, pour chaque image de base de données, il y a une nouvelle signature d'image (projetée). [0031] Ceci termine l'étage d'apprentissage, auquel 15 point les images d'apprentissage 18, les classificateurs 20, 22 et le composant d'apprentissage 50 ne sont plus nécessaires. [0032] En S114, une interrogation comprenant une image d'interrogation 12 est reçue par le système 10. Par 20 exemple, une interface graphique utilisateur est générée pour un affichage sur le dispositif d'affichage 42, ce par quoi un utilisateur peut choisir une image 12 à utiliser en tant qu'image d'interrogation. L'image d'interrogation 12 peut être choisie à partir d'une collection d'images 25 stockées sur le dispositif informatique d'utilisateur ou à partir d'une collection stockée à distance, telle qu'une base de données 16. Dans le mode de réalisation donné à titre d'exemple, l'image 12 n'est pas parmi les images 18 utilisées dans l'apprentissage, ni parmi les images dans la 30 base de données 16, bien que dans d'autres modes de réalisation, cette situation ne soit pas exclue. 111441-FR-NP 14 [0033] En S116, une représentation d'image originale 26 est calculée pour l'image d'interrogation d'entrée 12, par le générateur de représentation 54. [0034] En S118, une structure d'image projetée 60 peut être calculée (par le composant d'intégration 58), par application de la matrice de projection apprise 24 à la signature d'image originale 26, calculée en S116. [0035] En S120, une ou plusieurs images similaires 14 est/sont extraites à partir de la base de données d'image 16 (par le composant d'extraction 68). Cette étape peut comprendre le calcul d'une mesure de comparaison, telle qu'une mesure de similarité (ou distance), telle qu'une fonction de noyau, entre la signature d'image projetée 60 de l'image d'interrogation d'entrée 12 et les signatures d'images projetées 62 des images de base de données. Un noyau donné à titre d'exemple est un noyau linéaire, tel que le produit scalaire, bien que d'autres mesures de similarité soient également envisagées, telles que la distance Li, la distance de chi carré, la similarité de cosinus ou similaire peuvent être utilisées. La sélection d'une mesure de similarité/distance appropriée peut dépendre, en partie, du type de signatures utilisé. La sélection de mesure de similarité peut également affecter la fonction de perte employée dans l'étape d'apprentissage. Comme cela a été précédemment noté, les signatures d'images projetées 62 des images de base de données 16 peuvent avoir été précédemment calculées à l'aide de la matrice de projection 24 et stockées en mémoire 36 en S116. Dans certains modes de réalisation, l'intégration (S118) et le calcul de similarité (S120) peuvent être réalisés dans une seule étape. [0036] Dans certains modes de réalisation, un essai peut être réalisé pour déterminer si la similarité calculée 111441-FR-NP 15 entre les signatures projetées 60 de l'image 12 et la ou les images extraites 14 satisfait un seuil de confiance prédéterminé sur la similarité. Si ce n'est pas le cas, le procédé peut ne pas renvoyer d'image de base de données 16. [0037] En S122, une partie ou toutes les images similaires extraites 14 peuvent être délivrées en sortie depuis le système 10, par exemple, au dispositif client, à un dispositif d'affichage 42, stockées dans une mémoire, étiquetées et/ou autrement traitées. Par exemple, une décision peut être délivrée en sortie par le composant de traitement 70 concernant le point de savoir si l'image d'interrogation constitue un double, une copie ou similaire. [0038] Le procédé se termine en S124. [0039] Le procédé illustré sur la FIGURE 2 peut être mis en oeuvre dans un produit programme d'ordinateur non transitoire qui peut être exécuté sur un ordinateur. [0040] En variante, le procédé peut être mis en oeuvre dans des supports transitoires, tels qu'une onde porteuse apte à être émise dans laquelle le programme de commande est incorporé en tant que signal de données utilisant un support de transmission, tel que des ondes acoustiques ou lumineuses, telles que celles générées durant des communications de données d'ondes radio et infrarouges, et similaire. Calcul de (S104,S110,S116) [0041] Différents procédés sont disponibles pour représentations d'image originale calculer des signatures d'image. En général, le générateur de représentation 54 génère une représentation statistique 26 de caractéristiques de bas niveau extraites de l'image, telles que des caractéristiques visuelles ou, dans le cas 111441-FR-NP 16 d'images de texte, des caractéristiques basées sur des fréquences de mot peuvent être employées. [0042] Des procédés donnés à titre d'exemple pour générer des représentations d'image originale 26 (signatures d'image) sont décrits, par exemple, dans les publications de brevets américains U.S. n°20030021481 ; 2007005356 ; 20070258648 ; 20080069456 ; 20080240572 ; 20080317358 ; 20090144033 ; 20100040285 ; 20100092084 ; 20100098343 ; 20100226564 ; 20100191743 ; 20100189354 ; 2100318477 ; 20110040711 ; 20110026831 ; 20110052063 ; et 20110091105. [0043] Par exemple, la représentation d'image originale 26 générée par le générateur de représentation 54 pour chaque image 12, 16, 18 peut être une quelconque représentation statistique de haut niveau appropriée de l'image, telle qu'un vecteur multidimensionnel généré sur la base de caractéristiques extraites de l'image. Des représentations de noyau Fisher et des représentations de sac de mots visuels sont données à titre d'exemple de représentations statistiques de haut niveau appropriées qui peuvent être utilisées présentement en tant que représentations d'image originale. Les représentations d'image originale données à titre d'exemple 26 sont d'une dimensionnalité fixe, à savoir, chaque représentation d'image originale 26 a le même nombre d'éléments et en général, n'a pas subi une quelconque réduction de dimensionnalité automatique, telle qu'une analyse par composantes principales (PCA). [0044] Par exemple, le générateur de représentation 54 comprend un extracteur de parcelle, qui extrait et analyse des caractéristiques visuelles de bas niveau de parcelles de l'image, telles que des caractéristiques de forme, de texture ou de couleur ou similaire. Les parcelles peuvent 111441-FR-NP 17 être obtenues par segmentation d'image, par application de détecteurs de point d'intérêt spécifiques, par considération d'une grille régulière ou simplement par l'échantillonnage aléatoire de parcelles d'image. Dans le mode de réalisation donné à titre d'exemple, les parcelles sont extraites sur une grille régulière, facultativement à de multiples échelles, sur toute l'image, ou au moins une partie ou une majorité de l'image. [0045] Les caractéristiques de bas niveau extraites 10 (sous la forme d'un descripteur local, tel qu'un vecteur ou un histogramme) à partir de chaque parcelle peuvent être concaténées et facultativement réduites en dimensionnalité, pour former un vecteur de caractéristiques qui sert en tant que signature d'image globale. Dans d'autres approches, les 15 descripteurs locaux des parcelles d'une image sont affectés à des groupes. Par exemple, un vocabulaire visuel est précédemment obtenu par groupement de descripteurs locaux extraits d'images d'apprentissage, à l'aide par exemple d'analyse de groupement de K-moyennes. Chaque vecteur de 20 parcelle est ensuite affecté au groupe le plus proche et un histogramme des affectations peut être généré. Dans d'autres approches, une trame probabiliste est employée. Par exemple, on suppose qu'il existe un modèle génératif sous-jacent, tel qu'un modèle de mélanges gaussiens (GMM) à 25 partir duquel tous les descripteurs locaux sont émis. Chaque parcelle peut ainsi être caractérisée par un vecteur de poids, un poids pour chacune des fonctions gaussiennes formant le modèle de mélanges. Dans ce cas, le vocabulaire visuel peut être estimé à l'aide de l'algorithme espérance- 30 maximisation (EM). Dans l'un ou l'autre cas, chaque mot visuel dans le vocabulaire correspond à un groupement de caractéristiques de bas niveau typiques. Les mots visuels peuvent chacun correspondre (approximativement) à une 111441-FR-NP 18 caractéristique d'image de niveau intermédiaire telle qu'un type d'objet visuel (plutôt que numérique) (par exemple, une bille ou une sphère, une tige ou un axe, une fleur, des feuilles d'automne, etc.), un arrière-plan caractéristique (par exemple, un ciel étoilé, un ciel bleu, un champ d'herbe, de la neige, une plage, etc.) ou similaire. Etant donnée une image 12, 16, 18 à affecter d'une signature originale 26, chaque descripteur local extrait est affecté à son mot visuel le plus proche dans le vocabulaire entraîné précédemment ou à tous les mots visuels d'une manière probabiliste dans le cas d'un modèle stochastique. Un histogramme est calculé par accumulation des occurrences de chaque mot visuel. L'histogramme peut servir en tant que signature d'image 26 ou entrée à un modèle génératif qui délivre en sortie une signature d'image basée sur celui-ci. [0046] En tant que descripteurs locaux extraits des parcelles, des descripteurs SIFT ou d'autres descripteurs caractéristiques basés sur gradient, peuvent être utilisés. On peut voir, par exemple, Lowe, « Caractéristiques d'image distinctives à partir de points-clés invariants en échelle » (Distinctive image features from scale invariant keypoints), IJCV vol.60 (2004). Dans un exemple illustratif employant des caractéristiques SIFT, les caractéristiques sont extraites de parcelles de 32 x 32 pixels sur des grilles régulières (tous les 16 pixels) à cinq échelles, à l'aide de descripteurs SIFT de dimension 128. D'autres descripteurs locaux appropriés qui peuvent être extraits comprennent des caractéristiques de couleur de dimension 96 simples dans lesquelles une parcelle est subdivisée en 4 x 4 sous-régions et dans chaque sous-région l'écart-type et la moyenne sont calculés pour les trois canaux (R, V et B). Ce sont des exemples simplement illustratifs, et des caractéristiques additionnelles et/ou autres peuvent être 111441-FR-NP 19 utilisés. Le nombre de caractéristiques dans chaque descripteur local est facultativement réduit, par exemple, à 64 dimensions, à l'aide d'une analyse par composantes principales (PCA). Des signatures peuvent être calculées pour au moins deux régions de l'image et agrégées, par exemple, concaténées. [0047] Dans certains exemples illustratifs, un vecteur Fisher est calculé pour l'image par modélisation des descripteurs locaux extraits de l'image à l'aide d'un modèle de mélanges pour générer un vecteur d'image correspondant ayant des éléments de vecteur qui sont indicatifs de paramètres de composants de modèle de mélanges du modèle de mélanges représentant les descripteurs locaux extraits de l'image. Le modèle de mélanges donné à titre d'exemple est un modèle de mélanges gaussiens (GMM) comprenant un ensemble des fonctions gaussiennes (gaussiennes) auxquelles des poids sont affectés dans l'apprentissage de paramètres. Chaque gaussienne est représentée par son vecteur moyen et sa matrice de covariance. On peut supposer que les matrices de covariance sont diagonales. On peut voir, par exemple, Perronnin, et al., « Noyaux Fisher sur vocabulaires visuels pour catégorisation d'images » (Fisher kernels on visual vocabularies for image categorization) dans CVPR (2007). Des procédés de calcul de vecteurs Fisher sont décrits dans les publications de brevets américains U.S. n°20120076401, par Jorge Sànchez, et al., et 20120045134, par Florent Perronnin et al. Le GMM entraîné vise à décrire le contenu d'une quelconque image dans une plage d'intérêt (par exemple, une quelconque photographie colorée si la plage d'intérêt est les photographies colorées). [0048] Dans d'autres exemples illustratifs, une représentation de sac de mots visuels (BOV) d'une image est 111441-FR-NP 20 utilisée en tant que représentation d'image originale 26. Dans ce cas, l'image est décrite par un histogramme de caractéristiques locales quantifiées. (Voir, par exemple, la publication de brevet américain U.S. n°20080069456). Plus précisément, étant donné un ensemble (non ordonné) de descripteurs locaux, tels qu'un ensemble de descripteurs SIFT ou de descripteurs de couleur extraits d'une image d'apprentissage ou d'essai, un histogramme BOV est calculé pour l'image ou des régions de l'image. Ces représentations de niveau de région peuvent ensuite être concaténées ou autrement agrégées pour former une représentation d'image (par exemple, une pour des caractéristiques SIFT et une pour des caractéristiques de couleur). Les représentations d'image de couleur et SIFT peuvent être agrégées pour former la signature d'image. [0049] Durant la phase d'apprentissage, un vocabulaire visuel, à savoir, un ensemble de caractéristiques prototypiques, est d'abord appris par groupement de manière automatique d'un grand nombre de descripteurs locaux à partir de différentes images, à l'aide par exemple, de K-moyennes. Chaque descripteur local de parcelle (par exemple, un vecteur de dimension 96 ou 64) est ensuite affecté à un groupe le plus proche et un histogramme des affectations peut être généré. Dans d'autres approches, un cadre probabiliste est employé. Par exemple, on suppose qu'il existe un modèle génératif sous-jacent, tel qu'un modèle de mélanges gaussiens (GMM), duquel tous les vecteurs sont émis. Un modèle de mélanges gaussiens (GMM) peut être utilisé pour modéliser la distribution de caractéristiques locales, à savoir, il y a un vocabulaire visuel probabiliste. Chaque (fonction) gaussienne dans le GMM peut être identifiée avec un mot visuel et le groupement des descripteurs locaux peut être réalisé à 111441-FR-NP 21 travers un apprentissage EM standard des paramètres GMM (moyenne et covariance de chacune des gaussiennes et poids de chaque (fonction) gaussienne dans le GMM). Le vocabulaire GMM fournit une voie de principe pour faire 5 face à une incertitude d'affectation du fait que chaque caractéristique locale est affectée d'une probabilité à tous les mots visuels. Le nombre de gaussiennes dans le GMM peut être, par exemple, au moins environ 100, par exemple, au moins 10 000. Le nombre peut être jusqu'à 100 000 et 10 dans un mode de réalisation, est inférieur à 10 000, tel qu'environ 2 000. [0050] Dans le mode de réalisation donné à titre d'exemple, l'ensemble de descripteurs locaux d'une image donnée est transformé en une représentation d'histogramme 15 de longueur fixe par comptage du nombre de descripteurs locaux affectés à chaque mot visuel. [0051] Le ou les classificateurs 20, 22 peuvent être entraînés avec un quelconque algorithme d'apprentissage non linéaire ou linéaire approprié, tel qu'une régression 20 linéaire clairsemée (SLR), une régression logistique multinomiale clairsemée (par exemple, pour un classificateur qui classifie en plus de deux classes), des forêts aléatoires (arbres de décision), une régression logistique standard, des réseaux neuraux, de machines de 25 vecteur de support linéaire (SVM), le SVM utilisant des noyaux de fonction de base radiale (RBF), une analyse discriminante linéaire, un bayésien naïf, des perceptrons, des polynômes, une régression linéaire ou tout autre procédé d'apprentissage machine approprié. 30 Apprentissage de sous-espace [0052] Dans ce qui suit, les termes « optimisation », « minimisation » et une phraséologie similaire sont 111441-FR-NP 22 destinés à être largement interprétés tel que l'homme du métier comprendrait ces termes. Par exemple, ces termes ne sont pas interprétés comme étant limités à la valeur optimale globale absolue, le minimum global absolu et ainsi 5 de suite. Par exemple, la minimisation d'une fonction peut employer un algorithme de minimisation itératif qui termine à un critère d'arrêt avant qu'un minimum absolu ne soit atteint. Il est également envisagé que la valeur optimale ou minimale soit une valeur minimale locale ou optimale 10 locale. [0053] En guise d'introduction, un procédé d'apprentissage de sous-espace qui repose sur des distances de calcul entre des images dans un sous-espace est d'abord décrit. Le procédé à titre d'exemple, dans lequel des 15 classificateurs et des projections sont conjointement appris est ensuite décrit dans la section B. A. Apprentissage de sous-espace en tant qu'apprentissage de mesure (distance) 20 [0054] Soient q et d respectivement les vecteurs de dimension D (représentations d'image originale) représentant deux images différentes. On suppose que la similarité entre q et d est mesurée comme suit : s(q, d) = q'Wd 25 où W est une matrice DxD à apprendre et q' représente la transposée de q. On suppose que W peut être décomposée en W = U'U où U est une matrice R x D de rang faible (ayant R s(q,d-) [0058] à savoir, le but est d'avoir le document pertinent plus près de d+ que de d-. [0059] Ceci pourrait être obtenu par minimisation de manière directe de l'erreur d'apprentissage: E04_,4-) I(1( où I est la fonction d'indicateur : /(u) 1 si u est vrai 0 sinon à savoir, le nombre de fois où le système donne de manière 25 incorrecte une similarité inférieure entre une image d'interrogation et l'image supposée pertinente et entre l'image d'interrogation et l'image supposée non pertinente. [0060] Une autre approche consiste à rendre minimal son substitut convexe : 30 1 max {0,1 - s(q, d+) + s(q,d-)} . (q,c1+,(1-) 111441-FR-NP 24 [0061] Ceci est la somme sur tous les triplets du maximum 1 moins la similarité entre une image d'interrogation et l'image supposée pertinente plus la similarité entre l'image d'interrogation et une image supposée non pertinente, ou 0, lorsque cette valeur est inférieure à O. [0062] Ceci peut être optimisé à l'aide d'une descente de radiant stochastique par échantillonnage de manière aléatoire de triplets (q,d+, d-) à partir de l'ensemble d'apprentissage 18 et mise à jour de la matrice de projection U comme suit : U E- U + XU(q4E + AqEs) pour chaque triplet qui enfreint s(q,d+) > s(q,d-) + p, où A = (d+ - d-). [0063] Ainsi, plutôt que de tenter d'optimiser toutes les paires possibles d'entrées dans la base de données simultanément, le procédé de descente de gradient stochastique prend des paires d'entrées (q,d+), (q,d-) et détermine si la matrice de projection courante U les classe correctement, à savoir, dans le même ordre de classement que les similarités, et sinon met à jour la matrice de projection. [0064] Le paramètre seuil p évite la mise à jour de la matrice de projection à moins que s(q,d+) ne soit supérieur à s(q,d-) d'au moins une quantité seuil. Le paramètre p peut avoir une valeur appropriée, telle que 1. [0065] Le taux d'apprentissage À commande l'étendue de la mise à jour de U à chaque itération. Il peut être une valeur fixe ou variable, par exemple, en fonction du nombre d'itérations, tel qu'un taux d'apprentissage décroissant. Le processus peut être stoppé, par exemple, après un nombre fixe d'itérations ou lorsqu'un critère 111441-FR-NP 25 de convergence est satisfait. U n'est pas explicitement régularisée (par exemple, par pénalisation de la norme Frobenius de U) mais implicitement avec un arrêt précoce. [0066] La matrice de projection U est initialisée avec un ensemble de valeurs. Ceci peut être assez arbitraire. Par exemple, les valeurs initiales dans la matrice sont tirées de manière aléatoire d'une distribution normalisée ayant une moyenne de 0, à savoir, la somme de valeurs à O. Dans d'autres modes de réalisation, les valeurs initiales sont toutes identiques ou sont tirées à partir d'une matrice de projection précédemment créée pour une autre tâche de segmentation. [0067] Un premier triplet d'entrées est tiré. Le triplet peut être tiré de manière aléatoire des données d'apprentissage, ou selon un quelconque algorithme de sélection approprié. Les similarités des deux paires d'images sont calculées en tant que produit scalaire q'U'Ud qui intègre essentiellement leurs représentations d'entrée vectorielles à l'aide de la matrice de projection courante et multiplie les deux. [0068] La mise à jour de la matrice de projection U en fonction de A = (d+ - d-), met à jour les parties de la matrice de projection dans lesquelles les deux vecteurs d+ 25 et d- diffèrent. [0069] En tant qu'approximation, pour l'approche d'apprentissage de mesure, la projection U peut être calculée à partir d'un grand ensemble de données d'images ayant des triplets (q,d+,d-), où d+ appartient à la même 30 catégorie que q et d- appartient à une catégorie différente. Bien que des catégories représentent des concepts plus généraux que des instances, on s'attendrait à ce que les variations intracatégories soient de plus en 111441-FR-NP 26 plus similaires à des variations intra-instance à mesure que de plus en plus de catégories de grain fin sont considérées (objets spécifiques, plantes, animaux, etc.). [0070] De manière évidente, deux images dans la même catégorie peuvent être visuellement très dissimilaires et ainsi le fait d'imposer à toutes les paires d'images dans la même catégorie d'avoir une similarité plus élevée que toutes les paires d'images appartenant à différentes catégories peut impacter de manière négative l'apprentissage. Ainsi, l'apprentissage de mesure de la projection à partir des données de niveau de catégorie peut en outre employer une mesure de similarité visuelle dans la procédure d'échantillonnage. Par exemple, pour chaque image de chaque classe, ses K voisins les plus proches (K-NN) dans la même classe sont identifiés. K peut être, par exemple, 10, 50 ou plus, en fonction de la dimension de l'ensemble des données d'apprentissage. Une similarité peut être calculée sur la base des signatures d'image originale à l'aide d'une quelconque mesure de similarité appropriée, telles que celles listées ci-dessus. Des triplets (q,d+,d-) sont ensuite échantillonnés de telle sorte que d+ appartienne à la même catégorie que q et soit dans les K-NN de q et d- appartienne à une catégorie différente. En prenant en compte des étiquettes de catégorie et une similarité visuelle, de meilleures paires (q,d+) pourraient être obtenues. [0071] Par comparaison, une réduction de dimensionnalité non supervisée peut être apprise à partir des K-NN. Pour chaque image, ses K voisins les plus proches sont identifiés, indépendamment de la classe. Des triplets (q,d+,d-) sont échantillonnés de telle sorte que d+ soit dans les K-NN de q et d- soit dans les K-NN de q. Ce procédé n'utilise pas des étiquettes dans un tel cas. 111441-FR-NP 27 B. Apprentissage de sous-espace et de classificateur combiné (S106) [0072] Dans le procédé donné à titre d'exemple, le système 10 emploie des étiquettes de niveau de catégorie. Au lieu d'optimiser un critère qui est cohérent avec le but final (extraction) mais incohérent avec les données d'apprentissage, un critère est optimisé, lequel est uniquement faiblement cohérent avec le but final mais 10 cohérent avec les données d'apprentissage. Ainsi, le procédé apprend un sous-espace qui rend maximale la précision de catégorisation et l'utilise pour une extraction de niveau d'instance. [0073] Une notation similaire à celle utilisée pour les 15 équations dans la section A ci-dessus est utilisée, sauf exception indiquée. [0074] Soit q une représentation originale d'une image, telle qu'une image d'entrée 12, une image de base de données 16 ou une image d'apprentissage 18, et soit y une 20 catégorie. Le score sur un classificateur donné peut être une fonction de la représentation d'image projetée, à savoir, un produit de la représentation d'image originale et de la matrice de projection U. Par exemple, soit la similarité entre q et y (à savoir, le score de q sur la 25 classe y) représentée comme suit : s(q, y) = (Uq)'w-3, (1) où U est une matrice de projection R x D qui projette q (un vecteur de dimension D) dans le nouvel espace de dimension faible de dimensions R et Y est le 30 classificateur de classe y dans l'espace de dimension faible, et indique la transposée. [0075] En général, R 0. [0080] Les classificateurs peuvent être mis à jour en fonction de la représentation d'image intégrée, comme suit : (4) wy- wy- (5) [0081] La matrice de projection est également mise à jour, en fonction des deux classificateurs, comme suit : U-U + r)(wy+ - p173,4q' (6) où 17 est un taux d'apprentissage, wy+ est le classificateur pour la catégorie y+ et wy_ est le classificateur pour la classe y- (à savoir, chacun est un vecteur ayant le même nombre de dimensions) et q' est la transposée de q. [0082] La mise à jour change ces valeurs dans la matrice de projection 24 où les classificateurs fonctionnent de manière incorrecte, par rapport à q. Dans certains modes de réalisation, uniquement l'un des classificateurs est mis à jour, plutôt que les deux classificateurs, tel que le classificateur wy+. [0083] Comme c'est le cas pour un apprentissage de mesure, un arrêt précoce peut être utilisé pour une régularisation. Dans d'autres modes de réalisation, un critère d'arrêt peut être basé sur la pénalisation d'une norme de la matrice, telle que la norme Frobenius ou un autre critère d'arrêt approprié. [0084] Les classificateurs f/17v+ et wsont ensuite écartés et et ne sont pas utilisés dans les calculs de 111441-FR-NP 30 similarité subséquents. La matrice de projection U est stockée en mémoire. [0085] Le taux d'apprentissage 17 commande l'étendue de la mise à jour de la matrice de projection U et des 5 classificateurs ray+ et w (ou au moins l'un deux) à chaque itération. 17 peut être une valeur fixe ou variable, par exemple, en fonction du nombre d'itérations, telle qu'un taux d'apprentissage décroissant. Dans encore d'autres modes de réalisation, le taux d'apprentissage peut être une 10 fonction de la perte calculée, avec une mise à jour plus grande lorsque la perte est supérieure. En général, 17 peut être entre 0 et 1, à savoir, supérieur à 0 et inférieur à 1, tel que de 0,0001 à 0,9. [0086] En particulier, S106 peut fonctionner avec un 15 grand nombre d'itérations, à savoir, au moins l'une d'au moins deux itérations pour chaque image d'apprentissage. A chaque itération, une représentation d'image q pour une image à partir de l'ensemble d'apprentissage 18 est tirée de manière aléatoire ou selon un certain ordre ou 20 algorithme de sélection prédéfini. L'étiquette de catégorie pour l'image est identifiée en tant que y+ et le classificateur courant ray+ pour cette catégorie est identifié. Une autre catégorie y- à partir de l'ensemble est tirée, par exemple, de manière aléatoire ou selon un 25 certain ordre/algorithme prédéfini. Le classificateur courant wy_ pour cette catégorie est identifié. La représentation d'image q est intégrée à l'aide de la matrice de projection courante et il est attribué un score à la représentation d'image intégrée avec chacun des 30 classificateurs w et ray+ à l'aide de l'équation (1). En particulier, la marque peut être un produit scalaire du vecteur de classificateur et de la représentation projetée, ou une fonction de ceux-ci. Si la perte calculée pour le 111441-FR-NP 31 triplet à l'aide de l'équation (3) dépasse un seuil prédéterminé, par exemple, le classificateur wy_ génère un score plus élevé (classement plus élevé) que le classificateur wy_r, on suppose que la matrice de projection courante et le ou les classificateurs courants ont besoin d'être mis à jour, et ainsi sont modifiés d'une façon qui réduit au moins partiellement l'erreur dans le classement. [0087] Il n'est pas nécessaire pour le procédé d'apprentissage de considérer tous les triplets possibles, à savoir, chaque image d'apprentissage ayant chaque autre catégorie possible. En général, une ou plusieurs passes peuvent être réalisées avec les données d'apprentissage. Dans chaque passe, chaque image d'apprentissage est considérée en un triplet. Dans la dernière itération dans la séquence, la matrice de projection mise à jour est stockée en tant que matrice de projection 24 à utiliser dans le processus d'extraction. [0088] Dans certains modes de réalisation, plus d'une projection est apprise. Par exemple, une projection pourrait être apprise pour chaque catégorie ou pour un sous-ensemble d'au moins deux catégories. Dans ce mode de réalisation, dans la phase d'extraction, l'utilisateur se verrait demander de choisir une catégorie appropriée ou un sous-ensemble de catégorie pour l'image d'interrogation de telle sorte que la projection appropriée pourrait être utilisée. Sources de données étiquetées [0089] Il y a plusieurs grands ensembles de données de données étiquetées en niveau de catégorie qui peuvent être utilisés en tant qu'ensemble d'apprentissage 18, tels qu'ImageNet, qui contient 12 millions d'images de 17 000 catégories organisées de manière hiérarchique. 111441-FR-NP 32 [0090] Du fait que le but est de réaliser une extraction d'image de niveau d'instance, alors il serait avantageux d'apprendre U à partir de données de niveau d'instance, à savoir, le procédé échantillonnerait des triplets (q, d+, d-) où (q, d+) correspondent à la même instance et (q, d-) correspondent à différentes instances. Cependant, des ensembles de données d'image étiquetées au niveau d'instance tendent à être vraiment petits et il est difficile d'apprendre l'apprentissage de mesure U de manière correcte à partir de petites quantités de données. Le mode de réalisation donné à titre d'exemple rend ainsi possible l'utilisation de données d'apprentissage étiquetées en niveau de catégorie, comme décrit dans la section B ci-dessus. [0091] Les images 12, 16, 18 peuvent être reçues par le système 10 dans un quelconque format de fichier commode, tel que JPEG, GIF, JBIG, BMP, TIFF, PDF, ou similaire et peuvent facultativement être converties en un autre format approprié avant le traitement. Des images d'entrée peuvent être stockées dans une mémoire de données durant le traitement. Les images 12, 16, 18 peuvent être mises en entrée à partir d'une quelconque source d'image appropriée, telle qu'une station de travail, une base de données, un dispositif de stockage de mémoire, tel qu'un disque ou similaire. En général, chaque image numérique d'entrée comprend des données d'image pour un réseau de pixels formant l'image. Les données d'image peuvent comprendre des valeurs de colorant, telles que des valeurs d'échelle de gris, pour chacune d'un ensemble de séparations de couleurs, tel que L*a*b* ou RGB, ou être exprimées dans un autre espace de couleur dans lequel différentes couleurs peuvent être représentées. Le mode de réalisation donné à 111441-FR-NP 33 titre d'exemple est également applicable pour les images en noir et blanc (monochromes). Calcul de comparaison (S120) [0092] Une fois que la projection U a été apprise, une mesure de comparaison telle que la distance ou la similarité entre deux images q et d (image d'interrogation 12 et image de base de données 16) peut être calculée, par exemple, selon : s(q, d) = q'U'Ud = (Uq)'(Ud) à savoir, en tant que produit scalaire entre leurs projections, qui délivre en sortie une valeur unique. Cependant, d'autres procédés de calcul de similarité/distance sont également envisagés. Les images dans la base de données ayant le score de similarité le plus élevé s(q, d) (ou la distance la plus faible) peuvent ensuite être renvoyées. Traitement ultérieur (S122) [0100] Le procédé donné à titre d'exemple présente des applications pour un retrait de double, une détection de copie et une annotation d'image. [0101] Dans le cas d'un retrait de double, l'une ou plusieurs des images similaires extraites de la base de données 16 pourraient être retirées de la base de données (ou l'image d'interrogation non ajoutée à la base de données). Par exemple, si la similarité dépasse un seuil prédéterminé, deux images sont considérées comme étant des doubles et l'une d'elle est considérée pour retrait, soit de manière automatique, soit peut être présentée à l'utilisateur pour confirmation. [0102] Dans le cas d'une détection de copie, l'image d'interrogation peut être considérée en tant que copie 111441-FR-NP 34 potentielle de l'image similaire extraite. Une fois encore, l'utilisateur peut être interrogé pour confirmer la découverte. Ceci peut être utilisé pour détecter une violation de droit d'auteur/copyright par le dispositif d'affichage de l'image d'interrogation sur un site Internet ou une publication imprimée, par exemple. [0103] Dans le cas d'une annotation d'image, l'image d'interrogation et la ou les images de base de données similaires peuvent avoir la ou les mêmes étiquettes. Exemples [0104] Deux ensembles de données de référence standard sont utilisés en tant qu'images de base de données : [0105] 1. INRIA Holidays (Holidays) contient 1 491 images de 500 scènes et objets. Une image par scène/objet est utilisée en tant qu'interrogation pour chercher dans les 1 490 images restantes et la précision est mesurée en tant que Précision Moyenne (AP) moyennée sur les 500 interrogations. [0106] 2. Le banc d'essai de l'Université du Kentucky (UKB) contient 10 200 images de 2 550 objets. Chaque image est utilisée à son tour en tant qu'interrogation pour chercher dans les 10 200 images et la précision est mesurée en tant que 4xrecall@4 moyennée sur les 10 200 interrogations. Ainsi, le score maximal apte à être obtenu est de 4. [0107] En tant que source de données d'apprentissage étiquetées ayant des étiquettes de niveau de catégorie 30 (pour apprendre les projections d'une manière supervisée), un sous-ensemble standard d'ImageNet : le Défi de Reconnaissance Visuelle Grande Echelle d'ImageNet 2010 (ImageNet Large Scale Visual Recognition Challenge 2010 - 111441-FR-NP 35 ILSVRC10) a été utilisé. Cet ensemble de données contient 1 000 classes et consiste en 3 ensembles : ensembles d'apprentissage, de validation et d'apprentissage, qui contiennent respectivement des images de 1,2M, 50K et 150K. Dans cet exemple, uniquement l'ensemble d'apprentissage a été utilisé. [0108] En tant que représentations d'image originale, des vecteurs Fisher de dimension 4 096 (FV) ont été calculés à partir d'un histogramme d'orientation local et 10 de descripteurs de couleur. Ceci a impliqué le calcul de FV de dimension 2 048 calculés pour un histogramme d'orientation et des descripteurs de couleur séparément et la concaténation de ces FV. [0109] Cinq techniques de réduction de dimensionnalité 15 ont été comparées avec le présent procédé : 1. Réduction de dimensionnalité non supervisée avec PCA. 2. Réduction de dimensionnalité supervisée apprise à partir d'étiquettes de niveau d'instance, à savoir, la 20 réduction de dimensionnalité est apprise sur UKB et appliquée à Holidays et réciproquement. Il convient de noter que les paramètres (tels que le taux d'apprentissage) sont accordés pour optimiser une précision d'essai qui donne un avantage à ce procédé. 25 3. Réduction de dimensionnalité supervisée apprise à partir d'étiquettes de niveau de catégorie ILSVRC 2010. Pour éviter l'accord des paramètres sur les données d'essai, nous utilisons UKB en tant qu'ensemble de validation pour Holidays et réciproquement. 30 4. Réduction de dimensionnalité supervisée apprise à partir d'étiquettes de niveau de catégorie ILSVRC 2010 améliorées avec K-NN. A nouveau, pour éviter l'accord des paramètres (y compris la meilleure valeur de K) sur les 111441-FR-NP 36 données d'essai, UKB a été utilisé en tant qu'ensemble de validation pour Holidays et réciproquement. 5. Réduction de dimensionnalité non supervisée apprise à partir de ILSVRC 2010 sans utilisation des étiquettes de 5 niveau de catégorie mais seulement des étiquettes K-NN. 6. Procédé donné à titre d'exemple basé sur l'apprentissage de réduction de dimensionnalité et de classificateur combiné. ILSVRC 2010 a été utilisé pour l'apprentissage des classificateurs et les projections. 10 Pour éviter l'accord des paramètres sur les données d'essai, pour les expérimentations Holidays, les paramètres ont été validés sur UKB et réciproquement. [01110] Les résultats sont représentés dans le Tableau 1 pour Holidays et le Tableau 2 pour UKB pour différents 15 niveaux de réduction de dimensionnalité (R = 16 à 512). Tableau 1 : Apprentissage de sous-espace : résultats sur Holidays R=16 R=32 R=64 R=128 R=256 R=512 1. Non supervisée (PCA) 53,1 % 61,3 % 68,0 % 72,3 % 75,0 % 76,8 % 2. Supervisée 51,7 % 61,7 % 66,8 % 72,0 % 75,4 % 76,9 % apprise sur UKB 3. Supervisée 36,8 % 52,4 % 62,6 % 68,9 % 75,4 % 78,5 % apprise sur ILSVRC10 4. Supervisée 49,6 % 62,0 % 66,6 % 70,4 % 74,6 % 77,8 % apprise sur ILSVRC10 + KNN 5. Non 49,4 % 60,3 % 64,0 % 70,7 % 76,0 % 77,4 % 111441-FR-NP 37 supervisée apprise sur ILSVRC10 + KNN 6. Procédé 56,7 % 64,0 % 72,0 % 75,8 % 78,1 % 78,7 % donné à titre d'exemple Tableau 2 : Apprentissage de sous-espace : résultats sur UKB R=16 R=32 R=64 R=128 R=256 R=512 1. Non 2,56 2,82 3,01 3,08 3,15 3,18 supervisée (PCA) 2. Supervisée 1,07 1,98 2,54 2,89 3,06 3.15 apprise sur UKB 3. Supervisée 1,83 2,32 2,69 2,92 3,09 3,16 apprise sur ILSVRC10 4. Supervisée 1,24 2,18 2,57 2,85 3,02 3,13 apprise sur ILSVRC10 + KNN 5. Non 0,90 2,10 2,56 2,82 3,02 3,12 supervisée apprise sur ILSVRC10 + KNN 6. Procédé 2,67 2,92 3,16 3,25 3,29 3,29 donné à titre d'exemple 111441-FR-NP 38 [0111] Le procédé donné à titre d'exemple conduit à des améliorations par rapport aux cinq autres procédés. REVENDICATIONS1. Procédé d'extraction comprenant : fournir une projection pour intégrer une représentation d'image originale dans un espace d'intégration, la représentation d'image originale étant basée sur des caractéristiques extraites de l'image, la projection ayant été apprise à partir de données d'apprentissage étiquetées en catégorie pour optimiser un taux de classification des données d'apprentissage; et avec un processeur, pour chacune d'une pluralité d'images de base de données, calculer une mesure de comparaison entre une image d'interrogation et l'image de base de données, la mesure de comparaison étant calculée dans l'espace d'intégration, des représentations d'image originale respectives de l'image d'interrogation et de l'image de base de données étant intégrées dans l'espace d'intégration avec la projection ; et fournir pour extraction au moins l'une des images de base de données sur la base de la comparaison. 2 - Procédé selon la revendication 1, comprenant en outre l'apprentissage de la projection. 3 - Procédé selon la revendication 2, dans lequel l'apprentissage de la projection est réalisé conjointement avec l'apprentissage d'un classificateur respectif pour chacun d'un sous-ensemble de catégories. 4 - Procédé selon la revendication 2, dans lequel l'apprentissage de la projection comprend l'optimisation d'une fonction objective qui somme, sur un ensemble 30111441-FR-NP 40 d'échantillons et de catégories, une fonction d'un score de l'échantillon sur le classificateur correspondant à sa catégorie et d'un score de l'échantillon sur un classificateur ne correspondant pas à ses catégories. 5 - Procédé selon la revendication 2, dans lequel l'apprentissage de la projection comprend, pour une pluralité d'itérations : choisir un échantillon à partir des données d'apprentissage; intégrer l'échantillon avec une projection courante ; attribuer un score à l'échantillon intégré avec des premier et second classificateurs courants, le premier classificateur correspondant à une catégorie de l'étiquette de l'échantillon, le second classificateur correspondant à une catégorie différente, choisie à partir d'un ensemble de catégories ; et mettre à jour la projection courante et au moins l'un des premier et second classificateurs courants pour des itérations où le second classificateur génère un score plus élevé que le premier classificateur, la projection mise à jour servant en tant que projection courante pour une itération subséquente, chacun des classificateurs mis à jour servant en tant que classificateur courant pour la catégorie respective pour une itération subséquente ; et stocker une projection mise à jour en tant que projection apprise. 6 - Procédé selon la revendication 5, dans lequel les classificateurs sont mis à jour en fonction de l'échantillon intégré et d'un taux d'apprentissage.111441-FR-NP 41 7 - Procédé selon la revendication 5, dans lequel la projection est mise à jour en fonction des premier et second classificateurs et d'un taux d'apprentissage. 8 - Procédé selon la revendication 1, comprenant en outre la génération d'une représentation originale de l'image d'interrogation sur la base des caractéristiques extraites et le calcul de la comparaison entre l'image d'interrogation et l'image de base de données comprenant l'intégration de la représentation originale de l'image d'interrogation avec la matrice de projection. 9 - Procédé selon la revendication 1, comprenant en outre le fait de délivrer en sortie au moins l'une 15 parmi : - au moins l'une des images extraites ; et - une décision sur la base d'au moins une des images extraites. 20 10 - Système d'extraction comprenant : une mémoire qui stocke : une matrice de projection pour intégrer des caractéristiques d'image dans un espace d'intégration, la matrice de projection ayant été 25 apprise à partir de données d'apprentissage étiquetées en catégorie pour optimiser un taux de classification sur les données d'apprentissage ; des instructions pour calculer une comparaison entre une image d'interrogation et une image de 30 base de données dont des caractéristiques respectives sont intégrées dans l'espace d'intégration avec la matrice de projection ; et111441-FR-NP 42 un processeur en communication avec la mémoire qui met en oeuvre les instructions.