Brevet FR2876198A1 — publié le 20060407

Génération automatique de résumé thématique La présente invention concerne un procédé de génération automatique de résumé thématique de document au moins textuel. Dans l'état de la technique, des systèmes de génération automatique de résumé d'un document s'appuient notamment sur des analyses linguistiques et statistiques du document à résumer. Ces systèmes génèrent en permanence le même résumé pour un document donné non modifié. Les usagers ne peuvent pas interagir avec la génération du résumé, afin par exemple d'orienter le résumé vers un thème plus particulier du document. L'invention a pour objectif de remédier aux inconvénients précités en générant des résumés différents d'un même document afin d'obtenir automatiquement des résumés thématiques du document. Pour atteindre cet objectif, un procédé pour générer automatiquement un résumé thématique à partir d'un document au moins textuel dans un dispositif informatique, comprenant une étape de déterminer au moins un paramètre thématique du document, est caractérisé en ce qu'il comprend les étapes suivantes de. - sélectionner au moins un paramètre thématique parmi des paramètres thématiques déterminés, - trouver des mots dans le document correspondant à chaque paramètre thématique sélectionné afin d'associer un facteur thématique respectif à chaque mot trouvé correspondant à un paramètre thématique sélectionné, - pondérer chaque mot au moins trouvé du document par un poids déterminé en fonction au moins de l'un des éléments parmi un nombre de répétition du mot dans le document et au moins un facteur thématique respectif, et - sélectionner un ensemble de mot du document en fonction des mots du document ayant les poids les plus élevés afin de générer le résumé thématique dépendant de l'ensemble de mot sélectionné. A l'étape de pondérer, le facteur de thème de chaque mot trouvé correspondant à un paramètre thématique sélectionné donné est augmenté ou diminué, respectivement à une valeur maximale ou minimale, de facteur thématique pour que le résumé généré soit proche, respectivement éloigné du paramètre thématique sélectionné donné. L'invention concerne également un dispositif informatique pour générer automatiquement un résumé thématique à partir d'un document au moins textuel comprenant un moyen pour déterminer au moins un paramètre thématique du document. Le dispositif est caractérisé en ce qu'il comprend: - un moyen pour sélectionner au moins un paramètre thématique parmi des paramètres thématiques déterminés, - un moyen pour trouver des mots dans le document correspondant à chaque paramètre thématique sélectionné afin d'associer un facteur thématique respectif à chaque mot trouvé correspondant à un paramètre thématique sélectionné, - un moyen pour pondérer chaque mot au moins trouvé du document par un poids déterminé en fonction au moins de l'un des éléments parmi un nombre de répétition du mot dans le document et au moins un facteur thématique respectif, et - un moyen pour sélectionner un ensemble de mot' du document en fonction des mots du document ayant les poids les plus élevés afin de générer le résumé thématique dépendant de l'ensemble de mot sélectionné. D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante de plusieurs réalisations préférées de l'invention, données à titre d'exemples non limitatifs, en référence aux dessins annexés correspondants dans lesquels: - la figure 1 est un bloc-diagramme schématique d'un système de génération automatique de résumé mettant en oeuvre un procédé de génération automatique de résumé thématique d'un document selon l'invention; et - la figure 2 est un algorithme du procédé de génération automatique de résumé thématique de document selon l'invention. Dans la suite de la description, un document est un fichier numérique comprenant au moins du texte. Il peut comprendre éventuellement au moins une image et/ou au moins une séquence vidéo. Un document est par exemple une page au format HTML (HyperText Markup Language) ou un document issu d'un traitement de texte. Un résumé thématique d'un document selon l'invention est un résumé orienté vers un thème ou éloigné d'un thème. Un résumé est un groupe de phrases ayant une taille relativement petite par rapport au document. Un thème est défini par un ensemble de mot dans un contexte syntaxique particulier, ledit ensemble de mot comprenant un mot ou plusieurs mots au sens de l'invention. Un paramètre thématique selon l'invention est un paramètre influant sur la génération d'un résumé thématique. Un paramètre thématique est souvent lié à un caractère de présence ou d'absence de celui-ci. Par exemple, un résumé thématique généré en dépendance de la présence du paramètre thématique "sport" tendra à comporter des mots du document ayant trait au "sport", et inversement, un résumé thématique généré en dépendance de l'absence du paramètre thématique "sport" tendra à ne pas comporter de mot ayant trait au "sport" et est ainsi éloigné du paramètre thématique. Dans un autre exemple, si un paramètre thématique est l'absence du thème "temporel", le résumé généré tendra à ne comporter aucune donnée temporelle, telle que date, heure et année; ou si un paramètre thématique est la présence du thème "nombre", le résumé généré tendra à comporter des nombres du document. Par exemple, le procédé est mis en oeuvre pour un service de recherche de document sur internet, présentant le résultat de la recherche sous forme d'une liste de résumés thématiques de documents en fonction de paramètres thématiques sélectionnés par l'usager. En variante, les résumés fournis dans la liste sont généraux et indépendants d'un thème, et ensuite le service de recherche propose à l'utilisateur de sélectionner une liste de paramètres thématiques et de noms extraits des documents trouvés, et génère dynamiquement des resumés thématiques personnalisés en fonction des paramètres thématiques sélectionnés, comme on le verra ci- après. En référence à la figure 1, le système de génération automatique de résumé thématique comprend principalement un serveur de génération de résumé thématique SR, un serveur de base de données de documents SBD, un serveur de base de données de paramètres thématiques SBP, un serveur de base de données linguistiques SBL et au moins un terminal d'usager T. Le serveur de génération de résumé thématique SR comprend principalement une unité centrale UC, un parseur de document PD, un analyseur linguistique AL, un extracteur d'entités nommées EE, un module de détermination de thème MT et un module de résumé MR. Le serveur de base de données linguistiques SBL comprend des données telles que des thésaurus faisant correspondre des paramètres thématiques à des ensembles de mots, des lexiques particuliers, etc. Le terminal d'usager T est relié à un réseau d'accès respectif RA par une liaison LT. Il comprend nécessairement un moyen d'affichage et/ou un moyen de restitution sonore de données numériques. Le terminal T est par exemple un terminal de radiocommunications mobile Tl, la liaison LT est un canal de radiocommunications, et le réseau d'accès respectif RA comprend le réseau fixe d'un réseau de radiocommunications cellulaire, par exemple de type GSM (Global System for Mobile communications) avec un service GPRS (General Packet Radio Service), ou de type UMTS (Universal Mobile Telecommunications System). Selon un autre exemple, le terminal T est un ordinateur personnel T2, relié directement par modem à la liaison LT de type ligne xDSL ou RNIS (Réseau Numérique à Intégration de Services) reliée au réseau d'accès RA correspondant. Selon un autre exemple, le terminal T est un terminal fixe de télécommunications T3, la liaison LT est une ligne téléphonique et le réseau d'accès respectif RA comprend le réseau téléphonique commuté. Selon d'autres exemples, le terminal d'usager T comprend un dispositif ou objet électronique de télécommunications personnel à l'usager qui peut être un assistant numérique personnel communicant PDA. Le terminal T peut être tout autre terminal domestique portable ou non tel qu'une console de jeux vidéo, ou un récepteur de télévision intelligent coopérant avec une télécommande à afficheur ou un clavier alphanumérique servant également de souris à travers une liaison infrarouge. Selon un autre exemple, le réseau d'accès RA comprend un réseau de raccordement de plusieurs terminaux d'usager. Les terminaux d'usager T et les réseaux d'accès RA ne sont pas limités aux exemples ci-dessus et peuvent être constitués par d'autres terminaux et réseaux d'accès connus. Les serveurs de bases de données SBD, SBP et SBL communiquent avec le serveur de génération de résumé thématique SR à travers un réseau de télécommunications RT, tel qu'internet, relié aux réseaux d'accès RA. En variante, au moins l'un des serveurs de base de données SBD, SBP et SBL communique localement avec le serveur de génération de résumé thématique SR. Dans d'autres variantes, les données dans les serveurs de base de données SBD, SBP et SBL sont réparties dans un ou deux serveurs de base de données. En référence à la figure 2, le procédé de génération automatique d'un résumé thématique d'un document mémorisé initialement dans le serveur de base de données de documents SBD comprend, selon l'invention, des étapes El à E7 exécutées automatiquement dans le serveur de génération de résumé thématique SR. A l'étape El, le parseur de document PD transforme le document en un document pré-analysé, pour que d'autres modules dans le serveur de génération de résumé thématique SR utilisent et interprètent le document pré-analysé quel que soit le format du document. La pré-analyse consiste à analyser le document et à créer à partir du document et de l'analyse, un document pré-analysé contenant et décrivant les différents éléments du document. Un élément du document est par exemple un paragraphe, un titre, une image, un tableau, ou un mot. Le document pré-analysé contient des descriptions d'éléments telles que le soulignement de mot, l'écriture grasse de mot, des emplacements d'images, des séquences vidéo, des puces, etc. Les sous-étapes E21 à E23 consistent à déterminer des paramètres thématiques du document. Certaines de ces étapes peuvent être modifiées ou complétées ou supprimées, et d'autres étapes peuvent être ajoutées pour déterminer des paramètres thématiques. A l'étape E21, l'analyseur linguistique AL analyse le document préanalysé pour déterminer des caractéristiques lexicales du type lemmes de mots utilisés et thèmes abordés dans le document, des caractéristiques syntaxiques du type fonctions grammaticales de mots utilisés et découpages de phrases en groupes nominaux et verbaux, et des caractéristiques sémantiques. Ces caractéristiques sont mémorisées en correspondance avec le document dans le serveur de base de données de paramètres thématiques SBP pour déterminer au moins un paramètre thématique du document aux étapes suivantes E22 et E23. A l'étape E22, l'extracteur d'entités nommées EE extrait des entités nommées, c'est-à-dire des noms et prénoms de personnes, des noms de lieux, des marques et des dénominations de sociétés, du document pré-analysé en fonction des caractéristiques lexicales, syntaxiques et sémantiques déterminées et fournies par l'analyseur linguistique AL. Les entités nommées sont mémorisées en correspondance avec le document dans le serveur de base de données de paramètres thématiques SBP. Dans une variante, le procédé selon l'invention ne se limite pas à la méthode d'extraction d'entité nommée décrite ci-dessus, mais accepte toutes les méthodes d'extraction d'entité nommée connues. A l'étape E23, le module de détermination de thème MT détermine un thème ou des thèmes majoritaires abordés par le document pré-analysé en fonction de mesures statistiques réalisées sur les caractéristiques lexicales, syntaxiques et sémantiques et éventuellement en fonction des informations contenues dans un thésaurus. Le thème est mémorisé en correspondance avec le document dans le serveur de base de données de paramètres thématiques SBP. Dans une variante, le procédé selon l'invention ne se limite pas à la méthode de détermination de thème décrite ci-dessus, mais accepte toutes les méthodes de détermination de thème connues. Les entités nommées et les thèmes sont des exemples de paramètres thématiques du document. Dans une variante, l'étape El est supprimée et les paramètres thématiques sont directement déterminés à partir du document. Dans une autre variante, les étapes El à E23 qui ne se déroulent qu'une fois, sont précédées d'une étape de sélection des documents. A l'étape E3, l'unité centrale UC sélectionne au moins un paramètre thématique parmi les paramètres thématiques déterminés aux étapes E22 et E23. Les paramètres thématiques sélectionnés sont mémorisés dans le serveur de base de données de paramètres thématiques SBP en correspondance avec le document. Par exemple, lors d'un service web de génération de résumé d'un document, le terminal d'usager T sélectionne, pour un document donné, des paramètres thématiques présentés au terminal T par le serveur de génération de résumé thématique SR sous forme d'une page HTML contenant un formulaire. Pour un document traitant du tourisme à Paris, les paramètres "météo" et "Paris" sont sélectionnés parmi les mots suivants. Paris, restaurants, théâtres, spectacles, Tour Eiffel, soleil, Victor Hugo, sport, nombres, dates, météo. Dans l'exemple du service de recherche, le serveur de génération de résumé thématique SR déduit des paramètres thématiques sélectionnés à partir des mots clés saisis par l'usager du terminal lors sa recherche. Dans un autre exemple similaire au dernier, l'usager du terminal saisit une phrase en langage naturel, et un analyseur linguistique extrait des mots clés de la phrase saisie en tant que paramètres thématiques. Selon une combinaison des exemples précédents, le serveur de génération de résumé thématique SR fournit des résumés des documents trouvés, généraux et indépendants d'un thème, et puis propose à l'usager pour chaque document trouvé un formulaire afin que des paramètres thématiques extraits de ce document soient sélectionnés. L'usager sélectionne alors au moins un paramètre au moyen du formulaire que le serveur SR reçoit. Le serveur génère des résumés en fonction des paramètres sélectionnés par l'usager, lesquels résumés sont affichés dans le terminal d'usager T. A l'étape E4, l'unité centrale UC recherche dans le document pré-analysé des mots correspondant à chacun des paramètres thématiques sélectionnés à l'étape précédente E3. Pour cette recherche de mots, l'unité centrale UC consulte les thésaurus mémorisés dans le serveur de base de données linguistiques SBL et lit des listes de mot clé préalablement associées aux paramètres thématiques sélectionnés. Par exemple, une liste de mot clé comprend les mots clés "ville", "mode", "luxe" et "tour Eiffel" lorsque le paramètre thématique est "Paris". Toutefois une liste de mot clé peut ne comprendre qu'un seul mot clé, comme par exemple le paramètre thématique lorsqu'il est composé d'un seul mot. Ensuite l'unité centrale UC compare chaque mot du document aux mots clés de la liste associée à chaque paramètre thématique sélectionné afin d'associer un facteur thématique correspondant au paramètre thématique sélectionné, à chaque mot trouvé identique à un mot clé de la liste. L'association de chaque mot de document trouvé et du facteur thématique respectif est mémorisé dans le serveur SBP. Lorsqu'un mot du document n'est identique à aucun mot clé de la liste associée à chaque paramètre thématique, le facteur thématique est une constante prédéterminée, par exemple égale à zéro. A l'étape E5, le module de résumé MR détermine un poids pour chaque mot de document au moins trouvé en fonction d'un nombre de répétition du mot dans le document et/ou du ou des facteurs thématiques respectifs associés au mot. Lorsque le mot trouvé est associé à plusieurs facteurs thématiques respectifs, le poids du mot trouvé est par exemple la moyenne des facteurs thématiques respectifs. Selon un autre exemple, le poids du mot de document est le produit du nombre de répétition du mot dans le document et du ou des facteurs thématiques respectifs. Le module de résumé MR pondère chaque mot de document par le poids respectif ainsi déterminé. On notera qu'un mot de document qui n'est pas trouvé à l'étape précédente E4 peut être également pondéré par un poids égal à son nombre de répétition dans le document. Selon une autre variante, le poids de chaque mot de document qui n'a pas été trouvé en correspondance avec un paramètre thématique sélectionné peut être une constante, par exemple égale à une valeur minimale de facteur thématique telle que zéro, lorsque les poids ne dépendent que de facteurs thématiques. Pour accentuer l'orientation thématique du résumé vers un paramètre thématique sélectionné donné, le module de résumé MR augmente le facteur de thème de chaque mot trouvé correspondant au paramètre donné à une valeur maximale de facteur thématique pour que le résumé généré soit proche du paramètre donné. En augmentant ainsi le poids des mots trouvés correspondant au paramètre donné, ces mots sont privilégiés dans la génération du résumé et orientent ainsi le résumé pour que le thème de celui-ci soit proche du paramètre thématique sélectionné donné. Dans une variante de l'étape E5, au lieu d'accentuer l'orientation thématique du résumé vers un paramètre thématique sélectionné donné, le module de résumé MR diminue le facteur de thème de chaque mot trouvé correspondant au paramètre donné à une valeur minimale de facteur thématique pour que le résumé généré soit éloigné du paramètre donné. Par exemple, la valeur minimale prédéterminée est égale au plus petit des poids déterminés à l'étape E5. Par exemple, la deuxième valeur prédéterminée est égale à zéro. En diminuant le poids de certains mots, ces mots tendent à être écartés de la génération du résumé et tendent à ne pas apparaître dans le résumé dont le thème est ainsi éloigné du paramètre thématique sélectionné. A l'étape E6, le module de résumé MR sélectionne un ensemble de mot du document en fonction des mots du document ayant les poids les plus élevés afin de générer un résumé thématique dépendant de l'ensemble de mot sélectionné et de préférence afin d'afficher à l'étape E7 ce résumé dans le terminal d'usager T. Un ensemble de mot participant à la génération du résumé est éventuellement une phrase ou un paragraphe. Par exemple, le module de résumé MR sélectionne, en tant qu'ensembles de mots, des phrases en fonction des poids des mots du document. A cet effet, le module MR additionne les poids des mots dans chaque phrase pour produire le poids de chaque phrase et sélectionne les phrases ayant le poids le plus élevé pour construire le résumé. Dans un autre exemple, le module de résumé MR sélectionne des phrases en fonction des poids des mots du document, détermine le poids d'un lien entre deux phrases, détermine le poids de chaque phrase notamment en fonction des poids des mots de la phrase, des poids associés aux liens concernés par ladite phrase et du nombre de phrases auxquelles ladite phrase est liée, et sélectionne les phrases ayant le poids le plus élevé pour construire le résumé. Le poids d'un lien entre deux phrases peut être déterminé en fonction des mots en commun aux deux phrases. Les étapes E3 à E7 peuvent être réitérées afin que le résumé thématique affiché soit précisé en fonction de paramètres thématiques sélectionnés progressivement par l'usager, comme indiqué par la boucle en traits pointillés dans la figure 2. La génération automatique du résumé thématique selon l'invention peut être complétée par d'autres étapes connues, telle que la réduction d'une phrase, la sélection d'éléments structurels comme un titre, etc. L'invention décrite ici concerne un procédé et un dispositif de génération automatique d'un résumé thématique d'un document. Selon une implémentation préférée, les étapes du procédé sont déterminées par des instructions d'un programme de génération automatique d'un résumé thématique d'un document incorporé dans un dispositif informatique comme le serveur de génération de résumé SR. Le programme comporte des instructions de programme qui, lorsque ledit programme est chargé et exécuté dans le dispositif informatique dont le fonctionnement est alors commandé par l'exécution du programme, réalisent les étapes du procédé selon l'invention. En conséquence, l'invention s'applique également à un programme d'ordinateur, notamment un programme d'ordinateur sur ou dans un support d'informations, adapté à mettre en oeuvre l'invention. Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable pour implémenter un procédé selon l'invention. Le support d'informations peut être n'importe quel dispositif ou entité capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy disc) ou un disque dur. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé selon l'invention. REVENDICATIONS 1 - Procédé pour générer automatiquement un résumé thématique dans un dispositif informatique (SR) à partir d'un document au moins textuel de la forme d'un fichier numérique initialement mémorisé dans un serveur de base de données (SBD, SBP, SBL) communiquant avec le dispositif informatique, comprenant une étape de déterminer (E22, E23) et mémoriser au moins un paramètre thématique du document, caractérisé en ce qu'il comprend les étapes suivantes de: - sélectionner (E3) et mémoriser au moins un paramètre thématique parmi des paramètres thématiques déterminés, trouver (E4) et mémoriser des mots dans le document correspondant à chaque paramètre thématique sélectionné afin d'associer un facteur thématique respectif à chaque mot trouvé correspondant à un paramètre thématique sélectionné, - pondérer (E5) chaque mot au moins trouvé du document par un poids déterminé en fonction au moins de l'un des éléments parmi un nombre de répétition du mot dans le document et au moins un facteur thématique respectif, et - sélectionner (E6) un ensemble de mot du document en fonction des mots du document ayant les poids les plus élevés afin de générer automatiquement le résumé thématique dépendant de l'ensemble de mot sélectionné. 2 - Procédé conforme à la revendication 1, caractérisé en ce qu'à l'étape de pondérer (E5), le facteur de thème de chaque mot trouvé correspondant à un paramètre thématique sélectionné donné est augmenté à une valeur maximale de facteur thématique pour que le résumé généré soit proche du paramètre thématique sélectionné donné. 3 - Procédé conforme à la revendication 1, caractérisé en ce qu'à l'étape de pondérer (E5), le facteur de thème de chaque mot trouvé correspondant à un paramètre thématique sélectionné donné est diminué à une valeur minimale de facteur thématique pour que le résumé généré soit éloigné du paramètre thématique sélectionné donné. 4 - Procédé conforme à l'une quelconque des revendications 1 à 3, selon lequel lorsqu'un mot trouvé est associé à plusieurs facteurs thématiques respectifs, le poids du mot trouvé est la moyenne des facteurs thématiques respectifs. - Procédé conforme à l'une quelconque des revendications 1 à 4, selon lequel l'étape de déterminer au moins un paramètre thématique comprend une extraction (E22) d'au moins une entité nommée du document en tant que paramètre thématique. 6 - Procédé conforme à l'une quelconque des revendications 1 à 5, selon lequel l'étape de déterminer au moins un paramètre thématique comprend une détermination (E23) d'au moins un thème du document en tant que paramètre thématique. 7 - Procédé conforme à l'une quelconque des revendications 1 à 6, comprenant préalablement une transformation (El) du document en un document pré-analysé décrivant des éléments du document, et une détermination (E21) de caractéristiques lexicales, syntaxiques et sémantiques du document pré-analysé afin qu'au moins un paramètre thématique du document soit déterminé (E22, E23) en fonction desdites caractéristiques. 8 - Dispositif informatique (SR, T) pour générer automatiquement un résumé thématique à partir d'un document au moins textuel de la forme d'un fichier numérique initialement mémorisé dans un serveur de base de données (SBD, SBP, SBL) communiquant avec le dispositif informatique, comprenant un moyen (AL, EE, MT) pour déterminer et mémoriser au moins un paramètre thématique du document, caractérisé en ce qu'il comprend: - un moyen (UC) pour sélectionner et mémoriser au moins un paramètre thématique parmi des paramètres thématiques déterminés, - un moyen (UC) pour trouver et mémoriser des mots dans le document correspondant à chaque paramètre thématique sélectionné afin d'associer un facteur thématique respectif à chaque mot trouvé correspondant à un paramètre thématique sélectionné, un moyen (MR) pour pondérer chaque mot au moins trouvé du document par un poids déterminé en fonction au moins de l'un des éléments parmi un nombre de répétition du mot dans le document et au moins un facteur thématique respectif, et - un moyen (MR) pour sélectionner un ensemble de mot du document en fonction des mots du document ayant les poids les plus élevés afin de générer automatiquement le résumé thématique dépendant de l'ensemble de mot sélectionné. 9 - Programme d'ordinateur sur un support 35 d'informations pour générer automatiquement un résumé thématique d'un document au moins textuel de la forme d'un fichier numérique initialement mémorisé dans un serveur de base de données (SBD, SBP, SBL), ledit programme comportant des instructions de programme qui lorsque ledit programme est chargé et exécuté dans un dispositif informatique (SR) réalisent des étapes de déterminer (E22, E23) et mémoriser au moins un paramètre thématique du document et sont caractérisées en ce qu'elles réalisent les étapes suivantes: sélectionner (E3) et mémoriser au moins un paramètre thématique parmi des paramètres thématiques déterminés, - trouver (E4) et mémoriser des mots dans le document correspondant à chaque paramètre thématique sélectionné afin d'associer un facteur thématique respectif à chaque mot trouvé correspondant à un paramètre thématique sélectionné, - pondérer (E5) chaque mot au moins trouvé du document par un poids déterminé en fonction au moins de l'un des éléments parmi un nombre de répétition du mot dans le document et au moins un facteur thématique respectif, et - sélectionner (E6) un ensemble de mot du document en fonction des mots du document ayant les poids les plus élevés afin de générer automatiquement le résumé thématique dépendant de l'ensemble de mot sélectionné.