Brevet FR2821958A1 — publié le 20020913

SYSTÈME DE TRAITEMENT D'UN ENSEMBLE DE DOCUMENTS TEXTUELS STOCKES DANS UNE BASE DE DONNEES EVOLUANT DANS LE TEMPS. La présente invention est relative au traitement d'un ensemble de documents textuels stockés dans une base de données évoluant dans le temps. De nombreux procédés de traitement de données textuelles sont déjà connus. Notamment, il a déjà été proposé par la demanderesse dans sa demande de brevet WO99/05614 un système de traitement de données textuelles permettant un suivi dynamique dans le temps de l'information contenue dans les documents d'une base de données et notamment permettant de mesurer à plusieurs instants successifs un certain nombre de paramètres caractérisant les données textuelles de ces documents pour mettre en évidence une éventuelle évolution anormale du contenu informatif de ceux-ci dans le temps. Un but de l'invention est de proposer une technique apte à permettre une détection particulièrement fiable de distorsions de la structure de l'information contenue dans les documents d'une base de données qui évolue dans le temps et en particulier apte à permettre de mettre en évidence très rapidement les évolutions sur le contenu informationnel d'une base de données qui évolue dans le temps, alors même que celles-ci seraient difficilement détectables par une lecture humaine. Plus particulièrement, la solution proposée par l'invention est un système caractérisé en ce qu'il comporte : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à déterminer pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent des valeurs de paramètres calculées sur le contenu des documents de la base de données et à générer sur les moyens d'interface un signal d'alerte qui est fonction d'au moins une de ces grandeurs, lesdits moyens de traitement comportant notamment des moyens aptes - à déterminer dans la base de données, pour plusieurs instants successifs, les documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - à déterminer pour chacun de ces documents un paramètre, appelé taux de distanciation, fonction du nombre de propositions dans lesquelles le temps conditionnel hypothétique est employé et du nombre de propositions dans lesquelles le temps conditionnel présent sans condition est employé, - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à détecter l'instant où ladite valeur moyenne et/ou écart type franchit ledit seuil, les moyens d'interface comportant des moyens pour émettre un signal lors d'une telle détection. D'autres caractéristiques et avantages de l'invention ressortiront encore de l'exemple qui va maintenant être décrit. Selon cet exemple, on acquiert un nombre important de documents constitués de données textuelles, par exemple en mettant en oeuvre une recherche au moyen d'un moteur de recherche sur Internet ou encore en utilisant des bases de données spécifiques. Ces documents sont mémorisés dans une base de données, qui est par exemple mise à jour régulièrement, de sorte que son contenu évolue dans le temps. Le système comporte des moyens de traitement informatiques qui mettent en ceuvre sur les documents de cette base de données différents traitements, par exemple les traitements décrits dans les demandes de brevet de la demanderesse WO99/05614 et FR 00/11068. Notamment, conformément à l'enseignement de la demande FR 00/11068, le système détermine pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent l'erreur entre d'une part d'une part des valeurs de paramètres calculées sur le contenu des documents de la base de données à un instant donné et d'autre part des valeurs de prédictions déterminées pour ces paramètres en fonction de valeurs calculées pour ceux-ci à des instants précédents, l'ensemble de ces grandeurs d'erreur déterminées pour un instant donné constituant la signature dite globale de la base de données à cet instant, et génère sur des moyens d'interface un signal d'alerte qui est fonction d'au moins une des valeurs de ces grandeurs. Ces moyens informatiques mettent également en ceuvre pour chaque document un traitement d'analyse syntaxique, qui s'inspire des publications de Gosselin ( Sémantique de la temporalité en français. , 1996 ; et La valeur de l'imparfait et du conditionnel dans les systèmes hypothétiques.}}, Annual Conference of the Linguistic Society of Belgium, Institut Libre Marie Haps (Brussels), 1997), et qui est le suivant. Ce traitement consiste en l'occurrence à compter dans le document - le nombre de propositions dans lesquelles le conditionnel présent sans condition est employé ; - le nombre de propositions dans lesquelles le conditionnel hypothétique est employé. Par exemple, pour une implémentation de l'outil sur des documents en anglais, l'outil déterminera : - le nombre de propositions dans lesquelles le conditionnel présent sans condition est employé en comptant le nombre de propositions qui contiennent would et dont la suite ne contient pas d'auxiliaire infinitif ni de participe passé ; - le nombre de propositions dans lesquelles le conditionnel hypothétique est employé en comptant le nombre de propositions subordonnées qui contiennent if . Avantageusement, l'outil ajoute également à cette somme : - le nombre de phrases, - un paramètre fonction de la date de parution du document. La somme obtenue est ensuite divisée par le nombre de phrases du document, de façon à disposer d'un résultat rapporté aux divisions naturelles du document que constituent les phrases. La somme ainsi obtenue constitue un paramètre qui quantifie le taux de distanciation par document et qui traduit par conséquent un comportement linguistique du locuteur. Il permet une mesure graduelle entre les textes et permet de situer différents textes, les uns par rapport aux autres. L'outil met ensuite en oeuvre sur l'ensemble des documents traités une évaluation statistique : calcul du taux de distanciation moyen et d'un écart type de taux de distanciation. Dans le cas où le traitement se fait sur une fenêtre temporelle glissante, on parle alors de taux de distanciation d'un flux de documents et de dispersion de taux de distanciation (écart type sur moyenne). Les taux de distanciation moyens et les écarts types peuvent être comparés à des seuils et classés dans une catégorie de taux de distanciation selon le résultat de cette comparaison. Notamment, les moyens d'interface comportent des moyens pour, lors de la comparaison de la moyenne et/ou écart type ainsi déterminé à une valeur seuil et lors de la détection de ce que ladite valeur moyenne et/ou écart type franchit ledit seuil, émettre un signal d'alerteb (affichage particulier à l'écran par exemple). REVENDICATIONS 1. Système caractérisé en ce qu'il comporte : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à déterminer pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent des valeurs de paramètres calculées sur le contenu des documents de la base de données et à générer sur les moyens d'interface un signal d'alerte qui est fonction d'au moins une de ces grandeurs, lesdits moyens de traitement comportant notamment des moyens aptes - à déterminer dans la base de données, pour plusieurs instants successifs, les documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - à déterminer pour chacun de ces documents un paramètre, appelé taux de distanciation, fonction du nombre de propositions dans lesquelles le temps conditionnel hypothétique est employé et du nombre de propositions dans lesquelles le temps conditionnel présent sans condition est employé, - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à détecter l'instant où ladite valeur moyenne et/ou écart type franchit ledit seuil, les moyens d'interface comportant des moyens pour émettre un signal lors d'une telle détection. 2. Système selon la revendication 1, caractérisé en ce que pour calculer le taux de distanciation du document, les moyens de traitement somment le ou les nombres précités dont ledit paramètre est fonction. 3. Système selon la revendication 2, caractérisé en ce que pour calculer le taux de distanciation, les moyens de traitement somment le ou les nombres précités dont ledit paramètre est fonction et ajoutent le nombre de phrases du document et/ou un paramètre fonction de la date de parution du document. 4. Système selon l'une des revendications précédentes, caractérisé en ce que les moyens de traitement déterminent le nombre de phrases d'un document et calculent un taux de distanciation rapporté à ce nombre de phrases.