Brevet FR2821957A1 — publié le 20020913

SYSTÈME DE TRAITEMENT D'UN ENSEMBLE DE DOCUMENTS TEXTUELS STOCKES DANS UNE BASE DE DONNEES EVOLUANT DANS LE TEMPS. La présente invention est relative au traitement d'un ensemble de documents textuels stockés dans une base de données évoluant dans le temps. De nombreux procédés de traitement de données textuelles sont déjà connus. Notamment, il a déjà été proposé par la demanderesse dans sa demande de brevet WO99/05614 un système de traitement de données textuelles permettant un suivi dynamique dans le temps de l'information contenue dans les documents d'une base de données et notamment permettant de mesurer à plusieurs instants successifs un certain nombre de paramètres caractérisant les données textuelles de ces documents pour mettre en évidence une éventuelle évolution anormale du contenu informatif de ceux-ci dans le temps. Un but de l'invention est de proposer une technique apte à permettre une détection particulièrement fiable de distorsions de la structure de l'information contenue dans les documents d'une base de données qui évolue dans le temps et en particulier apte à permettre de mettre en évidence très rapidement les évolutions sur le contenu informationnel d'une base de données qui évolue dans le temps, alors même que celles-ci seraient difficilement détectables par une lecture humaine. Plus particulièrement, la solution proposée par l'invention est un système 1. Système caractérisé en ce qu'il comporte : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, - les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à : - déterminer dans la base de données, pour plusieurs instants successifs, les documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - déterminer pour chacun de ces documents un paramètre appelé taux d'engagement fonction : du nombre de pronoms personnels de 1 ère personne singulier dans le document considéré et/ou du nombre d'adjectifs possessifs de 1ère personne singulier, et/ou 'du nombre de pronoms personnels de 1ère personne pluriel et/ou 'du nombre d'adjectifs possessifs de 1ère personne pluriel et/ou du nombre de pronoms personnels de 2ème personne singulier et/ou du nombre d'adjectifs possessifs de 2ème personne singulier et/ou 'du nombre de pronoms personnels de 2ème personne pluriel et/ou 'du nombre d'adjectifs possessifs de 2ème personne pluriel et/ou du nombre de pronoms démonstratifs et/ou du nombre d'adjectifs démonstratifs du nombre de phases, et - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à détecter l'instant où ladite valeur moyenne et/ou écart type franchit ledit seuil, les moyens d'interface émettant un signal fonction de cette détection. D'autres caractéristiques et avantages de l'invention ressortiront encore de l'exemple qui va maintenant être décrit. Selon cet exemple, on acquiert un nombre important de documents constitués de données textuelles, par exemple en mettant en oeuvre une recherche au moyen d'un moteur de recherche sur Internet ou encore en utilisant des bases de données spécifiques. Ces documents sont mémorisés dans une base de données, qui est par exemple mise à jour régulièrement, de sorte que son contenu évolue dans le temps. Le système comporte des moyens de traitement informatiques qui mettent en oeuvre sur les documents de cette base de données différents traitements, par exemple les traitements décrits dans les demandes de brevet de la demanderesse WO99/05614 et FR 00/11068. Notamment, conformément à l'enseignement de la demande FR 00/11068, le système détermine pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent l'erreur entre d'une part d'une part des valeurs de paramètres calculées sur le contenu des documents de la base de données à un instant donné et d'autre part des valeurs de prédictions déterminées pour ces paramètres en fonction de valeurs calculées pour ceux-ci à des instants précédents, l'ensemble de ces grandeurs d'erreur déterminées pour un instant donné constituant la signature dite globale de la base de données à cet instant, et génère sur des moyens d'interface un signal d'alerte qui est fonction d'au moins une des valeurs de ces grandeurs. Ces moyens informatiques mettent également en oeuvre pour chaque document un traitement d'analyse syntaxique qui permet ensuite d'effectuer le traitement suivant. Ce traitement consiste en l'occurrence à compter et sommer dans le document : - le nombre de pronoms personnels de 1ère personne singulier, - le nombre d'adjectifs possessifs de 1ère personne singulier. - le nombre de pronoms personnels de 1ère personne pluriel, - le nombre d'adjectifs possessifs de 1 ère personne pluriel. - le nombre de pronoms personnels de 2ème personne singulier, - le nombre d'adjectifs possessifs de 2ème personne singulier. - le nombre de pronoms personnels de 2ème personne pluriel, - le nombre d'adjectifs possessifs de 2ème personne pluriel. - le nombre de pronoms démonstratifs, - le nombre d'adjectifs démonstratifs. Avantageusement, l'outil compte séparément Je nombre de phrases. La somme des paramètres de la liste donnée ci-dessus est ensuite divisée par le nombre de phrases du document, de façon à disposer d'un résultat rapporté aux divisions naturelles du document que constituent les phrases. Avantageusement encore, il est possible de pondérer chacun des paramètres de la liste donnée ci-dessus. Notamment, on accorde les poids les plus forts aux premiers paramètres de la liste. Les coefficients de pondération qui interviennent dans la formule permettent : de hiérarchiser l'importance relative donnée à la première personne singulier, à la première personne pluriel, à la deuxième personne singulier, à la deuxième personne pluriel, aux pronoms et adjectifs démonstratifs. Un exemple de pondération est le suivant : - le nombre de pronoms personnels de 1ère personne singulier et le nombre d'adjectifs possessifs de 1 ère personne singulier sont pondérés par une multiplication par 1 ; - le nombre de pronoms personnels de 1ère personne pluriel et le nombre d'adjectifs possessifs de 1 ère personne pluriel sont pondérés par une multiplication par 0,8 ; - le nombre de pronoms personnels de 2ème personne singulier et le nombre d'adjectifs possessifs de 2ème personne singulier sont pondérés par une multiplication par 0, 6 ; - le nombre de pronoms personnels de 2ème personne pluriel et le nombre d'adjectifs possessifs de 2ème personne pluriel sont pondérés par une multiplication par 0,4 ; - le nombre de pronoms démonstratifs et le nombre d'adjectifs démonstratifs sont pondérés par une multiplication par 0, 2. La somme-pondérée ou non-ainsi obtenue est divisée par le nombre de phases pour constituer un paramètre qui quantifie le taux d'engagement par document et qui traduit par conséquent un comportement linguistique du locuteur. Il permet une mesure graduelle entre les textes et permet de situer différents textes, les uns par rapport aux autres. L'outil met ensuite en oeuvre sur l'ensemble des documents traités une évaluation statistique : calcul du taux d'engagement moyen et d'un écart type de taux d'engagement. Dans le cas où le traitement se fait sur une fenêtre temporelle glissante, on parle alors de taux d'engagement d'un flux de documents et de dispersion de taux d'engagement (écart type sur moyenne). Les taux d'engagement moyens et les écarts types peuvent être comparés à des seuils et classés dans une catégorie de taux d'engagement selon le résultat de cette comparaison permet ainsi d'obtenir un classement statique des locuteurs ou sources d'information ou des ensembles de documents en fonction du niveau d'engagement. Avantageusement encore, il est possible d'étudier le comportement dynamique des locuteurs ou sources d'informations ou des flux de documents à l'aide de l'ensemble des traitements statistiques (possibles) des séries chronologiques. Notamment, les moyens de traiutement informatiques sont avantageusement programmer pour déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à détecter l'instant où ladite valeur moyenne et/ou écart type franchit ledit seuil, les moyens d'interface émettant un signal fonction de cette détection (affichage particulier sur un écran par exemple). On notera qu'il est avantageusement prévu que l'outil comporte des moyens permettant de très facilement modifier les coefficients de pondération. L'utilisateur peut en effet par exemple souhaiter mettre à zéro certains des paramètres pour n'étudier qu'une seule partie de l'engagement. Au contraire, il peut souhaiter donner plus de poids à telle partie de l'engagement plutôt qu'à telle autre. REVENDICATIONS 1. Système caractérisé en ce qu'il comporte : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, - les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à : - déterminer dans la base de données, pour plusieurs instants successifs, les documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - déterminer pour chacun de ces documents un paramètre appelé taux d'engagement fonction : du nombre de pronoms personnels de 1 ère personne singulier dans le document considéré et/ou du nombre d'adjectifs possessifs de 1ère personne singulier, et/ou 'du nombre de pronoms personnels de 1ère personne pluriel et/ou 'du nombre d'adjectifs possessifs de 1ère personne pluriel et/ou du nombre de pronoms personnels de 2ème personne singulier et/ou du nombre d'adjectifs possessifs de 2ème personne singulier et/ou 'du nombre de pronoms personnels de 2ème personne pluriel et/ou a du nombre d'adjectifs possessifs de 2ème personne pluriel et/ou du nombre de pronoms démonstratifs et/ou du nombre d'adjectifs démonstratifs du nombre de phases, et - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à détecter l'instant où ladite valeur moyenne et/ou écart type franchit ledit seuil, les moyens d'interface émettant un signal fonction de cette détection. 2. Système selon la revendication 1, caractérisé en ce que pour calculer le taux d'engagement d'un document, les moyens de traitement somment les nombres précités dont ledit paramètre est fonction. 3. Système selon la revendication 2, caractérisé en ce que pour calculer le taux d'engagement d'un document, les moyens de traitement somment le ou les nombres précités dont ledit paramètre est fonction et on divise la somme obtenue par le nombre de phrases de ce document. 4. Système selon l'une des revendications 2 ou 3, caractérisé en ce que les moyens de traitement pondèrent les différents nombres sommés. 5. Système selon la revendication 4, caractérisé en ce que les coefficients de pondération sont modifiables par l'utilisateur.