Brevet FR2821956A1 — publié le 20020913

SYSTÈME DE TRAITEMENT D'UN ENSEMBLE DE DOCUMENTS TEXTUELS STOCKES DANS UNE BASE DE DONNEES EVOLUANT DANS LE TEMPS La présente invention est relative au traitement d'un ensemble de documents textuels stockés dans une base de données évoluant dans le temps. De nombreux procédés de traitement de données textuelles sont déjà connus. Notamment, il a déjà été proposé par la demanderesse dans sa demande de brevet WO99/05614 un système de traitement de données textuelles permettant un suivi dynamique dans le temps de l'information contenue dans les documents d'une base de données et notamment permettant de mesurer à plusieurs instants successifs un certain nombre de paramètres caractérisant les données textuelles de ces documents pour mettre en évidence une éventuelle évolution anormale du contenu informatif de ceux-ci dans le temps. Un but de l'invention est de proposer une technique apte à permettre une détection particulièrement fiable de distorsions de la structure de l'information contenue dans les documents d'une base de données qui évolue dans le temps et en particulier apte à permettre de mettre en évidence très rapidement les évolutions sur le contenu informationnel d'une base de données qui évolue dans le temps, alors même que celles-ci seraient difficilement détectables par une lecture humaine. Plus particulièrement, la solution proposée par l'invention est un système comportant : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à déterminer pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent des valeurs de paramètres calculées sur le contenu des documents de la base de données et à générer sur les moyens d'interface un signal d'alerte qui est fonction d'au moins une de ces grandeurs, lesdits moyens de traitement comportant notamment des moyens aptes - à déterminer automatiquement sur au moins un document de référence un ou plusieurs mots clés ou groupes de mots clés caractérisant le contenu de ce document, - à déterminer dans la base de données, pour plusieurs instants successifs, des documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - à déterminer pour chacun de ces documents un paramètre, appelé taux de traçabilité, fonction du nombre d'occurrences du ou des mots ou groupes de mots clés du (ou des) document (s) de référence, - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à déterminer en fonction de cette comparaison un type de catégorie à laquelle correspondent les documents, - les moyens d'interface émettant un signal fonction de cette comparaison. D'autres caractéristiques et avantages de l'invention ressortiront encore de l'exemple qui va maintenant être décrit. Selon cet exemple, on acquiert un nombre important de documents constitués de données textuelles, par exemple en mettant en oeuvre une recherche au moyen d'un moteur de recherche sur Internet ou encore en utilisant des bases de données spécifiques. Ces documents sont mémorisés dans une base de données, qui est par exemple mise à jour régulièrement, de sorte que son contenu évolue dans le temps. Le système comporte des moyens de traitement informatiques qui mettent en oeuvre sur les documents de cette base de données différents traitements, par exemple les traitements décrits dans les demandes de brevet de la demanderesse WO99/05614 et FR 00/11068. Notamment, conformément à l'enseignement de la demande FR 00/11068, le système détermine pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent l'erreur entre d'une part d'une part des valeurs de paramètres calculées sur le contenu des documents de la base de données à un instant donné et d'autre part des valeurs de prédictions déterminées pour ces paramètres en fonction de valeurs calculées pour ceux-ci à des instants précédents, l'ensemble de ces grandeurs d'erreur déterminées pour un instant donné constituant la signature dite globale de la base de données à cet instant, et génère sur des moyens d'interface un signal d'alerte qui est fonction d'au moins une des valeurs de ces grandeurs. Ces moyens informatiques mettent également en oeuvre pour chaque document un traitement d'analyse syntaxique. Avantageusement, le système ajoute également à cette analyse syntaxique : - un comptage du nombre de documents de la base de données ; - un paramètre fonction de la date de parution du document. Le calcul du taux de traçabilité comporte deux étapes, qui sont les suivantes. La première étape du traitement syntaxique consiste à synthétiser la communication en une suite de phrases majeures. Chaque phrase est ensuite représentée par un ou plusieurs groupes de mots clés. Une requête est lancée pour retrouver parmi les documents de la base de données les documents contenant un ou plusieurs de ces groupes de mots clés. La requête peut s'appliquer à plusieurs parties des documents de la base de données : -à l'ensemble du texte des documents ; -à la partie discours rapporté indirect des documents ; -à la partie discours rapporté direct des documents. On obtient trois ensembles de réponses à cette requête correspondant à l'application de la requête aux trois parties précédentes. L'ordre de ces parties tel que cité ci-dessus est significatif d'un impact croissant de la communication sur les médias. La deuxième étape du traitement consiste à déterminer le taux de traçabilité ou la trace de la communication ou document de référence. La détermination du taux de traçabilité comporte les étapes suivantes : -on compte le nombre de documents de la période sur laquelle on veut étudier l'impact de la communication sur les médias ; -on pose nooc comme étant égal à ce nombre ; -on pose nTRA comme étant égal au nombre de documents contenant un ou plusieurs groupes de mots clés de la requête ; -on somme les occurrences des groupes de mots clés dans chacune des trois différentes parties du document de la base de données. Chacune de ces trois sommes est appelée'score' ; -on définit le paramètre MEAN (SCORE), qui est égal, pour chaque catégorie correspondant aux parties des documents, à la moyenne des scores obtenus par tous les documents de la base de données contenant la requête. -on calcule le taux de traçabilité du document de référence en faisant le produit : TRACE = nTRATRA/nooc * MEAN (SCORE) On obtient ainsi trois mesures du taux de traçabilité : - une pour l'ensemble du texte des documents ; -une pour le discours rapporté indirect ; - une pour le discours rapporté direct. Les résultats ainsi obtenus constituent des paramètres qui quantifient le taux traçabilité par document de référence et qui traduisent par conséquent l'impact de ce document de référence-ou communicationsur les médias. On peut ainsi repérer si les médias font référence à la des parties de la communication dans l'ensemble de leur contenu, s'ils ne font que rapporter en style indirect des parties de cette communication, ou encore s'ils les citent dans leur discours rapporté direct. Il permet une mesure graduelle entre les textes de référence et permet de les situer les uns par rapport aux autres quant à leur impact respectifs sur les médias. Avantageusement, on ajoute les étapes supplémentaires suivantes à la détermination du taux de traçabilité du document de référence. En effet, il est possible de pondérer chacun des taux de traçabilité selon qu'il est relatif à telle ou telle partie du document de la base de données. Notamment, on accorde les poids les moins forts aux occurrences réparties sur l'ensemble du texte des documents de la base de données, et les poids les plus forts aux occurrences contenues dans le discours rapporté direct des documents de la base de données. A cet effet, -on attribue à chaque partie des documents contenant la requête un coefficient de pondération égal à : -kDIR pour le discours rapporté direct ; - kD pour le discours rapporté indirect ; - kooc pour l'ensemble du texte du document. La partie ensemble du texte correspondra à un coefficient de pondération kooc moins important que le coefficient de pondération de la partie discours rapporté direct KDIR- Ces différences entre les coefficients de pondération traduisent ainsi l'impact de la communication sur les médias selon que le groupe de mots clés est cité dans telle ou telle partie des documents. On calcule un taux de traçabilité unifié en effectuant la moyenne pondérée des trois taux précédents : TRACEEun, = (kDIR*TRACEDtR+k, ND*TRACE, ND+kDoc*TRACEDoc)/ (kDIR+kkIND+kDoC) Le taux de traçabilité défini par le traitement ci-dessus est propre à chaque communication. Le système peut ensuite mettre en oeuvre sur l'ensemble des documents de référence traités une évaluation statistique : calcul du taux de traçabilité moyen et d'un écart type de taux de traçabilité. Dans le cas où le traitement se fait sur une fenêtre temporelle glissante, on parle alors de taux de traçabilité d'un flux de documents. Les taux de traçabilité moyens et les écarts types peuvent être comparés à des seuils et classés dans une catégorie de taux de traçabilité selon le résultat de cette comparaison. Des signaux d'alerte sont émis par les moyens d'interface en fonction du résultat de cette comparaison. Notamment, un affichage particulier sur un écran des moyens d'interface de mettre en évidence pour l'utilisateur la catégorie de taux de traçabilité correspondant au résultat de cette comparaison. On peut également par combinaison des requêtes propres à chaque communication, construire la requête globale qui permet de retrouver tous les documents qui parlent de toutes les publications ou communications. Avec les mêmes formules que précédemment, on peut ainsi définir un taux de traçabilité globale pour mesurer l'impact d'un flux de communications. REVENDICATIONS 1. Système comportant : - une base de données dans laquelle est stocké un ensemble de documents textuels, cette base de données évoluant dans le temps, - des moyens pour le traitement de cette base de données, - des moyens d'interface reliés aux moyens de traitement, les moyens de traitement comportant des moyens pour le traitement automatique des documents de la base de données aptes à déterminer pour plusieurs instants successifs un ensemble de grandeurs numériques qui caractérisent des valeurs de paramètres calculées sur le contenu des documents de la base de données et à générer sur les moyens d'interface un signal d'alerte qui est fonction d'au moins une de ces grandeurs, lesdits moyens de traitement comportant notamment des moyens aptes - à déterminer automatiquement sur au moins un document de référence un ou plusieurs mots clés ou groupes de mots clés caractérisant le contenu de ce document, - à déterminer dans la base de données, pour plusieurs instants successifs, des documents correspondants à une fenêtre temporelle que l'on fait glisser dans le temps, - à déterminer pour chacun de ces documents un paramètre, appelé taux de traçabilité, fonction du nombre d'occurrences du ou des mots ou groupes de mots clés du (ou des) document (s) de référence, - à déterminer pour chaque instant successif la moyenne et/ou l'écart type des valeurs de ce paramètre pour les différents documents de la fenêtre temporelle prise à l'instant considéré, et - à comparer la moyenne et/ou écart type ainsi déterminé à une valeur seuil et à déterminer en fonction de cette comparaison un type de catégorie à laquelle correspondent les documents, - les moyens d'interface émettant un signal fonction de cette comparaison. 2. Système selon la revendication 1, caractérisé en ce que pour calculer le taux de traçabilité d'un document, les moyens de traitement somment le nombre d'occurrences ainsi déterminé. 3. Système selon la revendication 2, caractérisé en ce que les moyens de traitement calculent un taux de traçabilité en sommant le nombre d'occurrences ainsi déterminé et en ajoutant le nombre de documents de la base de données et/ou un paramètre fonction de la date de parution du/des documents de référence et de la base de données. 4. Système selon l'une des revendications précédentes, caractérisé en ce que les moyens de traitement comportent des moyens aptes à déterminer sur l'ensemble du document de la base de données la partie qui relève du discours rapporté direct et la partie qui relève du discours rapporté indirect et à déterminer si le ou les groupes de mots clés du (ou des) document (s) de référence est/sont situé (s) dans l'ensemble du texte du document de la base de données, dans la partie qui relève du discours rapporté direct du document de la base de données ou dans la partie qui relève du discours rapporté indirect du document de la base de données 5. Système selon la revendication 4, caractérisé en ce que les moyens de traitement déterminent un taux de traçabilité du document de référence pour la partie qui concerne l'ensemble du document de la base de données, un taux de traçabilité du document de référence pour la partie qui relève du discours rapporté indirect du document de la base de données, et un taux de traçabilité du document de référence pour la partie qui relève du discours rapporté direct du document de la base de donnée. 6. Système selon l'une des revendications précédentes, caractérisé en ce qu'on détermine le nombre de documents de la base de données pendant une période de temps choisie et on calcule un taux de traçabilité rapporté à ce nombre de documents