Brevet FR2999744A1 — publié le 20140620

- 1 - Le présent travail consiste à présenter un logiciel pour la segmentation de textes arabes non voyellés en phrases et en paragraphes. Ce logiciel est primordial pour n'importe quel application de traitement automatique de langue naturelle. En effet, la segmentation en phrases est nécessaire pour réussir ces applications tel que la recherche, le filtrage, la traduction et le résumé automatique de documents Il n'existe pas un segmenteur de textes arabes. Il existe uniquement des segmenteurs de textes français et anglais. Ces outils ne peuvent pas être utiles pour segmenter les textes arabes, vu que la segmentation des textes latins reposent uniquement sur les signes de ponctuation et que la lexique employée n'est pas la même pour dégager les règles de segmentation, pour la langue arabe. En addition, la segmentation de textes arabes en phrases ne se repose pas uniquement sur les signes de ponctuations, il existe des particules et des mots connecteurs qui sont essentiels à être pris en compte pour la segmentation. Le système STAr permet la segmentation de textes arabes suite à la construction 15 d'un ensemble de règles de segmentation en phrases recensées suite à l'étude des contextes gauche et droit des particules, des caractères de ponctuation et de mots connecteurs (1). Les différents déclencheurs de début de phrases sont les signes de ponctuation, les particules et les mots connecteurs qui peuvent indiquer les débuts de phrases et sont détaillés comme suit : 20 le point, la virgule, le point virgule, le point d'interrogation, le point d'exclamation, les deux points" :", les points de suspension "../. ./.../.... "et les traits d'union les particules : "j" (waw), "L-i" (fa), " ;2à" (Tumma) les mots connecteurs : "(3,1" (bal), "(:)-çl " (lakin) et "b-çl " (lakinna), (Gayra tanna), "JI (bayda tanna)" et "à1 ('illa 'anna), "L',-1" (hatta), "U-1" ('Amrna), 25 "e (Id), "L:J3)" (Idan), Suivant l'existence de l'un des marqueurs déclencheurs et l'étude de leurs contextes gauches et/ou leurs contextes droits, l'action correspondante de la règle serait : - soit d'insérer les marques de fin de phrase ( ) et le début d'une nouvelle phrase suivante ( ), 30 - soit de ne pas insérer ces marques et de considérer l'énoncé analysé en tant qu'un segment unique. Exemple .- Soit le texte suivant : IS"U.e1:31 J eU--'%ea t'IL? '` A (.34÷11 ''LLUS ,JD Lc Jjji'41L.11÷41à! - 2 - ,«*44,11 (DA -&)- L4 j4.111 'SU,0:,114 u.0 j_à11 (DLS .1 1-15 J'applique la règle suivante concernant le point : SI un point est suivi d'un espace Et SI le point n'est pas précédé d'un point ET SI le point n'est pas précédé d'un chiffre qui peut être ou non précédé d'un seul Caractère ET SI le point n'est pas précédé d'un seul caractère ALORS le point marque la fin de la phrase. Le résultat est le texte segmenté comme suit : u.41111 J.14 j-^.;41ii. Z j4÷11 -':_titS LU...» .3 ji-ia US j...; Utià.1 ZL i.3j>i'41J14..>11b1 .«.40.11 (:).4 jJi 1_44+31b+.45 ,eun À 4.è J1-111 CiLS 146 règles de segmentation de textes arabes en phrases sont conçues. Ces règles 15 concernent les marqueurs déclencheurs suivants : les signes de ponctuation, certaines particules (i.e., "J", l'er) et certains mots connecteurs (i.e., Jee." "j 41e1" ,"c:J£1" 4ttc.,4:e 41, Lriet, ,ttj.):1 ti 4ft-ÛI Ces règles sont déduites en recherchant un ensemble d'indices complémentaires aux voisinages des marqueurs déclencheurs. La conception des règles s'est ainsi basée sur des calculs statistiques des fréquences des indices complémentaires lorsqu'ils permettent au marqueur déclencheur de marquer la fin de phrase (FIf) et leurs fréquences dans le cas contraire (FInf) (voir figure 2). La règle retenue est celle présentant la fréquence la plus élevée et ayant FIf >60% pour minimiser les erreurs de segmentation. Exemples de règles Règle 1 : Contexte Marqueur Contexte droit gauche ei 4..à Espace 20 25 30 SI "'-'0" (th) est précédé d'un espace ET SI (fi) est suivi de "ei" ALORS "Là" (fi) marque une nouvelle phrase N.B. Si "" (fy) est suivi d'un pronom relatif, alors "-i" (%) ne marque pas une nouvelle 5 phrase. Règle 2: Contexte gauche Marqueur Contexte droit uily, ou wi...», Espac cr'-'. espace ou "U" e 10 SI "i" (hatta) est précédé d'un espace ET SI " (hatta) est suivi de 'un espace, suivi de "le ou" j" ou ALORS " (hatta) marque une nouvelle phrase Le tableau suivant présente les fréquences calculées pour le mot "i" (hatta) 15 lorsqu'il est suivi des indices "le, "à1" ou "U" ('id, `inna ou 'arma) montrant que ces derniers sont des indices complémentaires pour que le mot connecteur "i" (hatta) marque la fin de la phrase. indicateur Fréquence Marque la fin Ne marque pas la fin Flf Flnf dans le corpus de phrase de phrase 19 19 0 100% 0% 8 8 0 100% 0% 11 11 0 100% 0% N.B. Les mots "U" ou "ait" peuvent être suivis d'un pronom relatif. (...4"4j " e"`C31") Les figures annexées illustrent l'invention et montrent un exposé détaillé de sa réalisation: 25 Figure 3 représente la fenêtre de démarrage de STAr. Pour la segmentation d'un texte, l'utilisateur doit taper un texte ou ouvrir un fichier existant en format « txt ». L'ouverture d'un fichier est réalisée en exécutant la commande "c:ii" (ouverture) à partir du menu "Là1.4" (fichier). Le fichier ouvert sera inséré dans le premier éditeur de STAr (5). La segmentation du texte se fait en sélectionnant la commande 30 (segmentation) par l'intermédiaire du menu "-u-ea e+..Z" (segmentation du texte) (6). Le résultat de la segmentation est affiché automatiquement dans le deuxième éditeur de STAr (partie inférieure de la fenêtre de STAr) 20 - 4 - Le texte segmenté se présente sous forme d'un document XML. Les balises <> et mentionnent le début et la fin d'un texte, les balises et mentionnent le début et la fin d'un paragraphe et Les balises et mentionnent le début et la fin d'une phrase. Le texte segmenté peut être enregistré sous le format « xml » en utilisant la commande « » (enregistrement) du menu « LitiA » (fichier) (4). Il est possible d'ajouter, de consulter ou de modifier des indices, des mots connecteurs, etc. Les opérations de consultation et de modification des règles de segmentation sont effectuées à l'aide du menu "a..-4-%3" (mise à jour) offrant les commandes 10 illustrées par figure 8. La figure 9 montre l'interface de mise à jour des indices complémentaires avant/après les signes de ponctuation. L'utilisateur peut consulter la liste des motifs avant ou après un marqueur 15 déclencheur comme le montre l'exemple représenté par la figure 10. L'utilisateur peut ajouter un nouveau motif en appuyant sur le bouton « (ajout) ou effacer un motif existant en le sélectionnant à partir de la liste et en appuyant sur le bouton « » (suppression). Au moment de la création du motif, l'utilisateur peut être guidé par un assistant accessible à partir du bouton « L» (aide) comme le présente figure 11. Cette dernière 20 représente la création d'un motif, après la virgule, composé des indices';:à suivis d'un espace (indiqué par \s) suivis de Uà) ('i« si). En appuyant sur le bouton « » (ok), STAr génère le motif automatiquement et l'insère dans l'entrée appropriée. La figure 11, montre le motif généré et inséré automatiquement après la virgule. Pour annuler une opération, l'utilisateur doit appuyer sur le bouton «etki)» (annulation). 25 Le segmenteur sert essentiellement comme un travail préliminaire pour les application de traitement automatique de langues naturelles tels que : le filtrage, le résumé automatique, la recherche et la traduction de documents 30 REVENDICATIONS1) Logiciel de segmentation de textes arabes non voyellés caractérisé en ce qu'il est constitué d'un seul programme écrit en langage Perl (STAr.p1) et d'une base de données constituant les règles à appliquer constituée de 22 fichiers de format txt. Le logiciel présente en démarrage une fenêtre (3) offrant la possibilité de saisir un texte ou d'ouvrir un texte (4) existant en format txt qui sera affiché dans le premier editeur de STAr (7). Pour segmenter un texte en phrase et en paragraphes, l'utilisateur doit cliquer sur la commande "H..-41." (segmentation) par l'intermédiaire du menu (segmentation du texte) (6). Le texte segmenté sera affiché dans la deuxième fenêtre de STAr sous forme d'un document XML. Les balises et mentionnent le début et la fin d'un texte, les balises et mentionnent le début et la fin d'un paragraphe et Les balises et mentionnent le début et la fin d'une phrase. 2) mise à jour des règles de segmentation selon la revendication 1 caractérisé en ce que l'utilisateur peut consulter, modifier ou supprimer une règle de segmentation (8), un exemple de mise à jour est montré par figure 9 et figure 10. L'ajout d'une règle de segmentation qui consiste en l'ajout d'un motif pour une expression relationnelle peut être guidé par un assistant comme le montre figure 11. 3) aide selon la revendication 1 caractérisé en ce que l'utilisateur peut avoir une idée claire sur l'utilisation du logiciel et son objectif. 4) un fichier ReadMe.html selon la revendication 1 caractérisé en ce que l'utilisateur aura les informations nécessaires pour l'installation de STAr