Compréhension Phonétiquedu Texte Écrit
Richard Khoury2Contexte• Traitement statistique du langage naturel• Nouvelles ressources textuelles
Microtext
 Documents historiques3Microtext• Un document texte qui est...


Très court• Quelques mots à quelques phrases• Ou même juste un mot

Informel• Ton de conversation naturelle détendu• Plusieurs erreurs d’épellation et de grammaire

Semi-structuré• Inclus certaines metadata• Communément auteur et date[Dela Rosa & Ellen 2009]

4

Pourquoi Étudier le Microtext?

5W31RD SPELIN• Écriture détendue et informelle• Aucune vérification pour épellationcorrecte• Problème: Outils traditionnels de NLP
supposent un langage correct

6Définition du Problème• Normalisation de microtext
Déterminer les mots du vocabulaire anglais qui
correspondent aux mots hors-vocabulaire dumicrotext• Différent de la correction de texte

Erreurs de texte dues plus fréquemment à desconfusions communes, inversions de lettres, ou àtaper la mauvaise touche sur le clavier• Différent de la compréhension d’acronymes
LOL, IMHO, OMG, etc.
 Ne sont pas des mots mal écrits7

Définition du Problème• Variations infinies d’épellations• Innovations constantes• Cinq types de variations [Liu, et al. 2011]
Abréviation• together  togeda• together  tgthr
Substitution phonétique• together  2gether



Substitution graphémique• together  t0g3th3r

Variation stylistique

Répétition de lettre• together  togetherrrCas ambigus• together  togeter

Cas mélangés• together  2gthr

8Approches Alternatives• Dictionnaire construit de paires
contextuelles [Han et al. 2013]• Algorithme de traduction probabiliste[Pennell & Liu 2014]• Règles de substitution de lettres [Liu et al.
2011]9Compréhension Phonétique• Auteur écrit des mots hors-vocabulaire qui
sont phonétiquement similaires aux mots
anglais pour être reconnus par le lecteur• Développer un logiciel qui « lit » les motsphonétiquement puis les apparient aux
mots similaires en anglais• Problème: comment aller du mot écrit à laprononciation?

10Compréhension Phonétique• Corpus d’entrainement de paires de motsIPA de Wiktionary

11Compréhension Phonétique• Corpus d’entrainement: 37,500
prononciations de 30,368 mots
• 151 symboles IPA• Correspondance de (ensemble de)lettre(s) à (ensemble de) symbole(s)• Calcul des probabilités decorrespondances lettres-à-symboles(probabilité globale)12Compréhension Phonétique• Construire un arbre radix de l’anglaisjɔl“y’all”ɹ“your”z“yours”

u“ewe”“yew”“yu”

k“york”

z“use”“yous”
əl“yule”oʊɛɹ“your”

s“u.s.”

ɹ“user”• Calculer probabilité d’un enfant danschaque chemin (probabilité locale)13

Trouver les Mots Similaires• Recherche par coût uniforme (suivant)• Liste de sons similaires
Wiktionary a des prononciations très
spécifiques
 “about” = /əˈbaʊt/, /əˈbɐʊt/, /əˈbʌʊt/, /əˈbɛʊt/
 Grouper les sons similaires ensembles
• Probabilité d’utilisation de mots en anglais• Ensemble de substitutions graphémiques

0-O, 1-I,L, 3-E, 4-A, 7-T14Trouver les Mots Similaires
Mot = MicrotextPhonétique = “”Probabilité = 1.0
Noeud = Root

Élément avec
probabilité max

Liste derecherche

Préfixe delettres du mot

Équivalent phonétique(prob. globale) qui estenfant du noeud (prob.
locale)non

Mot = “”Substitution
graphémique (prob.
globale et locale)

Mot -= préfixe
Phonétique += IPA
Probabilité *= prob.
Noeud = Enfantoui

Liste deretour (prob.
du mot)Voyelle manquante(constante et prob.
locale)15

Résultats• Corpus de test: 2608 paires de mots deTwitter [Liu, et al. 2011]• Composition:
Abréviation806

som1

someoneSubstitution phonétique

130

putin

putting

Substitution graphémique58

havinqq

havingVariation stylistique820

5topstop

Répétition de lettres

641

ur

yourMélanges de types

153

eeeeveneven

merecalmiracle

wot

what

16

Résultats• Question 1: Est-ce que l’interprétation phonétique nous aide?
1.
2.

3.

4.

•Calculer la distance Levenshtein de l’épellation
Utiliser la probabilité globale pour avoir une interprétation
phonétiqueCalculer la distance Levenshtein de l’interprétation phonétiqueGrouper par distance d’épellation et moyennerAugmentation linéaire
initiale malgré l’utilisationde 151 symboles au lieude 32 caractères
Stabilisation aux groupes
de distance élevésAugmentation plus limitéelorsqu’on utilise la liste desons similaires

Average Levenshtein distance ofphonetic rendering

Réponse: oui
10
98765
4
3
2
101

2

3
4
5
6
7
8
Levenshtein distance of spelling

Global probabilities

9With similar-sound list

10

17Résultats• Question 2: est-ce utile pour la normalisation?
1.

2.

•Obtenu top-1 et top-5 mots plus probables pourchaque mot hors-vocabulaire
Étudié types et sous-types de normalisation

Réponse: ouiTop-1

Top-5

Écart de 20% à 30% Moyenne globale
30.2% 59.7%
entre top-1 et top-5: Abréviation
29.0% 52.6%
les probabilités
Substitution phonétique
53.8% 78.5%
doivent être ajustées Substitution graphémique 29.3% 58.6%
Fonctionne mieux
variation stylistique
31.6% 65.7%
lorsque l’hypothèse Répétition de lettres
28.1% 62.2%
de base est
Mélanges de types
17.9% 38.4%
respectée1890%
80%
70%
60%
50%
40%
30%20%
10%0%

Répétition de lettre
Accuracy

Accuracy

Résultats

23456
Number of repeated letters

Top-1

7+

80%
70%
60%
50%
40%
30%
20%
10%
0%

Variation stylistique

123456
Levenshtein distance of spelling

Top-5

Accuracy

Top-1
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

7

Abbréviation

Top-5

Substitution graphémique

Top-1

Top-5

Nombre à lettre

45%

85%

Lettre à lettre

21%

44%

Substitution phonétique
Nombre à son

Top-1
18%

Top-5
32%

Lettre à son

61%

88%

Top-1
Top-5Type19

Moyen Anglais• Microtext est l’exemple le plus récent d’écrire
phonétiquement… mais pas le premier• Moyen Anglais
Angleterre Médiévale du 12th au 15th siècle Avant les dictionnaires et l’orthographe standard Auteurs utilisent plusieurs épellations pour un mot
 Alphabet inclut lettres runiques: 3 (yogh), Þ (thorn)
 Substitution du I et Y
 Substitution du U et V20

Moyen Anglais

21

Moyen Anglais• Interprétation phonétique devrait permettrede reconnaitre différentes épellations dumême mot• Mais pas de Wiktionary médiéval

22Compréhension
Phonétique• Liste de 31 symboles de sons enanglais• 110 règles de prononciation delettres selon le contexte• Transforme les mots en séquences
phonétiques

si 'a' suivi par 'i' ou 'y': son ← Asinon si 'a' précédé par 'o': son ← Osinon si 'a' précédé par 'e' et suivi par 'u': son ← Osinon si 'a' précédé par 'e': son ← Esinon si 'a' suivi par consonne suivi par 'e': son ← Asinon si 'a' suivi par 'u': son ← Osinon si 'a' suivi par 'r' or 'l‘ final, optionnellement suivi par 's': son ← 0sinon: son ← aSilent letter
Short ALong A
Regular B
Soft C, Soft S
Hard C
Regular SH
Regular D
Short ELong E
Regular F
Hard G
Soft G, Regular J
Audible H
Short ILong I
Regular L
Regular M
Regular N
Short OLong O
Regular P
Regular R
Regular T
Short ULong U
Regular V
Regular W
Regular OW
Regular YE
Regular Z, Hard S

0aA
bskCdeEfgjhi
IlmnoO
prtuUvw
Wyz

23

Compréhension Phonétique• Question 1: Est-ce que ça marche?
• Refait le test avec 2608 paires de mots deTwitter
Trouve la similarité des mots mieux que lesprobabilités de Wiktionary
Average Levenshtein distance ofphonetic rendering



10
9
8
7
6
5
4
32
1
0
1

Rules

2

3
4
5
6
7
8
Levenshtein distance of spelling
Global probabilities

9With similar-sound list

10

24

Compréhension Phonétique• Question 2: Est-ce que ça peutreconnaitre les formes du même mot sansconfondre des mots similaires?
• Corpus de tests d’homophones (aye/eye,core/corps, theme/team) et deprochephones (bother/brother, doze/daze,mass/maze)• Précision:
53% sur les homophones
 90% sur les prochephones25

Définition du Problème• Question 3: Pourquoi manipuler le Moyen
Anglais?
• Les documents médiévaux sont étudiésdepuis des siècles
Mais sans ordinateurs
 “Étudiés” signifie “lus et résumésmanuellement”
 Analyse logicielle peut révolutionner ledomaine26

Définition du Problème• Cycle de YorkPièces de théâtre médiévales sur l’histoire biblique dumonde 47 pièces, 381 personnages, 13,307 lignes de dialogue• Certains personnages utilisent de l’allitération• Pourquoi?
Différents auteurs?
[Reese 1951]
 Signaler des discours
importants etémotionnels?
[Epp 1989]
 Démarquer lespersonnages
méchants?
[Johnston 1993]


27

Définition du Problème• Avec une interprétation phonétique des mots,il est facile de trouver l’allitération• Conditions (“mot” exclut mots vides)(son plus commun unique de la ligne) &(utilisé dans au moins trois mots de la ligne) &(utilisé dans au moins la moitié des mots de laligne)
 (son plus commun unique de la ligne) &(utilisé dans exactement deux mots de la ligne) &(utilisé dans tous les mots de la ligne)28

Résultats• Quantification
Nombre de lignes avec allitération d’unpersonnage
 Proportion de lignes avec allitération d’unpersonnage• Créer un nuage de points de l’utilisationd’allitération des personnages

29

Résultats• Allitération omniprésente dans les pièces
28 sur 381 personnages n’utilisent pas d’allitération
 Moyenne: 11 lignes / 34% des lignes
• Même individu utilise différentes quantités d’allitération
dans différentes pièces30

Résultats• Théorie 1: allitération marque personnages
méchants [Johnston 1993]• Observation: Les bons et les méchants (etles ambigus) utilisent tous de l’allitération

31

Résultats• Théorie 2: allitération indique deux auteurs
différents [Reese 1951]• Observation: Changement d’utilisationd’allitération ne correspond pas au changement
prédit d’auteurs
Auteur allitération Auteur prose

70%

Proportion of Alliterating Lines

60%

50%
40%
30%
20%
10%

0%
263033 1 45404431163629283237352343 2 11152047 8 34 9 1924271012 6 39 7 18224146 5 381314 4 3 17422521-10%Play Number

Pièce 93230 pièces ont unpersonnage avec utilisationd’allitération aberrante 11 pièces ont un duo depersonnages aberrants
 1 pièce a un trio
 4 pièces n’ont pas depersonnages aberrants


10500.2
0.4% de lignes d’allitération

0.6Pièce 19
Nombre de lignes
d’allitération• Allitération par pièce offre
une nouvelle perspective

1503530252015105000.1
0.2
0.30.4% de lignes d’allitération

0.5Pièce 28
Nombre de lignes
d’allitération

Résultats

Nombre de lignes
d’allitération

207060504030
2010000.5
1% de lignes d’allitération

1.5

33

Résultats• Le théâtre médiéval était une activité auditive
Les gens allaient “écouter une pièce” [Beadle2000]• 47 pièces étaient présentées en une journée
sur 47 scènes avec 47 ensembles d’acteurs


Identifier les personnages importants danschaque pièce était un défi pour les spectateurs[Johnston 1993]• Nouvelle théorie: allitération indique 1-3
personnages importants dans chaque pièce

34

Conclusions• Les gens semblent avoir l’instinct d’écrirecomme ils parlent• Un logiciel qui peut comprendre le texte
phonétiquement pour “entendre” ce qui estécrit peut être très utile

35

Conclusions• Deux méthodes pour comprendre
phonétiquement le texte écrit
Probabilités apprises d’exemples deWiktionary Règles de prononciation
• Deux domaines d’application
Moderne: Normalisation de microtext
 Historique: Analyse de documents médiévaux
36

Références••••••••

Beadle, R., “Verbal Texture and Wordplay in the York Cycle”, Early Theatre, 3,
2000, pp. 167-84.
Dela Rosa, K. and Ellen, J., “Text classification methodologies applied to microtext in military chat”, Proceedings of the International Conference on Machine
Learning and Applications, 2009, pp. 710-714.
Epp, G. P. J., “Passion, pomp and parody: Alliteration in the York plays”,
Medieval English Theatre, 11:1, 1989, pp. 150-161.
Han, B., Cook, P., Baldwin, T., “Lexical Normalization for Social Media Text”,
ACM Transactions on Intelligent Systems and Technology, 4:1, 2013, article 5.
Johnston, A. F., “The Word made flesh: Augustinian elements in the York cycle”,
The Centre and its Compass: Studies in Medieval Literature in Honor ofProfessor John Lyerle, Kalamazoo, MI: Western Michigan University Press,
1993, pp. 225-46.
Liu, F., Weng, F., Wang, B., and Liu, Y., “Insertion, deletion, or substitution?:
normalizing text messages without pre-categorization nor supervision”,
Proceedings of the 49th Annual Meeting of the Association for Computational
Linguistics: Human Language Technologies, vol. 2, 2011, pp. 71-76.
Pennell, D. L., and Liu, Y., “Normalization of Informal Text”, Computer Speech &Language, 28:1, 2014, pp. 256–277.
Reese, J. B. “Alliterative verse in the York cycle”, Studies in Philology, 48:3,
1951, pp. 639-668.

37

Merci!