Une méthode non-supervisée pour la segmentation morphologique et l’apprentissage de morphotactique à l’aide de processus de P itman- Y or (An unsupervised method for joint morphological segmentation and morphotactics learning using P itman- Y or processes) (2016)

Abstract: Cet article présente un modèle bayésien non-paramétrique pour la segmentation morphologique non supervisée. Ce modèle semi-markovien s’appuie sur des classes latentes de morphèmes afin de modéliser les caractéristiques morphotactiques du lexique, et son caractère non-paramétrique lui permet de s’adapter aux données sans avoir à spécifier à l’avance l’inventaire des morphèmes ainsi que leurs classes. Un processus de Pitman-Yor est utilisé comme a priori sur les paramètres afin d’éviter une convergence vers des solutions dégénérées et inadaptées au traitemement automatique des langues. Les résultats expérimentaux montrent la pertinence des segmentations obtenues pour le turc et l’anglais. Une étude qualitative montre également que le modèle infère une morphotactique linguistiquement pertinente, sans le recours à des connaissances expertes quant à la structure morphologique des formes de mots.

## apprentissage bayésien et le processus de pitman-yor l'apprentissage non-supervisé s'appuie sur la définition d'un modèle génératif, lorsqu'on se place dans un cadre probabiliste. partant de l'hypothèse d'un ensemble de variables inobservées, ou latentes, le modèle définit la probabilité jointe des observations (les données) et des variables latentes. parmi les exemples connus, citons les modèles d'alignement mot-à-mot @xcite où les variables latentes sont les liens d'alignement entre les mots d'une paire de phrases parallèles, et les modèles de thèmes (topic models) @xcite qui cherchent à expliquer une collection de documents avec un ensemble de thèmes qu'il s'agit de découvrir. dans le cadre de cet article, l'objectif est de pouvoir analyser un lexique à partir d'un ensemble de morphèmes et de proposer une segmentation des mots de ce lexique grâce à ces unités induites des données. considérons dans un premier temps un modèle de segmentation simple pour lequel un mot m est segmenté en une séquence de k morphèmes µ = µ 1 , ..., µ k . chaque morphème appartient à un ensemble fini, le vocabulaire v. une paramétrisation possible est alors d'envisager un modèle n gramme sur les morphèmes et l'algorithme em (expectation-maximization) peut être utilisé pour optimiser la vraisemblance. néanmoins, trois difficultés se posent. la première est qu'il faut définir au préalable l'ensemble des morphèmes v et que celui-ci doit-être fini. de plus, le critère du maximum de vraisemblance ne prend pas en compte la complexité des modèles. par conséquent, la solution privilégiée sera une solution dégénérée typique du sur-apprentissage : chaque mot donne lieu à un morphème ; cette solution revient alors à un apprentissage par coeur des exemples d'apprentissage, incapable de se généraliser à de nouvelles formes de mots. ce comportement a déjà été documenté et le lecteur peut se reporter par exemple à l'article @xcite pour plus de détails. enfin, cette modélisation ne tient pas compte des caractéristiques morphotactiques, à savoir que les séquences de morphèmes peuvent suivre des règles morphologiques propres à la langue, comme par exemple le fait que certains mots puissent se décomposer selon le schéma préfixe ! racine ! suffixe. ce schéma fréquent correspond à une séquence de catégories de morphèmes qu'il est important de prendre en compte afin de donner au modèle la possibilité d'analyser les observations de manière compacte et ainsi augmenter sa capacité de généralisation. exemple du processus génératif d'une analyse morphologique. chaque distribution impliquée (p c et p µ ) est issue d'un processus de pitman-yor hiérarchique. dans le cas de la figure, p c est une distribution bi-gramme. ## inférence bayésienne dans l'inférence bayésienne, les paramètres des modèles sont considérés comme des variables aléatoires. ils ne sont présents qu'implicitement car l'objectif est de prédire les analyses morphologiques du lexique. pour cela, la distribution que l'on cherche à estimer est p(a 1 , . . . , a |l| |w 1 , . . . , w |l| ), soit la distribution jointe des analyses a 1 , . . . , a |l| connaissant le lexique @xmath0, . . . , w |l| }. cela revient à intégrer sur l'espace des paramètres ce qui explique leur absence. cette distribution n'est pas analytiquement accessible, mais des méthodes d'inférence approchée existent. dans cet article nous effectuons un échantillonnage de gibbs, où chaque analyse est tour à tour rééchantillonnée conditionnellement aux autres. en d'autres termes, pour chaque @xmath1, . . . , |l|, il est possible de produire des échantillons de la distribution p(a k |a k , w 1 , . . . , w |l| ) = p(a k |w k , a k ). sous certaines conditions, cette procédure d'échantillonnage produit des échantillons sous la distribution d'intérêt. ## expériences nous avons évalué notre méthode sur les données de la compétition morpho challenge 2005. les données sont une longue liste de formes de mots non annotées afin d'entraîner le modèle, ainsi qu'un ensemble plus restreint de formes de mots annotées avec des segmentations produites par des annotateurs. comme métrique d'évaluation, nous calculons la f-mesure sur toutes les limites de morphèmes prédites par le modèle comparées à celles fournies par les annotateurs. chaque fois qu'une forme a été estimée décomposable de plusieurs manières différentes par les annotateurs, plusieurs segmentations ont été fournies, et seule la segmentation pour laquelle le modèle a la f-mesure la plus élevée est retenue.