VERS DES MÉTRIQUES NON-SUPERVISÉES DU
DÉVELOPPEMENT DES COMPÉTENCES LANGAGIÈRES DES
ENFANTS : L'EXEMPLE DE L'UTILISATION DES MODÈLES DE
LANGUE

YAYA SY

Sous la supervision de William N. Havard & Alejandrina Cristia

UNIVERSITÉ PARIS-CITÉ

2022
Reconnaissances

Je suis particulièrement reconnaissant envers mes superviseurs William N. Havard et
Alejandrina Cristia, pour leur soutien infaillible mais surtout pour leur très grande
disponibilité et patience. Je remercie aussi tous les membres du laboratoire LSCP, qui à
l'occasion des différentes discussions m'ont permis d'améliorer le travail final présenté
ici.
# Table des matières

Liste des figures v

Liste des tableaux vi

1 Introduction 1

1.1 Les métriques standards de mesure de développement linguistique 1

1.2 Objectifs et hypothèses de travail 2

2 Modélisation 4

2.1 Le modèle de langue *n*-gramme 5

2.2 Estimation des paramètres d'un modèle de langue *n*-gramme 6

2.3 Le modèle de langue donne plusieurs choix de métriques. Laquelle choisir pour mesurer le développement linguistique des enfants ? 7

2.3.1 La vraisemblance logarithmique 7

2.3.2 La vraisemblance logarithmique négative ou "entropie croisée" 8

2.3.3 La perplexité 9

3 Étude 1 : Expériences sur l'anglais 10

3.1 Les bases de données CHILDES et PHONBANK 10

3.2 Les données 11

3.2.1 Le corpus considéré : Providence 11

3.2.2 Données d'entraînement des modèles de langue et données de test 11

3.3 Méthode 11

3.4 Modèle statistique d'analyse des résultats 13

3.5 Résultats 13

3.5.1 Étude 1.1 13

3.5.2 Étude 1.2 15

3.5.3 Étude 1.3 17

3.6 Conclusion 19

4 Étude 2 : De l'anglais à 12 langues 20

4.1 Ce n'est pas facile d'avoir des données pour beaucoup de langues 20

4.2 Les données 23

4.3 Méthode 23

4.4 Résultats 23

4.4.1 Évaluation des modèles de langues. 23

4.4.2 Les résultats obtenus sur l'anglais se généralisent bien à travers les langues 24
<table><thead><tr><th>Table des matières</th><th>iv</th></tr></thead><tbody><tr><td>4.5 Conclusion</td><td>26</td></tr><tr><td>5 Conclusion générale et perspectives</td><td>29</td></tr><tr><td>References</td><td>31</td></tr></tbody></table>
Table des figures

<table><tr><td>2.1</td><td>Simulation la vraisemblance logarithmique</td><td>8</td></tr><tr><td>2.2</td><td>Simulation de la vraisemblance logarithmique négative</td><td>9</td></tr><tr><td>3.1</td><td>Nombre d'énoncés par locuteur pour les données issus des corpus anglais.</td><td>12</td></tr><tr><td>3.2</td><td>Graphique pour l'étude 1.1</td><td>15</td></tr><tr><td>3.3</td><td>Graphique pour l'étude 1.2</td><td>17</td></tr><tr><td>3.4</td><td>Graphique pour l'étude 1.3</td><td>19</td></tr><tr><td>4.1</td><td>Le nombre d'énoncés disponible pour chaque langue pour les corpus issus de CHILDES et PHONBANK</td><td>21</td></tr><tr><td>4.2</td><td>Graphique du modèle logistique à 3 paramètres pour l'étude 2</td><td>27</td></tr><tr><td>4.3</td><td>Graphique du modèle logistique à 4 paramètres pour l'étude 2</td><td>28</td></tr><tr><td>5.1</td><td>Graphique pour l'expérience sur de la parole orale</td><td>30</td></tr><tr><td>5.2</td><td>Graphique pour la parole synthétique</td><td>30</td></tr></table>
## Liste des tableaux

<table><tr><td>3.1</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'expérience 1.1 pour les enfants</td><td>14</td></tr><tr><td>3.2</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'expérience 1.1 pour les mères</td><td>14</td></tr><tr><td>3.3</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.2 pour les enfants</td><td>16</td></tr><tr><td>3.4</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.2 pour les adultes</td><td>16</td></tr><tr><td>3.5</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.3 pour les enfants</td><td>18</td></tr><tr><td>3.6</td><td>Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.3 pour les adultes</td><td>18</td></tr><tr><td>4.1</td><td>Les langues considérées pour la deuxième étude.</td><td>22</td></tr><tr><td>4.2</td><td>Les données de test de CHILDES utilisées pour les 12 langues.</td><td>24</td></tr><tr><td>4.3</td><td>Évaluation des modèles de langues pour les 12 langues.</td><td>25</td></tr><tr><td>4.4</td><td>Résultats de l'ajustement du modèle logistique à 3 paramètres sur les résultats des 12 langues pour les parents et les enfants</td><td>26</td></tr><tr><td>4.5</td><td>Résultats de l'ajustement du modèle logistique à 4 paramètres sur les résultats des 12 langues pour les parents et les enfants</td><td>26</td></tr></table>
# CHAPITRE 1

## Introduction

Les compétences langagières des enfants se développent à une très grande vitesse ; à trois ans déjà, la plupart des enfants savent converser dans leurs langues de manière naturelle. Ce développement se fait donc dans un intervalle de temps relativement court. Les premières productions commencent alors que l'enfant n'a que quelques mois avec la phase dite de *babillage* [OWDR76] où l'enfant produit des syllabes très peu marquées constituées seulement d'une attaque consonantique et d'un noyau vocalique. À ce stade, l'enfant peut éventuellement enchaîner ces syllabes entre elles et former des séquences très rythmées. Vers ses 1 ans, l'enfant commence à produire ses premiers mots [Cla17] mais n'est pas encore capable de former des phrases complètes. L'enfant produit à ce stade des mots lexicaux morphologiquement très simples, et ne produit pas encore de mots grammaticaux. C'est vers ses deux ans qu'il commence à produire les premières phrases ayant des structures très simples qui se complexifient après trois ans. Ces différentes phases ont été très étudiées dans la littérature. Néanmoins, la plupart des conclusions tirées et beaucoup d'autres hypothèses en acquisition du langage se basent seulement sur un petit pourcentage des langues du monde [KG21], que sont l'anglais et quelques autres langues indo-européennes. Nos connaissances actuelles sur le développement linguistique de l'enfant sont donc largement biaisées. Cela est en partie dû au fait qu'étudier l'acquisition du langage chez les enfants demandent des moyens matériels qui ne sont accessibles que dans les pays riches et développés. Une solution possible à ces limites serait de recourir à des métriques quantitatives qu'il est possible d'utiliser sur des données non-annotées. Nous présentons dans la sous-section suivante quelques métriques standards souvent utilisées dans le domaine de l'acquisition du langage.

### 1.1 Les métriques standards de mesure de développement linguistique

Il existe plusieurs métriques permettant de mesurer le développement linguistique des enfants. Par exemple la MLU (longueur moyenne des énoncés ou en anglais "Mean Length of Utterances") est une métrique proposée par Brown [Bro73], et permet de mesurer l'évolution de la longueur des énoncés en morphèmes, en mots ou en syllabes au cours de l'âge des enfants. Quand les longueurs des énoncés sont mesurées en morphèmes, elle est interprétée comme une mesure de développement morphosyntaxique. Brown [Bro73] associe cette métrique à cinq étapes correspondant à différents niveaux de complexités morphologiques acquis par l'enfant. Cette métrique peut aussi être utilisée
pour identifier les enfants présentant des troubles du langage [EFL]. Les enfants produisant des énoncés avec des MLU très faibles ont tendance à présenter des troubles du langage. Néanmoins, le MLU basé sur les morphèmes est une métrique qui présente beaucoup de difficultés. En effet, cette métrique requiert des hypothèses de segmentation des mots en morphèmes, ce qui est une tâche non triviale étant donné que les mots peuvent présenter des syncrétismes et plusieurs degré de fusion qui rendent la segmentation difficile. C'est donc une annotation non aisée à mettre en œuvre et demande une certaine expertise de la langue à annoter, ce qui rend cette métrique difficilement applicable aux langues peu, voire pas du tout étudiées. La solution est de préférer le MLU mesuré en mots [PB05, Hic91], qui ne requiert donc pas une segmentation manuelle des morphèmes et facilite sa généralisation et les comparaisons cross-lingues.

Pour étudier le développement syntaxique chez l'enfant, il existe aussi plusieurs métriques. Une mesure souvent utilisée est celle de l'échelle de D-level [SS12, RA87] qui permet d'attribuer sept niveaux de complexités syntaxiques aux phrases produites par l'enfant. Il est attendu que les niveaux de complexités des phrases produites par l'enfant augmentent au cours des âges. Cette métrique permet effectivement d'avoir une idée générale du développement syntaxique des enfants et peut aussi être utilisée pour identifier les enfants (et même les adultes) présentant des troubles du langage [RA87]. La difficulté de cette métrique réside dans le fait qu'il faut décider d'une échelle et il y a des divergences à ce sujet [CHBJ+06]. Une solution pour mesurer le développement syntaxique sans recourir à une échelle, serait de mesurer directement les profondeurs des arbres syntaxiques et d'observer leurs évolutions au cours des âges des enfants [SS12]. Mais cela suppose d'avoir des énoncés annotés manuellement en dépendances syntaxiques, ce qui demande une certaine expertise de la part de l'annotateur. On se retrouve alors avec les mêmes difficultés que le MLU en morphèmes.

Il y a certaines métriques qui ne requièrent pas de données linguistiquement annotées, comme le Token-Type Ratio<fnref n="1" /> et l'entropie qui permettent de mesurer l'évolution de la richesse lexicale. Mais la plupart des métriques de mesure de développement langagier demande une annotation linguistique manuelle (arbres syntaxiques, segmentation morphologique, segmentation syllabique, étiquetage morphosyntaxique, etc.), ce qui est un grand frein pour les appliquer à beaucoup de langues dont la plupart sont peu voire pas du tout étudiées. Néanmoins, ces métriques ont le grand avantage de permettre d'isoler seulement certains niveaux linguistiques ou phénomènes linguistiques et de mesurer leur développement chez les enfants.

## 1.2 Objectifs et hypothèses de travail

L'objectif de cette étude est d'apporter des solutions au manque de diversité dans les études d'acquisition du langage, en mettant en œuvre une métrique qui ne requiert pas de données annotées ni de données transcrites (transcriptions orthographiques ou phonémiques). Cette étude s'inscrit dans une ligne de recherche plus générale, qui a pour objectif de mesurer le développement linguistique

<footnote n="1">1. le token type-ratio d'un corpus est donnée par la formule $\frac{\#tokens}{\#types}$, c'est-à-dire le nombre total d'unités présentes dans le corpus divisé par le nombre d'unités *uniques*. Ici "unités" peut faire référence aux mots, syllabes, phonèmes, etc.</footnote>
des enfants directement à partir de leurs productions orales spontanées [LdSG+21]. Notre approche se présente comme suit :

1. Définir un modèle computationnelle/statistique avec ces paramètres.

2. Estimer ces paramètres sur des énoncés produits par les adultes

3. Utiliser le modèle avec ces paramètres estimés pour mesurer le développement linguistique des enfants à partir de leurs productions

Il est attendu que cette mesure soit stable quand elle est appliquée aux énoncés produits par les adultes, mais qu'elle évolue pour tendre vers les adultes quand elle est appliquée sur les énoncés des enfants qui sont en cours d'acquisition de leur langue. De plus, il est attendu que cette convergence soit en accord avec la littérature de l'acquisition du langage; par exemple, la métrique évoluerait beaucoup entre 1 et 3 ans, une période où le développement linguistique s'accélère.

Nous présenterons différentes expériences sur le texte d'abord, pour montrer la faisabilité et la validité de notre approche. Puis nous présenterons quelques expériences sur de l'oral où le but est de reproduire les mêmes tendances observées que pour les expériences sur le texte. Nous présentons d'abord dans le chapitre 2 le modèle statistique qui sera considéré et la métrique qui sera utilisée. Dans les deux premières études nous testons notre approche sur des transcriptions phonétiques et/ou orthographiques : le chapitre 3 présente les expériences sur l'anglais et le chapitre 4 généralise les résultats obtenus sur l'anglais à douze langues. Enfin, le chapitre 4 conclut et rapporte les résultats obtenus sur la parole orale.
## CHAPITRE 2

### Modélisation

Nous avons choisi de considérer des modèles de langue comme voie d'accès permettant d'avoir des métriques non-supervisées. Le terme général "modèle de langue" peut faire référence à plusieurs types de modèles, qui sont dans les faits différentes. La définition qui semble se dégager de nos jours est celle qui consiste à dire qu'un modèle de langue prédit des unités <fnref n="1" /> étant de donné un contexte, mais différentes choses se cachent derrière cette définition. Par exemple, le modèle de langue BERT [DCLT19] est entraîné à prédire un mot masqué étant donné son contexte gauche et droit. Par exemple, la tâche de ce modèle à l'entraînement est de prédire quel est le mot **masqué** dans cette phrase : "*le chat masqué la souris*". On appelle ce type de modèles de langue des modèles de langue *encodeurs*, et ne sont pas en tant que tels capables d'assigner une probabilité à une séquence d'unités donnée. Il existe d'autres types de modèles de langue qu'on appelle des modèles de langue *décodeurs* ou *génératifs*, et sont capables d'assigner des probabilités aux séquences. Ces modèles sont entraînés à prédire le mot suivant étant donné seulement un contexte gauche ou droit (et non les deux en même temps), comme par exemple prédire le mot suivant étant donnée la séquence "*le chat chasse la ...*". C'est cette dernière classe de modèle de langue qui nous intéresse dans cette étude et que nous utiliserons pour avoir des métriques non supervisées. Par raccourci, nous employons le terme *modèle de langue* pour faire référence seulement aux modèles de langue *génératifs* ou *décodeurs*.

Un modèle de langue permet donc d'assigner des probabilités à des séquences d'unités. Pour un bon modèle de langue du français par exemple, il est attendu à ce que la probabilité assignée, par un modèle de langue, à la phrase *le chat chasse la souris* soit plus élevée que la probabilité assignée à la phrase *souris le chasse chat la*. Ce qui signifie que la première phrase est plus prédictible que la seconde, d'après le modèle de langue. Il est aussi possible d'interpréter ces probabilités comme une approximation des jugements d'acceptabilités ou de grammaticalité, auquel cas la première phrase serait vue comme plus grammaticale que la seconde d'après le modèle de langue. Néanmoins, il convient de souligner que l'interprétation probabiliste du jugement d'acceptabilité ou de grammaticalité fait débat (voir par exemple [LCL17] pour une discussion sur ce sujet).

Un modèle de langue est adapté pour ce qu'on cherche à faire dans cette étude pour plusieurs raisons. D'abord, les modèles de langues ne requièrent pas de données annotées pour être entraînés.

<footnote n="1">1. Nous employons le terme "unité" pour référence à toutes les unités graphiques ou linguistiques : *phonèmes, lettres, morphèmes, mots, sou-mots, etc.*</footnote>
En ce sens on est dans le domaine de l'apprentissage *auto supervisé*, car seules des données textuelles brutes sont requises pour l'apprentissage et le modèle apprend directement à partir de ces textes. Ce fait est d'une importance cruciale au vu de ce qui a été mentionné dans l'introduction sur la nécessité d'avoir des métriques peu coûteuses à mettre en place. En effet, avoir des métriques peu coûteuses à mettre en place et qui ne requièrent pas de données annotées facilitent l'application de cette métrique sur plusieurs langues, pour lesquelles il n'y a pas beaucoup de données annotées qui sont disponibles. De plus, un modèle de langue nous donne accès à différentes métriques qui sont déjà en accord avec certaines des propriétés qui sont désirables pour mesurer le développement des compétences langagières de l'enfant mentionnées dans l'introduction. Pour ces raisons, nous pensons donc qu'un modèle de langue est adapté pour notre question de recherche. Cette partie présente et définit le modèle de langue et la métrique qui seront utilisés pour les quatre études qui seront discutées.

## 2.1 Le modèle de langue n-gramme

Il existe plusieurs modèles de langue génératifs ou décodeurs. De nos jours, on utilise largement des modèles de langue neuronaux parce qu'ils donnent de meilleurs résultats pour différentes tâches en général et sont capables de capturer plusieurs niveaux linguistiques (*morphologie*, *syntaxe*, *sémantique*, *pragmatique*, etc). Ces modèles ont aussi l'avantage de pouvoir traiter de longues séquences sans drastiquement augmenter le nombre de leurs pramètres, et ne font donc généralement aucune hypothèse simplificatrice. Nous utiliserons les modèles de langues n-gramme, qui sont de la famille des modèles de Markov et étaient surtout utilisés avant la popularisation des modèles de langue neuronaux. Contrairement aux modèles de langues neuronaux, les modèles de langues n-gramme font des hypothèses simplificatrices non seulement pour pouvoir assigner des probabilités aux séquences, mais aussi pour réduire la complexité en mémoire dû au fait que le nombre de paramètres augmente rapidement avec ces modèles.

La première hypothèse faite par le modèle de langue n-gramme est l'hypothèse de Markov d'ordre *k*, c'est-à-dire une hypothèse d'indépendance qui stipule que l'unité à la position *i* dans la séquence ne dépend que des *k* unités précédentes. Par exemple, pour *k* = 2, cela implique principalement que la phrase *le chat chasse la souris* peut être découpée comme :

```
{ (Le, chat, chasse), (chat, chasse, la), (chasse, la, souris), ... }
```

où chaque mot (en italique) n'a accès qu'aux deux mots précédents (en gras). La phrase est ainsi vue comme un ensemble de triplets, et on parle alors de modèle de langue trigramme (3-gramme) ou de modèle de Markov d'ordre 2. Ainsi un modèle langue n-gramme d'ordre $n > 0$ est un modèle de Markov d'ordre $k = n - 1$.

La deuxième hypothèse faite par les modèles de langue n-gramme concerne l'ordre des unités dans les séquences. Cette hypothèse stipule que les unités sont indépendantes des positions auxquelles elles sont réalisées. Cela implique principalement que ce modèle de langue ne fait pas la différence entre deux n-grammes avec exactement les mêmes unités mais qui apparaissent à des positions différentes
dans la séquence.

Avec ces deux hypothèses, et grâce à l'hypothèse d'indépendance, le modèle de langue n-gramme avec une hypothèse de Markov d'ordre k assigne une probabilité à une séquence d'unités **u** = u₁, ..., uₙ en multipliant les probabilités d'avoir chaque unité sachant les k unités qui la précède :

$$P(\mathbf{u}) = \prod_{i=1}^{|\mathbf{u}|} P(u_{i+1} | \mathbf{u}_{i-k:i}) \qquad (2.1)$$

où i - k : i fait référence à la sous-séquence allant de l'unité i - k à l'unité i.

## 2.2 Estimation des paramètres d'un modèle de langue n-gramme

Pour un échantillon d'estimation **x** contenant |**x**| séquences et contenant un vocabulaire de V unités, le nombre de paramètres d'un modèle de langue n-gramme avec un hypothèse de Markov d'ordre k est d'environ V<sup>k+1</sup>. On nomme ces V<sup>k+1</sup> paramètres θ, et contiennent toutes les probabilités conditionnelles de type P(x<sub>i+1</sub>|**x**<sub>i-k:i</sub>). Supposant que le corpus **x** est bien paddé<fnref n="2" />, la probabilité du corpus étant donnée les paramètres est donnée par la formule2.2

$$P(\mathbf{x}; \theta) = \prod_{i=1}^{|\mathbf{x}|} P(x_{i+1} | \mathbf{x}_{i-k:i}) \qquad (2.2)$$

Une manière naturelle d'estimer ces paramètres est d'utiliser le principe de maximum de vraisemblance. L'objectif est de trouver des valeurs θ de telle sorte que le corpus d'estimation **x** est maximalement probable avec ces valeurs. Il est plus commun de considérer la vraisemblance logarithmique normalisée par la taille du corpus :

$$\log \mathcal{L}(\mathbf{x}; \theta) = \frac{1}{|\mathbf{x}|} \sum_{i=1}^{|\mathbf{x}|} \log P(x_{i+1} | \mathbf{x}_{i-k:i}) \qquad (2.3)$$

et de chercher les paramètres qui maximisent cette vraisemblance logarithmique :

$$\hat{\theta} = \max_{\theta} \log \mathcal{L}(\mathbf{x}; \theta) \qquad (2.4)$$

Il est possible de montrer que le résultat à ce problème d'optimisation est l'estimation par fréquence relative des paramètres θ. Pour un θ<sub>j</sub> fixé, son estimation par fréquence relative est donnée par :

$$P(x_{i+1} | \mathbf{x}_{i-k:i}) = \frac{C(x_{i-k}, \dots, x_i, x_{i+1})}{\sum_{v \in \mathcal{V}} C(x_{i-k}, \dots, x_i, v)} \qquad (2.5)$$

<footnote n="2">2. C'est-à-dire que chaque phrase/énoncé du corpus d'estimation contient k faux tokens de début et de fin.</footnote>
où $C(\cdot)$ est une fonction de comptage. L'estimation par fréquence relative d'un paramètre du type $P(x_{i+1}|\mathbf{x}_{i-k:i})$ est donc le pourcentage où $x_{i+1}$ suit effectivement le contexte gauche donné.

Bien que la méthode d'estimation par maximum de vraisemblance soit très utilisée, en particulier pour les modèles de langues neuronaux, il est en pratique difficile de l'utiliser en tant que tel pour les modèles de langue *n*-grammes. La difficulté réside dans le fait que le corpus d'estimation contient beaucoup de séquences qui ont des comptes faibles, en particulier quand *k* (la taille du contexte) est grand. Lorsque l'on souhaite estimer la probabilité d'une nouvelle séquence, il n'est pas exclu que certains *n*-grammes de cette séquence soient totalement absents du corpus d'entraînement. Dans ce cas, le modèle de langue assignera une probabilité nulle à toute cette séquence. Il existe plusieurs solutions à ce problème. Dans cette étude nous utiliserons la libraire *KenLM*<fnref n="3" /> pour estimer les paramètres des modèles de langue. *KenLM* est utilise les méthodes de back-off et le lissage d'interpolation. Nous utiliserons des modèles de langue d'ordre 5 pour toutes les expériences présentées ici.

## 2.3 Le modèle de langue donne plusieurs choix de métriques. Laquelle choisir pour mesurer le développement linguistique des enfants ?

Une fois que les paramètres du modèle de langue sont estimés sur un corpus d'estimation, il est alors possible de les utiliser pour estimer les probabilités de nouvelles séquences jamais vues à l'entraînement. Plus particulièrement, dans notre cas, à chaque âge de l'enfant nous avons un corpus $t_{enfant}$ d'énoncés produits par l'enfant et $t_{adultes}$ d'énoncés produits par les adultes (membres de la famille de l'enfant, généralement sa mère et/ou son père) pour lesquels on veut estimer les probabilités. En pratique, on ne considère pas les probabilités directement mais d'autres métriques qui en sont dérivées. On passe en revue trois métriques probabilistes qui pourraient clairement répondre à notre question de recherche.

### 2.3.1 La vraisemblance logarithmique

Elle a été définie dans l'équation 2.3. Il est possible de la réutiliser sur les corpus $t_{enfant}$ et $t_{adultes}$. Il est attendu alors à ce que les données des adultes $t_{adultes}$ à chaque âge de l'enfant aient une vraisemblance élevée et reste stable. Pour les données des enfants $t_{enfant}$, la vraisemblance serait basse au départ mais devrait de plus en plus augmenter dû au fait que l'enfant sait de plus en plus parler sa langue et produit des énoncés de plus en plus probables. Donc, à un certain âge la vraisemblance des énoncés des enfants rejoindrait celle des adultes et se stabiliserait. La figure 2.1 illustre ceci. La vraisemblance logarithmique n'est pas une mesure très commune pour étudier les phénomènes linguistiques. Mais elle pourrait clairement répondre aux attentes et objectifs de notre étude.

<footnote n="3">3. https://github.com/kpu/kenlm</footnote>
<figure><img src="image_1.png" /><figcaption>**FIGURE 2.1** – Simulation de l'évolution de la vraisemblance logarithmique sur les énoncés des enfants et des adultes</figcaption></figure>

### 2.3.2 La vraisemblance logarithmique négative ou "entropie croisée"

Une mesure très utilisée dans le domaine de la linguistique informatique est la vraisemblance logarithmique négative, donnée en 2.6. Elle est l'opposée de la fonction de vraisemblance logarithmique définie dans l'équation 2.3. On l'appelle aussi l'entropie croisée qui est une interprétation issue de la théorie de l'informaton de la même formule.

$$CE(\mathbf{t}) = \frac{1}{|\mathbf{t}|} \sum_{i=1}^{|\mathbf{t}|} -\log P(t_{i+1}|\mathbf{t}_{i-k:i}) \quad (2.6)$$

On s'attend à ce que les données des adultes $t_{adultes}$ à chaque âge de l'enfant aient une entropie croisée faible et reste stable. Quant aux énoncés $t_{enfant}$ produits par l'enfant à chaque âge, l'entropie croisée est au départ élevée mais baisserait rapidement avant de se stabiliser aussi. Nous illustrons tout ceci par la figure 2.2, qui est en effet l'image miroir de la figure 2.1. L'entropie croisée est liée à l'entropie, qui permet de quantifier le degré d'incertitude d'une distribution de probabilité. L'entropie croisée d'une distribution de probabilités est toujours supérieure ou égale à l'entropie, et une entropie croisée basse implique forcément une entropie basse. Mais on peut avoir une entropie faible et une entropie croisée élevée, cela arrive notamment quand le modèle est certain de ses prédictions mais que ces dernières sont fausses. L'entropie croisée est donc très adaptée pour évaluer un modèle car les prédictions du modèle sont directement comparées à la distribution réelle. Un modèle a une entropie croisée élevée quand il prédit mal le réel.
<figure><img src="image_2.png" /><figcaption>**FIGURE 2.2** – Simulation de l'évolution de la vraisemblance logarithmique négative sur les énoncés des adultes et sur les énoncés des enfants.</figcaption></figure>

L'entropie croisée, et l'entropie en général, sont souvent utilisées pour mesurer certains phénomènes linguistiques et sont utilisées comme mesure de complexité.

### 2.3.3 La perplexité

La perplexité mesure la même chose que l'entropie croisée et n'en diffère pas réellement en principe. Il est possible de passer de l'un à l'autre facilement. La perplexité est définie en 2.7, où $b$ est la base du logarithme utilisée pour estimer l'entropie croisée.

$$PPL(t) = b^{CE(t)} \qquad (2.7)$$

La simulation de l'évolution de la perplexité sur les énoncés des enfants et adultes donnera donc les mêmes tendances que pour celles de l'entropie croisée, mais les valeurs sur l'axe des $y$ seront nettement plus élevées.

La perplexité est surtout utilisée en ingénierie TAL (Traitement Automatique des Langues) pour mesurer les performances des modèles de langue, de traductions automatiques, etc. Une des raisons d'utiliser la perplexité est sans doute afin de mieux contraster les différences entre les résultats des différents modèles ([MS]). Tout comme l'entropie croisée, la perplexité est corrélée avec la complexité linguistique. Par exemple, en TAL Multilingue, [GVP+18] ont trouvé que la perplexité des modèles de langue purement basés sur les mots est corrélée avec la complexité morphologique des langues : les langues morphologiquement riches ont tendance à avoir des perplexités élevées.
CHAPITRE 3

# Étude 1 : Expériences sur l'anglais

Nous présentons dans ce chapitre les premières expériences et résultats sur l'anglais. C'est une langue très étudiée dans le domaine de l'acquisition du langage, ce qui s'avère utile pour comparer les résultats qui seront obtenus avec la littérature sur l'acquisition de l'anglais chez les enfants. La première partie présente de manière succincte les bases de données utilisées dans cette étude. Nous présenterons ensuite les données qui seront utilisées pour cette expérience, puis nous présenterons la méthode utilisée pour prétraiter les données et comment elles sont organisées. Enfin, nous présenterons les résultats.

## 3.1 Les bases de données CHILDES et PHONBANK

Les données utilisées dans cette étude sont toutes issues de Talkbank<fnref n="1" /> [Mac16] qui est un site web qui regroupe plusieurs bases de données. Les bases de données qui nous intéressent dans cette étude sont CHILDES et PHONBANK [Mac00, RM14] qui sont des bases de données d'enregistrements et de transcriptions des productions des enfants. PhonBank a été principalement créé pour étudier le développement phonologique des enfants. Ces deux bases de données contiennent plusieurs corpus où un ou plusieurs enfants sont suivis. Il y a plusieurs types de suivis, en ce qui nous concerne, on ne considère que les corpus où les enfants suivis produisent des énoncés dans un environnement naturel. En effet, il y certains suivis où des enfants sont contrôlés par les chercheurs dans un but précis, et certains suivis sont sous forme d'expériences. En général, les corpus où les enfants sont suivis dans un environnement où ils produisent des énoncés de manière naturelle sont catégorisés comme naturalistic sur CHILDES. Mais ce n'est pas systématique, il peut être nécessaire de lire la documentation des corpus concernés pour savoir si les enfants produisent des énoncés dans un environnement naturel ou non.

Dans les corpus issus de la catégorie naturalistic, les enfants conversent avec les adultes de sa famille, généralement sa mère, et les enregistrements des conversations sont disponibles en accès libre sur TalkBank pour la plupart des corpus. En plus des enregistrements audios, des transcriptions et plusieurs annotations linguistiques des énoncés sont disponibles.

<footnote n="1">1. https://www.talkbank.org</footnote>
## 3.2 Les données

### 3.2.1 Le corpus considéré : Providence

Les données utilisées dans cette étude sont issues du corpus Providence<fnref n="2" />. Ce corpus contient des enregistrements de six enfants dans un environnement naturel où ils interagissaient avec leurs parents de manière spontanée. Les énoncés des enfants sont retranscrits à l'aide des symboles de l'Alphabet Phonétique Internationale (API) et en orthographe standard si possible. Ce qui signifie que même quand l'enfant réalise des pseudo-mots qui n'existent pas dans la langue anglaise, la transcription en API peut permettre de savoir si ces mots sont phonotactiquement plausibles ou non. Les énoncés des adultes ne sont pas transcrits en API mais seulement à l'aide de l'orthographe anglaise standard. Trois des six enfants sont suivis de 1 à 4 ans mais les trois autres sont seulement suivis de 1 à plus de 3 ans, sans forcément atteindre les 4 ans. Néanmoins, tous les enfants ne sont pas suivis à la même fréquence, ce qui fait que deux enfants ont des corpus plus denses que les autres. Les six enfants, leurs tranches d'âge en mois ainsi que tous les énoncés qu'ils ont produits sont détaillés dans le tableau

Nous considérons qu'une famille est composée de l'enfant et de sa mère. Les énoncés des autres membres de la famille (père, frères/sœurs) ne sont pas pris en compte dans l'étude, car le nombre d'énoncés qu'ils produisent est tout à fait négligeable, comme la figure 3.1 l'illustre par exemple pour les corpus de l'anglais issus de TALKBANK

### 3.2.2 Données d'entraînement des modèles de langue et données de test

Pour chaque famille, à chaque âge de l'enfant de cette famille et pour chaque locuteur (enfant ou mère), nous récupérons 20% des énoncés pour le test et 80% pour l'entraînement du modèle de langue. Les données d'entraînement sont une concaténation d'énoncés produits à différents âges et par différents locuteurs (enfants ou mères) issus de différentes familles. Le modèle de langue n'a donc accès à aucune de ces informations lors de l'entraînement. Les énoncés de test sont regroupées par famille, et locuteur (enfant ou mère), et âge : pour chaque famille, à chaque âge de l'enfant de cette famille, nous avons l'ensemble des énoncés produits par l'enfant ou la mère.

## 3.3 Méthode

Comme les transcriptions en API et orthographiques existent pour les énoncés de l'enfant, mais que seules les transcriptions orthographiques existent pour la mère, alors nous avons phonémisé automatiquement les énoncés de la mère. Nous utilisons PHONEMIZER<fnref n="3" />, une librairie en accès libre permettant de phonemiser des textes dans plus de 100 langues, pour transcrire automatiquement en API les énoncés qui sont en orthographe standard. Cette expérience peut donc se décliner de

<footnote n="2">2. https://phonbank.talkbank.org/access/Eng-NA/Providence.html</footnote>

<footnote n="3">3. https://github.com/bootphon/phonemizer</footnote>
<figure><img src="image_3.png" /><figcaption>**FIGURE 3.1** – Nombre d'énoncés par locuteur pour les données issus des corpus anglais disponibles sur TALKBANK. "Target_Child" est l'enfant cible suivi dans les corpus.</figcaption></figure>

différentes manières, nous en considérons seulement trois :

1. Le modèle de langue est entraîné seulement sur les énoncés des mères transcrits automatiquement. Puis, à chaque âge des enfants, le modèle de langue est testé sur les transcriptions automatiques des énoncés de test produits par les mères à cet âge et les transcriptions manuelles des énoncés de test produits par les enfants à cet âge.

2. Le modèle de langue est entraîné sur les énoncés des mères transcrits automatiquement et les énoncés des enfants transcrits manuellement. Puis, à chaque âge des enfants, le modèle de langue est testé sur les transcriptions automatiques des énoncés de test produits par les mères à cet âge et les transcriptions manuelles des énoncés de test produits par les enfants à cet âge.

3. Le modèle de langue est entraîné sur les énoncés des mères transcrits automatiquement. Puis, à chaque âge des enfants, le modèle de langue est testé sur les transcriptions automatiques des énoncés de test produits par les mères à cet âge et les transcriptions automatiques des énoncés de test produits par les enfants à cet âge.

Dans tous les cas, les énoncés sont tokénisés en phonème et toutes les informations sur les frontières des mots sont supprimées. Cela signifie que la phrase *"il court"* est représentée comme *"i l'kур"*. Le choix de ne pas garder les frontières des mots est motivé par le fait que les enfants en bas
âge peuvent produire des pseudo-mots qui n'existent pas dans la langue, auquel cas le décision prise par l'annotateur de considérer telle séquence de phonèmes comme constituant un mot peut être un biais. De plus, ne pas considérer les frontières de mots facilitera la comparaison avec les modèles qui seront entraînés sur de la parole, où il est difficile de décomposer la chaîne parlée en mots. Quant au modèle de langue, cette expérience, comme toutes les autres qui seront présentées, a été ralisée avec un modèle de langue d'ordre 5.

## 3.4 Modèle statistique d'analyse des résultats

Nous avons choisi un modèle logistique à trois paramètres pour modéliser les résultats. C'est un modèle adapté car l'acroissement et/ou la décroissance atteint un plateau, une limite maximale de l'évolution. Naturellement, le processus d'acquisition du langage ne se fait pas continuellement toute la vie durant, mais s'achève bien à un certain âge. Le modèle logistique est défini par l'équation 3.1 :

$$f(age) = \frac{c}{1 + b \cdot a^{age}} \qquad (3.1)$$

où, en adéquation à nos attentes, c (l'asymptote) serait le plateau, c'est-à-dire l'entropie minimale que l'enfant pourrait atteindre, b et a décriraient la force de la décroissance de l'entropie au cours des âges et situeraient cette décroissance dans l'intervalle des âges. En outre, il est aussi attendu à ce que le paramètre c estimé pour les enfants soit supérieur ou égale à celui estimé sur pour les adultes.

Néanmoins, les valeurs estimés pour ces paramètres peuvent être influencées selon plusieurs facteurs, tels que l'environnement socio-économique dans lequel l'enfant évolue, la langue qu'il acquiert, la famille dans laquelle il apprend cette langue, etc. Autant de facteurs, certes intéressants à prendre en compte pour bien comprendre les processus de l'acquisition du langage, mais qui nous ne souhaitons pas expliquer dans la modélisation. Pour ces raisons, nous considérons un modèle mixte qui permet aux paramètres de varier selon les groupes (appelés effets aléatoires). Nous utilisons la librairie saemix [CLL17] qui est un librairie R permettant d'estimer les paramètres des modèles non-linéaires mixtes à l'aide d'une version stochastique de l'algorithme de Expectation Maximization [DLR77]

## 3.5 Résultats

### 3.5.1 Étude 1.1

Nous présentons ici le cas où le modèle de langue est entraîné seulement sur les énoncés des mères transcrits automatiquement. Puis, pour chaque famille et à chaque âge de l'enfant de cette famille, le modèle de langue est utilisé pour estimer l'entropie des transcriptions automatiques des énoncés produits par la mère à cet âge et des transcriptions manuelles des énoncés produits par l'enfant à cet âge. Le modèle logistique est ajusté sur les données des résultats ainsi obtenus. Les tableaux 3.1 et 3.2 présentent les résultats de cette expérience pour les enfants et les adultes respectivement. Les tableaux rapportent les paramètres estimés au niveau de toutes les familles (effets fixes) et la variance de ces
<table><caption>**TABLE 3.1** – Résultats de l'ajustement du modèle logistique sur les résultats de l'expérience 1.1 pour les enfants. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons seulement les variances des paramètres estimés pour chaque famille prise isolément, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>-0.42</td><td>0.32</td><td>76.86</td><td>0.372</td><td>0.33</td><td>88</td></tr><tr><td>c</td><td>5.28</td><td>0.037</td><td>0.7</td><td>0.0065</td><td>0.004</td><td>70</td></tr><tr><td>a</td><td>0.84</td><td>0.023</td><td>2.74</td><td>&lt; 0.001</td><td>0.001</td><td>&gt; 1000</td></tr></tbody></table>

<table><caption>**TABLE 3.2** – Résultats de l'ajustement du modèle logistique sur les résultats de l'expérience 1.1 pour les mères. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons seulement les variances des paramètres estimés pour chaque famille prise isolément, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>1.99</td><td>2.66</td><td>134</td><td>0.85</td><td>3.6</td><td>424</td></tr><tr><td>c</td><td>1.92</td><td>0.016</td><td>0.85</td><td>0.001</td><td>0.001</td><td>62.3</td></tr><tr><td>a</td><td>0.73</td><td>0.065</td><td>8.86</td><td>&lt; 0.001</td><td>0.002</td><td>&gt; 1000</td></tr></tbody></table>

paramètres estimés pour chaque famille (effets aléatoires). On voit que pour les enfants l'entropie minimale estimée par le modèle est très élevée et reste éloignée de celle des adultes. On observe clairement la non convergence des entropies dans la figure 3.2 qui illustre ces résultats. Les courbes pleines sont tracées avec les paramètres estimés au niveau de chaque famille et les pointillées avec les paramètres estimés au niveau de la population.

Le fait que les entropies ne baissent pas au cours des âges est sans doute dû à une grande différence entre le vocabulaire phonémique issu des transcriptions phonétiques automatiques et celui issu des transcriptions phonétiques manuelles. L'annotation manuelle est plus riche. De sorte que, lors du test, le modèle de langue entraîné sur les transcriptions phonétiques automatiques rencontre beaucoup de phonèmes qu'il n'a pas vus à l'entraînement. Une manière de remédier à ce problème est d'introduire des énoncés des enfants transcrits manuellement dans le corpus d'entraînement.
<figure><img src="image_4.png" /><figcaption>**FIGURE 3.2** – Graphique pour l'étude 1.1. Les traits pleins désignent les prédictions faites avec les paramètres estimés au niveau de chaque famille (individu) et les pointillés désignent les prédictions faites avec les paramètres estimés pour toute la population (population). Les points désignent les entropies observées à chaque âge.</figcaption></figure>

### 3.5.2 Étude 1.2

Nous introduisons les transcriptions phonétiques manuelles des énoncés des enfants dans le corpus d'entraînement afin de réduire les phonèmes inconnus lors du test. Les énoncés d'entraînement contiennent alors les transcriptions phonétiques automatiques des énoncés des mères et les énoncés transcriptions phonétiques manuelles des énoncés des enfants. Une fois que le modèle de langue est entraîné, il est testé sur les énoncés des adultes transcrits automatiquement et sur les énoncés des enfants transcrits manuellement à chaque âge de l'enfant.

Le fait d'introduire des énoncés des enfants transcrits manuellement dans le corpus d'entraînement change significativement l'estimation des paramètres du modèle logistique. Les résultats des estimations des paramètres du modèle logistique sont présentés dans le tableau 3.1 et 3.4 pour les enfants et les mères respectivement. On voit que l'entropie minimale estimée (le paramètre c) converge vers celle des mères. Le graphique 3.3 permet d'illustrer ces résultats.

Ces résultats montrent qu'il est important de ne pas avoir des ensembles de vocabulaires trop divergents entre la mère et l'enfant afin de pouvoir observer une convergence des entropies des enfants vers celles des adultes. Ce qui est un peu problématique pour notre modélisation, car durant
<table><caption>**TABLE 3.3** – Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.2 pour les enfants. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons seulement les variances des paramètres estimés pour chaque famille, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>-0.55</td><td>0.13</td><td>25</td><td>0.07</td><td>0.04</td><td>67</td></tr><tr><td>c</td><td>2.91</td><td>0.1</td><td>3.73</td><td>0.04</td><td>0.03</td><td>66.2</td></tr><tr><td>a</td><td>0.93</td><td>0.01</td><td>1.42</td><td>&lt; 0.001</td><td>&lt; 0.001</td><td>830</td></tr></tbody></table>

<table><caption>**TABLE 3.4** – Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.2 pour les mères. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons les variances des paramètres estimés pour chaque famille, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>1.7</td><td>2.23</td><td>132</td><td>0.722</td><td>2.78</td><td>39</td></tr><tr><td>c</td><td>1.96</td><td>0.02</td><td>0.84</td><td>0.001</td><td>&lt; 0.001</td><td>63</td></tr><tr><td>a</td><td>0.73</td><td>0.06</td><td>8.63</td><td>&lt; 0.001</td><td>0.002</td><td>&gt; 1000</td></tr></tbody></table>
<figure><img src="image_5.png" /><figcaption>FIGURE 3.3 – Graphique pour l'étude 1.2. Les traits pleins désignent les prédictions faites avec les paramètres estimés pour chaque famille (individu) et les pointillés désignent les prédictions faites avec les paramètres estimés au niveau de toutes les familles (population). Les points désignent les entropies observées à chaque âge.</figcaption></figure>

son développement langagier, l'enfant ne produit pas forcément des unités qui existent dans sa langue maternelle. De plus, normalement plus l'enfant grandit plus il produit des phonèmes qui existent dans la langue, donc dans les faits on devrait pouvoir observer une convergence. On peut penser que les transcriptions phonétiques manuelles divergent largement de celles automatiques, même quand l'enfant maîtrise sa langue.

Néanmoins, notre but est d'estimer les paramètres des modèles de langue seulement sur les énoncés des adultes et nous attendons à ce que l'entropie des énoncés des enfants convergent même s'ils n'ont pas été vus à l'entraînement. Nous présentons, dans la sous-section suivante une expérience où les énoncés des enfants et des mères sont tous transcrits en API automatiquement à partir des orthographes standard. Ceci nous permet d'avoir les mêmes ensembles de vocabulaires, et de pouvoir entraîner le modèle de langue seulement sur les énoncés des adultes puis d'estimer les entropies des énoncés des enfants jamais vus à l'entraînement.

### 3.5.3 Étude 1.3

L'entraînement ne contient que les transcriptions phonétiques automatiques des énoncés des mères. Et le modèle de langue, une fois entraîné, est testé sur les transcriptions automatiques des énoncés
<table><caption>**TABLE 3.5** – Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.3 pour les enfants. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons les variances des paramètres estimés pour chaque famille, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>-2.70</td><td>1.053</td><td>39</td><td>1.95</td><td>1.71</td><td>87.7</td></tr><tr><td>c</td><td>2.18</td><td>0.03</td><td>1.63</td><td>0.006</td><td>0.004</td><td>65</td></tr><tr><td>a</td><td>0.8</td><td>0.01</td><td>1.77</td><td>&lt; 0.001</td><td>&lt; 0.001</td><td>&gt; 1000</td></tr></tbody></table>

<table><caption>**TABLE 3.6** – Résultats de l'ajustement du modèle logistique sur les résultats de l'étude 1.3 pour les mères. Plusieurs informations sont rapportées : les paramètres estimés au niveau de toute la population (effets fixes) ainsi que les leurs Erreurs Type (ET) et leurs Coeficients de Variation (CV). Pour ce qui est des effets aléatoires, nous rapportons les variances des paramètres estimés pour chaque famille, les variances des ET et les variances des CV</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="3">Effets fixes</th><th colspan="3">Variance des effets aléatoires</th></tr><tr><th>Estimé</th><th>ET</th><th>CV (%)</th><th>Estimé</th><th>ET</th><th>CV (%)</th></tr></thead><tbody><tr><td>b</td><td>-0.17</td><td>0.89</td><td>519</td><td>2.92</td><td>3.39</td><td>116.3</td></tr><tr><td>c</td><td>1.92</td><td>0.02</td><td>1.10</td><td>0.002</td><td>0.001</td><td>61.2</td></tr><tr><td>a</td><td>0.8</td><td>0.03</td><td>3.73</td><td>&lt; 0.001</td><td>0.003</td><td>&gt; 1000</td></tr></tbody></table>

des enfants et des adultes. Les résultats de l'ajustement du modèle logistique sont présentés dans les tableaux 3.5 et 3.6 pour les enfants et les mères respectivement. Le graphique 3.4 permet de visualiser ces résultats. On voit que la convergence est plus rapide, bien que le paramètre estimé pour l'asymptote (c) soit très proche de celui estimé pour l'étude 1.3. On observe aussi que les paramètres estimés au niveau de la population (en pointillés) arrivent à plutôt bien prédire les trajectoires des différents enfants, ce qui signifie qu'il y a des tendances générales de l'évolution de l'entropie au cours des âges et qu'elles sont partagées à travers les sujets parlant la même langue. Cela étant dit, c'est sans occulter le fait qu'il n'est pas exclu d'avoir des enfants très en avance ou en retard, et qui s'écarteraient de ces tendances générales.
<figure><img src="image_6.png" /><figcaption>**FIGURE 3.4** – Graphique pour l'étude 1.3. Les traits pleins désignent les prédictions faites avec les paramètres estimés au niveau de chaque famille (individu) et les pointillés désignent les prédictions faites avec les paramètres estimés pour toutes les familles (population). Les points désignent les entropies observées à chaque âge.</figcaption></figure>

## 3.6 Conclusion

Dans ce chapitre, nous avons appliqué notre approche sur l'anglais à partir des transcriptions phonémiques et orthographiques des énoncés. Nous avons testé plusieurs configurations et on observe une nette convergence des entropies des énoncés des enfants vers celles des adultes. Néanmoins, les énoncés des adultes et des enfants doivent avoir le même système de transcription pour mieux pouvoir observer cette convergence. Ces résultats vont clairement dans le sens de la littérature de l'acquisition du langage. Comme la métrique utilisée ici ne requiert aucune données annotées, sa généralisation à d'autres langues est facilitée, à condition d'avoir des données textuelles pour ces langues. Dans le chapitre suivant nous appliquons cette métrique à 12 langues.
CHAPITRE 4

Étude 2 : De l’anglais à 12 langues

Les résultats sur l'anglais présentés dans la section précédente sont intéressants en ce qu'ils sont en accord avec la littérature sur l'acquisition du langage et que la métrique utilisée ne requiert pas de données annotées. Avoir une métrique qui ne requiert pas de données annotées facilite sa généralisation à d'autres langues. À la lumière de ce qui a été mentionné dans l'introduction sur la nécessité de considérer plus de diversité linguistique, il est crucial de vérifier si ces résultats observés sur l'anglais se généralisent pour d'autres langues. Cette partie présente la généralisation de la méthode appliquée à l'anglais sur 12 langues. Nous discuterons dans un premier temps des difficultés rencontrées pour pouvoir considérer plusieurs langues et les langues qui sont sélectionnées pour cette deuxième étude. Ensuite, nous présenterons les données d'entraînement et de test des différentes langues. Enfin, nous finirons par présenter les résultats et discuterons des perspectives qu'ils ouvrent.

4.1 Ce n'est pas facile d'avoir des données pour beaucoup de langues

Comme c'est souvent le cas lorsque l'on souhaite travailler sur plusieurs langues, le problème
auquel on se confronte est celui du manque de données. Nous souhaiterions que suffisamment
d'énoncés transcrits soient disponibles pour chaque langue, à la fois pour pouvoir constituer un
corpus d'entraînement pour le modèle de langue mais aussi des corpus de test à chaque âge de
l'enfant, qui seraient des énoncés jamais vus en entraînement pour les enfants et les adultes. De plus,
les énoncés des enfants et des adultes doivent être produits dans un environnement naturel (voir
la section 2 de l'introduction sur la catégorie *naturalistic*). Et enfin, les transcriptions des énoncés
des enfants doivent être disponibles dans une tranche d'âge qui permettrait de pouvoir observer
une possible évolution, c'est-à-dire entre 2 et 4 ans au minimum. Peu de langues disponibles sur
CHILDES et PHONBANK ont des données qui rentrent dans ces trois critères. Soit les données
disponibles pour chaque langue ne rentrent pas dans au moins un de ces critères, soit elles ne rentrent
dans aucune d'elles. Par exemple, pour l'anglais, suffisamment d'énoncés transcrits sont disponibles
pour l'enfant et la mère pour pouvoir constituer des données d'entraînement et de test. Ce qui est
loin d'être le cas pour toutes les langues. Cette différence en terme de quantité de données entre
l'anglais et les autres langues est illustrée dans la figure 4.1¹. Il convient de souligner que les nombre d'énoncés rapportés dans cette figure ne contiennent aussi bien des énoncés produits par les enfants dans des environnements naturels que des énoncés produits dans un environnement contrôlé où les enfants produisent des énoncés de manière peu ou pas du tout naturel. Donc, dans les faits, les nombres d'énoncés qui sont susceptibles de nous intéresser sont beaucoup moins élevés.

<figure><img src="image_7.png" /><figcaption>**FIGURE 4.1** – Le nombre d'énoncés disponibles pour les enfants et les adultes pour chaque langue. Les nombres d'énoncés sont comptés en utilisant tous les corpus issus de CHILDES et de PHON-BANK. En A), sont présentés les nombres d'énoncés produits par les enfants pour chaque langue et en B) pour les adultes.</figcaption></figure>

Pour toutes ces raisons, nous proposons d'utiliser les corpus de CHILDES seulement pour constituer les données de test. Les données d'entraînement sont constituées à partir de OPENSUB-TITLES [LT], qui est un corpus de sous-titres de films traduits dans 62 langues. Ces sous-titres sont collectés à partir du site opensubtitles.org et rendus accessibles en téléchargement libre sur opus.nlpl.eu. Ce sont des corpus très utilisés dans le domaine de la traduction automatique, mais aussi en TAL multilingue en général. Ces données sont particulièrement adaptées pour notre étude, car non seulement elles présentent une grande diversité linguistique mais il est aussi attendu à ce que les interactions entre protagonistes des films se fassent dans un style oral.

<footnote n="1">1. Les statistiques présentées dans cette figure ont été extraites à partir du package python `chilespy` qui donne accès à une base de données contenant des corpus issus aussi bien issus de TALKBANK</footnote>
Les langues sont sélectionnées si elles respectent conjointement ces 5 critères

1. Les langues qui sont à la fois disponibles sur OPENSUBTITLES et CHILDES et PHONBANK.

2. Seules les langues qui ont des corpus de la catégorie "naturalistic" sont rentenues.

3. Les langues pour lesquelles il y a des énoncés d'enfants au moins dans la tranche entre 2 et 4 ans.

4. Les langues pour lesquelles on a à la fois l'enfant et les parents retranscrits en orthographe standard

5. Les langues qui sont prises en compte par PHONEMIZER

En appliquant ces contraintes, nous nous sommes retrouvés avec les 12 langues présentées dans le tableau (4.1).

<table><caption>TABLE 4.1 – Les langues considérées pour la deuxième étude.</caption><thead><tr><td>Language (ISO 639-1)</td><td>Morphological Typology</td><td>Genetic Filiation</td></tr></thead><tbody><tr><td>Basque (eu)</td><td>Agglutinante</td><td>Isolante</td></tr><tr><td>Estonien (et)</td><td>Agglutinante</td><td>Ouralienne</td></tr><tr><td>Serbe (sr)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Polonais (pl)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Turc (tr)</td><td>Agglutinante</td><td>Turque</td></tr><tr><td>Danois (da)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Anglais (en)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Japonais (ja)</td><td>Agglutinante</td><td>Japonique</td></tr><tr><td>Espagnol (es)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Français (fr)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Allemand (de)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr><tr><td>Portugais (pt)</td><td>Fusionnelle</td><td>Indo-Européenne</td></tr></tbody></table>

On voit que le corpus n’est pas réellement typologiquement diversifié, car seulement deux typologies morphologiques sont présentes (agglutinantes et fusionnelles), de plus, les langues fusionnelles sont fortement majoritaires. On peut en dire autant pour la diversité culturelle. On voit que les langues indo-européennes sont sur-representées, et pratiquement aucune langue avec des locuteurs ayant un mode de vie et une organisation sociale ne tranche réellement avec le reste, sauf peut-être les locuteurs du japonais et du turc. Ceci est en grande partie dû au fait que, sur CHILDES, des transcriptions ne sont pas disponibles en grande quantité pour plein de langues. D’où l’intérêt d’avoir des approches qui requièrent le moins possible de transcriptions. En ce sens, les méthodes de collectes de données telles que les long-form recordings [GLR+20] couplées avec les modèles traitement automatiques
de la parole peuvent véritablement aider à remédier à ces limites. Néanmoins, considérer seulement ces 12 langues nous donnera une idée, certes à relativiser par rapport au manque de diversité, sur la possibilité de généraliser les résultats obtenus sur l'anglais pour d'autres langues.

## 4.2 Les données

Le corpus d'entraînement contient 500 000 phrases uniques (c'est-à-dire qu'aucune phrase ne se répète plus d'une fois) issues de OPENSUBTITLES pour chacune des 12 langues. Et pour chaque langue, on constitue aussi un corpus de test de 10 000 phrases uniques issues de OPENSUBTITLES afin de pouvoir évaluer la qualité des modèles de langues. Enfin, pour chaque langue, on constitue des données de test issu de CHILDES. Ces données regroupent différentes familles issues de différents corpus qui sont présentées dans la table 4.2. On voit que les tailles des données sont très déséquilibrées. Cela est dû en partie au fait que pour certaines langues, on a une distribution d'âge plus étendue que d'autres, cet écart peut aller jusqu'à 2 ans. Mais en général, le suivi des enfants de certaines langues est plus régulier, ce qui permet d'avoir des corpus denses pour ces langues. Quant au pré-traîtement, tous les énoncés/phrases (issus de CHILDES et de OPENSUBTITLES sont phonémisés et tokénisés en phonème. Les énoncés des enfants et des adultes de CHILDES sont d'abord nettoyées avant la phonémisation, avec la même méthode que pour la première étude, et les énoncés sont regroupés par langue et famille. Ici, contrairement à l'anglais, on considère la mère, le père (donc, les parents) et l'enfant au moment du test. Le fait de considérer la père en plus, permet d'avoir plus de données pour certaines langues.

## 4.3 Méthode

La méthode est la même que pour l'expérience qui a été appliquée à l'anglais, à cette différence près que les corpus d'entraînement sont ici issus de OPENSUBTITLES. Pour chaque langue, un modèle de langue ngram d'ordre 5 est entraîné en utilisant le corpus d'entraînement issu de OPENSUBTITLES pour cette langue. Une fois entraîné, ce modèle de langue est utilisé pour estimer l'entropie moyenne des énoncés des enfants et des parents disponibles à chaque âge de l'enfant.

## 4.4 Résultats

### 4.4.1 Évaluation des modèles de langues.

Le tableau (4.3) présente l'entropie des modèles de langues sur les corpus de test issus de OPENSUBTITLES. Les entropies sont basses pour toutes les langues, ce qui signifie que les entraînements se sont bien passés et que les modèles de langues sont de qualité. Néanmoins, on voit que certaines langues ont des entropies plus basses que d'autres. Cela n'est n'est pas dû aux tailles des données car toutes les langues ont exactement le même nombre de phrases pour les corpus d'entraînement et de test issus de OPENSUBTITLES. Ce qui suggère que cette différence dans les entropies pourrait venir des propriétés linguistiques des langues elles-mêmes. Ces propriétés pourraient être par exemple la
<table><caption>TABLE 4.2 – Les données de test de CHILDES utilisées pour les 12 langues.</caption><thead><tr><th>Langue</th><th>Corpus</th><th>Nb d'enfants</th><th>Nb d'énoncés des enfants</th><th>Tranche d'âge (en mois)</th></tr></thead><tbody><tr><td>German</td><td>Caroline, Leo, Rigol, Wagner</td><td>7</td><td>317 151</td><td>7-60</td></tr><tr><td>English</td><td>Brown, Providence, Warren</td><td>10</td><td>250 827</td><td>11-60</td></tr><tr><td>Serbian</td><td>SCECL</td><td>8</td><td>143 247</td><td>17-49</td></tr><tr><td>Japanese</td><td>Hamasaki, Miyata, Okayama, Yokoyama</td><td>6</td><td>142 002</td><td>13-59</td></tr><tr><td>Polish</td><td>Szuman, WeistJaros</td><td>14</td><td>137 329</td><td>10-60</td></tr><tr><td>Spanish</td><td>Aguirre, BecaCESNo, Linaza, Nieva, Orea-Pine, Ornat, Vila</td><td>8</td><td>109 216</td><td>11-59</td></tr><tr><td>Estonian</td><td>Argus, Beek, Kapanen, Kohler, Korgesaar, Vija, Zupping</td><td>18</td><td>86 723</td><td>5-57</td></tr><tr><td>Portuguese</td><td>CCF, Florianopolis, Santos</td><td>9</td><td>71 746</td><td>11-58</td></tr><tr><td>Danish</td><td>Plunkett</td><td>2</td><td>37 703</td><td>8-59</td></tr><tr><td>French</td><td>Hunkeler, Leveille, Pauline, Yamaguchi</td><td>5</td><td>32 766</td><td>14-52</td></tr><tr><td>Basque</td><td>Soto</td><td>7</td><td>20 783</td><td>30-60</td></tr><tr><td>Turkish</td><td>Aksu, Altinkamis</td><td>2</td><td>15 308</td><td>17-56</td></tr></tbody></table>

taille des inventaires phonologiques, les structures syllabiques ou bien les propriétés morphologiques et/ou morphosyntaxiques.

### 4.4.2 Les résultats obtenus sur l'anglais se généralisent bien à travers les langues

Pour analyser les résultats de cette étude, nous utilisons le même modèle logistique utilisé pour analyser les résultats de l'étude sur l'anglais. On considère ici les *langues* comme étant les effets aléatoires. Le graphique 4.2 permet d'illustrer l'estimation des paramètres présentés dans le tableau 4.4.

On voit que le modèle ne rentre pas très bien dans le nuage de points. Et en croire le tableau 4.4, il n'y a pas réellement de différence entre les parents et les enfants, car les valeurs des paramètres
<table><caption>**TABLE 4.3** – Évaluation des modèles de langue sur les corpus d'entraînement et de test issus OPENSUBTITLES. Un entropie basse signifie un meilleur modèle de langue, ceci est matérialisé par les flèches qui pointent vers le bas (↓)</caption><thead><tr><th>Langue</th><th>Typologie Morphologique</th><th>(↓) Entropie du corpus d'entraînement</th><th>(↓) Entropie du corpus de test</th></tr></thead><tbody><tr><td>Français</td><td>Fusionnelle</td><td>1.940628</td><td>2.058181</td></tr><tr><td>Anglais</td><td>Fusionnelle</td><td>1.830327</td><td>1.981478</td></tr><tr><td>Serbe</td><td>Fusionnelle</td><td>1.841473</td><td>1.947252</td></tr><tr><td>Danois</td><td>Fusionnelle</td><td>1.814337</td><td>1.944660</td></tr><tr><td>Polonais</td><td>Fusionnelle</td><td>1.808779</td><td>1.914808</td></tr><tr><td>Portugais</td><td>Fusionnelle</td><td>1.738389</td><td>1.835521</td></tr><tr><td>Espagnol</td><td>Fusionnelle</td><td>1.769178</td><td>1.828939</td></tr><tr><td>Allemand</td><td>Fusionnelle</td><td>1.707550</td><td>1.815423</td></tr><tr><td>Estonien</td><td>Agglutinante</td><td>1.717857</td><td>1.805642</td></tr><tr><td>Basque</td><td>Agglutinante</td><td>1.721960</td><td>1.779869</td></tr><tr><td>Turc</td><td>Agglutinante</td><td>1.592898</td><td>1.690923</td></tr><tr><td>Japonais</td><td>Agglutinante</td><td>0.650588</td><td>0.659676</td></tr></tbody></table>

estimés sont proches. Nous avons alors essayer un modèle logistique plus complexe, avec quatre paramètres. Si dans la formule 3.1 le paramètre *c* désigne l'entropie minimale que l'enfant peut atteindre, le modèle logistique à quatre paramètres introduit un autre paramètre *d*, qui en ce qui nous concerne peut être interprété comme étant l'entropie avec laquelle l'enfant débute. On s'attend alors à ce que la différence entre *d* et *c* soit plus élevée pour les enfants que pour les adultes, car le développement linguistique est achevé pour ces derniers. En effet, l'une des propriétés désirables pour une métrique d'acquisition du langage est qu'elle reste stable pour les adultes. La régression logistique à quatres paramètres est défini en 4.1.

$$f(age) = d + \frac{c - d}{1 + b \cdot a^{age}} \quad (4.1)$$

La tableau 4.5 donne l'estimation des quatre paramètres. Contrairement au tableau 4.4, on voit mieux ici la différence entre les enfants et les parents. On observe notamment que la différence entre *d* et *c* est très petite pour les adultes, ce qui est évidemment dû au fait que les entropies des énoncés des parents restent stables au cours des âges des enfants. Mais pour ce qui est des enfants, la différence entre ces deux paramètres est plus grande, et l'entropie minimale estimé (le paramètre *c*) se rapproche de celle des parents. La figure 4.3 présente un graphique qui illustre l'ajustement du modèle logistique
<table><caption>**TABLE 4.4** – Résultats de l'ajustement du modèle logistique à trois paramètres sur les résultats de l'étude 2 pour les enfants et parents. On rapporte ici les paramètres estimés sur toute la population ainsi que leurs variances à travers toutes les langues.</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="2">Effets fixes</th><th colspan="2">Variance des effets aléatoires</th></tr><tr><th>enfants</th><th>parents</th><th>enfants</th><th>parents</th></tr></thead><tbody><tr><td>b</td><td>-0.695</td><td>-0.368</td><td>0.023338</td><td>0.019693</td></tr><tr><td>c</td><td>2.059</td><td>2.238</td><td>0.275833</td><td>0.059850</td></tr><tr><td>a</td><td>0.964</td><td>0.918</td><td>0.000217</td><td>0.000645</td></tr></tbody></table>

<table><caption>**TABLE 4.5** – Résultats de l'ajustement du modèle logistique à quatre paramètres sur les résultats de l'étude 2 pour les enfants et parents. On rapporte ici les paramètres estimés sur toute la population ainsi que leurs variances à travers toutes les langues.</caption><thead><tr><th rowspan="2">Paramètre</th><th colspan="2">Effets fixes</th><th colspan="2">Variance des effets aléatoires</th></tr><tr><th>enfants</th><th>parents</th><th>enfants</th><th>parents</th></tr></thead><tbody><tr><td>b</td><td>120.1</td><td>5.868</td><td>9</td><td>23.87</td></tr><tr><td>c</td><td>2.407</td><td>2.26</td><td>0.07</td><td>0.069</td></tr><tr><td>a</td><td>0.192</td><td>0.150</td><td>0.02</td><td>0.005</td></tr><tr><td>d</td><td>3.850</td><td>2.562</td><td>0.2</td><td>0.635</td></tr></tbody></table>

à 4 paramètres. On voit que les prédictions avec les paramètres estimés au niveau de toutes les langues (en traits pointillés) ne sont pas très bonnes pour toutes les langues. Mais on peut observer une nette tendance à la baisse pour les premiers mois et une stabilisation de l'évolution des entropies autour de 30 mois pour toutes les langues, ce qui est en accord avec les études en acquisition du langage. Le basque est la seule langue qui ne montrent pas les mêmes que les autres langues. Le tableau 4.3 montre une faible entropie, ce qui veut dire que le modèle de langue pour cette langue est de qualité, donc le problème ne vient pas de là. Le problème vient du fait que cette langue manque d'énoncés produits par des enfants en bas âges, car en effet le basque est la seule langue pour laquelle les données ne sont disponibles qu'après 30 mois.

## 4.5 Conclusion

Dans cette section, on a généralisé notre méthode à 12 langues, montrant ainsi que le caractère non supervisé de la métrique utilisée facilite son application à beaucoup de langues. Les tendances
<figure><img src="image_8.png" /></figure>

**FIGURE 4.2** – Graphique pour l'étude 2 du modèle logistique à 3 pramètres. Les traits pleins désignent les prédictions faites avec les paramètres estimés au niveau de la langue en question (individu) et les pointillés désignent les prédictions faites avec les paramètres estimés au niveau de toutes les langues (population). Les points désignent les entropies observées à chaque âge.

sont fortes et partagées à travers les 12 langues : l'entropie des énoncés baisse à une vitesse fulgurante puis se stabilise à 30 mois. Néanmoins, nous avons rencontrés beaucoup de difficultés pour pouvoir considérer seulement 12 langues. Cela est en grande partie dû au fait que peu de langues ont des transcriptions orthographiques et/ou phonémiques disponibles sur TALKBANK. Un manière de remédier à ce problème est de se passer totalement du texte. Dans le chapitre suivant nous présentons et donnons un aperçu des expériences réalisées sur de la parole.
<figure><img src="image_9.png" /><figcaption>FIGURE 4.3 – Graphique pour l'étude 2 du modèle logistique à 4 paramètres. Les traits pleins désignent les prédictions faites avec les paramètres estimés au niveau d'une seule langue (individu) et les pointillés désignent les prédictions faites avec les paramètres estimés au niveau de toutes les langues (population). Les points désignent les entropies observées à chaque âge.</figcaption></figure>
## Chapitre 5

### Conclusion générale et perspectives

Nous avons présenté dans cette étude une approche pour mesurer de manière non-supervisée le développement des compétences langagières des enfants. Les différentes expériences menées montrent qu'ils sont en accord avec la littérature sur l'acquisition du langage, ce qui permet d'évaluer de la fiabilité de cette mesure. Les expériences sur le texte présentées ici sont motivées par une ligne de recherche plus générale qui a pour objectif de mesurer le développement linguistique des enfants à partir de leur productions spontanées. Des expériences ont été menées dans le laboratoire dans lequel s'incrit cette étude afin de voir s'il est possible d'avoir les même résultats que le texte mais sur de la parole orale. La difficulté de la parole orale est que la chaîne parlée est continue et non discrète, contrairement au texte et il est impossible d'utiliser le modèle de langue n-gramme sans unités discrètes. Il existe plusieurs méthodes de discrétisation de la parole. Le modèle de discrétisation utilisé est HuBERT, un modèle qui apprend des représentations contextuelles des segments d'audios et les discrétise en utilisant les méthodes de clustering. Les labels de ces clusterings constituent le pseudo-texte sur lequel il est désormais possible d'entraîner un modèle de langue n-gramme comme pour les expériences sur le texte qui ont été discutées. La figure 5.1 présente les résultats sur de la parole issue des audios de providence (qui a été présenté dans la première étude sur l'anglais). On voit qu'on n'arrive clairement pas à obtenir les mêmes résultats que les expériences sur le texte. Ceci est est en grande partie dû au bruit que présente ce genre d'enregistrements. Pour tester cette hypothèse, le texte correspondant aux audios du corpus Providence ont été synthétisés afin de contrôler le bruit. La figure 5.2 montre les résultats sur la parole synthétique, et montre par la même occasion que notre approche est faisable à condition d'avoir des données audios peu bruitées.

Les résultats de toutes les expériences présentées ici ainsi que tout le code sera mis en ligne sur ce dépôt github : https://github.com/yaya-sy/Towards_Unsupervised_Metrics_Of_Child_Language_Development
<figure><img src="image_10.png" /><figcaption>FIGURE 5.1 – Graphique pour l’expérience sur de la parole orale</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>FIGURE 5.2 – Graphique pour l’expérience sur de la parole synthétique</figcaption></figure>
Bibliographie

[Bro73] Roger Brown. Development of the first language in the human species. *American Psychologist*, 28(2), 1973. Place: US Publisher: American Psychological Association.

[CHBJ+06] Michael Covington, Congzhou He, Cati Brown-Johnson, Lorina Naci, and John Brown. How complex is that sentence? a proposed revision of the rosenberg and abbeduto d-level scale. 01 2006.

[Cla17] Eve Clark. *Morphology in Language Acquisition*, pages 374–389. 08 2017.

[CLL17] Emmanuelle Comets, Audrey Paris Lavenu, and Marc Lavielle. Parameter Estimation in Nonlinear Mixed Effect Models Using saemix, an R Implementation of the SAEM Algorithm. *Journal of Statistical Software*, 80(3):i03, 2017. Conditionally accepted for publication on 2017-07-13Estimated delay in publication - one year (editor's communication, 2018-04-05).

[DCLT19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, May 2019. Number: arXiv:1810.04805 arXiv:1810.04805 [cs].

[DLR77] A. P. Dempster, N. M. Laird, and D. B. Rubin. Maximum likelihood from incomplete data via the em algorithm. *Journal of the Royal Statistical Society. Series B (Methodological)*, 39(1):1–38, 1977.

[EFL] Sarita L Eisenberg, Tara McGovern Fersko, and Cheryl Lundgren. The Use of MLU for Identifying Language Impairment in Preschool Children: A Review.

[GLR+20] Lucas Gautheron, Marvin Lavechin, Rachid Riad, Camila Scaff, and Alejandrina Cristia. Longform recordings: Opportunities and challenges. In Thierry Poibeau, Yannick Parmentier, and Emmanuel Schang, editors, *LIFT 2020 - 2èmes journées scientifiques du Groupement de Recherche "Linguistique informatique, formelle et de terrain"*, pages 64–71, Montrouge / Virtual, France, December 2020. CNRS.

[GVP+18] Daniela Gerz, Ivan Vulić, Edoardo Ponti, Jason Naradowsky, Roi Reichart, and Anna Korhonen. Language Modeling for Morphologically Rich Languages: Character-Aware Modeling for Word-Level Prediction. *Transactions of the Association for Computational Linguistics*, 6, December 2018.

[Hic91] Tina Hickey. Mean length of utterance and the acquisition of Irish. *Journal of Child Language*, 18(3), October 1991.

[KG21] Evan Kidd and Rowena Garcia. How diverse is child language acquisition?, Sep 2021.
[LCL17] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability : A probabilistic view of linguistic knowledge. *Cognitive science*, 41 5:1202–1241, 2017.

[LdSG+21] Marvin Lavechin, Maureen de Seyssel, Lucas Gautheron, Emmanuel Dupoux, and Alejandrina Cristia. Reverse engineering language acquisition with child-centered long-form recordings, Mar 2021.

[LT] Pierre Lison and Jorg Tiedemann. OpenSubtitles2016 : Extracting Large Parallel Corpora from Movie and TV Subtitles.

[Mac00] Brian Macwhinney. The childes project : tools for analyzing talk. *Child Language Teaching and Therapy*, 8, 01 2000.

[Mac16] Brian Macwhinney. TalkBank and CLARIN. 10 2016.

[MS] Christopher D Manning and Hinrich Schiitze. Foundations of Statistical Natural Language Processing.

[OWDR76] D. Kimbrough Oller, Leslie A. Wieman, William J. Doyle, and Carol Ross. Infant babbling and speech. *Journal of Child Language*, 3(1):1–11, 1976.

[PB05] Matthew D. Parker and Kent Brorson. A comparative study between mean length of utterance in morphemes (MLUm) and mean length of utterance in words (MLUw). *First Language*, 25(3), October 2005.

[RA87] Sheldon Rosenberg and Leonard Abbeduto. Indicators of linguistic competence in the peer group conversational behavior of mildly retarded adults. *Applied Psycholinguistics*, 8(1):19–32, 1987.

[RM14] Yvan Rose and Brian Macwhinney. *The PhonBank Project : Data and Software-Assisted Methods for the Study of Phonology and Phonological Development*, pages 380–401. 02 2014.

[SS12] Sam Sahakian and Benjamin Snyder. Automatically Learning Measures of Child Language Development. 2012.