d'identification, traiter les valeurs manquantes et les dates. Les variables catégorielles doivent généralement être encodées en autant d'indicatrices qu'elles ont de modalité, sous peine de dénaturer l'information qu'elles contiennent. Les variables catégorielles ordonnées peuvent être traduites directement par le numéro d'ordre des modalités. On conserve dans ce cas l'information ordinale sans pour autant soumettre le RN à l'information cardinale (grâce à la non-linéarité de l'algorithme). Le prétraitement de chaque variable dépend donc du type qui lui est attribué, et le principal travail consiste alors à déterminer le type de chaque variable.

Les méta-données issues des dictionnaires des variables ou des fichiers eux-mêmes ne suffisent pas toujours à automatiser cette transformation : certaines variables sont mixtes, les variables catégorielles ordonnées ne sont pas toujours formellement distinguées et certaines sont ouvertes à interprétation (le niveau de diplôme, par exemple), les identifiants ne sont pas séparés des autres variables catégorielles, l'encodage des valeurs manquantes peut différer d'une variable à l'autre, etc. Ici, le classement des types des 700 variables est fait en partie à la main en s'appuyant sur un premier classement heuristique tiré du dictionnaire de variables. Toutes les variables sont intégrées, à l'exception des identifiants et autres variables catégorielles différentes pour chaque individu ou presque (outre les identifiants individuels, les identifiants de logements ou de grappes, n° Siren, communes, etc.) et des variables de date (qui demandent un prétraitement spécifique pour être réellement exploitables). Les variables catégorielles ordonnées sont directement traduites en variables numériques. Les autres variables catégorielles sont transformées en indicatrices, la non-réponse étant considérée comme une simple indicatrice supplémentaire. Pour les variables numériques, la non-réponse est traitée en deux temps : l'ajout d'une variable indicatrice (« âge manquant », par exemple), et l'imputation de la valeur manquante par la moyenne dans le sous-échantillon d'entraînement.

Les variables catégorielles de grande cardinalité posent un problème déjà exposé (voir partie 2.3.3) : traduites en indicatrices, elles génèrent des fichiers trop larges (jusqu'à 11000 colonnes). Au-delà d'un certain nombre de modalités, d'un certain seuil de pré-encodage *s* qu'il faut déterminer, ces variables sont donc pré-encodées. La méthode présentée en 2.3.3 étant un peu coûteuse à systématiser, nous les encodons ici de manière très simple. Chaque modalité étant remplacée par le vecteur des moyennes, dans le groupe des personnes ayant cette modalité, de 8 variables. Ces 8 variables sont choisies car elles sont systématiquement renseignées dans l'enquête : sexe, âge, nombre d'enfants de moins de 18 ans, en couple ou non, nationalité d'un des 15 premiers pays de l'UE, zone d'habitation rurale ou urbaine, nombre de chômeurs dans le foyer, inclusion dans le halo du chômage ou non).

Concrètement, la modalité 21 de la variable CSP (qui représente les artisans) est encodée en un vecteur contenant : l'âge moyen des artisans, la part de femmes parmi les artisans, etc. Ce pré-traitement permet de réduire considérablement la taille de la base de données traitée, pour une dimension de l'ordre de 3000000 × 3000. Ce processus entraîne une perte d'information non négligeable, et constitue ainsi une piste d'amélioration, soit en utilisant de plus grandes capacités de calcul et de mémoire, soit avec un pré-encodage plus souple, par exemple via l'algorithme *word2vec* déjà présenté.
La base complète a ensuite été divisée en trois sous-échantillons : entraînement, validation et test. Chaque individu étant observé 6 fois dans l'enquête Emploi, on s'assure que les 6 interrogations d'un même individu sont présentes dans un seul des sous-échantillons, afin de ne pas biaiser l'apprentissage (pour un même individu, de nombreuses variables seront identiques lors des différentes interrogations). Dans la perspective de tester les performances de l'AE sur un prédicteur entraîné en aval, il faut conserver la même partition des échantillons pour les deux problèmes. Le prédicteur sera ensuite entraîné à prédire le risque de chômage individuel au trimestre N + 1, or ce problème demande un échantillon test suffisamment grand, car la variable à prédire est dichotomique et très déséquilibrée. En conséquence, l'échantillon test de l'AE, identique, est lui aussi relativement grand. Le modèle final est ainsi entraîné sur 50% de l'échantillon, 10% étant réservés à la validation et 40% au test.

Enfin, une fois les trois bases créées, l'ensemble des variables est normalisé afin de permettre une convergence plus rapide de l'algorithme. Concrètement il s'agit, pour chaque observation, de lui soustraire la valeur minimale de la variable observée dans le sous-échantillon et de la rapporter à la distance entre la valeur maximale et minimale. Ainsi, toutes les données sont comprises entre 0 et 1. La normalisation a le défaut d'être très sensible aux valeurs extrêmes et de diminuer la variance de certaines variables beaucoup plus que d'autres, et donc en pratique de modifier leur poids dans la fonction de perte. On peut parfois lui préférer pour cette raison la standardisation, c'est-à-dire de centrer et réduire chaque variable en la divisant par sa variance : toutes les variances sont alors ramenées à 1. La normalisation a cependant été choisie pour plusieurs raisons. D'une part, dans un contexte où les variables sont de natures très diverses, liées entre elles par des filtres de questionnaire, et subissant des prétraitements très variés, il est en partie illusoire de chercher à pondérer également chaque variable en égalisant les variances. D'autre part, la plupart des variables n'ont pas de valeurs extrêmes problématiques. Enfin, la normalisation est bornée. Dans le cas d'un AE, où ces variables servent de cible à la couche de sortie, cela a l'avantage d'être compatible avec l'utilisation d'une fonction sigmoïde en couche de sortie (la sigmoïde étant elle-même bornée), ce qui, en pratique, facilite l'apprentissage.

### 4.2.3 Optimisation de l'auto-encodeur

La fonction de perte est l'erreur quadratique moyenne, qui s'adapte bien aux différents types d'inputs, après normalisation. Sur les machines utilisées 36, le temps d'entraînement du modèle est d'environ 15 minutes par époque. L'entraînement complet nécessite au moins une cinquantaine d'époques pour obtenir une bonne convergence. Au vu du temps du calcul, il serait trop long d'explorer systématiquement l'espace des hyperparamètres ou d'utiliser systématiquement la validation croisée pour choisir les hyperparamètres. Le choix des hyperparamètres a donc été réalisé via des explorations à la main, sur des sous-échantillons, et à partir de recommandations issues de la littérature.

L'auto-encodeur est entraîné en utilisant l'optimisateur RMSprop (voir section 1.2.3, Les

<footnote n="36">36. Une machine virtuelle de l'ENSAE, sans parallélisation.</footnote>
<table><caption>TABLEAU 7 – Structure de l'auto-encodeur</caption><thead><tr><td>Nom de la couche</td><td>Fonction d'activation</td><td>Dimension</td></tr></thead><tbody><tr><td>Couche d'entrée (EE)</td><td></td><td>2920* / 3362**</td></tr><tr><td>Couche cachée encodage</td><td>Leaky ReLu (α = 0.3)</td><td>500</td></tr><tr><td>Couche centrale</td><td>Leaky ReLu (α = 0.3)</td><td>100 = d</td></tr><tr><td>Couche cachée décodage</td><td>Leaky ReLu (α = 0.3)</td><td>500</td></tr><tr><td>Couche de sortie (EE)</td><td>Sigmoïde</td><td>2920* / 3362**</td></tr></tbody></table>

* : sur la période 2003-2012

** : sur la période 2013-2018.

algorithmes de descente de gradient), qui ici converge plus vite que les autres optimisateurs de type *Adaptative Moment Estimation* (Adam, AdaMax, Nadam, etc.). Chaque couche intermédiaire est composée d'une fonction d'activation Leaky Relu avec un coefficient $\alpha$ fixé à 0.3, valeur par défaut de Keras. La couche de sortie du réseau est activée par une fonction sigmoïde. Aucune technique de régularisation n'est mise en place suite à l'absence de sur-apprentissage.

Le tableau 7 résume la structure choisie pour l'auto-encodeur.

## 4.3 Résultats et perspectives

### 4.3.1 Précision de l'auto-encodeur

L'approche la plus simple pour évaluer la performance d'un auto-encodeur est de comparer, sur l'échantillon test, la base de données initiales à celle prédite par l'AE après réduction de la dimension. Pour cela des représentations classiques comme le score d'*accuracy* (la proportion des prédictions qui s'avèrent exactes), les matrices de confusion ou des nuages de points permettent tous d'étudier la similarité entre l'input et l'output de l'auto-encodeur.

La figure 35 représente la matrice de confusion de la variable DDIPL (niveau de diplôme). Cette figure montre que l'auto-encodeur réussit très bien à reconstruire l'input qui lui a été donné. Pour la variable DDIPL, le score d'*accuracy* est d'environ 99%. Lorsque l'AE se trompe, plus souvent lorsque le niveau d'étude observé est Bac+2 ou plus, la prédiction certes fausse reste proche de la valeur observée, ce qui témoigne d'une certaine cohérence dans les prédictions de l'auto-encodeur. L'*accuracy* est supérieure pour d'autres variables importantes dans l'enquête : 99,8% pour le sexe ou le statut d'immigré par exemple, 100% pour les grandes catégories d'âge ou le statut d'emploi, cette dernière variable (ACTEU) étant utilisée pour calculer la principale grandeur d'intérêt de l'EEC, le taux de chômage.

Pour des variables quantitatives comme l'âge ou le salaire, on met en regard les variables de sortie de l'auto-encodeur et celles d'entrée, après inversion de la normalisation (voir la figure 36). L'âge est bien prédit par l'auto-encodeur, avec un R2 de 0,98. L'information
<figure><img src="image_51.png" /><figcaption>GRAPHIQUE 35 – Matrice de confusion de DDIPL</figcaption></figure>

Notes : Répartition selon le niveau de diplôme observé (variable DDIPL, en ordonnée) et le niveau de diplôme prédit (en abscisse), en pourcentage. 12.77% des individus de la base test ont un niveau de diplôme BAC+2 et sont effectivement catégorisés comme tels. 0.84% des individus sont catégorisés BAC+2 alors que leur niveau d'étude réel est ≥ BAC+2.
sur l'âge est présente dans de nombreuses variables de l'enquête Emploi, comme l'année de naissance ou les différentes catégories d'âge. Cette information répétée en fait probablement une variable facile à prédire. On observe cependant des effets de seuil, le plus important se situant en haut de la distribution : l'auto-encodeur ne prédit jamais de valeurs peu probables, dans ce cas les âges supérieurs à 90 ans.

Pour le salaire, les valeurs prédites, pour une vraie valeur donnée, sont bien plus étalées et tendent à se rapprocher de la moyenne. Il semble également y avoir des biais systématiques : les valeurs décodées les plus faibles sont presque systématiquement inférieures à leur vraie valeur.. La prédiction est sans doute plus difficile. Il s'agit d'une variable avec beaucoup de non-réponses, peu répétée dans l'enquête, mais les résultats restent corrects. Comme pour l'âge, un effet de seuil est observable.

La table 8 précise, pour ces deux mêmes variables, les limites de la reconstruction des variables continues par l'AE. Dans les deux cas, la variance des valeurs prédites sous-estime la vraie variance, le même phénomène de régression vers la moyenne que dans une régression linéaire. Les valeurs sont également biaisées, légèrement à la baisse pour l'âge, fortement à la hausse pour le salaire. Cela impacte évidemment les grandeurs d'intérêt calculées à partir des valeurs prédites (à titre d'exemple, la part des plus de 65 ans pour l'âge, et le rapport du neuvième décile au premier décile pour le salaire, un indicateur des inégalités souvent utilisé)

<figure><img src="image_52.png" /></figure>

GRAPHIQUE 36 – Performance de l'AE pour le salaire et l'âge

Notes : La relation entre les valeurs prédites et les vraies valeurs pour les variables de salaire (colonne de gauche) et l'âge (colonne de droite) sur l'échantillon test. Pour conserver la confidentialité des données, on représente (par des couleurs différentes) les déciles des valeurs prédites en fonctions des moyennes par vingtile des vraies valeurs.
<table><caption>TABLEAU 8 – Distributions observées et prédites sur l’échantillon test pour l’âge et le salaire</caption><thead><tr><th></th><th>Salaire observé</th><th>Salaire prédit</th><th>Âge observé</th><th>Âge prédit</th></tr></thead><tbody><tr><td>Moyenne</td><td>1863</td><td>2300</td><td>49,7</td><td>48,5</td></tr><tr><td>Variance</td><td>1 208 062</td><td>758 741</td><td>395,4</td><td>385,4</td></tr><tr><td>Médiane</td><td>1616</td><td>2154,5</td><td>50</td><td>48</td></tr><tr><td>Part des + 65 ans</td><td></td><td></td><td>23.8%</td><td>22.9%</td></tr><tr><td>Rapport interdécile</td><td>3,75</td><td>2,58</td><td></td><td></td></tr></tbody></table>

### 4.3.2 Comparaison avec l'ACP selon la dimension d'encodage et le seuil de pré-encodage

Une autre approche pour juger de l'AE est de comparer ses résultats à ceux de l'analyse en composantes principales (ACP). La puissance de calcul requise pour estimer et effectuer une ACP est bien plus faible que celle nécessaire pour un AE, à taille d'échantillon donné. L'estimation est bien plus rapide.

On compare les erreurs quadratiques moyennes évaluées sur l’échantillon de test des deux méthodes (figure 37 page suivante). On distingue ensuite l’erreur moyenne sur les variables qualitatives (panel 2) et les variables continues (panel 3). On compare les performances en faisant varier la dimension de l’encodage (d) pour l’AE et le nombre d’axes pour l’ACP. Pour une dimension d’encodage (ou un nombre d’axes) de 200, l’erreur quadratique moyenne de l’AE est d’environ 0,005 contre environ 0,0025 pour l’ACP. Plus la réduction de dimension (d en dessous de 150) est importante plus l’AE est performant par rapport à l’ACP (figure 37 page suivante). A ces niveaux, les relations non linéaires (captées par l’AE mais pas l’ACP) semblent importantes pour assurer la performance. Pour des niveaux d’encodage au dessus de 600, l’ACP est plus performante que l’AE. Par type de variables, l’AE performe mieux que l’ACP pour les variables catégorielles (pour des réductions de dimension importantes) mais fait plutôt jeu égal ou inférieur lorsqu’il s’agit de variables quantitatives. Les variables qualitatives sont sans doute difficiles à résumer de manière linéaire pour une ACP, et il est également possible que l’entraînement de l’AE le spécialise dans l’encodage des variables les plus « rentables » : les variables continues sont plus rares dans notre cas d’usage et la normalisation choisie (min-max) induit une variance plus faible pour les variables continues que pour les indicatrices, ce qui réduit d’autant leur impact sur la perte quadratique. Autre facteur : dans le cadre de l’enquête Emploi, les variables qualitatives peuvent aussi souvent être des variables filtres, qui orientent le déroulé du questionnaire et sont donc davantage corrélées aux autres variables.

Cependant dans notre cas un autre hyperparamètre impacte les résultats : le seuil de pré-encodage s, c’est-à-dire le nombre de modalités à partir duquel on pré-encode les variables ayant des nomenclatures très détaillées, qui impacte directement la dimension de l’input. Cet hyperparamètre affecte ainsi directement le temps d’entraînement et la mémoire (RAM) nécessaire à cet entraînement.
<figure><img src="image_53.png" /><figcaption>GRAPHIQUE 37 – Comparaison des pertes de l'AE et de l'ACP</figcaption></figure>

Notes: Perte (erreur quadratique moyenne) en fonction de la dimension d'encodage (en abscisse, correspondant au nombre d'axes pour l'ACP), pour l'ensemble des variables ("Total"), et en distinguant les variables qualitatives traduites en indicatrices ("Dummy") et les variables continues ("Continuous").

Pour analyser la dimension d'encodage on ne s'intéresse donc non pas seulement à la dimension absolue mais également à la dimension relative par rapport à la dimension de l'input.

La figure 38 montre que la dimension optimale qui minimise la perte dépend du seuil fixé. Plus le seuil est élevé (ie. moins on pré-encode et plus on a d'indicatrices), plus la perte de l'auto-encodeur est faible, et continue à diminuer à mesure qu'on augmente la dimension de la couche d'encodage. Un seuil trop faible fait perdre de l'information. On observe ici un arbitrage coût/efficacité, entre temps de calcul/RAM requise et performance de l'auto-encodeur entraîné. En raison des contraintes computationnelles, un seuil relativement bas de $s = 10$ a été retenu pour ce travail. Autrement dit, toutes les variables qualitatives de 11 modalités et plus ont été pré-encodées en dimension 8. La dimension d'encodage retenue pour la suite est $d = 100$.

### 4.3.3 Prédicteur de risque de chômage

L'un des usages possible de l'encodage par AE est d'utiliser directement le fichier encodé pour entraîner ensuite, plus rapidement et de manière plus stable, d'autres modèles. L'AE permet de mutualiser une étape de pré-entraînement gourmande en calcul. Nous testons cette démarche en entraînant un RN prédicteur du risque individuel de chômage qui reçoit en input la base encodée par l'AE (décrit dans la table 9). Il est également comparé à
<figure><img src="image_54.png" /><figcaption>GRAPHIQUE 38 – Comparaison de la perte en fonction du seuil de pré-encodage</figcaption></figure>

Notes : Erreur quadratique moyenne en fonction de la dimension d'encodage (en abscisse) et du seuil de pré-encodage s.

deux autres modèles : un modèle plus traditionnel, un logit estimé sur 12 variables de l'enquête Emploi 37, ainsi qu’un RN entraîné sur ces mêmes variables.

On cherche à prédire la situation d'emploi (en emploi, au chômage, inactif) au trimestre suivant pour chaque répondant. Pour cela, on entraîne le prédicteur du risque de chômage à partir de la base de données encodée de dimension 100 par l'AE, en incluant tous les trimestres. Pour prédire le statut d'emploi d'un individu de l'échantillon test au trimestre $t+1$, le RN reçoit en input la ligne correspondant à cet individu au trimestre $t$, mais il a été entraîné sur d'autres individus présents en $t+1$ et $t$. En ce sens, il connaît l'avenir (de l'échantillon d'entraînement). Il ne s'agit donc pas de prévision conjoncturelle, mais d'une démarche plus proche de l'imputation.

Un tel prédicteur pourrait avoir plusieurs applications. Il peut servir à imputer la situation d'emploi des non-répondants, par exemple dans un souci méthodologique pour évaluer les effets sur le taux de chômage de la non-réponse et de sa correction. On peut élargir virtuellement l'échantillon avec des prédicitions sur une septième ou une huitième interrogation, ou à rebours pour les trimestres précédant l'enquête, ce qui permettrait notamment d'exploiter systématiquement l'information contenue dans le

<footnote n="37">37. Âge, sexe, niveau de diplôme, statut d'emploi au trimestre $t$ et situation un an avant, statut d'immigration et nationalité, situation de couple, type de ménage, nombre d'enfants mineurs, type d'agglomération et adresse en zone urbaine sensible</footnote>
<table><caption>TABLEAU 9 – Structure du prédicteur du risque de chômage</caption><thead><tr><td>Nom de la couche</td><td>Fonction d'activation ou fonction de perte</td><td>Dimension</td></tr></thead><tbody><tr><td>Couche d'entrée</td><td></td><td>100</td></tr><tr><td rowspan="2">Couche cachée</td><td>ReLu</td><td rowspan="2">300</td></tr><tr><td>Dropout 0, 4</td></tr><tr><td rowspan="2">Couche cachée</td><td>ReLu</td><td rowspan="2">500</td></tr><tr><td>Dropout 0, 5</td></tr><tr><td rowspan="2">Couche cachée</td><td>Softmax</td><td rowspan="2">300</td></tr><tr><td>Dropout 0, 4</td></tr><tr><td>Couche de sortie</td><td>entropie croisée catégorielle</td><td>3</td></tr></tbody></table>

calendrier rétrospectif demandé aux enquêtés. Ce calendrier étant mensuel et rempli à chaque interrogation, on peut aussi envisager de prédire un risque de chômage mensuel pour chaque individu, dans la perspective, par exemple, de proposer une estimation du taux de chômage mensuel et non pas seulement trimestriel. Les probabilités prédites de situation d'emploi peuvent aussi être exploitées dans des analyses économétriques, par exemple pour contrôler l'effet de sélection dans une étude ne portant que sur les personnes en emploi. Nous n'explorons pas davantage ici ces applications potentielles.

L'entraînement du RN utilisant la base encodée est stable et efficace. Pour estimer ses performances, et comparer les modèles, il faut cependant une métrique adaptée. Les modèles produisent une probabilité (ici, le risque de chômage prédit), que l'on confronte à une réalisation (chômage ou non) pour chaque individu. On peut passer de l'une à l'autre en choisissant, par exemple, un seuil de probabilité, mais ce choix reste en partie arbitraire. La méthode usuelle dans cette situation est d'utiliser une courbe ROC (pour *receiver operating characteristic*) qui représente le taux de vrais positifs (en ordonnée) en fonction du taux de faux positifs (en abscisse) lorsqu'on fait varier ce seuil pour prédire une alternative binaire. La courbe est croissante entre les points (0,0) et (1,1). Si le prédicteur est le hasard, la courbe rejoint la diagonale. Plus la courbe s'approche du point (1,0) (100% de vrais positifs, et 0% de faux positifs), meilleur est le prédicteur. L'AUC (*area under the curve*, aire sous la courbe) permet de synthétiser cette performance et de comparer des modèles. Elle est comprise entre 0 (le hasard) et 1 (le prédicteur parfait). Une valeur de l'AUC inférieure à 0.5 signifie que le modèle est moins performant que le hasard pur.

La table 10 présente cette métrique pour l'alternative chômeur vs non-chômeur. Le score AUC obtenu sur la base pré-encodée par l'auto-encodeur est le plus élevé. C'est le cas également pour les deux autres comparaisons binaires possibles (actif vs inactif et en emploi vs hors emploi). Cette meilleure performance prédictive reste vérifiée sur des sous-populations diverses, par sexe, niveau de diplôme, région, etc. Cela illustre un intérêt de l'encodage par l'AE en première étape : le prédicteur a les moyens d'établir des relations réalistes entre le risque de chômage et l'ensemble des variables de l'enquête, à la différence des deux autres modèles reposant sur un ensemble pré-determiné de variables explicatives.
<table><caption>TABLEAU 10 – Performances des prédicteurs du chômage</caption><thead><tr><td>Modèle</td><td>Score AUC</td></tr></thead><tbody><tr><td>RN avec input encodé par AE</td><td>0,96</td></tr><tr><td>Logit</td><td>0,91</td></tr><tr><td>RN avec input identique au logit</td><td>0,92</td></tr></tbody></table>

Une autre métrique possible est de comparer au taux de chômage le risque moyen de chômage, c'est-à-dire la moyenne des probabilités de chômage prédites, pour des populations ou sur des périodes données. L'une des caractéristiques de l'entropie croisée (voir 1.2.2) comme fonction de perte est qu'elle est minimale lorsque la probabilité prédite est la vraie probabilité. Le risque moyen de chômage estimé à partir du prédicteur RN est très proche du taux de chômage, y compris sur de petits domaines, ce qui permet par exemple de construire une courbe du risque de chômage trimestriel (figure 39).

<figure><img src="image_55.png" /><figcaption>GRAPHIQUE 39 – Comparaison du taux de chômage prédit par les modèles</figcaption></figure>

Notes : Risque moyen de chômage prédit par trimestre sur l'échantillon test par chacun des trois modèles, et taux de chômage observé (hors pondération et non corrigé des variations saisonnières)

Ainsi ce premier traitement effectué par l'AE conserve suffisamment d'information pour permettre au prédicteur RN du risque de chômage de capturer efficacement la chronique des fluctuations conjoncturelles du taux de chômage. Estimés sur un nombre plus réduit de variables, les deux autres modèles sont moins précis. Le logit semble dominé par une règle simple consistant à prédire au trimestre $t+1$ le même statut d'emploi qu'au trimestre $t$, tandis que le RN entraîné sur les mêmes variables que le logit souffre visiblement d'un biais à la baisse. Ce défaut est sans doute à relier aux difficultés d'entraînement de ce dernier modèle, dont les performances sont beaucoup plus instables que le RN entraîné sur la base encodée.
## Encadré 2: Un AE qui manque de lignes sur données macro-économiques

Peut-on exploiter la méthode présentée dans un autre contexte, où les fichiers sont de moindre taille ? Nous avons essayé sur les données de prix de la Banque Centrale Européenne. L'idée est de reproduire la méthodologie suivie dans le cas d'usage précédent en l'appliquant à des séries temporelles. L'intégralité du code source, écrit en python, est disponible dans le repository associé à ce document de travail et au Chapitre 4.

Les données correspondent à 482 séries mensuelles d'inflation de différents biens, allant de 1995 à 2021, pour 28 pays d'Europe (Union européenne et Royaume-Uni). Ces données publiques sont directement récupérées via l'API de l'ECB Statistical Data Warehouse.

```
Results = ecb.getECBData(ListSeries)
```

De même que précédemment, les valeurs manquantes (toutes les séries ne sont pas disponibles sur la totalité de période étudiée) sont imputées par les taux d'inflation moyens, et des indicatrices de valeurs manquantes sont ajoutées. À la différence de l'enquête Emploi cette base de données contient exclusivement des données quantitatives (sauf le pays). Chaque observation est rapportée à un identifiant unique correspondant au couple pays / date. À la suite de ce simple pré-traitement la base de données est de dimension (11000, 950), ce qui est considérablement plus faible qu'avec l'enquête Emploi.

```
# On définit les variables qualitatives et quantitatives de
  → notre dataset
var Quali = ["COUNTRY"]
var index = ["COUNTRY_IDX", "OBS_DATE"]
var quanti = [x for x in Dataset.columns if x not in var index
             → if x not in var Quali]
```

```
# On définit nos index pour notre panel
Dataset.set_index(var_index, inplace=True)
```

La division en échantillons de validation, test et d'apprentissage est établie de sorte que toutes les observations d'un pays se trouvent dans un même échantillon, de manière analogue à ce qui a été fait pour les individus avec l'enquête Emploi⁴. Le modèle est entraîné sur 70% de l'échantillon, 10% étant réservés à la validation et 20% au test. Ces trois bases de données sont normalisées comme ci-dessus (on soustrait la valeur minimale, puis on divise par le maximum, pour obtenir des valeurs dans [0, 1]), afin d'être compatibles avec la fonction sigmoïde en couche de sortie de l'auto-encodeur.

Sur ce type de données, l'auto-encodeur semble moins performant avec une perte plus de 10 fois supérieure sur l'échantillon de validation que sur celui d'entraînement, et
plus élevée que celle d'une simple ACP (figure 40). La meilleure performance de l'AE sur l'échantillon d'entraînement témoigne d'un surapprentissage. Il est probable que cette sous-performance soit due au faible nombre d'observations pour un problème de *machine learning*. En revanche, la faiblesse relative de l'AE entraîné sur l'Enquête Emploi pour restituer les variables continues ne se vérifie pas ici, où les variables continues sont dominantes (les seules indicatrices étant celles de valeur manquante).

<figure><img src="image_56.png" /><figcaption>GRAPHIQUE 40 – Erreur quadratique moyenne en fonction de la dimension d'encodage</figcaption></figure>

### 4.3.4 Perspectives

Sur des données typiques de la statistique publique, les cas d'usage présentés montrent que les auto-encodeurs peuvent être bien entraînés, à condition que le nombre d'observation soit suffisamment élevé. Ils encodent et restituent efficacement l'information. Ils peuvent donc servir d'étape de pré-entraînement à d'autres utilisations de RN, en particulier lorsque plusieurs prédicteurs différents doivent être entraînés sur les mêmes données. L'AE permet

<footnote>a. Ce choix est discutable au vu de la forte hétérogénéité des taux d'inflation des pays de l'Union européenne sur la période 1995-2021.</footnote>
alors d'envisager une industrialisation plus facile des RN, en mutualisant la préparation des données pour chaque source et en fournissant un input dense en information, stabilisant l'entraînement de deuxième étape. Ces usages répétés d'un même AE en première étape pourraient concerner en particulier des imputations multiples dans un fichier, ou de la détection et de la correction d'erreur.

D'autres usages sont envisageables en statistique publique, mais il y a peu d'exemples d'utilisation d'AE par les statisticiens. La perspective de générer des données de synthèse préservant la confidentialité, expérimentée notamment à l'Office for National Statistics britannique (Kaloskampis, 2019) est particulièrement intéressante et a constitué la motivation première de ce travail. Cet usage génératif est présenté plus en détail en conclusion.

A mi-chemin entre les usages d'imputation et la génération de données de synthèse, il est aussi envisageable d'exploiter des appariements ponctuels de fichiers pour générer des appariements synthétiques, par exemple à des fins de micro-simulation. Dans ce cas, si l'on dispose de deux sources A et B et d'un corpus réduit d'observations appariées entre deux sources, on entraîne deux AE sur chaque base, et on exploite le corpus apparié pour entraîner un traducteur entre les données encodées par chaque AE, à la manière de la traduction automatique. On peut alors construire des observations mixtes, dont une partie est observée dans un fichier tandis que l'autre est générée par le traducteur. Nous évoquons aussi en conclusion la perspective d'adapter à cette démarche des algorithmes de traduction capable de s'entraîner en l'absence de corpus déjà traduit.
# Discussion et conclusion

Les cas d'usage présentés ici montrent que les RN peuvent trouver leur place dans la boîte à outils du statisticien. Il est possible de les mettre en oeuvre avec les moyens disponibles à l'Insee, et de les entraîner efficacement sur des données typiques de la statistique publique. Les RN sont des prédicteurs performants, ils permettent d'exploiter de nouveaux types de données, comme les images, et de mieux utiliser la richesse des données de haute dimension.

Le croisement des RN et des usages statistiques demande un travail d'adaptation, des concepts d'une part pour comprendre la logique du machine learning et les implications statistiques des choix algorithmiques, et des données d'autre part, qui ont besoin d'un travail préparatoire important et spécifique pour être transformées en inputs de RN.

Ce document reste cependant introductif et les réseaux présentés sont relativement simples. Nous évoquons donc rapidement en conclusion plusieurs développements possibles qui ne sont pas traités dans les cas d'usage précédents. Le premier est le sujet général de l'éthique de l'intelligence artificielle. Pour la statistique publique, cela se traduit principalement par deux préoccupations : celle de la confidentialité et celle de la représentativité. Le second développement est celui de l'amélioration des performances, qui devient critique dès lors que les RN sont exploités à plus grande échelle. Enfin, le troisième développement est celui des autres types et usages de RN que nous n'avons pas explorés ici : principalement les RN récurrents permettant d'exploiter des données présentées en série (en particulier du texte), les RN génératifs pouvant produire des données de synthèse, et l'utilisation des RN en économétrie dans un but d'inférence causale.

## Confidentialité

La confidentialité est un enjeu majeur de l'utilisation des RN, et l'auto-complétion est un bon exemple. Les programmes d'auto-complétion qui proposent des mots ou des phrases lors de l'écriture de messages ou d'emails sont construits avec des RN entraînés sur des données privées. Sans précaution, ces programmes peuvent facilement dévoiler des secrets issus de l'échantillon d'entraînement, par exemple en complétant une phrase du type « mon numéro de carte bleue est... » avec un numéro réel. Ce risque n'est pas seulement théorique, mais démontrable en pratique (Carlini, Liu, Erlingsson, Kos, et Song, 2019). Ce risque existe même quand le RN ne présente pas de signes de surapprentissage et même lorsque le modèle est de taille modeste par rapport aux données.

En raison de leur grand nombre de paramètres, les RN sont des modèles qui peuvent mémoriser beaucoup plus d'informations issues de l'échantillon d'entraînement que la plupart des autres modèles (de machine learning ou non). Cette caractéristique les rend vulnérables à des attaques de confidentialité qui peuvent prendre plusieurs formes. Un adversaire mal intentionné ou curieux peut tenter de déterminer l'appartenance d'une observation individuelle $x_i$ à l'échantillon d'entraînement. Il peut essayer de reconstituer les observations d'entraînement ou certaines d'entre elles (en particulier les plus atypiques).
Et, notamment dans un contexte industriel de concurrence sur les modèles, l'attaquant peut également s'intéresser davantage à voler le modèle que les données, en essayant de reconstituer les paramètres entraînés, les hyperparamètres de l'entraînement, ou encore certains des enseignements de valeur que le modèle a tirés de ses données d'entraînement.

Ces attaques peuvent se fonder sur différents accès : l'attaquant peut avoir accès au modèle entier (y compris ses paramètres et hyperparamètres) et / ou à une partie de l'échantillon d'entraînement, voire influencer directement le processus d'entraînement (par exemple en ajoutant des données à l'échantillon). Il peut aussi n'avoir accès au modèle que sous forme de boîte noire dont il contrôle les inputs et observe les outputs. Enfin, il peut n'avoir accès qu'aux outputs d'un échantillon d'inputs, qu'il connaît ou pas. Dans tous les cas, des attaques de confidentialité (plus ou moins puissantes) sont envisageables. On doit donc se poser la question de la confidentialité dès lors que les données d'entraînement sont confidentielles, la précaution la plus simple et la plus restrictive consistant à considérer les modèles et prédictions comme ayant le même niveau de confidentialité que les données d'entraînement. Dans un contexte d'étude, on peut choisir de ne pas partager les modèles entraînés et les prédictions. Dans d'autres situations, comme l'imputation, on souhaite au contraire partager au moins les prédictions. Les méthodes traditionnelles de la statistique publique pour préserver la confidentialité ont des limites connues, qui deviennent d'autant plus problématiques que les modèles sont plus complexes.

Les solutions retenues aujourd'hui en *machine learning* reposent souvent sur le principe de confidentialité différentielle (*differential privacy*), une formalisation développée en particulier par Cynthia Dwork depuis 2006 (Dwork, McSherry, Nissim, et Smith (2006), Dwork (2008)). Une bonne introduction générale est donnée dans les premiers chapitres de Dwork, Roth, et al. (2014). On suppose qu'une base de données confidentielle est utilisée pour publier des informations statistiques (ou répondre à des requêtes de façon dynamique). On souhaite minimiser le risque qu'un individu (ou une firme, une famille, etc.) présent dans la base puisse subir des conséquences du fait de cette présence, tout en préservant autant que possible la précision des informations ou des réponses aux requêtes. Il faut alors introduire de l'aléa, de telle sorte qu'un attaquant, même doté d'informations auxiliaires, ne puisse rien apprendre ou presque de nouveau sur aucun individu spécifique présent dans la base à l'aide des statistiques publiées ou des réponses aux requêtes, qu'il n'aurait pas pu apprendre également à partir d'une base où cet individu aurait été absent. Il existe nécessairement un arbitrage entre la protection de la confidentialité et la précision des informations publiées, qui dépend du niveau d'aléa introduit.

Plus formellement, l'idée est qu'un algorithme aléatoire entraîné sur un échantillon quel-
conque donne des résultats « proches » du même algorithme entraîné sur tout échantillon
voisin, ne différant que par une seule observation. Cette proximité est définie mathématique-
ment comme un majorant de la différence entre les probabilités que chaque entraînement
produise le même *output*. Avec *A* l'algorithme, pour tout *D*₁ et *D*₂ échantillons ne différant
que d'un élément, on veut que pour tout ensemble *S* d'*outputs* de l'algorithme, inclut dans
l'image de *A* Im(*A*) (c'est-à-dire l'ensemble des sorties possibles) :
$$ \mathbb{P}(A(D_1) \in S) \leq \exp(\epsilon) * \mathbb{P}(A(D_2) \in S) $$

Le paramètre $\epsilon$ constitue le « budget » de confidentialité que l'on choisit. Plus il est proche de 0, plus la confidentialité est protégée$^{38}$. Pour le respecter, la méthode consiste à ajouter un bruit aléatoire dans l'algorithmme, calibré en fonction de la sensibilité des outputs de l'algorithmme aux observations en entrée. La confidentialité différentielle est un formalisme : sa mise en application demande un travail spécifique pour chaque type d'algorithmme. Cette méthode a été adaptée aux RN en 2016 (Abadi, Chu, Goodfellow, McMahan, Mironov, Talwar, et Zhang, 2016) : elle consiste alors à modifier l'optimisateur (par exemple l'algorithmme de descente de gradient stochastique) en majorant la norme du gradient et en ajoutant un bruit aléatoire calibré sur cette majoration. Ces modifications entraînent une perte de performance, qui demande un arbitrage au regard de la rigueur du budget de confidentialité. Cette implémentation peut être mise en oeuvre via un package dédié pour Tensorflow$^{39}$.

La notion de « budget » est importante : chaque nouvelle requête sur les données confidentielle, et notamment chaque nouvelle estimation indépendante d'un algorithme aléatoire entame un peu plus la confidentialité (on additionne les $\epsilon$), de la même manière qu'un ensemble de photos bruités peut permettre de reconstituer une image nette. Cela implique de gérer la confidentialité au niveau d'un fichier et de l'ensemble des usages qui en sont faits.

Les réseaux de neurones permettent aussi d'envisager la construction de fichiers de données de synthèse, des données réalistes mais fausses, préservant ainsi la confidentialité des données réelles tout en permettant de conduire des analyses. La confidentialité est protégée selon le même principe de differential privacy : l'algorithmme génératif doit être tel que les données artificielles ont une forte probabilité de présenter des caractéristiques similaires même si l'échantillon d'apprentissage diffère d'une observation. L'intérêt est que les usages ultérieurs sur les données de synthèse n'entameront pas davantage le budget de confidentialité.

Cette construction se fonde sur les auto-encodeurs vus au chapitre 4. Une fois entraîné, un AE peut en effet être utilisé comme un modèle génératif, capable de produire de « fausses » données à partir d'un vecteur aléatoire. En un sens, cela pousse à l'extrême la logique du débruitage, l'AE générant in fine des données décodées à partir de pur bruit. D'autres modèles génératifs existent, mais ils souffrent souvent d'un obstacle computationnel venant de la nécessité d'échantillonner des distributions compliquées. Au contraire, un AE génératif peut être entraîné à encoder et décoder un vecteur aléatoire dont l'échantillonnage est très simple.

En revanche, il reste difficile de définir une fonction de perte adéquate, qui entraîne efficacement l'AE génératif à rapprocher les « fausses » données des « vraies » données, à

<footnote n="38">38. Dans une perspective bayesienne, un attaquant observant les outputs ne peut corriger ses croyances a priori que d'un facteur $\exp(\epsilon)$ au pire.</footnote>

<footnote n="39">39. https://github.com/tensorflow/privacy/</footnote>
produire des sorties « réalistes ». Il ne suffit pas en effet d'entraîner à AE à produire des sorties spécifiques qui ressemblent à des exemples précis d'un fichier d'entraînement, mais à générer une diversité qui ressemble à la diversité des données observées.

Ce problème trouve une solution dans un article très influent introduisant les modèles adversariaux ou GAN, pour *generative adversarial networks*, (Goodfellow, Pouget-Abadie, Mirza, Xu, Warde-Farley, Ozair, Courville, et Bengio, 2014) <fnref n="40" />. Les GAN entraînent deux RN dans des sens opposés : le générateur tente de fabriquer des faux exemples réalistes. On montre aléatoirement au discriminateur des données réelles ou fabriquées par le générateur, et il est entraîné à distinguer le faux du vrai. La « fonction de perte » qui entraîne le générateur n'est donc pas prédéfinie mais est elle-même apprise, puisqu'il s'agit de la réponse du discriminateur. Dans ce cadre, le souci de la confidentialité pèse sur le discriminateur, puisque c'est la seule partie du dispositif qui a accès aux données originales. Préserver la confidentialité consiste par exemple à entraîner un générateur capable de tromper des discriminateurs entraînés sur des échantillons distincts.

## Représentativité

Pour le *machine learning*, les questions statistiques de représentativité se posent en termes de capacité de généralisation d'un modèle. Il s'agit d'un changement de perspective par rapport à la statistique classique : le but n'est plus de garantir l'inférence à une population totale à partir de principes de représentativité de l'échantillon, mais de poursuivre un objectif de généralisation à un domaine global (mais inconnu) à partir d'un échantillon dont on admet qu'il est probablement biaisé. Cet objectif peut par exemple amener à briser volontairement la représentativité, en « équilibrant » par exemple un échantillon pour sur-représenter une classe très rare, que le prédicteur aurait tendance à négliger sinon.

Bien qu'en théorie de l'apprentissage, on s'appuie souvent sur l'hypothèse que les données d'un échantillon test sont issues du même processus générateur que les données d'entraînement, dans la réalité, les algorithmes en production sont mis en oeuvre sur des données qui peuvent être très différentes (parce que l'échantillon d'entraînement n'était pas représentatif, ou parce que du temps a passé) : on parle de *domain shift* ou de validité externe. Les prédicteurs peuvent alors commettre des erreurs importantes. Dans ce document, un exemple en est fourni par la classification des parcelles : les zones de montagnes ou de vignes, absentes de l'échantillon d'entraînement, ne sont pas reconnues par le RN. Le problème est limité si l'algorithme reste performant sur un domaine d'intérêt (en l'occurrence, les régions effectivement en open field ou en bocage). Ce problème se présente également pour le *transfer learning* : les modèles réentraînés conservent des spécificités issues d'un premier échantillon d'entraînement dont on n'a généralement pas la maîtrise, et qui peut être très biaisé.

<footnote n="40">40. Cependant, Kaloskampis (2019), évoqué au chapitre 4 constate des performances supérieures de l'AE simple comparé à d'autres algorithmes plus avancés (GAN ou AE variationnel) sur un échantillon de 30000 observations et 15 variables (continues) du recensement américain.</footnote>
Outre le problème de performance prédictive, ces défauts de généralisation peuvent poser des problèmes d’équité, en particulier lorsque les échantillons d’entraînement reflètent des injustices sociales. Ne sachant pas distinguer causalité et corrélation, le RN (ou un autre algorithme de *machine learning*) va alors apprendre à reproduire ces biais dans ses prédictions. S’il est utilisé pour prendre des décisions (de recrutement par exemple), le RN devient lui-même une cause d’injustice en transformant les corrélations apprises en causalité. Le sujet de l’équité algorithmique (*algorithmic fairness*) est déjà un champ de recherche mature avec une littérature abondante (pour une présentation synthétique récente, voir Mehrabi, Morstatter, Saxena, Lerman, et Galstyan (2021)).

Pour un usage de statistique publique, ces questions d'équité peuvent sembler moins sensibles puisque, d'une part, la représentativité des données d'entraînement est souvent contrôlée, et que, d'autre part, l'exploitation des données est descriptive et non pas prescriptive. C'est le cas notamment de la discussion sur ces questions éthiques dans le cadre de l'imputation du salaire en section 2.3.1. Cependant ces questions méritent une attention particulière, notamment si ces algorithmes alimentent une interface utilisateur, comme l'auto-complétion dans un questionnaire en ligne.

## Mieux exploiter les RN

Nous avons tout au long de ce document négligé quatre questions qui occupent beaucoup l'industrie et la recherche. La première est celle du temps de calcul. Les RN ont connu un développement spectaculaire grâce à l'exploitation des cartes graphiques pour paralléliser massivement les calculs, au point que le fabricant de cartes graphiques Nvidia est devenu un acteur central de l'intelligence artificielle. Les packages que nous utilisons proposent des solutions simples pour paralléliser et accélérer les calculs, mais celles-ci demandent des ressources adaptées<fnref n="41" />. Du temps de calcul dépend en particulier l'optimisation plus systématique des hyperparamètres. Ce point est d'autant plus important que les hyper-paramètres des réseaux de neurones peuvent être très nombreux. Quand l'entraînement est rapide, on peut tester de très nombreuses configurations et orienter le modèle vers les hyperparamètres les plus efficaces, y compris en entraînant des algorithmes de *machine learning* sur ce problème d'optimisation des RN. Là aussi, de nombreuses solutions lo-gicielles sont disponibles, comme HyperOpt mobilisée dans la section 3.3.4 (l'intérêt de cette librairie est notamment de faciliter la sélection des hyperparamètres à tester). En ce sens, nous avons ici décrit des méthodes pour construire des prototypes, suffisants pour démontrer un usage ou pour obtenir une estimation dans le cadre d'une étude. Mis en production, il deviendrait intéressant d'investir dans leur optimisation.

La seconde question est justement celle de la mise en production. Elle implique de pouvoir reproduire les modèles dans différents contextes et sur différentes données, de les maintenir et de les réentraîner. La reproductibilité des RN est délicate en conséquence directe de la complexité des algorithmes. Le code doit être portable, facile à maintenir, et

<footnote n="41">41. Disponibles à l'Insee sur le SSP Cloud.</footnote>
robuste aux évolutions des packages. Les modèles de RN eux-même doivent pouvoir être sauvegardés. Ils impliquent une lourde préparation des données, et cette étape doit pouvoir s'appliquer à de nouvelles données sans modifier ou réentraîner le modèle lui-même. L'aléa est présent partout dans le processus (séparation train et test, dropout, initialisation des poids, entraînement, etc.). Il doit être contrôlé, soit en le rendant déterministe quand c'est possible, soit en s'assurant de la stabilité de l'algorithme.

La troisième question est celle de la réduction de l'empreinte environnementale des algorithmes de *machine learning*. Les composants matériels utilisés requièrent des métaux qu'il peut être polluant d'extraire et de produire. Les algorithmes peuvent être gourmands en énergie et donc contribuer aux émissions de gaz à effet de serre quand l'énergie est carbonée. Des efforts sont donc faits dans l'industrie pour dimensionner les codes aux besoins réels, de sorte à éviter d'utiliser un algorithme très consommateur d'énergie quand un algorithme moins gourmand remplit l'objectif suffisamment bien. La question est moins préoccupante dans le cas des statistiques publiques, où les données et les usages restent limités. Mais elle pourrait se poser davantage à l'avenir.

Enfin, quatrième question importante, les méthodes permettant d'ouvrir la boite noire des RN et des algorithmes de *machine learning* en général et de les rendre interprétables. Il ne s'agit pas nécessairement de tirer des conclusions sur les relations réelles entre variables, mais de mieux comprendre comment le modèle fonctionne. La section 32 en fournit un exemple en colorant les pixels les plus déterminants. Là encore, de nombreuses solutions existent, et leur mobilisation dans un usage de statisticien mériterait d'être approfondie. Les différentes méthodes consistent généralement à mesurer « l'importance » d'une variable donnée, sa contribution à la qualité de la prédiction, par exemple en comparant la performance du modèle avec et sans l'information fournie par cette variable (en permutant aléatoirement ses valeurs). Par distinction avec ces méthodes « globales », il est souvent plus intéressant de rendre un modèle interprétable à un niveau local, pour une observation donnée. Plusieurs méthodes locales, qui estiment une approximation linéaire du comportement du modèle autour d'une observation donnée, peuvent être unifiées dans le cadre des « shapley values » (Lundberg et Lee, 2017) et sont implémentées dans le package SHAP 42 pour Python. Le package Skater 43 permet de mettre en oeuvre plusieurs méthodes d'interprétation globales et locales.

## D'autres types de RN et d'autres usages possibles

D'autres types de RN peuvent être utiles aux statisticiens. Certains RN sont plus adaptés au traitement de données textuelles ou aux processus temporels comme les RNNs (Recurrent Neural Networks) ou les LSTMs (Long Short Term Memory). Ils représentent une large famille de RN (dont certains peuvent s'appuyer sur l'encodage des mots avec word2vec que nous avons évoqué section 2.3.3). Ils fondent par exemple les algorithmes de traduction ou d'auto-complétion, et peuvent servir à exploiter des données textuelles

<footnote n="42">42. https://github.com/slundberg/shap</footnote>

<footnote n="43">43. https://oracle.github.io/Skater/overview.html</footnote>
(par exemple des offres d'emplois scrappées en ligne, la classification de libellés de tickets de caisse dans une nomenclature, ou encore la classification des libellés des métiers dans la nomenclature des professions (Leroy, Malherbe, et Seimandi, 2022)) pour un usage statistique. Ils sont également testés sur la prédiction de séries temporelles de suffisamment grande taille (Paranhos, 2021). Depuis 2017 (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, et Polosukhin, 2017), les RN « transformeurs » fondés sur des mécanismes d'« attention » ont fait fortement progresser l'analyse du langage (entre autres) en permettant de mieux exploiter des bases de données massives pour l'entraînement. Ils ont permis la diffusion de modèles généralistes pré-entraînés de grande taille, qui peuvent ensuite être ré-entraînés sur des applications spécifiques.

Les réseaux variationnels visent à prédire la distribution des labels, et non pas les labels eux-mêmes. Ils peuvent être mobilisés notamment sous forme d'auto-encodeurs pour des réseaux génératifs, et servir à générer des données de synthèse.

Les RN utilisés pour la traduction automatique peuvent aussi inspirer des systèmes « d'appariements de synthèse » entre deux bases de données, deux enquêtes proches mais difficiles à appairer de manière classique. Dans la configuration la plus simple, les traducteurs s'entraînent sur un corpus déjà traduit (ou corpus d'observations déjà appariées entre deux sources statistiques différentes). Ce sont par exemple des RNN auto-encodeurs qui reçoivent un texte dans une langue A en entrée et visent le même texte traduit dans une langue B en sortie. Cependant, la taille du corpus déjà traduit (ou du fichier de données déjà appariées) peut limiter l'entraînement et la performance du modèle dans un tel schéma. Mais il existe des solutions pour entraîner des traducteurs à partir de corpus non traduits, par exemple en entraînant en même temps deux auto-encodeurs, dans chacune des deux langues, sous contrainte de partager la même couche d'encodage (Lample, Conneau, Denoyer, et Ranzato, 2017).

Enfin, les RN, comme d'autres méthodes de machine learning, connaissent un développement récent en économétrie. On peut alors surmonter le problème de la boîte noire et conjuguer la souplesse de ces modèles (notamment dans l'estimation des paramètres de nuisance) et une inférence rigoureuse dans la lignée des travaux sur l'économétrie en grande dimension (L'Hour, 2020). Ces recherches récentes découlent en grande partie de la description des estimateurs ML « doublement robustes et débiaisés » par Chernozhukov, Chetverikov, Demirer, Duflo, Hansen, Newey, et Robins (2018), qui corrigent deux biais, un biais de régularisation et un biais de surapprentissage. Ces principes sont présentés à partir d'un modèle semi-linéaire : on s'intéresse à l'estimation du paramètre $θ_0$, effet d'une variable causale D sur une variable d'intérêt Y, en présence de variables de contrôle X ayant des relations potentiellement non-linéaires avec D et Y.

$$Y = D\theta_0 + g_0(X) + U, \quad \text{avec } \mathbb{E}[U|X, D] = 0$$

$$D = m_0(X) + V, \quad \text{avec } \mathbb{E}[V|X] = 0$$

Une utilisation naïve du machine learning consisterait à se préoccuper uniquement de la première équation, par exemple d'estimer $\hat{g}_0$ avec un algorithme ML puis d'estimer $θ_0$ à
partir de :

$$Y = D\theta_0 + \hat{g}_0(X) + U$$

Cette estimation serait biaisée car l’algorithme ML vise une bonne prédiction de $Y$ mais néglige la modélisation du lien entre $X$ et $D$. Il s’agit d’un biais de régularisation (avec un algorithme lasso par exemple, il est équivalent à un biais de variable omise). Pour l’éviter, il faut construire un estimateur « doublement robuste » qui fasse également intervenir la seconde équation en estimant $\hat{m}_0$ et donc $\hat{V}$ par ML :

$$\hat{\theta}_0 = (1/n \sum_i \hat{V}_i D_i)^{-1} 1/n \sum_i \hat{V}_i (Y_i - \hat{g}_0(X_i))$$

Un tel estimateur reste sans biais même si l’un des deux modèles est mal spécifié. Cette exigence de double robustesse n’est pas propre aux modèles de machine learning, mais dans leur cas, elle découle du fait que l’apprentissage peut-être considéré comme un processus de sélection de modèle. Les estimateurs doublement robustes doivent cependant être « débiaisés » d’un biais de surapprentissage, dont l’importance découle cette fois-ci directement de l’utilisation du machine learning : les erreurs dues au surapprentissage dans les estimations de $\hat{g}_0$ et $\hat{m}_0$ ne sont pas indépendantes. Pour débiaiser l’estimateur doublement robuste, on a recours au sample-splitting : on divise l’échantillon en deux, on entraîne, par exemple, un modèle de score de propension $\hat{m}_0$ sur une moitié et on estime l’effet causal sur l’autre moitié, puis on recommence en intervertissant les rôles.

Il existe sans doute, on le pressent, beaucoup d’usages encore à imaginer. Dès lors que les RN peuvent être entraînés avec succès sur les données existantes de la statistique publique, y compris des données d’enquêtes de taille relativement modeste, la porte s’ouvre sur leur utilisation. Dans les années qui viennent, la disponibilité de données plus nombreuses, plus variées et plus massives pourrait encourager davantage l’usage des RN. Ils sont incontournables pour tirer profit de données textuelles ou d’images. Sur d’autres types de données, ils sont un outil parmi l’ensemble des algorithmes d’apprentissage, complexes à mettre en oeuvre mais puissants et versatile.

Les cas d’usages présentés ici ont aussi permis de mesurer à quel point les RN ne dispensent pas des précautions que prennent habituellement les statisticiens. Bien qu’ils visent à « laisser parler les données », ils demandent une réflexion importante pour être utilisés avec rigueur. En apprentissage supervisé, leur qualité reflète la qualité et la quantité des données d’entraînement labellisées dont on dispose. En économétrie, ils doivent se conjuguer avec le souci de l’identification et de l’inférence causale. Sur des données confidentielles, ils génèrent des modèles qui doivent également être traités comme confidentiels, sauf à mettre en oeuvre une stratégie explicite et maîtrisée d’ajout de bruit aléatoire. Enfin, les RN réactivent, sous une nouvelle forme, des questions classiques de représentativité et de déontologie dans l’utilisation qui est faite des modèles statistiques.
Références

ABADI, M., A. CHU, I. GOODFELLOW, H. B. MCMAHAN, I. MIRONOV, K. TALWAR, ET L. ZHANG (2016) : "Deep learning with differential privacy," in *Proceedings of the 2016 ACM SIGSAC conference on computer and communications security*, pp. 308–318.

ACKLEY, D. H., G. E. HINTON, ET T. J. SEJNOWSKI (1985) : "A learning algorithm for Boltzmann machines," *Cognitive science*, 9(1), 147–169.

ATHEY, S., ET G. W. IMBENS (2019) : "Machine learning methods that economists should know about," *Annual Review of Economics*, 11, 685–725.

BABET, D. (2020) : "Wage Imputation with Deep Learning in the French Labor Force Survey," in *UNECE workshop on statistical data editing, conference of european statisticians*.

BALLARD, D. H. (1987) : "Modular learning in neural networks," in *AAAI*, vol. 647, pp. 279–284.

BANG, H., ET J. M. ROBINS (2005) : "Doubly robust estimation in missing data and causal inference models," *Biometrics*, 61(4), 962–973.

BEAM, A. L., B. KOMPA, A. SCHMALTZ, I. FRIED, G. WEBER, N. PALMER, X. SHI, T. CAI, ET I. S. KOHANE (2019) : "Clinical concept embeddings learned from massive sources of multimodal medical data," in *Pacific Symposium on Biocomputing 2020*, pp. 295–306. World Scientific.

BELLMAN, R. E. (1961) : *Adaptive Control Processes*. Princeton University Press, Princeton, New Jersey.

BERGSTRA, J., R. BARDENET, Y. BENGIO, ET B. KÉGL (2011) : "Algorithms for Hyper-Parameter Optimization," in *NIPS'11 : Proceedings of the 24th International Conference on Neural Information Processing Systems*, p. 2546–2554.

BOELAERT, J., ET É. OLLION (2018) : "The Great Regression," *Revue française de sociologie*, 59(3), 475–506.

BOISTARD, H., G. CHAUVET, ET D. HAZIZA (2016) : "Doubly robust inference for the distribution function in the presence of missing survey data," *Scandinavian Journal of Statistics*, 43(3), 683–699.

BOURLARD, H., ET Y. KAMP (1988) : "Auto-association by multilayer perceptrons and singular value decomposition," *Biological cybernetics*, 59(4), 291–294.

BREIMAN, L. (2001) : "Statistical Modeling : The Two Cultures," *Statistical Science*, Vol. 16, No. 3, 199–231.
CARLINI, N., C. LIU, Ú. ERLINGSSON, J. KOS, ET D. SONG (2019) : "The secret sharer : Evaluating and testing unintended memorization in neural networks," in *28th USENIX Security Symposium*, pp. 267–284.

CAYTON, L. (2005) : "Algorithms for manifold learning," *Univ. of California at San Diego Tech. Rep*, 12(1-17), 1.

CHARPENTIER, A., E. FLACHAIRE, ET A. LY (2018) : "Econométrie et Machine Learning," *Economie et Statistique*, (505-506), 147-169.

CHEN, S., ET D. HAZIZA (2017) : "Multiply robust imputation procedures for the treatment of item nonresponse in surveys," *Biometrika*, 104(2), 439-453.

(2019) : "Recent developments in dealing with item non-response in surveys : a critical review," *International Statistical Review*, 87, S192-S218.

CHERNOZHUKOV, V., D. CHETVERIKOV, M. DEMIRER, E. DUFLO, C. HANSEN, W. NEWEY, ET J. ROBINS (2018) : "Double/debiased machine learning for treatment and structural parameters," *The Econometrics Journal*, 21(1).

DELTOUR, Q., T. FARIA, ET T. ROUDIL-VALENTIN (2020) : "Réseaux de neurones sur des données de statistiques publiques : vectorisation de l'enquête Emploi," ENSAE, mémoire de statistiques appliquées.

DERROW-PINION, A., J. SHE, D. WONG, O. LANGE, T. HESTER, L. PEREZ, M. NUNKESSER, S. LEE, X. GUO, B. WILTSHIRE, ET AL. (2021) : "Eta prediction with graph neural networks in google maps," in *Proceedings of the 30th ACM International Conference on Information & Knowledge Management*, pp. 3767-3776.

DION, R. (1934) : *Essai sur la formation du paysage rural français*. Arrault, Tours.

DOUTRELIGNE, M., A. LEDUC, D.-P. NGUYEN, ET A. VUAGNAT (2020) : "Snds2vec, représentations continues pour les concepts médicaux du Système national des données de santé," *Revue d'Épidémiologie et de Santé Publique*, 68, S35.

DWORK, C. (2008) : "Differential privacy : A survey of results," in *International conference on theory and applications of models of computation*, pp. 1-19. Springer.

DWORK, C., F. MCSHERRY, K. NISSIM, ET A. SMITH (2006) : "Calibrating noise to sensitivity in private data analysis," in *Theory of cryptography conference*, pp. 265-284. Springer.

DWORK, C., A. ROTH, ET AL. (2014) : "The algorithmic foundations of differential privacy," *Foundations and Trends in Theoretical Computer Science*, 9(3-4), 211-407.

ESTER, M., H.-P. KRIEGEL, J. SANDER, X. XU, ET AL. (1996) : "A density-based algorithm for discovering clusters in large spatial databases with noise," in *kdd*, vol. 96, pp. 226-231.
GOODFELLOW, I., Y. BENGIO, ET A. COURVILLE (2016) : *Deep Learning*. MIT Press,
http://www.deeplearningbook.org.

GOODFELLOW, I., J. POUGET-ABADIE, M. MIRZA, B. XU, D. WARDE-FARLEY, S. OZAIR, A. COURVILLE, ET Y. BENGIO (2014) : "Generative adversarial nets," *Advances in neural information processing systems*, 27.

HAZIZA, D., J.-F. BEAUMONT, ET AL. (2017) : "Construction of weights in surveys : A review," *Statistical Science*, 32(2), 206-226.

HE, K., X. ZHANG, S. REN, ET J. SUN (2016) : "Deep residual learning for image recognition," in *Proceedings of the IEEE conference on computer vision and pattern recognition*, pp. 770-778.

HEBBS, D. (1949) : *The Organization of Behavior*. John Wiley and Sons, New York.

HERMANN, L. (2018) : "Le lotissement en France : histoire réglementaire de la construction d'un outil de production de la ville," *Géoconfluences*.

HIMPENS, S., M. POULHES, ET F. SÉMÉCURBE (2021) : "Bâti dispersé, bâti concentré, des disparités territoriales persistantes," *Insee Analyses*, (63).

HINTON, G. E., ET R. R. SALAKHUTDINOV (2006) : "Reducing the dimensionality of data with neural networks," *Science*, 313(5786), 504-507.

JOSSE, J., N. PROST, E. SCORNET, ET G. VAROQUAUX (2019) : "On the consistency of supervised learning with missing values," *arXiv preprint arXiv:1902.06931*.

KALOSKAMPIS, I. (2019) : "Synthetic data for public good," *Data science for public good*.

KINGMA, D. P., ET J. BA (2014) : "Adam : A method for stochastic optimization," *arXiv preprint arXiv:1412.6980*.

KINGMA, D. P., M. WELLING, ET AL. (2019) : "An introduction to variational autoencoders," *Foundations and Trends® in Machine Learning*, 12(4), 307-392.

KLAMBAUER, G., T. UNTERTHINER, A. MAYR, ET S. HOCHREITER (2017) : "Self-normalizing neural networks," *arXiv preprint arXiv:1706.02515*.

KUKAČKA, J., V. GOLKOV, ET D. CREMERS (2017) : "Regularization for deep learning : A taxonomy," *arXiv preprint arXiv:1710.10686*.

LAMPLE, G., A. CONNEAU, L. DENOYER, ET M. RANZATO (2017) : "Unsupervised machine translation using monolingual corpora only," *arXiv preprint arXiv:1711.00043*.

LE CUN, Y. (1985) : "Une procédure d'apprentissage pour réseau à seuil assymétrique," in *Proceedings of Cognitiva 85*, pp. 599-604, Paris.
LE CUN, Y., A. CANZIANI, I. MISRA, M. LEWIS, ET X. BRESSON (2020) : "Deep
Learning," https://atcold.github.io/pytorch-Deep-Learning/.

LEMIEUX, T. (2006) : "The "Mincer equation" thirty years after schooling, experience, and earnings," in *Jacob Mincer a pioneer of modern labor economics*, pp. 127–145. Springer.

LEROY, T., L. MALHERBE, ET T. SEIMANDI (2022) : "Application de techniques de machine learning pour coder les professions en PCS 2020," in *Journées de méthodologie statistique de l'Insee 2022*.

LETTVIN, J., H. MATURANA, W. McCULLOCH, ET W. PITTS (1959) : "What the Frog's Eye Tells the Frog's Brain," in *Proceedings of the IRE*, vol. 47, pp. 1940–51. John Wiley and Sons Inc (1 avril 1968).

L'HOUR, J. (2020) : "L'économétrie en grande dimension," *Document de travail, Insee*, M2020/01.

LU, L., Y. SHIN, Y. SU, ET G. EM KARNIADAKIS (2020) : "Dying ReLU and Initialization : Theory and Numerical Examples," *Communications in Computational Physics*, 28(5), 1671–1706.

LUNDBERG, S., ET S.-I. LEE (2017) : "A unified approach to interpreting model predictions," *arXiv preprint arXiv :1705.07874*.

MCCULLOCH, W., ET W. PITTS (1943) : "A logical calculus of the ideas immanent in nervous activity," *Bulletin of Mathematical Biophysics*, pp. 115–133.

MEHRABI, N., F. MORSTATTER, N. SAXENA, K. LERMAN, ET A. GALSTYAN (2021) : "A survey on bias and fairness in machine learning," *ACM Computing Surveys (CSUR)*, 54(6), 1–35.

MIKOLOV, T., K. CHEN, G. CORRADO, ET J. DEAN (2013) : "Efficient estimation of word representations in vector space," *arXiv preprint arXiv :1301.3781*.

MIKOLOV, T., I. SUTSKEVER, K. CHEN, G. CORRADO, ET J. DEAN (2013) : "Distributed representations of words and phrases and their compositionality," *arXiv preprint arXiv :1310.4546*.

MINCER, J. (1974) : *Schooling, Experience, and Earnings*, vol. 2 of *Human Behavior & Social Institutions*. NBER, New York.

MINSKY, M. L., ET S. PAPERT (1969) : *Perceptrons : An Introduction to Computational Geometry*. MIT Press, Cambridge, MA, USA.

MULLAINATHAN, S., ET J. SPIESS (2017) : "Machine learning : an applied econometric approach," *Journal of Economic Perspectives*, 31(2), 87–106.
PARANHOS, L. (2021) : "Predicting Inflation with Neural Networks," *arXiv preprint arXiv:2104.03757*.

PARKER, D. B. (1985) : "Learning-logic : Casting the Cortex of the Human Brain in Silicon," Discussion paper, MIT, Center for Computational Research in Economics and Management Science.

PICART, C., ET D. BABET (2020) : "Indépendants : une offre de travail plus contrainte depuis 2008," in *Insee Référence, Emploi et revenus des indépendants*. Insee.

RANZATO, M., C. S. POULTNEY, S. CHOPRA, ET Y. LECUN (2006) : "Efficient Learning of Sparse Representations with an Energy-Based Model," in *NIPS*.

ROMBACH, R., A. BLATTMANN, D. LORENZ, P. ESSER, ET B. OMMER (2022) : "High-resolution image synthesis with latent diffusion models," in *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*, pp. 10684–10695.

ROSENBLATT, F. (1958) : "The perceptron : a probabilistic model for information storage and organisation in the brain," *Psychological Review*, 65(6).

RUBIN, D. B. (1976) : "Inference and missing data," *Biometrika*, 63(3), 581–592.

RUDER, S. (2016) : "An overview of gradient descent optimization algorithms," *arXiv preprint arXiv:1609.04747*.

RUMELHART, D. E., G. E. HINTON, ET R. J. WILLIAMS (1986) : "Learning representations by backpropagating errors," *Nature*, 323(6088), 533–536.

SALAKHUTDINOV, R., A. MNIH, ET G. HINTON (2007) : "Restricted Boltzmann machines for collaborative filtering," in *Proceedings of the 24th international conference on Machine learning*, pp. 791–798.

SAMUEL, A. L. (1959) : "Some Studies in Machine Learning Using the Game of Checkers," *IBM Journal of Research and Development*, 3(3), 210–229.

SELVARAJU, R. R., M. COGSWELL, A. DAS, R. VEDANTAM, D. PARIKH, ET D. BATRA (2019) : "Grad-CAM : Visual Explanations from Deep Networks via Gradient-based Localization," *International Journal of Computer Vision (IJCV)*.

SIRKO, W., S. KASHUBIN, M. RITTER, A. ANNKAH, Y. S. E. BOUCHAREB, Y. DAUPHIN, D. KEYSERS, M. NEUMANN, M. CISSE, ET J. QUINN (2021) : "Continental-Scale Building Detection from High Resolution Satellite Imagery," *arXiv preprint arXiv:2107.12283*.

SMOLENSKY, P. (1986) : "Information processing in dynamical systems : Foundations of harmony theory," Discussion paper, Colorado Univ at Boulder Dept of Computer Science.
SRIVASTAVA, N., G. HINTON, A. KRIZHEVSKY, I. SUTSKEVER, ET R. SALAKHUTDINOV (2014) : "Dropout : a simple way to prevent neural networks from overfitting," *The journal of machine learning research*, 15(1), 1929–1958.

TANG, F., ET H. ISHWARAN (2017) : "Random forest missing data algorithms," *Statistical Analysis and Data Mining : The ASA Data Science Journal*, 10(6), 363–377.

TIELEMAN, T., G. HINTON, ET AL. (2012) : "Lecture 6.5-rmsprop : Divide the gradient by a running average of its recent magnitude," COURSERA : *Neural networks for machine learning*, 4(2), 26–31.

VASWANI, A., N. SHAZEER, N. PARMAR, J. USZKOREIT, L. JONES, A. N. GOMEZ, Ł. KAISER, ET I. POLOSUKHIN (2017) : "Attention is all you need," *Advances in neural information processing systems*, 30.

VINCENT, P., H. LAROCHELLE, Y. BENGIO, ET P.-A. MANZAGOL (2008) : "Extracting and composing robust features with denoising autoencoders," in *Proceedings of the 25th international conference on Machine learning*, pp. 1096–1103.

WATTEAUX, M. (2005) : "Sous le bocage, le parcellaire...," *Études rurales*, 175-176, 53-80.

WERBOS, P. J. (1974) : "Beyond Regression : New tools for Prediction and Analysis in the Behavioral Sciences," Ph.D. thesis, Harvard University.

YU, Q., C. SZEGEDY, M. C. STUMPE, L. YATZIV, V. SHET, J. IBARZ, ET S. ARNOUD (2015) : "Large scale business discovery from street level imagery," *arXiv preprint arXiv:1512.05430*.

ZHANG, C., S. BENGIO, M. HARDT, B. RECHT, ET O. VINYALS (2021) : "Understanding deep learning (still) requires rethinking generalization," *Communications of the ACM*, 64(3), 107–115.
Série des Documents de Travail
« Méthodologie Statistique »

9601 : Une méthode synthétique, robuste et efficace pour réaliser des estimations locales de population.

G. DECAUDIN, J.-C. LABAT

9602 : Estimation de la précision d'un solde dans les enquêtes de conjoncture auprès des entreprises.

N. CARON, P. RAVALET, O. SAUTORY

9603 : La procédure FREQ de SAS - Tests d'indépendance et mesures d'association dans un tableau de contingence.

J. CONFAIS, Y. GRELET, M. LE GUEN

9604 : Les principales techniques de correction de la non-réponse et les modèles associés.

N. CARON

9605 : L'estimation du taux d'évolution des dépenses d'équipement dans l'enquête de conjoncture : analyse et voies d'amélioration.

P. RAVALET

9606 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT).

S. LOLLIVIER, M. MARPSAT, D. VERGER

9607 : Enquêtes régionales sur les déplacements des ménages : l'expérience de Rhône-Alpes.

N. CARON, D. LE BLANC

9701 : Une bonne petite enquête vaut-elle mieux qu'un mauvais recensement ?

J.-C. DEVILLE

9702 : Modèles univariés et modèles de durée sur données individuelles.

S. LOLLIVIER

9703 : Comparaison de deux estimateurs par le ratio stratifiés et application

aux enquêtes auprès des entreprises.

N. CARON, J.-C. DEVILLE

9704 : La faisabilité d'une enquête auprès des ménages.

1. au mois d'août.

2. à un rythme hebdomadaire

C. LAGARENNE, C. THIESSET

9705 : Méthodologie de l'enquête sur les déplacements dans l'agglomération toulousaine.

P. GIRARD.

9801 : Les logiciels de désaisonnalisation TRAMO & SEATS : philosophie, principes et mise en œuvre sous SAS.

K. ATTAL-TOUBERT, D. LADIRAY

9802 : Estimation de variance pour des statistiques complexes : technique des résidus et de linéarisation.

J.-C. DEVILLE

9803 : Pour essayer d'en finir avec l'individu Kish.

J.-C. DEVILLE

9804 : Une nouvelle (encore une !) méthode de tirage à probabilités inégales.

J.-C. DEVILLE

9805 : Variance et estimation de variance en cas d'erreurs de mesure non corrélées ou de l'intrusion d'un individu Kish.

J.-C. DEVILLE

9806 : Estimation de précision de données issues d'enquêtes : document méthodologique sur le logiciel POULPE.

N. CARON, J.-C. DEVILLE, O. SAUTORY

9807 : Estimation de données régionales à l'aide de techniques d'analyse multidimensionnelle.

K. ATTAL-TOUBERT, O. SAUTORY

9808 : Matrices de mobilité et calcul de la précision associée.

N. CARON, C. CHAMBAZ

9809 : Échantillonnage et stratification : une étude empirique des gains de précision.

J. LE GUENNEC

9810 : Le Kish : les problèmes de réalisation du tirage et de son extrapolation.

C. BERTHIER, N. CARON, B. NEROS

9901 : Perte de précision liée au tirage d'un ou plusieurs individus Kish.

N. CARON

9902 : Estimation de variance en présence de données imputées : un exemple à partir de l'enquête Panel Européen.

N. CARON

0001 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT) (version actualisée).

S. LOLLIVIER, M. MARPSAT, D. VERGER

0002 : Modèles structurels et variables explicatives endogènes.
J.-M. ROBIN

0003 : L'enquête 1997-1998 sur le devenir des personnes sorties du RMI - Une présentation de son déroulement.

D. ENEAU, D. GUILLEMOT

0004 : Plus d'amis, plus proches ? Essai de comparaison de deux enquêtes peu comparables.
O. GODECHOT

0005 : Estimation dans les enquêtes répétées : application à l'Enquête Emploi en Continu.

N. CARON, P. RAVALET

0006 : Non-parametric approach to the cost-of-living index.

F. MAGNIEN, J. POUGNARD

0101 : Diverses macros SAS : Analyse exploratoire des données, Analyse des séries temporelles.

D. LADIRAY

0102 : Économétrie linéaire des panels : une introduction.

T. MAGNAC

0201 : Application des méthodes de calages à l'enquête EAE-Commerce.

N. CARON

C 0201 : Comportement face au risque et à l'avenir et accumulation patrimoniale - Bilan d'une expérimentation.

L. ARRONDEL, A. MASSON, D. VERGER

C 0202 : Enquête Méthodologique Information et Vie Quotidienne - Tome 1 : bilan du test 1, novembre 2002.

J.-A. VALLET, G. BONNET, J.-C. EMIN, J. LEVASSEUR, T. ROCHER, P. VRIGNAUD, X. D'HAULTFOEUILLE, F. MURAT, D. VERGER, P. ZAMORA

0203 : General principles for data editing in business surveys and how to optimise it.

P. RIVIERE

0301 : Les modèles logit polytomiques non ordonnés : théories et applications.

C. AFSA ESSAFI

0401 : Enquête sur le patrimoine des ménages - Synthèse des entretiens monographiques.

V. COHEN, C. DEMMER

0402 : La macro SAS CUBE d'échantillonnage équilibré

S. ROUSSEAU, F. TARDIEU

0501 : Correction de la non-réponse et calage de l'enquêtes Santé 2002

N. CARON, S. ROUSSEAU
**0502** : Correction de la non-réponse par répondération et par imputation
**N. CARON**

**0503** : Introduction à la pratique des indices statistiques - notes de cours
**J-P BERTHIER**

**0601** : La difficile mesure des pratiques dans le domaine du sport et de la culture - bilan d'une opération méthodologique
**C. LANDRE, D. VERGER**

**0801** : Rapport du groupe de réflexion sur la qualité des enquêtes auprès des ménages
**D. VERGER**

**M2013/01** : La régression quantile en pratique
**P. GIVORD, X. D'HAULTFOEUILLE**

**M2014/01** : La microsimulation dynamique : principes généraux et exemples en langage R
**D. BLANCHET**

**M2015/01** : la collecte multimode et le paradigme de l'erreur d'enquête totale
**T. RAZAFINDROVONA**

**M2015/02** : Les méthodes de Pseudo-Panel

**M. GUILLERM**

**M2015/03** : Les méthodes d'estimation de la précision pour les enquêtes ménages de l'Insee tirées dans Octopus
**E. GROS K. MOUSSALAM**

**M2016/01** : Le modèle Logit Théorie et application.
**C. AFSA**

**M2016/02** : Les méthodes d'estimation de la précision de l'Enquête Emploi en Continu
**E. GROS K.MOUSSALAM**

**M2016/03** : Exploitation de l'enquête expérimentale
Vols, violence et sécurité.
**T. RAZAFINDROVONA**

**M2016/04** : Savoir compter, savoir coder. Bonnes pratiques du statisticien en programmation.
**E. L'HOUR R. LE SAOUT B. ROUPPERT**

**M2016/05** : Les modèles multiniveaux
**P. GIVORD M. GUILLERM**

**M2016/06** : Econométrie spatiale : une introduction pratique

**P. GIVORD R. LE SAOUT**

**M2016/07** : La gestion de la confidentialité pour les données individuelles
**M. BERGEAT**

**M2016/08** : Exploitation de l'enquête expérimentale
Logement internet-papier
**T. RAZAFINDROVONA**

**M2017/01** : Exploitation de l'enquête expérimentale
Qualité de vie au travail
**T. RAZAFINDROVONA**

**M2018/01** : Estimation avec le score de propension sous R
**S. QUANTIN**

**M2018/02** : Modèles semi-paramétriques de survie en temps continu sous R
**S. QUANTIN**

**M2019/01** : Les méthodes de décomposition appliquées à l'analyse des inégalités
**B. BOUTCHENIK E. COUDIN S. MAILLARD**

**M2020/01** : L'économétrie en grande dimension
**J. L'HOUR**

**M2021/01** : R Tools for JDemetra+ - Seasonal adjustment made easier

**A. SMYK A. TCHANG**

**M2021/02** : Le traitement du biais de sélection endogène dans les enquêtes auprès des ménages par modèle de Heckman
**L. CASTELL P. SILLARD**

**M2021/03** : Conception de questionnaires auto-administrés
**H. KOUMARIANOS A. SCHREIBER**

**M2022/01** : Introduction à la géomatique pour le statisticien : quelques concepts et outils innovants de gestion, traitement et diffusion de l'information spatiale
**F. SEMECURBE E. COUDIN**

**M2022/02** : Le zonage en unites urbaines 2020
**V. COSTEMALLE S. OUJIA C. GUILLO A. CHAUVET**

**M2023/01** : Les réseaux de neurones appliqués à la statistique publique : méthodes et cas d'usages
**D. BABET Q. DELTOUR T. FARIA S. HIMPENS**