# Effets de mode et agrégation des données : Approches méthodologiques appliquées à l'enquête ERFI 2

Guillaume Carette

► To cite this version:

Guillaume Carette. Effets de mode et agrégation des données : Approches méthodologiques appliquées à l'enquête ERFI 2. 15e Journées de méthodologie statistique de l'Insee - JMS 2025, Nov 2025, Paris, France. pp.38. hal-05444745

HAL Id: hal-05444745

https://hal.science/hal-05444745v1

Submitted on 6 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY-SA 4.0 - Attribution - ShareAlike - International
License
# EFFETS DE MODE ET AGREGATION DES DONNEES : APPROCHES METHODOLOGIQUES APPLIQUEES A L'ENQUÊTE ERFI 2

Guillaume CARETTE (*)

Ined, Service des enquêtes et sondages

guillaume.carette@ined.fr

**Mots-clés** : enquête multimode, effets de mode, correction

**Domaine concerné** : Collecte – Multimode – Effets de mode

## Résumé

Les instituts de statistique publique recourent de plus en plus aux protocoles multimodes dans la conduite des enquêtes auprès des ménages. Dans le but de faire face à la baisse tendancielle des taux de réponse et optimiser la participation, il est nécessaire d'une part, d'adapter les protocoles d'enquêtes aux transformations des usages en matière de communication, et d'autre part, d'adapter les modalités de participation aux préférences des enquêtés.

Cependant, la mise en place de tels protocoles soulève plusieurs enjeux méthodologiques, notamment les biais de sélection et de mesure induits par le mode de collecte. Ces derniers renvoient à un enjeu central : la qualité des informations recueillies auprès des répondants.

Les effets de mesure se déclinent principalement en deux grandes catégories : les biais de désirabilité sociale et le satisficing. Les premiers touchent surtout les modes de collecte hétéro-administrés (passation du questionnaire par un enquêteur), et se traduisent par des réponses insincères donnant une image valorisante du répondant ou conforme aux normes sociales perçues.

Le satisficing, quant à lui, s'observe davantage lorsque la passation est auto-administrée. Il reflète une faible implication du répondant lors de sa participation à l'enquête. Ce comportement se manifeste par des choix de réponse non réfléchis avec des recours accrus aux modalités de non-réponse partielle, à la répétition du choix de la même modalité ou aux modalités neutres.

Ces problématiques se posent dans l'analyse des données de l'enquête ERFI 2. Menée par l'Ined, en 2024, auprès de plus de 12 000 individus, l'enquête repose sur un protocole concurrentiel CATI-CAWI.

Tant sur les thématiques abordées que sur les types de questions posées (ergonomie, échelles de Likert, satisfaction, opinions...), le questionnaire de l'enquête ERFI 2 présente de nombreuses variables potentiellement exposées aux erreurs de mesure.

Les travaux méthodologiques menés visent à répondre aux enjeux liés à l'exploitation des données. Les questions suivantes guident cette démarche :

- Quelles sont les variables impactées par un biais de mesure et de quel type ?

- Une fois identifiés, comment prendre en compte ces effets de mesure lors de l'exploitation des données ?
<figure><img src="image_2.png" /></figure>

Au-delà de l'identification de ces biais, nous avons mené une analyse sur l'impact de ces effets sur les estimations des variables d'intérêt. L'objectif sous-jacent est d'obtenir une estimation la plus précise possible et la possibilité de pouvoir comparer des sous-populations ayant eu recours différemment aux modes de collecte.

En l'absence de consensus sur les méthodes à utiliser pour la correction des effets de mesure, nos travaux visent à évaluer l'impact de différentes approches telles que l'imputation ou le calage (d'un mode de collecte sur l'autre) sur la précision des estimations finales. Ces analyses soulèvent plusieurs interrogations essentielles : quel mode de collecte utiliser comme référence ? Comment définir les sous-populations devant faire l'objet d'une correction ? Faut-il appliquer des ajustements différents selon les types de biais observés ?

## Abstract

Public statistics institutes increasingly use multimode data collection protocols in household surveys to counter declining response rates and improve participation. These protocols must adapt both to evolving communication habits and to respondents' preferences. However, their implementation raises key methodological challenges, notably mode effects (social desirability and satisficing) that affect data quality.

These issues are central to the ERFI 2 survey conducted by Ined in 2024, involving over 12,000 individuals through CATI-CAWI modes. Given the survey's diverse question types, many variables are prone to measurement error. The methodological work therefore focuses on identifying and correcting these biases, assessing their impact on key estimates, and testing different correction methods such as imputation and calibration.
# 1. Les effets de mesure : désirabilité sociale et satisficing

## 1. Désirabilité sociale

La désirabilité sociale correspond au fait de donner des réponses qui renvoient une bonne image de soi, des réponses qui permettent de s'inscrire dans la norme supposée. Cela peut se faire consciemment ou inconsciemment.

En principe, les enquêtes par téléphone sont assez sensibles à ce biais. De manière générale, les enquêtes réalisées avec un enquêteur tendent à accentuer ce type d'erreur de mesure.

Plusieurs déterminants sont à l'origine de la désirabilité sociale :

- Le thème de l'enquête : biais importants sur les thématiques sensibles (bien-être, relations conjugales, opinions etc.);

- Questionnement : les questions et modalités de réponses ne doivent pas induire quelque chose qui se situe dans la norme sociale ;

- Distance sociale avec l'enquêteur : ces biais dépendent de la manière dont le questionnaire est administré. Par téléphone, cela renvoie à l'image que l'enquêté se fait de l'enquêteur.

L'analyse de la désirabilité sociale passe par exemple par la proportion de réponses rares données selon le mode de collecte.

Le fait de vouloir donner une bonne image de soi peut également entrainer des sous-déclarations des prévalences d'indicateurs sensibles tels que les troubles mentaux, les conflits conjugaux, les difficultés professionnelles etc.

Notons que le biais de désirabilité sociale est sensiblement marqué par les caractéristiques de l'enquêteur et pas uniquement par sa présence ou non dans l'administration du questionnaire. Cela peut être lié au sexe de l'enquêteur, son âge, son timbre de voix etc.

# 2. Satisficing

Le satisficing se traduit par une faible implication de l'enquêté qui se contente d'une réponse approximative. On retrouve cela avec de la non-réponse partielle, des réponses modales, des effets d'ordre etc.

La littérature nous montre que les questions avec échelle de Lickert sont, par exemple, sensibles au satisficing.

Le satisficing peut se manifester de différentes manières :

- La non-réponse partielle à certaines variables ;

- La pratique du straightlining sur des batteries de questions ;

- Sélectionner le premier choix raisonnable parmi une liste (mais pas optimal) ;

- Choisir de manière aléatoire des réponses ;

Pour Krosnick (1996), ces différentes formes de satisficing se classent selon 2 catégories :

- Des formes faibles : on choisit la première réponse satisfaisante et non la réponse optimale. La réponse dépend de la présentation visuelle ou orale des réponses.

- Des formes fortes : non différenciation sur les échelles de réponse, répondre régulièrement « ne sait pas », pratique du straightlining, effectuer un choix aléatoire de réponses.

Il théorise le satisficing par la combinaison des facteurs suivants : le niveau de difficulté de la question,
la capacité à répondre (proximité avec le sujet + facilité avec les opérations mentales) et la motivation
à participer.

## 2. Correction de l'effet de mesure : imputation et calage sur marge

La correction d'un effet de mesure recouvre deux approches distinctes.

La première approche, plutôt curative, vise à corriger l'effet de mesure lui-même. Il s'agit ici de modifier les réponses que l'on suspecte porteuses d'effet de mesure. L'hypothèse qu'une variable est soumise à un effet de mesure revient à dire que le biais porte sur la valeur des réponses (variable Y), et non sur la structure des répondants ou des poids, la solution naturelle repose sur des méthodes d'imputation.

Dans ce cadre conceptuel issu des travaux de Rubin (1986), on peut estimer un modèle de réponse à partir des données du mode de référence A, en reliant les variables sociodémographiques à Y, puis appliquer ce modèle aux observations du mode B. Idéalement, seules les unités de B qui présentent des profils comparables à ceux du mode A devraient être corrigées mais d'autres méthodes impliquant un relâchement des contraintes de modélisations peuvent être mises à l'épreuve.

La mise en place de l'imputation pour corriger l'effet de mesure est adaptée quand on considère que le biais relève d'une erreur de réponse, c'est-à-dire qu'il existe une « vraie » valeur pour la variable d'intérêt Y qui peut être observée à partir des réponses données sous un mode de collecte de référence.

La méthode consiste donc à modifier les réponses obtenues par le mode dit alternatif en imputant sa valeur contrefactuelle sous le mode de référence.

L'une des difficultés est de savoir quel est le mode de référence, c'est-à-dire le mode au sein duquel les réponses sont les plus fiables.

Dans le cas de la désirabilité sociale, les réponses obtenues par Internet sont considérées comme plus proches de la réalité que celles recueillies par téléphone. Le mode Internet serait donc retenu comme mode de référence. En revanche, pour le satisficing, les réponses collectées par téléphone apparaissent plus fidèles à la réalité que celles collectées en ligne. Dans ce cas, le mode téléphone serait à considérer comme la référence.

Ces hypothèses sont valides dans le cadre d'enquêtes ponctuelles ou transversales, au sein desquelles nous allons chercher le mode de collecte le moins sujet aux effets de mesure pour chaque variable.

Cependant, dans le cadre d'enquêtes longitudinales, on privilégiera plutôt le mode de collecte historique comme mode de référence, si celui-là existe, pour limiter les ruptures de série dues à l'introduction d'un nouveau mode.

Le concept de contrefactuel est ici central et, de fait, l'imputation se base sur la méthode d'identification des effets de mesure, à savoir l'appariement de répondants issus de modes de collecte différents à partir d'un score de propension.

Elle se base alors sur les mêmes hypothèses que celles de l'estimation d'un effet de mesure, à savoir que conditionnellement aux caractéristiques observables, il n'y a pas de sélection inobservée entre les groupes CAWI et CATI.

Dans ce document, nous expérimenterons différentes méthodes d'imputation et leur impact sur l'estimation de Y.

Dans une seconde approche, il demeure envisageable d'atténuer l'effet de mesure par une procédure de repondération, à condition de pouvoir attribuer au sous-échantillon interrogé selon un mode alternatif une valeur de référence pour la variable Y lors du calage.

Dans le cas d'une enquête multimode comportant une assignation aléatoire entre deux modes, A et B, chacun des sous-échantillons représente la même population cible. Il devient alors possible d'imposer au mode B la proportion estimée de Y issue du mode de référence A, préalablement redressé.

Lorsque la répartition entre les modes n'est pas aléatoire, comme dans un dispositif concurrentiel tel qu'il est mis en place dans l'enquête ERFI 2, la correction s'avère plus délicate. On peut néanmoins
introduire un calage additionnel visant à contraindre la valeur globale de Y dans l'échantillon total (combiné des différents modes) à correspondre à une référence externe. Cette démarche suppose d'être en mesure d'estimer la vraie valeur de Y à partir d'une analyse causale de l'effet de mesure du mode B relativement au mode A. Dans ce cas, l'objectif consiste à déterminer le contrefactuel Y dans A pour les répondants du mode B, afin de construire la contrainte de calage correspondante.

Cette correction par repondération reste cependant symptomatique : lorsque certains individus du mode B ont un comportement de réponse différent de ce qu'il aurait été dans le mode A, leurs réponses ne sont pas modifiées, mais les poids des répondants ayant déclaré ce comportement sont ajustés de façon à rétablir une prévalence cohérente au niveau global.

Malgré cela, une comparaison détaillée entre les modes A et B révèle généralement une différence résiduelle sur la variable Y, même après repondération.

# 1. Les différents principes d'imputation

Nous nous plaçons d'emblée dans une démarche parcimonieuse. On écarte l'imputation massive, c'est-à-dire l'idée de corriger toutes les réponses obtenues via le mode B à l'aide d'un modèle construit à partir du mode A. Cette approche est jugée problématique car elle implique l'utilisation d'un modèle de prédiction peu fiable pour certaines observations de B qui ne trouvent pas d'équivalent (ou d'"homologue") en termes de caractéristiques dans l'échantillon A, ce qui risque de produire des imputations biaisées. Autrement dit, le modèle n'est recevable que pour les individus présents au sein d'un support commun défini à partir du mécanisme d'allocation des modes de collecte. En dehors de ce chevauchement, pour les individus du mode B présentant des profils absents de la population du mode A, le modèle perd de sa puissance prédictive.

De fait, nous allons cibler uniquement les observations de B les plus exposées à un effet de mesure. Ce travail s'inscrit dans le cadre théorique développé par Rubin (1986), à savoir l'estimation de valeurs contrefactuelles.

Un procédé en 4 étapes :

**Première étape** : Mécanisme d'allocation des modes de collecte et définition du support commun.

La première étape consiste à étudier comment les individus se répartissent entre les différents modes de collecte, selon un schéma causal défini. Cette analyse permet d'identifier les variables sociodémographiques (SD-X) qui influencent à la fois le choix du mode de réponse (M) et la variable d'intérêt (Y). Ces variables jouent un rôle de facteurs de confusion qu'il est nécessaire de neutraliser pour estimer correctement l'effet de mesure sur les réponses. L'objectif est d'estimer le score de propension, autrement dit la probabilité qu'un individu choisisse un mode de réponse donné, en fonction des caractéristiques SD-X. Une modélisation logistique paramétrique classique est utilisée pour cette estimation. Cela permet également de déterminer le support commun, c'est-à-dire la zone de chevauchement des scores de propension des échantillons A et B, sur laquelle l'imputation sera réalisée.

**Deuxième étape** : Définition du support d'imputation.

Une fois le support commun défini, il est essentiel de définir le support d'imputation. Il s'agit d'un sous-ensemble du support commun, résultat d'un appariement entre les individus du mode A et ceux du mode B. Différentes méthodes d'appariement peuvent être utilisées : distance entre les observations appariées, avec ou sans remise, choix du nombre de voisins. La taille du support d'imputation influe sur la parcimonie de la méthode : un support plus restreint permet de limiter les imputations aux cas
<figure><img src="image_3.png" /></figure>

les plus pertinents.

**Troisième étape** : Identification des observations affectées par le biais de mesure.

L'objectif de cette étape est de repérer les individus du mode B dans le support d'imputation qui sont susceptibles de porter un biais de mesure. Ce biais résulte des différences entre les modes de collecte, et il est crucial de sélectionner uniquement les observations du mode B qui en sont affectées. Pour chaque observation concernée, il est nécessaire de définir un contrefactuel, c'est-à-dire une estimation de la réponse que cet individu aurait donnée dans le mode A. Cette étape contribue à la parcimonie de la méthode, car elle restreint l'imputation aux seuls cas où il y a un biais mesurable.

**Quatrième étape** : Imputation des valeurs.

Une fois les observations affectées par le biais de mesure identifiées, l'imputation des réponses peut être réalisée. L'objectif est de modifier les réponses du mode B pour les rendre plus cohérentes avec celles observées dans le mode A, en prenant en compte les variables SD-X comme facteurs explicatifs. Cette correction vise à rendre les données du mode B comparables avec celles du mode A, tout en respectant les contraintes de modélisation issues des observations dans le mode de référence.

Il existe plusieurs variantes d'imputations : les imputations déterministes et les imputations stochastiques.

**L'imputation déterministe** :

Dans le cadre de la correction des effets de mesure, la démarche déterministe se prête à plusieurs déclinaisons méthodologiques.

Une première approche repose sur une définition d'un effet de mesure individuel, c'est-à-dire une déviation propre à chaque observation du mode B, en la comparant à une observation strictement identique du mode A. Cette comparaison repose sur un appariement exact, où chaque individu du mode B est associé à un individu du mode A possédant exactement les mêmes caractéristiques sociodémographiques (SD-X), autrement dit à un de ces jumeaux.

Cette méthode est intuitive mais contraignante, car elle limite le nombre d'appariements possibles : seule une fraction des individus présents dans le support commun (zone de recouvrement des scores de propension entre A et B) peut être appariée. Autrement dit, nous apparions uniquement les individus possédant un jumeau parfait dans l'autre mode. De ce fait, de nombreux individus restent sans correspondance, que ce soit dans A ou dans B.

Toutefois, elle permet d'identifier facilement les individus porteurs d'un biais de mesure : il s'agit de ceux du mode B qui, bien qu'appariés à un individu du mode A, déclarent une valeur différente pour la variable d'intérêt (Y). Cela les rend candidats à une correction par imputation.

Dans ce cas, l'imputation est effectuée de manière directe : pour tous les individus du mode B identifiés comme insincères (ceux dont la réponse diffère de celle du jumeau sur le mode A de référence), la réponse est remplacée par celle de leur jumeau du mode A. Cela suppose que le jumeau représente fidèlement la réponse que l'individu B aurait donnée dans un autre contexte de collecte.

Dans une seconde approche, on abandonne l'exigence d'appariement strict au profit d'un appariement relâché. La définition de l'effet de mesure est ici échantillonnale et non individuelle. Les individus des modes A et B ne sont plus nécessairement identiques sur toutes les variables SD-X. Seule la propriété équilibrante du score de propension entre les sous-échantillons doit être respectée ici. Cela permet de créer davantage de paires et donc de maximiser l'usage des données.

En l'absence de paires exactes qui déterminent le contrefactuel, on va le modéliser à partir des
observations du mode de référence A au sein du support d'imputation.

L'imputation se fait à partir d'un modèle prédictif estimé à partir des individus ayant répondu sur le mode de référence. Pour chaque observation sélectionnée dans le mode alternatif, la valeur est remplacée par une prédiction conditionnelle sur les variables SD-X.

## L'imputation stochastique :

Un inconvénient de l'imputation déterministe est qu'elle sous-estime l'incertitude et ignore le fait que plusieurs valeurs plausibles pourraient raisonnablement remplacer la donnée erronée dans le mode soumis au biais. L'imputation stochastique, par rapport aux méthodes déterministes, impute plusieurs valeurs pour un même individu ayant répondu sur le mode alternatif via un modèle probabiliste, afin de refléter cette incertitude. Cela permet de générer *m* jeux d'imputations donnant *n* estimations des paramètres d'un modèle. C'est le principe de l'imputation multiple.

Chacun est analysé séparément avec les méthodes habituelles, puis les estimations des différents jeux d'imputations (une dizaine suffit) peuvent être agrégées selon les règles dites de Rubin (1987). On combine les estimations, ce qui permet d'évaluer à la fois la variabilité interne à chaque jeu et la variabilité entre les jeux d'imputations qui capture l'incertitude due au fait que les valeurs imputées auraient pu être différentes.

## 2. Calage sur un mode de référence

Le calage ne permet pas à proprement parler de corriger l'effet de mesure, mais en ajustant les poids sur un mode de collecte de référence, il est possible d'obtenir une estimation non biaisée de la variable d'intérêt. Concrètement, une marge basée sur l'estimation de la variable d'intérêt dans le mode de référence est ajoutée à la procédure de calage.

Dans cette situation, mécaniquement, l'estimation converge vers celle du mode de référence. Cependant, cela implique d'avoir une pondération propre à chaque variable soumise à un effet de mesure, ce qui complexifie la manipulation des données pour les utilisateurs.

Nous proposons ici une approche qui permettrait d'obtenir un jeu de pondération commun à plusieurs variables soumises au même type de biais et qui en atténuerait simultanément l'effet de mesure.

## 3. Application à une variable d'intérêt dans l'enquête ERFI 2

### 1. Contexte

Dans l'enquête ERFI 2, la collecte est réalisée selon un protocole multimode concurrentiel CATI-CAWI. Plus exactement, il s'agit d'un multimode concurrentiel différé : durant les 15 premiers jours de terrain, seul le mode de réponse CAWI était proposé aux individus. Il était néanmoins possible de prendre rendez-vous via un module dédié pour participer à l'enquête par téléphone. Les appels téléphoniques, quant à eux, ne débutaient qu'après 15 jours.

Le courrier qui annonce l'enquête annonce la possibilité des deux modes de collecte et fournit les codes pour répondre par Internet. Les individus sont ensuite appelés par un enquêteur qui propose une passation du questionnaire par téléphone, ou, à défaut, par Internet.

Pour les deux modes, la même interface de questionnaire est proposée.

Le changement de mode de collecte est possible. On se retrouve ainsi avec un certain nombre de questionnaires réalisés sur les deux modes de collecte.

Dans l'enquête ERFI 2, le protocole dit concurrentiel engendre un important déséquilibre du ratio Internet/téléphone des questionnaires complétés.
<table><caption>Tableau 1 : Répartition des répondants par mode de collecte sur l'enquête réelle</caption><thead><tr><td></td><td>Effectif</td><td>%</td></tr></thead><tbody><tr><td>Internet</td><td>9134</td><td>74,9%</td></tr><tr><td>Téléphone</td><td>2396</td><td>19,6%</td></tr><tr><td>Mixte</td><td>665</td><td>5,5%</td></tr><tr><td>TOTAL</td><td>12195</td><td>100%</td></tr></tbody></table>

Les analyses qui suivent se focalisent principalement sur les répondants Internet et téléphone. Les répondants ayant mobilisant les deux modes de collecte seront intégrés aux estimations finales sur les variables d'intérêt corrigées.

## 2. Caractéristiques des répondants Internet et téléphone

Les répondants Internet et téléphone présentent des caractéristiques sociodémographiques différentes.

<figure><img src="image_4.png" /><figcaption>Figure 1 : Répartition des répondants par décile et mode de collecte</figcaption></figure>

Le recours au téléphone diminue à mesure que le niveau de vie augmente. Pour les déciles de niveau de vie D1 à D3, la part des répondants téléphoniques est supérieure à 24%; elle est autour de 15% pour les déciles les plus élevés (D8, D9, D10).
<figure><img src="image_5.png" /><figcaption>Figure 2 : Répartition des répondants par classe d'âge et mode de collecte</figcaption></figure>

A partir de 40 ans, la part des répondants téléphoniques augmente progressivement, avec un pic à 28,1% pour les individus de 70 ans et plus.

<figure><img src="image_6.png" /><figcaption>Figure 3 : Répartition des répondants par type de ménage et mode de collecte</figcaption></figure>
Nous constatons également que les personnes vivant seules (hommes ou femmes) participent davantage par téléphone que les répondants en couple (avec ou sans enfant).

Par ailleurs, d'autres caractéristiques diffèrent selon le mode de collecte :

- Les personnes nées à l'étranger participent davantage par téléphone que les répondants nés en France.

- Les répondants les moins diplômés participent davantage par téléphone que les répondants au niveau d'études élevé (Par exemple, plus de 30 % des personnes sans diplôme ont répondu par téléphone, contre 16,5 % parmi les titulaires d'un Master 2).

- Les différences selon l'accès et l'usage d'Internet sont importantes : plus de 45 % des personnes sans accès chez elles à Internet ont répondu par téléphone ; de plus, les utilisateurs les plus fréquents d'Internet ont beaucoup moins recours au téléphone pour répondre à l'enquête.

- En termes de logement, les personnes en appartement ont davantage participé par téléphone que celles qui vivent dans une maison. Par ailleurs, les locataires ont également davantage répondu par téléphone que les propriétaires de leur logement.

### 3. Les effets de mode dans ERFI 2

Une analyse de l'ensemble des questions de l'enquête ERFI a été menée afin de documenter les effets de mode.

Elle a été réalisée à partir d'un appariement sur score de propension entre répondants Internet et téléphone.

Ce travail a permis de dresser une synthèse des biais observés selon le type de variable. Il en ressort que les variables à échelle ordinale sont celles qui sont le plus sujettes aux effets de mesure. 84,62% des variables qui présentent un biais de mesure significatif sur au moins une des modalités sont des variables à échelle ordinale.

<table><caption>Tableau 2 : répartition des variables soumises à un effet de mode par type de variable qualitative</caption><thead><tr><th rowspan="2"></th><th colspan="2">Base d'analyse</th><th colspan="3">Variables avec effets de mode</th></tr><tr><th>Effectifs</th><th>%</th><th>Effectifs</th><th>% total variables avec effet</th><th>% catégorie</th></tr></thead><tbody><tr><td>TOTAL VARIABLES QUALITATIVES</td><td>253</td><td>100%</td><td>78</td><td>100%</td><td></td></tr><tr><td>Dont variables à échelle ordinale</td><td>96</td><td>37,94%</td><td>66</td><td>84,62%</td><td>68,75%</td></tr><tr><td>Dont variables catégorielles</td><td>95</td><td>37,55%</td><td>5</td><td>6,41%</td><td>5,26%</td></tr><tr><td>Dont variables binaires</td><td>62</td><td>24,51%</td><td>7</td><td>8,97%</td><td>11,29%</td></tr></tbody></table>

Par ailleurs, il est possible de classer ces effets en fonction des modalités impactées :

- **Effet 1** : Positionnement plus important sur les modalités intermédiaires par Internet et sur les modalités extrêmes par téléphone (le plus souvent positives).

- **Effet 2** : Recours plus important à la modalité médiane et neutre dans les questions avec un nombre impair de modalités de réponse.
<figure><img src="image_7.png" /></figure>

- Effet 3 : Réponses plus négatives par Internet avec parfois un positionnement plus important sur les modalités extrêmes négatives par Internet.

- Cas particulier : la modalité médiane est davantage utilisée par téléphone lorsqu'il s'agit de la répartition de certaines tâches ménagères.

Les effets 1 et 3 peuvent être assimilés à des biais de désirabilité sociale avec des répondants téléphoniques qui se tournent davantage vers des réponses qui présentent la version la plus positive d'eux-mêmes, en minimisant par exemple des difficultés rencontrées ou, inversement, en surestimant des comportements socialement valorisés.

L'effet 2 relève davantage de problématiques de satisficing propres au mode Internet, à savoir des répondants qui s'impliquent peu dans le questionnaire en choisissant des modalités neutres ou non optimales.

## 4. Variable d'intérêt retenue pour la correction des effets de mesure

A des fins méthodologiques, le document propose de parcourir différentes méthodes de correction pour une variable d'intérêt présentant un effet de mesure important.

Nous nous intéressons à la batterie de questions dédiée aux troubles de la santé mentale (wel11 - dépression et anxiété). Cela est pertinent car c'est un sujet sensible et difficile à aborder dans un questionnaire.

Il s'agit de cinq questions sur lesquelles les répondants doivent se positionner sur une échelle allant de « Jamais » à « Fréquemment ou tout le temps » pour décrire différents ressentis relatifs à leur santé mentale :

Wel11a : Vous avez eu l'impression de ne pas parvenir à vous débarrasser de votre cafard, malgré l'aide de votre famille ou de vos amis.

Wel11b : Vous vous êtes senti(e) déprimé(e).

Wel11c : Vous avez pensé que votre vie était un échec.

Wel11d : Vous vous êtes senti(e) angoissé(e).

Wel11e : Vous vous êtes senti(e) triste.

<figure><img src="image_8.png" /><figcaption>Figure 4 : Répartition brute des réponses à Wel11c selon le mode de collecte</figcaption></figure>
Les écarts entre les modes de collecte se concentrent principalement sur les modalités « Jamais » et « Occasionnellement », et dans une moindre mesure sur la modalité « Assez souvent ».

La proportion de répondants déclarant ne jamais penser que sa vie est un échec est plus élevée parmi les répondants par téléphone. En revanche, les répondants en ligne rapportent plus fréquemment le penser occasionnellement.

Le travail mené sur l'intégralité du questionnaire met en lumière des biais de mode de collecte significatifs et importants.

<table><caption>Tableau 3 : Effet du mode téléphone après appariement sur score de propension</caption><thead><tr><th></th><th>wel11a</th><th>wel11b</th><th>wel11c</th><th>wel11d</th><th>wel11e</th></tr></thead><tbody><tr><td>1. Jamais</td><td>0,150 ***</td><td>0,228 ***</td><td>0,157 ***</td><td>0,197 ***</td><td>0,276 ***</td></tr><tr><td>2. Occasionnellement</td><td>-0,114 ***</td><td>-0,209 ***</td><td>-0,142 ***</td><td>-0,159 ***</td><td>-0,235 ***</td></tr><tr><td>3. Assez souvent</td><td>-0,058 ***</td><td>-0,048 ***</td><td>-0,036 ***</td><td>-0,063 ***</td><td>-0,065 ***</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>0,022 ***</td><td>0,029 ***</td><td>0,022 ***</td><td>0,025 ***</td><td>0,023 ***</td></tr></tbody></table>

Lecture : après appariement sur score de propension, les répondants téléphoniques recourent davantage à la modalité « Jamais » pour décrire les différents ressentis en termes de troubles mentaux, de manière significative. Cela se traduit par exemple par un écart de 15 points sur cette modalité entre les modes Internet et téléphone pour la variable wel11a.

Les résultats ci-dessus indiquent que les répondants par téléphone déclarent moins de troubles mentaux dans cette batterie de questions, ce qui est cohérent avec un biais de désirabilité sociale. Par ailleurs, nous observons également un effet de mesure au niveau de la modalité extrême négative « Fréquemment ou tout le temps », de faible ampleur mais présent pour chaque variable. Les répondants Internet se positionnent davantage sur les modalités intermédiaires et nous considérons ce comportement de réponse comme reflétant un ressenti plus honnête, d'une part, car la littérature nous enseigne que les modes intermédiés entraînent des biais dans l'estimation des troubles de la santé mentale, et d'autre part, car globalement, pour chacune de ces variables, les symptômes de troubles psychiques sont sous-déclarés dans le mode de collecte téléphonique.

Dans la suite du document, nous nous concentrons sur la variable wel11c (« penser que sa vie est un échec ») afin d'évaluer différentes méthodes de correction des effets de mode. Le sens des biais étant similaire pour l'ensemble des modalités, avec des amplitudes différentes, ces méthodes sont transposables à chacune des questions relatives à la santé mentale.

## 5. Définition du support commun – Estimation de la propension à participer par téléphone

Comme indiqué dans la partie précédente, la première étape d'une imputation parcimonieuse consiste à définir le mécanisme d'allocation à chacun des modes de collecte.

Cette étape est commune à l'ensemble des méthodes d'imputations.

La modélisation du score de propension permet de mesurer les différences observables entre les répondants des différents modes de collecte. Les variables de la base de sondage explicatives de la participation à chaque mode sont mobilisées pour estimer ce score de propension.

Parmi les plus de 60 variables auxiliaires issues du fichier de redressement mis à disposition par l'Insee, et extraites de la base Fidéli-Nautile, 20 variables ont été retenues pour l'estimation du modèle de régression destiné à prédire la probabilité de répondre en CATI plutôt qu'en CAWI pour chaque
<figure><img src="image_9.png" /></figure>

participant.

La sélection de ces variables a été effectuée à l'aide d'une procédure itérative de type stepwise, consistant à éliminer progressivement les variables les moins contributives à la qualité du modèle, en s'appuyant notamment sur leur significativité statistique et sur des indicateurs de qualité comme l'AIC.

- Chauffage ;

- Type de logement ;

- Indicatrice de logement social ;

- Statut d'occupation du logement ;

- Type de ménage fiscal ;

- Perception de l'allocation de logement familial ;

- Perception de l'aide personnalisée au logement ;

- Perception de pensions alimentaires ;

- Perception de bénéfices agricoles ;

- Perception de salaires ;

- Indicatrices de coordonnées disponibles (portable, mail, tel2) ;

- Déciles de niveau de vie ;

- Région ;

- Sexe ;

- Classe d'âge ;

- Situation matrimoniale ;

- Lien familial avec le référent fiscal ;

- Indicatrice de couples de même sexe.

Par ailleurs, une analyse préalable a permis de détecter certains effets de mode qui relèvent davantage d'un biais de sélection entre les individus et non d'un biais de mesure dans les variables du questionnaire qu'il convient d'ajouter à la modélisation du score de propension :

- Lieu de naissance du répondant ;

- Niveau de diplôme le plus élevé ;

- Accès à Internet ;

- Usage d'Internet ;

- Langues parlées au domicile.

Ce document traitant des problématiques d'agrégation des données dans les enquêtes multimode, l'ensemble des observations CAWI et CATI sont mobilisées pour l'analyse et la modélisation du score de propension. Cependant, les questionnaires mixtes (débutés par téléphone, terminés sur internet ou l'inverse) sont exclus de ce modèle.

Pour rappel, les observations se répartissent tel qu'indiqué dans le tableau ci-dessous :

<table><caption>Tableau 4 : Distribution des questionnaires selon le mode de réponse</caption><thead><tr><td></td><td>Effectif</td><td>%</td></tr></thead><tbody><tr><td>Internet</td><td>9134</td><td>79,2%</td></tr><tr><td>Téléphone</td><td>2396</td><td>20,8%</td></tr><tr><td>TOTAL</td><td>11530</td><td>100%</td></tr></tbody></table>
A partir de ces données, on obtient les statistiques suivantes concernant l'estimation du score de propension à participer par Internet :

<table><caption>Tableau 5 : Statistiques du score de propension à participer par téléphone dans les groupes CAWI et CATI</caption><thead><tr><td>Mode</td><td>Moyenne</td><td>Min</td><td>Max</td><td>Médiane</td><td>Quartile inf</td><td>Quartile sup</td></tr></thead><tbody><tr><td>CAWI</td><td>0,190</td><td>0,001</td><td>0,929</td><td>0,172</td><td>0,126</td><td>0,233</td></tr><tr><td>CATI</td><td>0,277</td><td>0,040</td><td>0,963</td><td>0,233</td><td>0,163</td><td>0,326</td></tr></tbody></table>

<figure><img src="image_10.png" /><figcaption>Figure 5 : Densité du score de propension à participer par téléphone</figcaption></figure>

Pour définir le support commun pour l'analyse par appariement, on commence par écarter les observations en dehors de l'intervalle commun [0,04 ;0,929]. Cela entraine l'exclusion de 50 observations. Le support commun est large ce qui est de bon augure pour les analyses qui suivent. Il comporte donc 11 480 observations dont 9 098 par Internet et 2 382 par téléphone.

## 6. Correction par imputations

Dans cette partie, nous mettons à l'épreuve différentes méthodes d'imputation, reposant sur différents types d'appariement entre unités CAWI et CATI.

Nous observons leur impact sur l'effet de mesure observé et sur les estimations de la variable d'intérêt à partir des données agrégées.

Sur la variable wel11c, nos hypothèses mènent à une suspicion de biais de désirabilité sociale avec une sous déclaration de troubles mentaux au téléphone.

Nous définissons ainsi le mode de collecte Internet comme mode de référence, c'est-à-dire produisant une estimation moins biaisée de la variable d'intérêt.

Les imputations seront donc réalisées sur les unités CATI à partir de contrefactuels CAWI.
## 1. Agrégation simple des données

La première option consiste à agréger les échantillons CATI et CAWI, sans opérer aucune modification pour corriger les éventuels effets de mesure.

Dans ce cadre, on part donc de l'hypothèse que chaque mode de collecte a un biais de mesure et qu'ils se compensent dans le cas d'une agrégation simple.

Cette méthode présente plusieurs avantages :

- Utilisation simple

- Pas d'imputation donc pas d'impact sur la variance des estimateurs

- Pas de choix d'un mode de référence

- Pas d'exclusion d'observations

Mais cela pose problème pour les variables avec effets de mesure si la structure des répondants est différente d'un mode à l'autre.

Les résultats agrégés et par mode relatifs à la variable d'intérêt wel11c sont les suivants (estimation pondérée) :

<table><caption>Tableau 6 : Répartition pondérée des répondants à wel11c selon le mode de collecte</caption><thead><tr><th></th><th>Internet</th><th>Téléphone</th><th>Global</th></tr></thead><tbody><tr><th>1. Jamais</th><td>65,20%</td><td>79,00%</td><td>68,60%</td></tr><tr><th>2. Occasionnellement</th><td>25,20%</td><td>13,80%</td><td>22,30%</td></tr><tr><th>3. Assez souvent</th><td>7,10%</td><td>3,50%</td><td>6,30%</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>2,50%</td><td>3,70%</td><td>2,90%</td></tr></tbody></table>

Ce tableau servira de référence pour les comparaisons avec les estimations issues des méthodes d'imputation testées.

## 2. Imputation 1 : appariement strict et imputation déterministe

Un premier niveau de parcimonie consiste à réaliser un appariement strict sur les variables socio-démographiques constitutives du score de propension afin d'obtenir des paires identiques au regard de ces caractéristiques observables.

Dans notre cas, si nous imposons une contrainte d'égalité sur toutes les variables constitutives du score (soit 25 variables), notre support d'imputation serait extrêmement restreint. L'expérience montre que seule quelques dizaines d'individus seraient appariés avec cette méthode.

De fait, nous relâchons légèrement cette contrainte et imposons l'égalité pour un nombre réduit de variables socio-démographiques : le sexe, la classe d'âge, le statut d'occupation du logement, le pays de naissance, le fait d'appartenir à un couple de même sexe, le niveau de diplôme, le décile de niveau de vie, le fait d'être en emploi, le fait d'être en couple et le fait d'avoir des enfants cohabitants.

Par ailleurs, nous calibrons l'appariement à une contrainte d'un caliper à 0,1 d'écart-type du logit du score de propension de façon à ne pas retenir de voisins trop éloignés au regard du mécanisme d'allocation du mode de collecte.
Résultats de l'appariement strict par paire :

<table><caption>Tableau 7 : Unités appariées et exclues par appariement strict 1:1</caption><thead><tr><th rowspan="2"></th><th colspan="2">Unités de contrôle (CAWI)</th><th colspan="2">Unités traitées (CATI)</th></tr><tr><th>Effectifs</th><th>% total</th><th>Effectifs</th><th>% total</th></tr></thead><tbody><tr><th>Unités appariées</th><td>1547</td><td>17%</td><td>1547</td><td>65%</td></tr><tr><th>Unités exclues</th><td>7551</td><td>83%</td><td>835</td><td>35%</td></tr><tr><th>TOTAL</th><td>9098</td><td>100%</td><td>2382</td><td>100%</td></tr></tbody></table>

Cet appariement restrictif permet de générer 1547 paires d'unités CAWI et CATI soit 17% des observations CAWI et 65% des observations CATI du support commun.

Ces paires indépendantes forment le support d'imputation sur lequel nous allons travailler.

On définit l'efficacité d'un appariement en vérifiant les propriétés équilibrantes. Il faut comparer la distribution des co-variables constitutives du score entre les groupes traités et non traités.

Cette propriété stipule que conditionnellement au score de propension, les distributions des co-variables sont similaires entre les groupes traités et non traités. La propriété d'équilibrage a donc une implication forte : conditionnellement au score de propension, le traitement et les co-variables sont indépendants. Cela signifie que, après avoir pris en compte le score de propension, il n'y a plus de lien systématique entre le fait qu'un individu ait été traité ou non et ses caractéristiques observées.

Cette propriété est vérifiée par le calcul des différences standardisées, c'est-à-dire la comparaison des moyennes en unité d'écart-type. Il est d'usage de fixer un seuil maximal <10% pour considérer les co-variables comme équilibrées.

Pour les variables continues, la formule est la suivante :

$$ \frac{\bar{X}_1 - \bar{X}_0}{\sqrt{\frac{s_1^2 + s_0^2}{2}}} $$

Avec $\bar{X}_1$ et $\bar{X}_0$ respectivement les moyennes des covariables dans les groupes traités et non traités ; $s_1^2$ et $s_0^2$ les variances des co-variables dans les groupes traités et non traités.

Pour les variables catégorielles :

$$ \frac{p_1 - p_0}{\sqrt{\frac{p_1(1-p_1)+p_0(1-p_0)}{2}}} $$

Avec $p_1$ et $p_0$ respectivement les proportions pour chaque catégorie des co-variables dans les groupes traités et non traités.

Dans le cadre de l'appariement strict mis en œuvre ici, l'équilibre des co-variables est pleinement assuré dans les échantillons appariés. Les variables soumises à une contrainte d'appariement exact présentent des différences nulles ; pour les autres variables, les différences standardisées au sein de l'échantillon apparié demeurent inférieures à 10 % et ne sont pas statistiquement significatives.

A partir de la base appariée, l'imputation s'effectue ensuite par paire. Au sein de chaque paire, on définit la référence comme la valeur observée en CAWI et le candidat à corriger comme la valeur
observée en CATI. Si ces deux valeurs diffèrent, on remplace de manière déterministe la valeur « CATI » par la valeur « CAWI ». Cette règle est simple et systématique : dès lors que deux individus rigoureusement comparables (au sens des règles définies dans l'appariement) donnent des réponses discordantes sur wel11c, on présume que l'écart provient du mode de collecte et l'on corrige la réponse « CATI » pour la faire coïncider avec son contrefactuel sur « CAWI ».

Lorsque les deux valeurs sont identiques, aucune imputation n'est réalisée. Au terme de cette procédure, la variable imputée conserve toutes les valeurs Internet inchangées et ne modifie que les valeurs CATI pour lesquelles une différence a été constatée avec leur jumeau CAWI. Sur le plan méthodologique, il s'agit d'une imputation déterministe et à donneur unique, qui s'appuie sur la qualité de l'appariement pour isoler l'effet de mode.

En conséquence, 672 unités CATI sont imputées à partir de leur valeur contrefactuelle (jumeau CAWI), cela correspond à 43,4% des individus CATI appariés et 28,2% des individus CATI de l'échantillon de répondants à l'enquête réelle.

Mécaniquement, l'effet de mesure est neutralisé au sein du support d'imputation car les observations sont calquées exactement et systématiquement sur celles de l'échantillon CAWI apparié.

Lorsqu'on élargit l'analyse à la base globale (en intégrant les observations hors support d'imputation) pour réestimer l'effet de mesure sur cette variable d'intérêt, on constate qu'il est également largement atténué.

On l'estime par une régression pondérée par l'inverse du score de propension afin de considérer l'ensemble des observations du support commun.

Estimation de l'effet de mesure avant et après imputation sur le support commun par régression pondérée par inverse du score de propension :

<table><caption>Tableau 8 : Effets de mesure avant et après imputation déterministe par donneur unique sur le support commun</caption><thead><tr><th rowspan="2"></th><th colspan="3">Avant imputation</th><th colspan="3">Après imputation</th></tr><tr><th>Effet téléphone</th><th>Std. Err</th><th>pval</th><th>Effet téléphone</th><th>Std. Err</th><th>pval</th></tr></thead><tbody><tr><td>1. Jamais</td><td>0,16</td><td>0,008</td><td>&lt; 0,001</td><td>0,04</td><td>0,008</td><td>&lt; 0,001</td></tr><tr><td>2. Occasionnellement</td><td>-0,13</td><td>0,007</td><td>&lt; 0,001</td><td>-0,03</td><td>0,008</td><td>&lt; 0,001</td></tr><tr><td>3. Assez souvent</td><td>-0,05</td><td>0,004</td><td>&lt; 0,001</td><td>-0,02</td><td>0,005</td><td>0,002</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>0,02</td><td>0,003</td><td>&lt; 0,001</td><td>0,006</td><td>0,003</td><td>0,051</td></tr></tbody></table>

L'imputation déterministe par donneur unique contribue à réduire fortement l'effet du traitement, qui demeure malgré tout significatif pour toutes les modalités, sauf « Fréquemment ou tout le temps ». Sur la modalité « Jamais », la plus impactée, l'écart entre les observations CATI et CAWI passe de 16 points avant imputation à 4 points après imputation.

Enfin, nous nous projetons sur la base globale pour voir l'impact de cette opération sur l'estimation pondérée sur cette variable d'intérêt.
Rappel estimation pondérée avant imputation :

<table><caption>Tableau 9 : Répartition pondérée des répondants à wel11c selon le mode de collecte</caption><thead><tr><th></th><th>Internet</th><th>Téléphone</th><th>Global</th></tr></thead><tbody><tr><th>1. Jamais</th><td>65,20%</td><td>79,00%</td><td>68,60%</td></tr><tr><th>2. Occasionnellement</th><td>25,20%</td><td>13,80%</td><td>22,30%</td></tr><tr><th>3. Assez souvent</th><td>7,10%</td><td>3,50%</td><td>6,30%</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>2,50%</td><td>3,70%</td><td>2,90%</td></tr></tbody></table>

Après imputation déterministe par donneur unique :

<table><caption>Tableau 10 : Répartition pondérée des répondants à wel11c selon le mode de collecte après imputation déterministe par donneur unique</caption><thead><tr><th></th><th>Internet</th><th>Téléphone</th><th>Global</th></tr></thead><tbody><tr><th>1. Jamais</th><td>65,20%</td><td>68,00%</td><td>66,40%</td></tr><tr><th>2. Occasionnellement</th><td>25,20%</td><td>22,40%</td><td>24,00%</td></tr><tr><th>3. Assez souvent</th><td>7,10%</td><td>6,60%</td><td>6,90%</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>2,50%</td><td>2,90%</td><td>2,70%</td></tr></tbody></table>

A l'issue de cette imputation, l'estimation globale pondérée de la variable wel11c converge vers celle du groupe de répondants Internet. On passe notamment de 68,60% d'individus déclarant ne jamais penser que leur vie est un échec à 66,40%, se rapprochant ainsi de l'estimation sur le mode CAWI (65,2%). Les fréquences au sein du groupe de répondants CATI se voient fortement révisées avec une baisse de 11 points sur la modalité « Jamais », la plus porteuse de l'effet de mesure.

Au regard de l'efficacité attendue pour une imputation dans ce contexte, l'opération réalisée ici semble être satisfaisante. En effet, l'effet de mesure est neutralisé sur le support d'imputation, il est nettement atténué sur le support commun et l'estimation finale converge vers celle du groupe CAWI. Cela semble intéressant compte tenu de notre hypothèse de biais de désirabilité sociale au téléphone sur cette variable d'intérêt.

Au-delà des résultats, la robustesse méthodologique reste fragile. D'abord, le support d'imputation est restreint, ce qui limite la généralisation et accroît la dépendance aux paires effectivement observées. Ensuite, l'algorithme repose sur un donneur unique supposé porteur de la « vraie » valeur—une hypothèse forte, source potentielle de biais. Par ailleurs, l'imputation contraint l'explication du choix de réponse, elle ne modélise pas la relation entre la variable d'intérêt et les co-variables du score de propension. Le caractère systématique de l'imputation (toute discordance est corrigée) entraîne des remplacements dans les deux sens (1→0 mais aussi 0→1), susceptibles d'annuler l'effet visé et de réaliser des corrections inutiles. Enfin, l'absence de variance d'imputation empêche de refléter l'incertitude induite dans les erreurs standards et intervalles de confiance. Ces limites plaident pour des dispositifs plus souples.
### 3. Imputation 2 : appariement souple 1:1 et imputation déterministe

Avec cette méthode d'imputation, nous restons dans une logique d'appariement par paire mais nous levons les contraintes d'exactitude utilisées précédemment.

L'appariement est réalisé avec un caliper à 0,1 sur le score de propension. Cette méthode permet d'obtenir un support d'imputation plus large tout en vérifiant l'équilibrage des co-variables constitutives du score. Il n'y a désormais plus aucune contrainte sur l'égalité des co-variables entre paires.

<table><caption>Tableau 11 : Unités appariées et exclues par appariement souple</caption><thead><tr><th rowspan="2"></th><th colspan="2">Unités de contrôle (CAWI)</th><th colspan="2">Unités traitées (CATI)</th></tr><tr><th>Effectifs</th><th>% total</th><th>Effectifs</th><th>% total</th></tr></thead><tbody><tr><th>Unités appariées</th><td>2283</td><td>25%</td><td>2283</td><td>96%</td></tr><tr><th>Unités exclues</th><td>6815</td><td>75%</td><td>99</td><td>4%</td></tr><tr><th>TOTAL</th><td>9098</td><td>100%</td><td>2382</td><td>100%</td></tr></tbody></table>

En ajoutant de la souplesse, nous obtenons 2283 paires au sein du support d'imputation. Cela correspond à 25% des unités CAWI et 96% des unités CATI ce qui est plus important que le résultat que nous avions pour notre première méthode d'appariement strict.

A partir de là, nous changeons de paradigme : nous passons d'une définition individuelle à une définition échantillonnale de l'effet de mesure. L'objectif n'est donc pas d'obtenir des paires exactes sur les variables sociodémographiques mais plutôt un échantillon apparié et équilibré dans la distribution des co-variables.

Par ailleurs, sans paires exactes, nous ne pouvons plus appliquer la règle du donneur unique décrite dans la première méthode.

Une fois l'échantillon apparié constitué, on sépare les unités Internet (groupe de référence) et téléphone et l'on s'intéresse à l'issue de wel11c sur les 4 modalités. L'idée est de calibrer la distribution observée au téléphone sur celle du groupe Internet, de manière informée par les co-variables. Pour cela, on ajuste sur le seul sous-échantillon Internet un modèle logit multinomial, où wel11c est expliquée par les mêmes co-variables que celles mobilisées pour le score de propension ainsi que des variables du questionnaire liées à la variable d'intérêt. Ce procédé modélise la relation entre les caractéristiques individuelles et la probabilité d'appartenir à chacune des quatre modalités dans le mode Internet, considéré comme référence.

En plus des co-variables constitutives du score, les variables de questionnaire suivantes sont retenues dans le modèle :

- Wel09a : Vous pouvez vous appuyer sur suffisamment de personnes en cas de problème ;

- Wel09b : Vous éprouvez un sentiment général de vide ;

- Wel09c : Vous ressentez un manque de compagnie ;

- Wel09d : Il y a beaucoup de gens en qui vous pouvez avoir complètement confiance ;

- Wel09e : Vous vous sentez exclu(e) par les autres ;

- Wel09f : Il y a suffisamment de personnes dont vous vous sentez proche.

On prédit ensuite, pour chaque répondant CATI, les probabilités de classe issues de ce modèle. On calcule en parallèle la distribution cible : il s'agit des parts observées par modalité dans le groupe
Internet, appliquées au nombre total de répondants téléphone (avec un arrondi pour obtenir des effectifs entiers). L'algorithme d'imputation est déterministe et guidé par le modèle et par notre hypothèse de désirabilité sociale au téléphone qui engendre une sous-déclaration de troubles mentaux :

- Pour chaque modalité, si celle-ci est surreprésentée chez les répondants téléphone par rapport à la cible, on identifie, parmi ceux qui se déclarent dans cette modalité, les individus dont la probabilité prédite d'y appartenir est la plus faible.

- On corrige alors ces observations vers leur modalité la plus probable selon le modèle, jusqu'à ce que l'effectif visé soit atteint.

Cette stratégie modifie donc prioritairement les réponses les moins cohérentes avec ce que le modèle apprend du groupe Internet, et laisse inchangés les cas fortement compatibles.

Le tableau ci-dessous présente concrètement un extrait de l'opération réalisée pour imputer les données selon cette méthode à partir de certaines observations des plus improbables :

<table><caption>Tableau 12 : Extrait de l'algorithme d'imputation des valeurs les moins bien prédites</caption><thead><tr><th>Unités CATI</th><th>Modalité observée</th><th>Modalité imputée</th><th>Prob modalité observée</th><th>Prob modalité imputée</th></tr></thead><tbody><tr><td>1</td><td>1</td><td>2</td><td>0,083</td><td>0,656</td></tr><tr><td>2</td><td>1</td><td>3</td><td>0,084</td><td>0,511</td></tr><tr><td>3</td><td>1</td><td>3</td><td>0,089</td><td>0,769</td></tr><tr><td>4</td><td>1</td><td>2</td><td>0,089</td><td>0,450</td></tr><tr><td>5</td><td>1</td><td>2</td><td>0,091</td><td>0,650</td></tr><tr><td>6</td><td>1</td><td>4</td><td>0,092</td><td>0,908</td></tr><tr><td>7</td><td>1</td><td>3</td><td>0,095</td><td>0,461</td></tr><tr><td>8</td><td>1</td><td>2</td><td>0,096</td><td>0,525</td></tr><tr><td>9</td><td>1</td><td>2</td><td>0,098</td><td>0,568</td></tr><tr><td>10</td><td>1</td><td>3</td><td>0,108</td><td>0,809</td></tr><tr><td>11</td><td>1</td><td>2</td><td>0,112</td><td>0,769</td></tr><tr><td>12</td><td>1</td><td>2</td><td>0,114</td><td>0,802</td></tr><tr><td>13</td><td>1</td><td>2</td><td>0,115</td><td>0,635</td></tr></tbody></table>

<table><thead><tr><th>Prob modalité 1</th><th>Prob modalité 2</th><th>Prob modalité 3</th><th>Prob modalité 4</th></tr></thead><tbody><tr><td>0,083</td><td>0,656</td><td>0,261</td><td>0,000</td></tr><tr><td>0,084</td><td>0,404</td><td>0,511</td><td>0,001</td></tr><tr><td>0,089</td><td>0,134</td><td>0,769</td><td>0,008</td></tr><tr><td>0,089</td><td>0,450</td><td>0,206</td><td>0,255</td></tr><tr><td>0,091</td><td>0,650</td><td>0,234</td><td>0,025</td></tr><tr><td>0,092</td><td>0,000</td><td>0,000</td><td>0,908</td></tr><tr><td>0,095</td><td>0,259</td><td>0,461</td><td>0,186</td></tr><tr><td>0,096</td><td>0,525</td><td>0,379</td><td>0,001</td></tr><tr><td>0,098</td><td>0,568</td><td>0,334</td><td>0,001</td></tr><tr><td>0,108</td><td>0,082</td><td>0,809</td><td>0,002</td></tr><tr><td>0,112</td><td>0,769</td><td>0,118</td><td>0,001</td></tr><tr><td>0,114</td><td>0,802</td><td>0,077</td><td>0,008</td></tr><tr><td>0,115</td><td>0,635</td><td>0,250</td><td>0,000</td></tr></tbody></table>

Cette méthode présente l'avantage de se focaliser sur les modalités sur-représentées dans le groupe de répondants téléphoniques et d'imputer séquentiellement jusqu'à équilibrer les estimations au sein de la base appariée. Cette imputation est réalisée par ordre croissant des moins bien prédits sur la valeur observée vers le contrefactuel prédit à partir d'un modèle au sein du groupe de référence du support d'imputation (Internet).

La méthode présente l'avantage de cibler les modalités surreprésentées chez les répondants téléphoniques : dans l'échantillon apparié, elle corrige séquentiellement les individus les moins compatibles avec leur modalité observée, dont la probabilité prédite est la plus faible, vers la modalité contrefactuelle la plus vraisemblable, telle qu'estimée par un modèle estimé sur le groupe de référence (Internet), jusqu'à aligner la distribution des réponses. Elle opère ainsi un rééquilibrage parcimonieux sur la variable d'intérêt.

A l'issue de la procédure, 387 imputations sont réalisées, soit 17% des unités CATI appariées dans le support d'imputation et 16% du total des questionnaires réalisés par téléphone.

Observons maintenant l'efficacité de cette méthode d'imputation sur l'effet de mesure et les
estimations sur les différentes modalités de la variable d'intérêt.

Au sein du support d'imputation, l'opération a neutralisé l'effet sur les modalités les plus impactées que sont la modalité « Jamais » et « Occasionnellement », il demeure un léger effet de mesure résiduel sur la modalité « Assez souvent » :

<table><caption>Tableau 13 : Effets de mesure avant et après imputation déterministe sur le support d'imputation</caption><thead><tr><th rowspan="2"></th><th colspan="2">Avant imputation</th><th colspan="2">Après imputation</th></tr><tr><th>Effet téléphone</th><th>pval</th><th>Effet téléphone</th><th>pval</th></tr></thead><tbody><tr><th>1. Jamais</th><td>0,15</td><td>&lt; 0,001</td><td>0,004</td><td>0,734</td></tr><tr><th>2. Occasionnellement</th><td>-0,12</td><td>&lt; 0,001</td><td>0,003</td><td>0,783</td></tr><tr><th>3. Assez souvent</th><td>-0,05</td><td>&lt; 0,001</td><td>-0,02</td><td>0,008</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>0,01</td><td>&lt; 0,001</td><td>0,01</td><td>0,031</td></tr></tbody></table>

Comme pour la première méthode, on réestime, par une régression pondérée par inverse du score de propension, l'effet de mesure sur la variable afin de considérer l'ensemble des observations du support commun.

Estimation de l'effet de mesure avant et après imputation sur le support commun par régression pondérée par inverse du score de propension :

<table><caption>Tableau 14 : Effets de mesure avant et après imputation déterministe sur le support commun</caption><thead><tr><th rowspan="2"></th><th colspan="3">Avant imputation</th><th colspan="3">Après imputation</th></tr><tr><th>Effet téléphone</th><th>Std. Err</th><th>pval</th><th>Effet téléphone</th><th>Std. Err</th><th>pval</th></tr></thead><tbody><tr><th>1. Jamais</th><td>0,16</td><td>0,008</td><td>&lt; 0,001</td><td>0,02</td><td>0,008</td><td>0,084</td></tr><tr><th>2. Occasionnellement</th><td>-0,13</td><td>0,007</td><td>&lt; 0,001</td><td>-0,01</td><td>0,004</td><td>0,248</td></tr><tr><th>3. Assez souvent</th><td>-0,05</td><td>0,004</td><td>&lt; 0,001</td><td>-0,02</td><td>0,005</td><td>&lt; 0,001</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>0,02</td><td>0,003</td><td>&lt; 0,001</td><td>0,01</td><td>0,003</td><td>&lt; 0,001</td></tr></tbody></table>

Dans le support commun, la réduction de l'effet de mesure est particulièrement convaincante, davantage encore qu'avec la première approche fondée sur les paires strictes. En ciblant prioritairement les observations relevant de la modalité surreprésentée « Jamais », la méthode parvient à quasiment y neutraliser l'écart, qui devient non significatif. Un léger biais résiduel demeure toutefois pour « Assez souvent » et « Fréquemment ou tout le temps ».

L'approche est d'autant plus intéressante qu'elle a permis de réaliser un nombre réduit d'imputations, à savoir 387, cela représente 16% des observations sur le mode téléphone, contre 28,2% avec la première méthode mobilisée.

En termes d'estimation globale pondérée, la présente méthode permet de converger encore davantage vers le mode Internet de référence, principalement pour les modalités « Jamais » et « Occasionnellement ».
Rappel estimation pondérée avant imputation :

<table><caption>Tableau 15 : Répartition pondérée des répondants à wel11c selon le mode de collecte</caption><thead><tr><th></th><th>Internet</th><th>Téléphone</th><th>Global</th></tr></thead><tbody><tr><th>1. Jamais</th><td>65,20%</td><td>79,00%</td><td>68,60%</td></tr><tr><th>2. Occasionnellement</th><td>25,20%</td><td>13,80%</td><td>22,30%</td></tr><tr><th>3. Assez souvent</th><td>7,10%</td><td>3,50%</td><td>6,30%</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>2,50%</td><td>3,70%</td><td>2,90%</td></tr></tbody></table>

Après imputation déterministe à partir d'un appariement souple :

<table><caption>Tableau 16 : Répartition pondérée des répondants à wel11c selon le mode de collecte après imputation déterministe</caption><thead><tr><th></th><th>Internet</th><th>Téléphone</th><th>Global</th></tr></thead><tbody><tr><th>1. Jamais</th><td>65,20%</td><td>65,60%</td><td>65,80%</td></tr><tr><th>2. Occasionnellement</th><td>25,20%</td><td>24,60%</td><td>24,60%</td></tr><tr><th>3. Assez souvent</th><td>7,10%</td><td>6,10%</td><td>6,80%</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>2,50%</td><td>3,70%</td><td>2,80%</td></tr></tbody></table>

### 4. Imputation 3 : appariement avec remise et plusieurs voisins et imputation déterministe

Avec cette méthode, nous allons chercher à étendre davantage le support d'imputation. En effet, si le nombre d'observations CATI prises en compte est satisfaisant avec l'appariement laxé réalisé précédemment, c'est moins le cas pour les unités CAWI (25% des unités CAWI du support commun). La procédure d'appariement par paire limite fortement le nombre d'observations CAWI prises en compte étant donné le déséquilibre d'effectifs entre les deux groupes de répondants.

Cela peut entrainer un biais dans l'estimation et nous essayons ici d'intégrer davantage d'observations au support d'imputation par la procédure suivante :

- Plusieurs individus traités (CATI) peuvent être appariés à un même individu de contrôle (CAWI) afin d'augmenter la part des observations de répondants téléphoniques dans le support d'imputation (déjà très élevée) ;

- Un individu traité (CATI) peut être apparié à plusieurs voisins non traités (unités de contrôle CAWI) afin d'intégrer davantage de répondants Internet à la base appariée.
Ainsi, on obtient le support d'imputation suivant avec cet appariement :

<table><caption>Tableau 17 : Unités appariées et exclues par appariement souple (avec remise et plusieurs voisins)</caption><thead><tr><th rowspan="2"></th><th colspan="2">Unités de contrôle (CAWI)</th><th colspan="2">Unités traitées (CATI)</th></tr><tr><th>Effectifs</th><th>% total</th><th>Effectifs</th><th>% total</th></tr></thead><tbody><tr><th>Unités appariées</th><td>6293</td><td>69%</td><td>2371</td><td>99,5%</td></tr><tr><th>Unités exclues</th><td>2805</td><td>31%</td><td>11</td><td>0,5%</td></tr><tr><th>TOTAL</th><td>9098</td><td>100%</td><td>2382</td><td>100%</td></tr></tbody></table>

Dans cette configuration échantillonale de l'appariement, nous nous focalisons sur les propriétés équilibrantes qui sont bien respectées ici. Les différences standardisées sont inférieures à 10% pour l'ensemble des covariables constitutives du score de propension.

On applique ensuite la même stratégie d'imputation que celle réalisée précédemment avec l'appariement souple par paire. On classe donc les unités traitées par ordre croissant des moins bien prédits sur la valeur observée vers le contrefactuel et on corrige séquentiellement les individus les moins compatibles avec leur modalité observée.

397 imputations sont réalisées avec cette méthode. Cela est très proche de la méthode précédente mais cohérent compte tenu du fait que nous avions déjà appariés la quasi-totalité des répondants téléphoniques du support commun.

Les 397 imputations représentent donc 17% des unités CATI du support commun.

Les résultats obtenus sont assez similaires avec ceux obtenus précédemment. Nous constatons par ailleurs que l'imputation est ici légèrement plus efficace en termes de neutralisation de l'effet de mesure, principalement sur la modalité « Assez souvent » où l'effet n'est plus significatif (pval > 0,05).

<table><caption>Tableau 18 : Effets de mesure avant et après imputation déterministe sur le support d'imputation</caption><thead><tr><th rowspan="2"></th><th colspan="2">Avant imputation</th><th colspan="2">Après imputation</th></tr><tr><th>Effet téléphone</th><th>pval</th><th>Effet téléphone</th><th>pval</th></tr></thead><tbody><tr><th>1. Jamais</th><td>0,17</td><td>&lt; 0,001</td><td>0,002</td><td>0,794</td></tr><tr><th>2. Occasionnellement</th><td>-0,13</td><td>&lt; 0,001</td><td>0,005</td><td>0,783</td></tr><tr><th>3. Assez souvent</th><td>-0,05</td><td>&lt; 0,001</td><td>-0,011</td><td>0,068</td></tr><tr><th>4. Fréquemment ou tout le temps</th><td>0,01</td><td>&lt; 0,001</td><td>0,004</td><td>0,173</td></tr></tbody></table>

Au sein du support commun, les résultats sont également satisfaisants avec un effet de mesure nettement atténué, voire neutralisé. Seule la modalité « Assez souvent » présente encore un léger effet de mesure significatif. La situation vis-à-vis du biais s'est clairement améliorée avec l'imputation :
<table><caption>Tableau 19 : Effets de mesure avant et après imputation déterministe sur le support commun</caption><thead><tr><th rowspan="2"></th><th colspan="3">Avant imputation</th><th colspan="3">Après imputation</th></tr><tr><th>Effet téléphone</th><th>Std. Err</th><th>pval</th><th>Effet téléphone</th><th>Std. Err</th><th>pval</th></tr></thead><tbody><tr><td>1. Jamais</td><td>0,16</td><td>0,008</td><td>&lt; 0,001</td><td>0,014</td><td>0,008</td><td>0,081</td></tr><tr><td>2. Occasionnellement</td><td>-0,13</td><td>0,007</td><td>&lt; 0,001</td><td>0,002</td><td>0,008</td><td>0,547</td></tr><tr><td>3. Assez souvent</td><td>-0,05</td><td>0,004</td><td>&lt; 0,001</td><td>-0,017</td><td>0,002</td><td>0,003</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>0,02</td><td>0,003</td><td>&lt; 0,001</td><td>0,001</td><td>0,003</td><td>0,835</td></tr></tbody></table>

## 5.Imputation 4 : imputation multiple stochastique

Les méthodes simples employées précédemment ne prennent pas en compte l'incertitude liée à l'imputation. L'imputation multiple répond à cet écueil en générant *m* jeux de données qui reflètent les valeurs plausibles à imputer pour les individus porteurs de l'effet de mesure. Concrètement, via ces différents jeux, nous obtenons une estimation de la variance d'imputation qui exprime l'incertitude liée à notre opération (variabilité intra-imputation et inter-imputation). Les *m* jeux d'imputation sont ensuite agrégés selon les règles de Rubin (Rubin, 1987). Nous obtenons l'estimation *poolée* Q de la manière suivante :

$$ \bar{Q} = \frac{1}{m} \sum_{k=1}^{m} \hat{Q}_{k} $$

A partir de cet estimateur *poolé*, nous nous concentrons sur les paramètres diagnostics suivants :

- La variance intra-imputation (U) :

$$ \bar{U} = \frac{1}{m} \sum_{k=1}^{m} \hat{U}_{k} $$

Où $\hat{U}_k$ désigne la variance classique d'échantillonnage pour chaque jeu d'imputation. Elle est calculée pour chaque modalité de la variable catégorielle.

- La variance inter-imputation (B) :

$$ B = \frac{1}{m-1} \sum_{k=1}^{m} (Q_k - \bar{Q})^2 $$

Elle exprime la variabilité entre les jeux d'imputation. Il s'agit de mesurer l'écart entre les $Q_k$. Plus B est grand, plus les écarts sont grands entre les estimations dans les différents jeux de données générés par l'imputation multiple.

- L'augmentation relative de la variance (r) :

$$ r = \frac{(1 + 1/m) B}{\bar{U}} $$

Où *m* désigne le nombre de jeux d'imputations, *U* la variance intra-imputation et *B* la variance inter-imputation. Ce paramètre quantifie le surplus de variance engendré par l'imputation. Plus *r* est grand,
plus l'imputation ajoute de l'incertitude aux estimations. Nous pouvons nous attendre à des valeurs plus élevées pour les modalités rares. Quand une modalité présente peu d'observations, les prédictions du modèle peuvent être instables, ce qui entraîne des écarts importants entre les jeux d'imputation. Concrètement, pour la variable catégorielle d'intérêt wel11c, nous commençons par réaliser la même opération que pour les précédents scénarios. Nous commençons par un appariement des unités CATI et CAWI au plus proche voisin, sur la base du score de propension (caliper 0,1). L'appariement est réalisé sans remise, nous obtenons donc un support d'imputation comportant 2283 paires, soit 25% des observations CAWI et 96% des observations CATI du support commun.

Sur le sous-échantillon de référence Internet, nous ajustons ensuite un modèle multinomial qui prédit la probabilité de chacune des quatre modalités à partir d'un ensemble de prédicteurs composé des variables constitutives du score de propension et des variables wel09 corrélées à la variable d'intérêt. De nouveau, les unités CATI à imputer sont identifiées parmi les modalités sur-représentées et dont la probabilité prédite est la plus faible. 395 observations CATI sont candidates à l'imputation dans ce scénario et placées en valeurs manquantes, soit 17% des unités CATI du support commun.

L'imputation multiple est ensuite conduite avec la fonction *Mice* dans R (Package Mice). Pour chaque itération (m = 10), *Mice* appelle l'imputeur qui entraîne un modèle multinomial pour wel11c avec nos prédicteurs sur les observations Internet. Sur la base de ce modèle, un vecteur de probabilités est calculé pour chaque observation CATI candidate à l'imputation. La modalité imputée est ensuite tirée stochastiquement au prorata de ces probabilités. Ce mécanisme est répété 10 fois (m = 10) et nous obtenons autant de jeux de données.

Les résultats des 10 jeux de données sont combinés avec les règles de Rubin via la fonction *pool.scalar* dans R (package Mice) :

<table><caption>Tableau 20 : Estimation poolée de wel11c selon les règles de Rubin</caption><thead><tr><td></td><td>Estimation poolée</td><td>Std. Err</td><td>U</td><td>B</td><td>r</td></tr></thead><tbody><tr><td>1. Jamais</td><td>65,37%</td><td>0,008</td><td>&lt; 0,05</td><td>&lt; 0,05</td><td>0,001</td></tr><tr><td>2. Occasionnellement</td><td>24,63%</td><td>0,007</td><td>&lt; 0,05</td><td>&lt; 0,05</td><td>0,017</td></tr><tr><td>3. Assez souvent</td><td>7,19%</td><td>0,004</td><td>&lt; 0,05</td><td>&lt; 0,05</td><td>0,051</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>2,81%</td><td>0,003</td><td>&lt; 0,05</td><td>&lt; 0,05</td><td>0,066</td></tr></tbody></table>

L'estimation combinée des imputations multiples (m = 10) converge bien vers l'estimation pondérée de la variable wel11c sur le mode de référence Internet. Comme attendu, l'augmentation relative de la variance liée aux imputations est plus élevée pour les modalités rares. L'impact de l'opération sur l'estimation de la variance reste raisonnable.

En termes d'effets de mesure, on retrouve des résultats sensiblement similaires aux scénarios précédents.
<table><caption>Tableau 21 : Effets de mesure avant et après imputation multiple sur le support commun</caption><thead><tr><th rowspan="2"></th><th colspan="3">Avant imputation</th><th colspan="3">Après imputation</th></tr><tr><th>Effet téléphone</th><th>Std. Err</th><th>pval</th><th>Effet téléphone</th><th>Std. Err</th><th>pval</th></tr></thead><tbody><tr><td>1. Jamais</td><td>0,16</td><td>0,008</td><td>&lt; 0,001</td><td>0,019</td><td>0,008</td><td>0,062</td></tr><tr><td>2. Occasionnellement</td><td>-0,13</td><td>0,007</td><td>&lt; 0,001</td><td>-0,023</td><td>0,006</td><td>0,002</td></tr><tr><td>3. Assez souvent</td><td>-0,05</td><td>0,004</td><td>&lt; 0,001</td><td>-0,01</td><td>0,007</td><td>0,003</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>0,02</td><td>0,003</td><td>&lt; 0,001</td><td>0,014</td><td>0,003</td><td>&lt; 0,001</td></tr></tbody></table>

## 7. Correction par calage

Dans cette partie, nous examinons des stratégies de calage visant à corriger l'effet de mesure observé entre les modes de collecte, en nous appuyant sur l'ensemble des variables « wel11 » relatives à la santé mentale (anxiété et dépression), et non plus sur une seule variable.

Pour rappel, l'ensemble des variables de la batterie de questions sur l'anxiété et la dépression présente un effet de mesure allant dans le même sens mais dans des ampleurs différentes :

<table><caption>Tableau 22 : Effet du mode téléphone après appariement sur score de propension</caption><thead><tr><th></th><th>wel11a</th><th>wel11b</th><th>wel11c</th><th>wel11d</th><th>wel11e</th></tr></thead><tbody><tr><td>1. Jamais</td><td>0,150 ***</td><td>0,228 ***</td><td>0,157 ***</td><td>0,197 ***</td><td>0,276 ***</td></tr><tr><td>2. Occasionnellement</td><td>-0,114 ***</td><td>-0,209 ***</td><td>-0,142 ***</td><td>-0,159 ***</td><td>-0,235 ***</td></tr><tr><td>3. Assez souvent</td><td>-0,058 ***</td><td>-0,048 ***</td><td>-0,036 ***</td><td>-0,063 ***</td><td>-0,065 ***</td></tr><tr><td>4. Fréquemment ou tout le temps</td><td>0,022 ***</td><td>0,029 ***</td><td>0,022 ***</td><td>0,025 ***</td><td>0,023 ***</td></tr></tbody></table>

Dans l'hypothèse d'un biais de désirabilité sociale et considérant le mode Internet comme une référence, ces effets se caractérisent par une sous déclaration de symptômes dépressifs au téléphone. Les modalités « Jamais » et « occasionnellement » portent la majeure partie du biais pour chacune des variables.

Dans ce contexte, nous cherchons à produire un jeu de poids commun pour ces questions qui permettraient de faire converger simultanément les estimations pour chacune d'entre elles.

Trois raisons nous poussent à tester cette opération :

- Ajouter une marge de calage supplémentaire pour l'unique variable d'intérêt wel11c que nous étudions reviendrai mécaniquement à faire converger exactement les estimations sur les deux modes de collecte. Nous ne nous attardons donc pas sur cette méthode.

- Limiter la complexité de l'opération : travailler variable par variable rendrait la procédure lourde et impliquerait de générer autant de jeux de poids qu'il y a de variables porteuses d'effet de mesure. Nous cherchons donc à produire une variable de poids commune à l'ensemble des questions relatives à cette thématique et portant le même type d'effet de mesure.
- Les batteries de questions telles que celles relatives à la santé mentale font souvent l'objet d'analyse dans leur ensemble plutôt qu'individuellement. Elles permettent de définir un niveau global de bien-être. Les traiter conjointement parait donc plus pertinent au regard de leur utilisation.

Dans cette optique, nous mobilisons la méthode suivante :

- Calage sur un score calculé à partir des réponses à chacune des questions portant sur les sympathes dépressifs et anxieux.

Avant de caler l'échantillon complet (CATI et CAWI), on établit une référence empirique pour la variable d'intérêt en se restreignant aux répondants du mode Internet, dont les réponses sont jugées fiables. L'idée est de produire grâce à l'échantillon CAWI une distribution pondérée de la variable qui servira de marge dans le calage final.

Idéalement, il faudrait disposer d'un échantillon de contrôle représentatif de la population cible sur le mode de référence. En son absence dans l'enquête ERFI 2, et compte tenu de la grande majorité de répondants sur le mode CAWI (75% des répondants totaux), nous considérons ce groupe comme une approximation d'échantillon de contrôle pour appliquer ces méthodes de calage.

On procède alors à un premier calage de l'échantillon CAWI sur les marges sociodémographiques :

- L'âge en tranches décennales ;

- La zone d'études et d'aménagement du territoire ;

- La tranche d'unité urbaine ;

- Le pays de naissance ;

- Le niveau de diplôme ;

- La catégorie socioprofessionnelle ;

- La situation vis-à-vis de l'emploi.

Ce premier jeu de poids nous permet d'obtenir les prévalences pondérées des variables d'intérêt sur le mode de référence, qui serviront de marges de calage additionnelles pour le sous-échantillon CATI. Nous fabriquons une marge de calage qui correspond donc à l'estimation pondérée des variables de score et de comptage dans le mode Internet.

Cette estimation est ensuite mobilisée comme une marge additionnelle pour caler l'échantillon total de répondants, tous modes de collecte confondus.

Une fois ce calage global réalisé, nous vérifions la convergence des distributions pour chaque variable d'intérêt. Si la marge relative à l'estimation de la variable d'intérêt dans le mode Internet a été effectivement imposée, les pourcentages doivent s'aligner sur la référence obtenue en Internet, tout en respectant les marges sociodémographiques externes.

Par ailleurs, pour limiter la dispersion des poids et éviter d'avoir des observations trop influentes à cause de leurs poids très élevés, nous générons d'autres jeux de pondération en envisageant une troncature qui ramène le maximum des poids obtenus post-calage au 99ème percentile de la distribution de ces poids.

À partir de ce travail, un poids est construit pour représenter la thématique commune des variables wel11.
Pour le scénario que nous retenons, nous nous basons sur le calcul d'un indice de bien-être mental défini à partir de l'ensemble des variables wel11.

Chaque déclaration de symptôme est évaluée sur une échelle de 3 points. Les notes les plus élevées indique une plus forte prévalence de troubles de la santé mentale. Avec 5 variables mises à contribution, le score calculé varie donc de 0 à 15.

<table><caption>Tableau 23 : Score attribué à chaque modalité des variables wel11</caption><thead><tr><th></th><th>Jamais</th><th>Occasionnellement</th><th>Assez souvent</th><th>Fréquemment ou tout le temps</th></tr></thead><tbody><tr><td>[WEL11a] Vous avez eu l'impression de ne pas parvenir à vous débarrasser de votre cafard, malgré l'aide de votre famille ou de vos amis</td><td>0</td><td>1</td><td>2</td><td>3</td></tr><tr><td>[WEL11b] Vous vous êtes senti(e) déprimé(e)</td><td>0</td><td>1</td><td>2</td><td>3</td></tr><tr><td>[WEL11c] Vous avez pensé que votre vie était un échec</td><td>0</td><td>1</td><td>2</td><td>3</td></tr><tr><td>[WEL11d] Vous vous êtes senti(e) angoissé(e)</td><td>0</td><td>1</td><td>2</td><td>3</td></tr><tr><td>[WEL11e] Vous vous êtes senti(e) triste</td><td>0</td><td>1</td><td>2</td><td>3</td></tr></tbody></table>

Avec cette méthode, aucun score n'est associé aux modalités « Ne souhaite pas répondre » et « Ne sait pas ». Pour réaliser le calage, nous avons pourtant besoin d'obtenir un score pour chaque répondant de la base. De fait, avant le calcul de l'indice, nous réalisons une imputation par random forest pour requalifier les non-réponses parmi les items « Jamais » à « Fréquemment ou tout le temps ».

Une fois l'indice calculé, nous créons une variable discrétisée qui place chaque individu dans une classe du score de bien-être.

<figure><img src="image_11.png" /><figcaption>Figure 6 : Distribution du score par mode de collecte (en %)</figcaption></figure>

Comme indiqué en introduction de cette partie, nous reprenons ici la procédure initiale permettant d'obtenir une estimation pondérée de la variable de recode de l'indice de bien-être dans le sous-échantillon Internet de référence, puis nous utilisons cette marge de calage pour l'ensemble de l'échantillon.
<figure><img src="image_12.png" /><figcaption>Figure 7 : caractéristiques des poids après calage avec marge additionnelle de score de bien-être</figcaption></figure>

Pour limiter la dispersion des poids, nous générons un jeu de pondération avec troncature qui ramène le maximum des poids obtenus post-calage au 99<sup>ème</sup> percentile de la distribution de ces poids. Cette dernière est plutôt parcimonieuse et présente un profil en cloche, le redressement est équilibré. Nous obtenons ainsi un rapport max/min de 140,9.

Nous observons l'impact des poids avec troncature sur les estimations de chaque variable d'intérêt. Une illustration ci-dessous avec la variable wel11a (voir annexe pour les autres variables de la batterie de questions sur la santé mentale).

<figure><img src="image_13.png" /><figcaption>Figure 8 : Comparaison des estimations totale selon la pondération pour la variable wel11a (en %)</figcaption></figure>
Le passage du calage initial au calage avec une marge correspondant à un indice de bien-être permet de faire converger l'estimation globale de la déclaration de symptômes dépressifs et anxieux vers le mode de référence CAWI. Sur wel11a, par exemple, l'estimation pondérée pour la modalité « Jamais » passe de 53% à 49% avec le « poids score », se rapprochant ainsi de la valeur de référence dans le mode CAWI seul. Ce mécanisme est observable pour l'ensemble des modalités sur cette variable d'intérêt ainsi que pour l'ensemble des variables de la batterie de questions (voir annexe).

# 4. Conclusions et discussion

## 1. Comparaison des résultats des méthodes

Les analyses menées montrent que, quelle que soit la méthode mobilisée, les procédures d'imputation conduisent globalement à une réduction de l'effet de mesure sur la variable d'intérêt.

L'ampleur de cette réduction du biais dépend fortement du support d'imputation défini à partir de l'appariement, c'est-à-dire du nombre potentiel d'individus candidats à une imputation. Plus ce support d'imputation est large, plus l'imputation permet de neutraliser l'effet de mesure et d'obtenir des estimations stables.

L'ensemble des méthodes testées se caractérise par une forme de parcimonie commune : elles ne substituent pas systématiquement toutes les valeurs issues d'un mode de collecte alternatif, mais seulement celles appartenant à un sous-ensemble pertinent, le support d'imputation, permettant de définir des valeurs contrefactuelles cohérentes.

Le niveau de parcimonie varie toutefois au regard de mécanisme de sélection des candidats à l'imputation.

Ainsi, l'imputation 1 se révèle particulièrement restrictive, puisqu'elle considère qu'un donneur unique suffit à définir la valeur contrefactuelle d'une observation. Une telle hypothèse parait discutable, dans la mesure où elle néglige la variabilité possible autour de cette estimation.

À l'inverse, les imputations 2 et 3 s'avèrent plus souples et parcimonieuses au sens où elles modélisent le contrefactuel dans un groupe de référence plus large. Les candidats à l'imputation y sont sélectionnés en fonction de leur proximité avec les prédictions issues du modèle, et leur nombre est ajusté de façon à garantir une égalité des prévalences entre les groupes. Dans le cas de l'imputation 3, l'assouplissement des contraintes d'appariement permet d'intégrer un ensemble plus large d'unités au processus, améliorant ainsi la capacité prédictive du modèle.

Pour autant, dans ces trois premières méthodes, la valeur imputée demeure unique, sans possibilité de refléter l'incertitude engendrée par l'imputation. C'est cette limite que vient lever l'imputation 4, fondée sur le principe d'imputations multiples stochastiques. En générant plusieurs valeurs possibles pour chaque observation imputée, cette approche permet d'estimer le surplus de variance et de mieux apprécier la fiabilité globale des estimations obtenues.

Cette dernière méthode semble appropriée dans notre cas tant l'effet de mesure estimé est important. En effet, cela implique un nombre non négligeable de valeurs à imputer pour neutraliser le biais (autour de 17% des individus ayant participé par téléphone) et il est donc important d'avoir une idée de l'incertitude que cela implique dans l'estimation finale.

La limite principale à l'utilisation de l'imputation est qu'elle est déontologiquement contestable car nous modifions les réponses données par les participants. Par ailleurs, dans notre cas, l'ampleur des corrections nécessaires serait probablement encore plus importante, les batteries de questions sur la santé mentale étant habituellement conçues et interprétées comme un ensemble et non individuellement. Dès lors, à partir d'un même appariement, il conviendrait d'appliquer les stratégies d'imputation à toutes les variables concernées, afin d'en préserver la cohérence.
La méthode de calage que nous avons testée tente justement de répondre à ce besoin sans modifier les données en proposant un jeu de pondération unique pour les 5 variables wel11 qui vise à faire converger les estimations vers le mode CAWI seul.

Les résultats qu'elles proposent permettent d'obtenir une prévalence globale cohérente mais ce n'est pas une solution curative. En effet, elle ne garantit pas que l'effet de mesure soit atténué entre les répondants CATI et CAWI.

## 2. Choix du mode de référence

L'utilisation de ces méthodes d'imputation et de calage repose sur une hypothèse déterminante, à savoir le choix du mode de référence. Après avoir identifié et estimé l'effet de mesure sur une variable d'intérêt, le prérequis à la correction est la définition d'un référentiel, autrement dit d'un mode de collecte supposé non porteur de biais de mesure. Ici, nous avons fait le choix du mode Internet, en considérant que les réponses obtenues étaient plus honnêtes qu'au téléphone, notamment sur un sujet aussi sensible que la santé mentale. Mais cette proposition est discutable, sur deux principaux points :

- La proportion de non-réponse partielle est plus forte sur Internet qu'au téléphone et se traduit par un effet de mesure sur les modalités « refus » et « ne sait pas ». Ces modalités ne sont pas citées lors des entretiens téléphoniques, ce qui entraîne mécaniquement un biais entre les modes de collecte. Les répondants sur Internet ne souhaitant pas s'exprimer sur le sujet de la santé mentale ont davantage de facilité à le faire, ce qui peut engendrer des biais relevant simplement du satisficing dans sa forme forte ou de la non-réponse non ignorable, que nous ne captons pas ici.

- Par ailleurs, on observe également un léger effet de mesure sur la modalité « Fréquemment ou tout le temps » pour l'ensemble des variables de la batterie de questions sur les troubles de la santé mentale. Rapporté à l'ensemble des modalités, cela signifie que nous avons des répondants CATI qui se positionnent davantage sur les modalités extrêmes et des répondants Internet sur les modalités intermédiaires.

L'interprétation de ces effets de mesure est donc assez volatile et, dans la réalité, même s'il existe de la désirabilité sociale au téléphone, dans le sens où nous observons globalement une sous déclaration des troubles de la santé mentale en mode intermédié, il est possible que chacun des modes entraîne des biais qui lui sont propres. Le choix d'un mode de référence reste donc contestable.

## 3. Estimation de l'effet de mesure, design d'enquête et analyse de sensibilité

Une problématique notable du raisonnement que nous décrivons relève de l'estimation même de l'effet de mesure et de sa pertinence.

La définition de l'effet de mesure réside dans le fait qu'un même individu réponde différemment à une même question en fonction du mode de collecte. En l'absence d'observations sous deux modes différents pour un même individu (ce qui est le cas pour la plupart des enquêtes), on se base sur des comparaisons de réponses entre répondants « similaires » à partir d'appariements pour évaluer l'effet causal d'un traitement.

Cela constitue la base des méthodes que nous avons exploité ici : le principe de contrefactuel est central dans l'inférence causale et sert de référence pour appliquer les corrections visant à réduire ou neutraliser l'effet de mesure.

La définition du mécanisme d'allocation du mode de collecte et l'appariement entre répondants de modes de collecte différents qui en suit est caractérisé par les variables sociodémographiques de la base de sondage que nous avions à disposition pour l'enquête ERFI 2 ainsi que de variables du questionnaire supposées non sujettes à des biais de mesure. Autrement dit, l'appariement issu des
modèles statistiques utilisés, qui sert de support à l'imputation, repose sur la similarité des individus selon les caractéristiques observées, sans pour autant renseigner sur leurs éventuelles différences concernant les caractéristiques inobservées. Il peut donc exister un biais de composition caché qui peut venir d'une corrélation entre le mode de collecte choisi par les répondants et la variable d'intérêt étudiée.

Ce biais peut remettre en question l'existence, ou du moins l'ampleur de l'effet de mesure observé et il est nécessaire de discuter les conclusions produites selon l'ampleur potentielle d'un biais de composition caché, et donc non capté par l'appariement.

En l'absence de design d'enquête dédié, l'analyse de sensibilité (Rosenbaum, 2002, 2020) permet de questionner l'ampleur du biais de composition caché à partir duquel il n'est plus possible de rejeter l'hypothèse d'absence d'effet de mesure sur une variable d'intérêt.

Concrètement, sur un jeu de paires appariées entre deux modes de collecte, la méthode consiste à faire différer les odds-ratio d'être traité, au sein de chaque paire, d'un facteur Γ (Court et Quantin, 2024, 2025). Quand $\Gamma = 1$, il n'y a pas de biais de composition caché et les probabilités de répondre par Internet sont identiques au sein de la paire (1/2). Dans le cas d'une variable binaire, quand $\Gamma > 1$, les probabilités d'être traité peuvent différer au sein d'une même paire après l'appariement sur les caractéristiques observables.

Formellement, on encadre la probabilité d'assignation au traitement $\theta_i$ :

$$ \frac{1}{1+\Gamma} \le \theta_i \le \frac{\Gamma}{1+\Gamma} $$

Cette démarche permet de tester la robustesse des résultats issus de nos modèles d'estimation. Dans notre cas, l'enquête ERFI 2, avec son protocole concurrentiel à lot unique où le mode de collecte est choisi, est propice à l'application de ce type de méthode.

Sous l'hypothèse d'une sous déclaration de symptômes de troubles de la santé mentale avec le mode de collecte téléphone, nous questionnons l'ampleur du biais de composition caché à partir duquel il n'est plus possible de rejeter l'hypothèse d'absence d'effet de mesure sur le fait de ne déclarer aucun trouble (variable binaire codée à partir des modalités « Jamais » de chaque variable wel11).

A partir d'un appariement souple 1:1 sur score de propension (caliper 0,1) nous appliquons l'analyse de sensibilité à partir d'un test de McNemar. Après appariement, nous obtenons le tableau de contingence ci-dessous relatif à la non-déclaration de troubles de la santé mentale.

<table><caption>Tableau 24 : tableau de contingence sur la non-déclaration de troubles de la santé mentale</caption><thead><tr><th></th><th></th><th colspan="2">CAWI</th></tr><tr><th></th><th></th><th>Au moins 1 symptôme</th><th>Aucun symptôme</th></tr></thead><tbody><tr><th rowspan="2">CATI</th><th>Au moins 1 symptôme</th><td>1230 (a)</td><td>241 (b)</td></tr><tr><th>Aucun symptôme</th><td>681 (c)</td><td>131 (d)</td></tr></tbody></table>
La statistique de test suit la loi de khi-deux à 1 ddl :

$$X_{\text{obs}}^2 = \frac{(b-c)^2}{b+c}$$

En l'absence de biais de composition caché (Γ = 1), le test de McNemar compare les T = 681 paires discordantes où c'est le répondant CATI qui ne déclare aucun trouble mental à une distribution binomiale avec 922 essais (total paires discordantes) et une probabilité de succès de ½.

La p-value associée au test étant inférieur à 0,001, nous rejetons l'hypothèse nulle d'absence d'effet du mode de collecte sur cette variable.

En présence d'un biais de composition caché (Γ > 1), nous pouvons encadrer la p-value associée à une valeur k pour la statistique de test T par celles associées à cette même valeur pour deux statistiques de test T+ et T- (Court et Quantin, 2024).

T+ et T- suivent des lois binomiales, dont les paramètres dépendent de la valeur Γ, avec 922 essais et des probabilités de succès qui sont respectivement :

$$p^+ = \frac{\Gamma}{(1+\Gamma)} \qquad p^- = \frac{1}{1+\Gamma}$$

L'encadrement de la distribution de T sous H0 par T+ et T- s'écrit :

$$\sum_{a=k}^{S} \binom{S}{a} (p^+)^a (1-p^+)^{S-a} \geq \mathbb{P}(T \geq k) \geq \sum_{a=k}^{S} \binom{S}{a} (p^-)^a (1-p^-)^{S-a}$$

Avec k = 209, la valeur de la statistique de test et S = 922, le nombre total de paires discordantes sur cette variable.

Dans le tableau ci-dessous, nous indiquons les bornes supérieures de p-value à différentes valeurs Γ, associées à la statistique de test T+ :

<table><caption>Tableau 25 : Analyse de sensibilité sur la non déclaration de symptômes de troubles de la santé mentale</caption><thead><tr><th>Γ</th><th colspan="2">Intervalle des valeurs possibles de θi</th><th>pval borne sup</th></tr></thead><tbody><tr><td>1</td><td>0,50</td><td>0,50</td><td>&lt; 0,001</td></tr><tr><td>1,5</td><td>0,40</td><td>0,60</td><td>&lt; 0,001</td></tr><tr><td>2</td><td>0,33</td><td>0,67</td><td>&lt; 0,001</td></tr><tr><td>2,4</td><td>0,29</td><td>0,71</td><td>0,015</td></tr></tbody></table>

à Γ = 2,4 nous supposons que les rapports de chance de répondre par téléphone peuvent différer d'un facteur au plus égal à 2,4 en raison d'une covariable inobservée. Ainsi, malgré l'appariement, la probabilité au sein d'une paire d'observer qu'un individu réponde par téléphone ne peut être que de 29% et celle d'observer l'autre individu apparié répondre par téléphone peut être de 71%. Dans cette situation, on peut toujours rejeter l'hypothèse nulle d'absence d'effet de mesure dans le groupe apparié.

Nous confrontons ces résultats à ceux issus d'une analyse de sensibilité menée sur une variable de
score de bien-être de 0 à 15 (définie précédemment pour le calage additionnel) qui a l'avantage de prendre en compte l'ensemble des réponses à ces questions et non uniquement celles relatives à la non déclaration de symptômes (modalité « Jamais »). Cela permet de capter davantage les nuances dans la manière de répondre et d'avoir une vision plus globale de la supposée sous déclaration de troubles mentaux au téléphone.

Pour cela, l'analyse de sensibilité est réalisée à partir d'un test des rangs signés de Wilcoxon. Au sein de chaque paire, on mesure la différence entre les scores des individus traités (téléphone) et non traités (Internet). Les différences sont ordonnées en valeur absolue, puis leur sont attribués un rang. Le signe de la différence est réattribué au rang puis nous calculons la somme des rangs positifs et négatifs. Sous H0, la médiane des différences est 0.

Pour mener à bien l'analyse de sensibilité, nous calculons, pour chaque Γ la borne supérieure de p-value du test de Wilcoxon (fonction senWilcox dans R) :

<table><caption>Tableau 26 : Analyse de sensibilité sur le score de bien-être wel11</caption><thead><tr><th>Γ</th><th colspan="2">Intervalle des valeurs possibles de θi</th><th>pval borne sup</th></tr></thead><tbody><tr><td>1</td><td>0,50</td><td>0,50</td><td>&lt; 0,001</td></tr><tr><td>1,5</td><td>0,40</td><td>0,60</td><td>&lt; 0,001</td></tr><tr><td>1,9</td><td>0,35</td><td>0,65</td><td>0,013</td></tr><tr><td>2</td><td>0,33</td><td>0,67</td><td>0,042</td></tr></tbody></table>

Pour une valeur Γ critique Γ = 2, où la probabilité d'assignation au traitement peut varier de 33% à 67% malgré la réalisation de notre appariement, on peut toujours rejeter l'hypothèse nulle d'absence d'effet de mesure dans le groupe apparié.

Les résultats issus de ces deux analyses montrent la robustesse de notre hypothèse d'effet de mesure dans le comportement de réponse sur ces variables au regard des valeurs Γ critiques élevées dans les analyses de sensibilité.

En fait, un enjeu important pour la maîtrise et la prise en compte fine des effets de mesure réside dans la conception de l'enquête. Un design d'enquête adapté et dédié à ces analyses peut être mis en place en amont pour de meilleures estimations en aval. Le protocole doit être pensé de manière à disposer de plusieurs échantillons représentatifs de la même population cible mais avec des cadres méthodologiques différents qui impactent le mode de collecte utilisé.

L'étape de conception de l'enquête multimode a donc une importance particulière pour estimer l'impact d'un effet de mesure sur une grandeur d'intérêt. Sans design dédié, comme c'est le cas pour ERFI 2, l'effet de mesure peut être discuté et sa correction relève donc d'hypothèse qui ignore les mécanismes de non-réponse endogène.

## 4. Utilisation et industrialisation des méthodes dans le cadre d'une enquête quantitative

Les méthodes de correction mises en place pour les variables d'intérêt sur les troubles de la santé mentale présentent une certaine robustesse méthodologique par rapport aux hypothèses exposées mais il est aussi important de se positionner du point de vue de l'utilisation des données pour en mesurer la pertinence.

Pour la mise à disposition des données, un travail a été mené afin d'identifier les variables sujettes à un effet de mesure sur l'ensemble de questionnaire ERFI 2. Cette approche permet d'avertir les
<figure><img src="image_14.png" /></figure>

utilisateurs sur les potentiels effets de mesure.

La question de la prise en compte de ces biais est plus épineuse. D'un point de vue pratique, il est
possible de fournir une variable imputée dans la base pour toutes les variables dont l'effet de mesure
est important et démontré. Cependant, l'industrialisation d'une méthode d'imputation pose question
sur certains points :

- Elle parait complexe tant les effets peuvent varier d'une question à l'autre, et de fait la mise en pratique nécessite d'être adaptée à chaque cas spécifique.

- Elle repose sur des hypothèses discutables et parfois même non vérifiables selon le protocole d'enquête mis en place.

- Elle doit répondre aux enjeux des travaux menés par les utilisateurs de données.

Ce dernier point est crucial car si, d'un point de vue économétrique, il est possible de justifier la mise en place de telles opérations, ce n'est pas forcément le cas au regard de l'exploitation de données d'enquêtes en sciences sociales.

En effet, ces méthodes sont utiles pour obtenir une estimation précise d'indicateurs à partir d'une valeur de référence, mais elles peuvent se révéler moins adaptées à nos enquêtes lorsque l'on considère que les biais de réponse font partie intégrante du dispositif d'enquête. La prise en compte des effets de mesure ne concerne en réalité qu'un type de biais, alors que plusieurs formes de biais entrent en jeu et sont, dans une certaine mesure, inhérentes au processus d'enquête. Si l'estimation de ces effets est indispensable pour les documenter, leur correction demeure sujette à débat.

Par ailleurs, la démarche dans laquelle nous nous inscrivons est bien adaptée aux enquêtes transversales, mais elle présente des limites pour les enquêtes longitudinales telles qu'ERFI 2. En effet, l'imputation peut s'avérer problématique pour le suivi des tendances du panel, notamment lorsqu'il s'agit de comparer des vagues successives pour des individus dont les données auraient été imputées lors d'une précédente collecte.

L'ajustement par calage que nous proposons présente l'avantage de ne pas modifier les réponses, ce qui est déontologiquement plus acceptable que l'imputation. Par ailleurs, nous cherchons à fournir un jeu unique de poids capable d'atténuer l'effet de mesure sur un ensemble de variables appartenant à une même thématique. L'objectif est de simplifier la manipulation des données, en évitant d'avoir une pondération différente pour chaque variable.

Là encore, cette méthode n'est pas exempte de difficultés. Au-delà de la recherche d'une estimation fiable des grandeurs d'intérêt, se pose la question du choix de la variable de pondération à utiliser lors des croisements portant sur des sous-groupes de répondants. En effet, si les pondérations proposées sont pertinentes pour les variables relatives aux troubles de la santé mentale, car elles permettent d'atténuer l'effet de mesure, elles ne le sont pas nécessairement pour d'autres variables et risquent de fausser les estimations croisées pour certaines sous-populations.
# Annexe - Comparaison des estimations totale selon la pondération pour les variables wel11 (en %)

<figure><img src="image_15.png" /><figcaption>Figure 10 : Comparaison des estimations totale selon la pondération pour la variable wel11c (en %)</figcaption></figure>

<figure><img src="image_16.png" /></figure>
<figure><img src="image_17.png" /><figcaption>Figure 12 : Comparaison des estimations totale selon la pondération pour la variable wel11e (en %)</figcaption></figure>

<figure><img src="image_18.png" /></figure>
Bibliographie

[1] Butori R., Parguel B., « Les biais de réponse - Impact du mode de collecte des données et de l'attractivité de l'enquêteur », AFM, 2010.

[2] Castell L., Sillard P., « Le traitement du biais de sélection endogène dans les enquêtes auprès des ménages par modèle de Heckman », document de travail, Insee, 2021.

[3] Castell L., Clerc M., Croze D., Legleye S., Nougaret A., « Victimations déclarées et effets de mode : enseignements de l'expérimentation panel multimode de l'enquête Cadre de Vie et Sécurité », document de travail, Insee, 2023.

[4] Cissé M., Barret C., « Agrégation de données multimode : Impact sur la modélisation des variables présentant un effet de mesure », 13èmes Journées de Méthodologie Statistique, 2018.

[5] Cottrell G., Cot M., Mary J.-Y., « L'imputation multiple des données manquantes aléatoirement : concepts généraux et présentation d'une méthode Monte-Carlo », Revue d'épidémiologie et de Santé Publique, Volume 57, Issue 5, pages 361-372, 2009.

[6] Dabet G., Mazari Z., Oujia I., « Estimation et décomposition de l'effet de mode dans les enquêtes multimodes (Internet / Téléphone) », 14èmes Journées de Méthodologie Statistique, 2022.

[7] Drapeau A., Rousseau C., Boivin J. F., « Mesure de la santé mentale dans une enquête longitudinale populationnelle », Connaître, débattre et décider : la contribution d'une Enquête Socioéconomique et de Santé Intégrée et Longitudinale (ESSIL), Institut de la statistique du Québec, chapitre 2, p. 89-117, 2005.

[8] Krosnick J. A., Narayan S., Smith W. R., « Satisficing in surveys : Initial evidence », New directions for evaluation, n° 70, 1996.

[9] Legleye S., « Agrégation de données multimodes : un état des lieux et une proposition pragmatique pour contrôler l'effet de mesure », Insee, 2018.

[10] Longford N. T., « Exemples d'imputations multiples », Recueil du symposium 2002 de Statistique Canada, Statistique Canada, 2002.

[11] Quantin S., « Estimation avec le score de propension sous R », Méthodologie statistique, document de travail, Insee, 2018.

[12] Quantin S., Court L., « Discuter l'existence d'un effet de sélection dans un cadre multimode grâce à une analyse de sensibilité : application aux enquêtes annuelles de recensement », document de travail, Insee, 2024.

[13] Quantin S., Court L., « Peut-on estimer un effet de mesure sur une enquête à partir d'un essai croisé AB/BA : la question de la non-réponse non ignorable dans l'enquête test Emploi du temps », document de travail, Insee, 2025.

[14] Razafindranovona T., « La collecte multimode et le paradigme de l'erreur d'enquête totale », Méthodologie statistique, document de travail, Insee, 2015.

[15] Rosenbaum P., « Design of Observational Studies – Second Edition », Springer Series in Statistics, 2021.

[16] Rozenzweig A., Razafindranovona T., Guedj H., Quiviger A., Zilloniz S., « Effets de mode relatifs aux victimations et aux perceptions en matière de sécurité : estimations à partir de l'enquête Genre et Sécurité (GENESE) », 14èmes Journées de Méthodologie Statistique, 2022.