# Sait-on concevoir une bonne enquête auprès des ménages ?

Daniel Verger

► To cite this version:

Daniel Verger. Sait-on concevoir une bonne enquête auprès des ménages ?. Courrier des Statistiques, 2009, 126, pp.11-19. hal-05399567

HAL Id: hal-05399567

https://insee.hal.science/hal-05399567v1

Submitted on 5 Dec 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Sait-on concevoir une bonne enquête auprès des ménages ?

<figure><img src="image_2.png" /></figure>

Daniel Verger<fnref n="1" />

La qualité d'une enquête statistique dépend d'une chaîne dont chaque maillon est important, une succession de petits défauts pouvant conduire à des catastrophes. La présente contribution en examine un aspect fondamental : le « colloque singulier » entre l'enquêteur et l'enquêté.

## De plus en plus d'attentes pour un protocole qui n'a rien de naturel

Les attentes vis-à-vis de la statistique se diversifiant, les enquêtes auprès des ménages sont en forte évolution.

Les sujets abordés touchent de plus en plus souvent des domaines sensibles, voire intimes. Les populations sélectionnées le sont de plus en plus parmi des groupes complexes d'accès. Alors que les ménages sont de plus en plus mobiles, donc difficiles à joindre, les pouvoirs publics, ainsi d'ailleurs que l'opinion, ne tolèrent plus un instrument imprécis, témoignant ainsi d'une attente sans doute disproportionnée vis-à-vis d'un type d'outil qui, par nature, superpose beaucoup de bruit au signal.

## Une chaîne complexe de tâches

Une enquête auprès des ménages est une chaîne complexe de tâches : échantillonnage, rédaction du questionnaire, collecte terrain, apurement et exploitation (voir article de Pascale Pietri dans ce numéro). La qualité d'une telle enquête doit être appréhendée de façon globale, chaque maillon ayant son rôle à jouer.

Mais mesurer de façon précise l'impact résultant de tel ou tel défaut est loin d'être simple. La meilleure preuve en est sans doute fournie par les débats qui ont suivi l'exploitation des données de l'enquête internationale sur le « littérisme » réalisée sous

l'égide de l'OCDE en 1994, à savoir l'enquête IALS (International Adult Literacy Survey), qui avait identifié. 41 % d'illettrés en France, contre 14 % en Allemagne, ce qui plaçait la France en queue de classement avec la Pologne !

Deux grands audits ont alors été commandités qui, joints aux publications méthodologiques publiées par les équipes conceptrices (américaines et canadiennes), forment un appareil critique d'une ampleur rarement atteinte mais qui peine à quantifier les effets des divers défauts relevés.

L'un des audits souligne l'importance primordiale des défauts au niveau de la méthodologie statistique (échantillonnage, calage, redressement) tout en reconnaissant que les enquêtés n'ont pas vraiment adhéré à l'opération (une enquête auprès des enquêteurs a fait apparaître que nombreux ont été ceux qui ont répondu n'importe quoi pour se débarrasser du livret d'exercices).

A l'inverse, le second audit croit déceler les principales causes de l'échec de l'opération dans la rédaction des épreuves et dans l'existence de biais

culturels (A. Blum et F. Guérin - Pace 2000).

L'importance des effets de contexte est également mise en lumière, avec des cas de refus implicite du protocole : on donne son savoir-faire, omettant, voire refusant, de se référer au texte. Toute fausse qu'elle puisse être dans l'optique de l'enquête, une réponse de ce type n'est pas toujours un symptôme de difficulté de compréhension : certes, ce peut être une stratégie d'évitement, mais ce peut être aussi un signe d'éveil et d'esprit critique : on a compris le texte mais on rejette ses conclusions !

L'analyse synthétique qui a été conduite ultérieurement sur ces données contestées fait émerger d'autres sources d'erreurs. Dans IALS, les très diplômés et les esprits critiques peuvent « se planter » à force de « chercher midi à quatorze heures » (Verger 2004). Dans des enquêtes plus classiques, ils peuvent aussi avoir tendance à se poser des questions sur les limites d'un concept que d'autres ne se poseront pas.

Quand, dans l'enquête Histoire de vie, on obtient comme résultat que ce sont les adolescents des milieux diplômés qui déclarent le plus d'attitudes négatives voire violentes à leur encontre, c'est sans doute qu'ils sont davantage enclins à concevoir la violence dans toutes ses manifestations (y compris symboliques ou verbales) alors que des personnes issues de milieux plus modestes se cantonnèrent à déclarer les seules violences

<figure><img src="image_3.png" /></figure>

Source : Insee

<caption>Le premier contact</caption>

<footnote n="1">1. Daniel Verger est le chef de l'unité des Méthodes statistiques à l'Insee.</footnote>
physiques (le « cœur » du concept). Cet aspect sera analysé en détail dans l'article consacré à la rédaction du questionnaire, dans ce même numéro du *Courrier des statistiques*.

Des diverses analyses menées sur IALS on peut tirer sans risque d'error la conclusion que la catastrophe au niveau des résultats a été causée par la conjonction d'une multitude de petits défauts à chaque étape de la chaîne, sans que l'on soit capable de quantifier l'impact spécifique de chaque problème. On peut toutefois être séduit par l'hypothèse selon laquelle l'importance primordiale pourrait bien provenir du protocole de collecte, insuffisamment contrôlé : une fois éliminés certains exercices manifestement erronés, on a pu prouver que les taux de réussite aux exercices d'IALS étaient fortement dépendants de ce protocole. On reviendra sur ce point ultérieurement en conclusion de cet article à propos de la mise en place de l'enquête Information et Vie Quotidienne (IVQ) (Vallet et al. 2002).

## Le maillon central : l'interaction enquêteur-enquêté

D'autres contributions explorent les phases d'échantillonnage (Vincent Loonis), de rédaction du questionnement (Daniel Verger), de mise au point du protocole de collecte et la

conduite de projet (Pascale Pietri) ou de traitement statistique aval (Dominique Place dans un prochain numéro). Dans le présent article, c'est principalement au maillon central, l'interaction enquêteur-enquêté, que l'on s'intéressera.

Moins étudiée que la méthodologie d'échantillonnage, car il s'agit d'une phase complexe, impossible à réduire en formules, elle est toutefois essentielle dans la qualité finale. Car, quand on y réfléchit, répondre à une enquête résulte d'une démarche assez artificielle ; une enquête est une interaction sociale d'un genre tout à fait particulier : deux personnes qui ne se connaissent pas s'engagent dans un échange verbal au cours duquel vont être abordés des sujets qui peuvent être intimes, qui peuvent toucher des points sensibles que parfois on dissimule même (surtout ?) à ses proches.

L'une de ces personnes (l'enquêté) est plus ou moins obligée de répondre au nom du devoir civique, conforté par une menace latente d'amende. L'autre (l'enquêteur) n'a ni la formation d'un psychanalyste ni celle d'une assistante sociale et ne ressemble au prêtre recevant la confession que par le secret professionnel auquel il est astreint.

Quand on ne pose de questions que sur la possession d'un réfrigérateur ou d'une voiture la difficulté de l'exercice n'est pas bien grande. Il en va tout autrement quand on s'intéresse à l'historique des partenariats sexuels, à la mesure du vieillissement physique ou intellectuel ou des difficultés en littérisme. Dans ce dernier cas, c'est une véritable gageure puisqu'il s'agit de mesurer l'ampleur d'un phénomène que les personnes concernées cherchent en général, dans leur vie quotidienne, à dissimuler aux autres par tout un arsenal de pratiques d'évitement !

L'élément clef, outre le professionnalisme des enquêteurs qui sont dotés d'une grande capacité d'écoute et savent encourager les confidences, gît sans doute dans l'anonymat de la relation : on se confierait plus aisément

à un inconnu que l'on ne reverra jamais (sauf cas d'enquête par panel qui pose un problème spécifique) qu'à un proche.

Certaines études américaines semblent ainsi montrer que, pour des questions touchant à des pratiques à risque pour la santé (drogue, pratiques sexuelles « déviantes »), on était plus sincère avec un inconnu qu'avec son médecin. Ceci avait été prouvé pour des personnes indiquant à leur médecin qu'elles avaient arrêté la drogue alors qu'elles avaient répondu à un enquêteur anonyme qu'elles continuaient à ingérer des substances illicites. Les analyses, incluses dans le protocole d'observation, avaient montré que c'était avec l'enquêteur que les personnes s'étaient révélées sincères, la difficulté avec son médecin étant en effet de lui avouer que l'on n'avait pas suivi les conseils prodigués...

## Obtenir et maintenir la participation du ménage : les comportements des acteurs de la collecte permettent-ils l'émergence de la vérité ?

Concevoir un bon protocole d'enquête, c'est en premier lieu réussir à obtenir la participation de la totalité de l'échantillon. En effet, même si on part d'un échantillon doté de toutes les bonnes propriétés statistiques souhaitables (cf. article de Vincent Loonis dans ce numéro), échantillon qui donc est tout à fait à même de représenter la diversité de la population, le résultat sera de piètre qualité si les personnes refusant l'enquête ont un profil qui leur est propre.

En termes techniques, on parle de « non-réponse non ignorable ». En termes littéraires, cela signifie que l'on ne peut extrapoler simplement la population des répondants pour en inférer des conclusions sur l'ensemble du champ. Or, ce que l'on attend du statisticien c'est bien de quantifier des effets sur l'ensemble de la population pas sur le champ des gens qui ont répondu à l'enquête ! Une grande

<figure><img src="image_4.png" /></figure>

Source : Site Photo libre

<caption>Scène de la vie quotidienne, promenade</caption>
<figure><img src="image_5.png" /></figure>

Source : Insee

<caption>Lecture à la bibliothèque</caption>

attention doit ainsi être apportée à
la lettre-avis envoyée aux ménages
sélectionnés, à ce courrier qui est le
premier contact de l'enquêté avec
l'opération et qui doit le convaincre
d'ouvrir sa porte à l'enquêteur, ou de
décrocher son téléphone pour répon-
dre à son appel, de donner de son
temps et d'accepter de jouer le jeu
de la sincérité au cours de l'entretien
et du jeu de questions/réponses qui
s'ensuivra.

Ce premier registre de ce qui a trait à la qualité d'une collecte, qui concerne la **non-réponse globale** (incluant les cas d'impossibles à join-dre, d'absents de longue durée et les refus d'emblée) est si important que jusqu'à présent c'est le seul qui ait donné lieu à établissement d'indicateurs quantifiés (le taux de réponse). Il est peu sensible à la qualité intrinsèque du questionnaire, sauf aux problèmes liés à la longueur du questionnement qu'il faut bien, au moins dans les grandes lignes, abord der dès la prise de contact, « collecte loyale » oblige.

Les techniques à la disposition du
statisticien sont les mêmes quel que
soit le sujet car les refus sont rare-
ment liés au thème de l'enquête. Il
s'agit :

- de relancer le ménage réticent ;

- de faire en sorte que des rencon-
tres enquêteur-enquêté puissent se
faire en dehors du logement de la
personne (il n'est pas exceptionnel
que le facteur bloquant ne soit pas
tant le refus de participer à l'opération
que celui de faire entrer un inconnu
dans le sanctuaire que représente le
domicile privé) ;

- d'inciter l'enquêteur à la persévé-
rance dans sa prise de contact par
une rémunération bien conçue...

Il faut d'ailleurs, dans cette phase, se
garder de trop faire référence au sujet
de l'opération, de trop attirer l'atten-
tion sur les utilisations possibles, par
exemple par l'État. Une telle sincé-
rité peut générer des effets induits
contreproductifs, en attirant de façon
disproportionnée des « militants »
passionnés par le thème ou particu-
lièrement concernés par le sujet, et
en incitant les répondants à dégui-
ser leurs vrais comportements, leurs
opinions profondes dans des buts
stratégiques, afin d'essayer d'orien-
ter les décisions dans le sens qu'ils
souhaitent.

Ce qui se passe une fois franchie
la première étape, une fois obtenue
l'acceptation, est plus intéressant à
analyser car, même si ce n'est pas
actuellement mesuré par des indica-
teurs quantifiés, c'est essentiel à la
qualité des données collectées. La
rédaction du questionnaire joue de
façon extrême sur le second point,
qui concerne la **qualité de cette
réponse** (incluant la non-réponse
partielle, la précision et la sincérité
des réponses...).

Les phénomènes en jeu nécessitent
d'arbitrer entre des exigences contra-
dictoires :

- il faut maintenir l'adhésion de l'en-
quêté car, à tout moment, il peut déc-
der de quitter le jeu (surtout lors des
enquêtes réalisées au téléphone car il
est plus facile de raccrocher que de
faire sortir de chez soi quelqu'un qui
y est installé) ;

- mais il faut aussi bien préciser le
sens des questions pour éviter les
contresens ;

- il faut aller vite pour ne pas lasser ;

- mais aller assez lentement pour
laisser à l'enquêté le temps de réflé-
chir, le temps de faire l'exercice de
mémoire qui lui est demandé...

Plusieurs centaines d'enquêteurs sont
envoyés sur le terrain pour la réalisa-

tion de l'enquête. Mais le protocole
prévu ne sera correctement appliqué
que s'il est en quelque sorte « natu-
rel », s'il ne va pas à contre courant de
ce qui se passe « normalement » lors
d'une conversation. Vouloir contrain-
dre l'enquêteur et l'enquêté à se
comporter, pendant toute la durée
de l'entretien, de façon contraire à ce
qui correspond à leur spontanéité est
voué à l'échec.

Toute la difficulté est là : concevoir un
protocole qui allie rigueur scientifique
et respect des conditions tout à fait
spéciales d'un entretien d'enquête.
Un questionnaire, un protocole peu-
vent être parfaitement opérationnels
en conditions de laboratoire et ne
pas fonctionner sur le terrain : entre
évaluer les compétences en compré-
hension d'un élève dans le cadre de
l'école, en situation d'examen, et réa-
liser la même mesure pour un adulte,
chez lui, ses proches étant présents,
les difficultés sont sans commune
mesure.

On retrouve la question déjà évoquée de la motivation de l'enquêté et, en réaction, de l'attitude de l'enquêteur qui en découle. Répondre à un questionnaire ne procure au ménage enquêté qu'une certaine satisfaction du devoir civique accompli ou, plus fréquemment, le sentiment d'avoir été ouvert vis-à-vis de l'enquêteur. L'interaction d'enquête est un élément de sociabilité. L'enquêteur en est conscient qui veille à maintenir la qualité du contact. Le plus souvent, son ambition est de soutenir l'intérêt de son interlocuteur jusqu'à la fin et que chacun se sépare sur une note positive. Pour ce faire, quand il sent que le ménage décroche, s'ennuie, voire s'impatiente, il a tendance à chercher des moyens d'abréger. Il en résulte parfois des reformulations abusives, des réponses « suggérées », et finalement des « effets enquêteurs » qui peuvent parfois dépasser la limite acceptable, lorsque certains s'arrogent le droit d'outrepasser les consignes de collecte, sûrs de leur parfaite connaissance du terrain et persuadés qu'ils savent mieux que le concepteur ce qui convient à l'enquêté.
## Questionnaire fermé versus entretien semi-directif ?

Pour bien comprendre la spécificité de la relation qui s'établit au cours d'une enquête statistique, il n'est pas inutile de s'interroger sur les ressemblances et les différences avec un autre exemple d'interaction fréquemment utilisée en sciences sociales pour collecter de l'information, l'entretien semi-directif.

Au départ la situation est assez proche : le sujet est abordé au cours d'un entretien entre deux personnes qui ne se connaissent pas. Les différences surviennent après. Dans l'enquête par questionnaire fermé, la formulation précise des questions est impérative ainsi que l'ordre de passation qui s'enchaîne par le jeu mécanique des filtres. Les contrôles de cohérence interne sont programmés à l'avance et font partie intégrante du protocole. Enfin, l'enquêteur est un spécialiste de ce type d'entretien mais, malgré le soin apporté à sa formation spécifiée sur le thème de l'opération, n'est en rien un spécialiste du domaine.

Dans l'entretien semi-directif, c'est la grille d'entretien qui joue le rôle du questionnaire mais il s'agit seulement d'une liste de thèmes que le chercheur doit veiller à aborder au cours du dialogue. La forme des questions, le moment d'aborder le sujet sont laissés à l'appréciation du chercheur. Il est, lui, spécialiste du domaine traité, en mesure de juger de la meilleure façon d'adapter le questionnement aux particularités de son interlocuteur. Le secret d'une bonne passation est également l'attention portée par le chercheur aux réticences, aux contradictions internes, aux ellipses échappatoires : c'est ce qui lui permet de rebondir, de faire évoluer le dialogue avec une souplesse qu'il serait dangereux de laisser à un enquêteur généraliste justement parce qu'il n'est pas un spécialiste du domaine.

Tout l'aspect « reformulation », sur lequel on reviendra, est en fait la transformation par l'enquêteur du protocole fermé en ce qui ressemble à un entretien semi-directif mais sans ce qui rend ce mode de collecte effi-

cace, à savoir le fait qu'il soit conduit par un spécialiste du domaine.

De fait, les rares exemples disponibles où l'on peut comparer les performances respectives des deux modes d'investigation (Battagliola 1994) concluent à la convergence globale des méthodes quand elles sont conduites selon les règles.

Les exemples de divergences portent sur des détails souvent omis spontanément et qui, pour émerger, ont besoin de la relance vigilante faite par le chercheur. Ainsi, certains petits épisodes d'emplois, de chômage ou de maladie ne reviennent en mémoire de la personne interrogée que quand son interlocuteur pointe le doigt vers des trous dans les épisodes biographiques spontanément déclarés.

Ces études comparatives indiquent bien, à la fois, les limites de l'instrument « enquête par questionnaire fermé » et ses mérites. Au total, c'est un instrument légitime de l'observation en sciences sociales, sous réserve que le protocole respecte un ensemble de bonnes pratiques qui, pour ne pas être formalisées, n'en sont pas moins impératives.

Mais de fait la question de la reformulation reste ouverte : le défi est-il accessible ou la barre est-elle située si haut qu'on ne peut espérer la franchir ?

## La reformulation : le mal est-il évitable ?

Le problème de la reformulation par un enquêteur généraliste est crucial pour la qualité mais extrêmement difficile à traiter. A quelle question correspond, en fin de compte, la réponse obtenue ? N'est-elle pas souvent très différente de celle qui figure dans le questionnaire testé et validé ? Il n'y a pas unanimité sur ce point. D'un côté, les pratiques, majoritaires au sein des instituts privés, qui tendent à bannir complètement toute reformulation. De l'autre, les avis de certains méthodologues qui considèrent qu'une « reformulation zéro » n'a aucun sens et qu'il faut savoir

s'adapter à ce que la personne que l'on a en face de soi est capable de comprendre.

Force est de reconnaître qu'en l'état actuel des questionnaires lancés sur le terrain, une reformulation zéro est tout simplement impossible car il reste encore trop de formulations qui, pour être rigoureuses, n'en sont pas moins difficiles sinon toujours à comprendre du moins à lire et à écoueter. Respecter à la lettre les questionsitions prévus conduit souvent à des entretiens pénibles, lassants. Des accompagnements récemment conduits sur l'enquête Emploi ont même mis en évidence une corrélation négative entre la capacité de l'enquêteur à motiver le répondant et son degré de respect de la lettre du questionnaire (Pariente 2008). Et, la plupart du temps, la reformulation proposée était inoffensive sur le fond, bénéfique sur la forme et même si naturelle que l'enquêteur n'avait aucunement conscience d'avoir reformulé. On a pu observer que ces enquêteurs qui reformulaient constamment affirmaient en toute sincérité qu'il était indispensable de respecter le questionnement voulu par le concepteur !

L'inconvénient de laisser libre cours à ce type de pratiques tient principalement dans l'hétérogénéité introduite entre enquêteurs qui reformulent chacun à leur propre manière et l'impossibilité qu'il y a à tracer la limite entre reformulation inoffensive, voire bénéfique, et reformulation à proscrire car modifiant profondément le sens de la question.

Si le traitement du problème de la reformulation est si difficile c'est sans doute parce qu'elle procède d'une démarche bien intentionnée de la part de l'enquêteur. D'ailleurs un enquêteur à qui l'on reprochait ses reformulations a nié en disant qu'il faisait simplement une mise en français parlé d'un texte conçu pour être lu.

Deux exemples, tous deux tirés de l'enquête Emploi, préciseront ce propos.

À la question relative à la durée du travail, nombre d'enquêteurs ont
remarqué que la réponse spontanée omettait souvent les jours fériés survenus lors de la semaine observée ; certains relancent spontanément, ou ajoutent à la question une précision du type « combien d'heures avez vous travaillé la semaine du ... ; c'était la semaine de l'Ascension, ou de Pâques, avec des jours fériés » ce qui permet d'obtenir une meilleure qualité, le seul inconvénient étant l'hétérogénéité entre enquêteurs ; animée du même souci de bien faire, une enquêtrice a développé une stratégie autour de la question relative à l'exercice, la semaine observée, d'un travail non rémunéré, question qui est mal comprise, le concept étant trop abstrait ; face à une femme répondant par la négative, une relance était faite du type « vous n'avez pas fait la cuisine, le ménage, ... »

Là, évidemment, le résultat est négatif : la relance est partielle (le bénévolat n'est pas cité, de même que le bricolage ou le jardinage) et ciblée sur une sous population (pas de relance envers les hommes) ce qui rend la réponse inexploitable... Mais dans les deux cas, la faute est à chercher du côté du questionnaire et de la formation dispensée aux enquêteurs. Le questionnaire, dans le premier exemple, n'a pas prévu de systématiser une relance opportune et, dans le second, n'a pas suffisamment explicité le concept à mesurer. Dans les deux cas, la formation n'a pas suffisamment indiqué à l'enquêteur le but poursuivi par la question.

Un bon questionnaire doit réduire au maximum le nombre de cas où une reformulation s'impose. Resteraient uniquement alors les questions intrinsèquement plus complexes pour lesquelles il n'existe pas de façon simple de poser la question sans risquer de dénaturer la réponse. Il faudrait que le concepteur propose lui-même les reformulations acceptables. On pourrait imaginer deux ou trois versions de la question, de la plus précise qui est aussi la plus complexe jusqu'à une version simplifiée, correspondant à une qualité dégradée mais qui reste préférable à une non-réponse. C'est au concepteur qu'il échoit de rédiger un questionnaire fluide, vivant, et

nous verrons infra quelques moyens à sa disposition. Proche de la reformulation, la pratique consistant à remplacer la question par une sorte d'affirmation pour laquelle on demande confirmation répond elle aussi au souci de ne pas choquer l'enquêté, de maintenir sa bonne volonté avec, à nouveau, des conséquences qui peuvent être graves car à force de suggérer les réponses on norme la réalité.

Citons à nouveau quelques exemples.

Face à un ménage présentant toutes les caractéristiques de l'aisance financière, au lieu de poser les questions relatives à la « déprivation » matérielle sous la forme prévue « vos moyens financiers vous permettent-ils de manger de la viande ou du poisson tous les deux jours ? », l'enquêteur choisit une forme qu'il pense être plus admissible par son interlocuteur : « compte tenu de vos revenus, vous ne devez pas avoir de difficulté à acheter de la viande ou du poisson tous les deux jours, n'est-ce pas ? » En l'occurrence, le risque de biais n'est pas énorme. Il le devient quand, animé de la même intention, l'enquêteur transforme la question « qui fait la vaisselle ? » en « Je pense que c'est Madame qui fait la vaisselle » quand il s'adresse à l'homme du couple. Un bon protocole doit anticiper ce type de dérive bien intentionnée de la part de l'enquêteur et y apporter une réponse conçue en pleine connaissance de cause, en plein accord avec le but poursuivi.

Un type analogue de dérive bien intentionnée peut trouver son origine dans le comportement de l'enquêté, qui peut produire une information erronée par volonté de (trop) bien faire. Une telle affirmation a de quoi surprendre. On imagine en effet aisément que l'enquêté peut manquer de « franchise », par souci de se montrer sous un jour favorable, pour dissimuler des comportements dont il serait peu fier ou qu'il préfère taire par pudeur. Que l'enquêté puisse avoir tendance à reconstruire le passé dans les entretiens rétrospectifs, qu'il puisse omettre

des événements ou des possessions pour gagner du temps et raccourcir l'entretien, qu'il puisse aussi avoir des arrière-pensées stratégiques ne saurait surprendre.

Par contre, on se représente moins bien ce que peuvent être ces biais « bien intentionnés » : le meilleur exemple provient sans doute d'observations faites lors de l'enquête de l'Insee sur les Emplois du temps. Certains enquêtés ont changé la journée à décrire, sous prétexte qu'elle n'était pas « représentative » car exceptionnelle : il s'agissait de cas de mariage, de fêtes ou de jours de maladie, détruisant une représentativité « macro » au nom d'une représentativité « micro ». Un cas voisin, bien qu'un peu différent, provient de ce que l'enquêté simplifie son discours pour dire ce qu'il considère comme essentiel compte tenu de ce qu'il comprend de l'objectif de l'enquête. L'enquêteur et l'enquêté s'entendent ainsi, à force de bonnes intentions, à biaiser l'observation dans le sens de ce qui est normal, habituel, fréquent. Le processus d'enquête a une tendance naturelle à éliminer les petites variations de comportement, à les normer, à renforcer les archétypes.

Faire émerger la sincérité lors de la collecte peut nécessiter de mettre en place des protocoles complexes, visant en particulier à isoler le couple enquêteur-enquêté. Cette nécessité apparaît dans plusieurs types de situations, qu'il s'agisse de traiter de sujets comme les unions antérieures, le chômage, les violences intrafamiliales ou la santé. Des procédures particulières doivent être envisagées pour tous types de domaines où l'information ne circule pas nécessairement au sein du foyer, ou s'il s'agit de mesurer des performances à l'abri de tout facteur perturbant, aide ou distractions induites par l'environnement lors de la passation des tests.

Dans ce registre aussi, quelques points importants sont contestés, en particulier ce qui est relatif à l'incidence du mode de collecte : est-on plus sincère en face-à-face ou au téléphone, avec enquêteur ou en
dépôt-retrait d'un questionnaire auto-
administré ?

On pense couramment qu'il est plus
facile d'aborder au téléphone des
questions intimes, comme les pra-
tiques sexuelles. Pourtant l'enquête
de l'Ined sur ce sujet a abouti à des
déclarations de nombres de partenai-
res, par les hommes et par les fem-
mes, incompatibles, plus élevé dans
les déclarations masculines, comme
si le téléphone n'avait pas réussi à
faire émerger la sincérité. Pour des
sujets comme l'alcoolisme, l'auto-
questionnaire remis dans une enve-
loppe cachetée ou expédié directe-
ment sans passer par l'enquêteur a
des vertus qui le font adopter par de
nombreuses équipes conceptrices.

Des innovations techniques récentes élargissent désormais la gamme de ce qu'il est possible de faire : l'écoute directe sous casque de questions qui ne s'affichent pas à l'écran et qui garantissent le total anonymat vis à vis tant de l'enquêteur que de l'entourage de l'enquêté permettent d'aborder des sujets sensibles avec le meilleur gage d'obtention de la sincérité (mesure des agressions sexuelles et de la violence intrafamiliale pour l'enquête Cadre de Vie et Sécurité).

Même en l'absence de toutes ces
sources de biais bien identifiés, la col-
lecte peut voir sa qualité réduite par
le fait que l'enquêteur n'a pu obtenir
l'entretien avec la personne qui aurait
été l'informateur optimal, si tant est
d'ailleurs qu'il soit licite de parler au
singulier dans ce cas.

Jusqu'ici, en effet, on a fait l'impasse
sur les problèmes posés par le fait
qu'un ménage est un collectif d'indi-
vidus plus qu'une entité homogène.
Certaines questions relatives au
ménage dans son ensemble exigent
de fait de faire la synthèse d'informa-
tions qui sont détenues par les indivi-
dus eux-mêmes. Par exemple, pour
connaître les dépenses du ménage, il
faut collecter de l'information sur les
dépenses des enfants, pas toujours
connues de la maîtresse de maison
qui, elle, est généralement la bonne
informatrice pour les dépenses col-
lectives du foyer.

Mais les avis divergent sur la conduite
à tenir : doit-on s'en tenir à la recher-
che des informateurs optimaux au
risque de générer au mieux des
coûts supplémentaires, au pire de
la non-réponse ? Doit-on accep-
ter les diverses formes d'entretien
par procuration (comme disent les
Canadiens), par « proxy » en jargon
statisticien ?

A nouveau l'intégrisme statistique ne semble pas de mise. Certes, il faut lutter contre le recours abusif au proxy, surtout s'il est amené, de par le sujet de l'enquête, à répondre sur des domaines qu'il connaît mal, en particulier les opinions d'autrui. Mais on ne peut complètement éviter ce recours : dans tous les pays, pour les enquêtes classiques sur l'emploi, le taux de proxy dépasse les 30 % pour les interrogations qui se font en face-à-face.

Une autre question controversée
concerne l'influence de la durée d'en-
tretien sur la qualité, sachant qu'elle
résulte de deux phénomènes agis-
sant en sens inverse, l'apprentissage
et la lassitude. Même s'il est plus
c facile d'imaginer les phénomènes de
lassitude et les biais que cela peut
entraîner, il ne faut pas pour autant
sous-estimer les aspects « appren-
tissage ». Remontent du terrain des
cas non exceptionnels où l'adhésion
s'est renforcée au fur et à mesure
que l'enquêté a pu se convaincre du
professionnalisme de l'approche. La
qualité des premières réponses est
alors loin d'être la meilleure. Au point
que certains enquêteurs essaient de
faire identifier dès le début de l'en-
quête qu'il n'y a rien de commun
entre les questionnaires de marketing
ou d'opinion auxquels ils ont pu être
confrontés et les opérations de la

statistique publique et que les enjeux
justifient une réponse réfléchie et sin-
cère.

Pour garantir contre les dérives
mentionnées et aussi contre les sim-
ples erreurs matérielles (par exemple
des erreurs de saisie des montants
déclarés), le statisticien concepteur
d'une opération d'enquête ne peut
compter sur la vigilance de l'enquê-
teur comme le chercheur compte
sur la sienne propre en entretien
semi-directif. Il est par contre aidé,
ici encore, par la technique, puisque
la mise en place de la collecte assis-
tée par ordinateur a permis d'in-
tégrer phase de collecte et phase
de contrôle, avec des « contrôles
embarqués » dont la conception
fait partie de la mise au point du
questionnaire. A nouveau le remède
n'a rien d'une panacée, les contrô-
les destinés à éradiquer les fausses
transitions risquant de trop lisser
les données. Quand, dans un panel,
on rappelle les éléments constitutifs
de la situation antérieure, on dimi-
nue bien le risque de générer une
rupture artificielle due à des fluc-
tuations incontrôlées dans la des-
cription d'une situation inchangée,
mais on court le risque par là-même
d'inciter le répondant à déclarer,
faussement, que rien n'a changé,
que ce que l'on vient de lui repré-
ciser est toujours valable. Il semble
toutefois que les effets positifs de
ces contrôles embarqués l'empor-
tent sur les quelques inconvénients
et ce même sans introduire dans la
balance les importants gains sur le
volume de travail réalisés) car lors-
que les données brutes sont enta-
chées de trop nombreuses erreurs
d'observation, leur exploitation, mal-
gré l'existence de modèles écono-
métriques de détection et de correc-
tion des valeurs aberrantes, est peu
robuste car, face à des données trop
bruitées, les estimations sont très
sensibles aux hypothèses faites et
aux spécifications retenues.

Un exemple éclairant peut être déve-
loppé à partir des études faites sur
les trajectoires de revenus, en par-
ticulier sur les entrées-sorties de
pauvreté, à partir des données col-
lectées dans le panel européen, à

<figure><img src="image_6.png" /></figure>

Source: Insee

<caption>Entretien en face-à-face</caption>
une période où la collecte n'introduisait pas de contrôles longitudinaux. Dans un tel cas, près des deux tiers des entrées-sorties repérées sont dues à des erreurs d'observation. Le pourcentage de sortie annuelle de pauvreté se situe entre 15 et 37% selon la technique de correction adoptée (Lollivier-Verger 2005) ! Dans l'arbitrage entre un lissage ex post au moment de l'exploitation et un risque de lissage à la collecte, il est vraisemblable que le second risque est moins grave que le premier et donc que les contrôles en collecte doivent être recommandés.

Ainsi, les interactions entre l'enquêteur et l'enquêté conduisent à des résultats de qualité si elles sont canalisées. Mais, si elles ne sont pas maîtrisées, elles risquent de générer des biais rédhibitoires. Cet enseignement est présent avec une force démultipliée dans le cas des enquêtes répétées :

- panels où le même ménage se voit administré le même questionnaire à plusieurs reprises, à un intervalle temporel variant de quelques mois à quelques années ;

- cas où plusieurs individus du même ménage sont enquêtés soit eux-mêmes, mais en présence des autres membres du ménage, soit par l'intermédiaire d'un unique informateur.

« Un répondant averti en vaut deux ». La collecte se présente différemment quand on s'adresse à quelqu'un qui connaît le questionnaire et quand on interroge quelqu'un qui le découvre. Soucieux de lutter contre le risque d'attrition, l'enquêteur est encore plus désireux que d'habitude de pouvoir quitter le ménage sur une note positive. L'enquêté connaissant à l'avance les questions qui peuvent amener à des développements longs ou intrusifs, développe petit à petit la compétence de savoir comment les éviter par une réponse correctement manipulée. L'effet de surprise est un élément qui facilite souvent l'adhésion et la sincérité. Mais quand il a disparu, la difficulté n'en est que renforcée.

C'est donc finalement, sans exagération, un véritable défi, renouvelé à chaque fois, à chaque sujet, qu'un concepteur doit relever s'il veut avoir une chance de mettre au point un protocole d'observation fiable, protocole dont l'élément central est bien entendu le questionnaire, mais qu'il faut appréhender dans son contexte spécifique, celui de la relation entre deux personnes et non pas dans l'abstrait.

<figure><img src="image_7.png" /></figure>

Source: Insee

<caption>La prise de rendez-vous</caption>

## Arguties spécieuses pour théoriciens ou effets réels ?

Les preuves directes permettant de quantifier les effets des améliorations de protocole sont assez rares car on ne dispose pas en général d'opérations méthodologiques permettant de comparer les résultats de protocoles alternatifs sur des échantillons de taille suffisante pour avoir une bonne précision. Les manuels fournissent quelques exemples tirés de la littérature internationale qui prouvent que les effets sont susceptibles d'atteindre une ampleur non négligeable (ordre des modalités, effet mémoire).

Plutôt que de les reprendre, dans le cadre de cet article, il a semblé plus intéressant de donner quelques exemples tirés d'opérations françaises récentes, qui fournissent soit des indications directes sur l'ampleur des phénomènes, soit des indices indirects de celle-ci.

Diverses enquêtes sur les fréquences auxquelles on s'adonne aux pratiques culturelles et sportives ont eu lieu de façon presque concomitante ; les différences mises en lumière (dont un échantillon est donné dans les deux tableaux joints extraits de Landré-

Verger 2006) ont du mal aussi à trouver une explication, mais le lecteur appréciera l'ampleur des écarts, surtout, en précision relative pour les pratiques les moins diffusées. Heureusement, les disparités « toutes choses égales » présentent des différences, mais pas d'incohérences « radicales », ce qui rend les sources en question utilisables, au moins de cette façon.

## Un constat désespérant ou une incitation à l'amélioration ?

S'interroger sur la qualité d'un protocole d'observation, n'est donc en rien un passe-temps de statisticien tatillon. Mais si le constat établi ne doit pas être rejeté comme futile, il ne doit pas non plus inciter à « jeter le bébé avec l'eau du bain ». Les enquêtes, tout imparfaites qu'elles soient, ont toujours su faire la preuve de leur utilité. Mais il faut les utiliser à bon escient et certains objectifs, trop ambitieux, resteront inaccessibles quel que soit le soin mis à la préparation.

Ainsi, parfois, des problèmes de qualité sont détectés, dont les causes restent mystérieuses. C'est le cas du « biais de rotation de l'enquête Emploi en continu », locution technique pour désigner un défaut bien gênant de l'enquête, à savoir le fait que le taux de chômage diffère selon le rang d'interrogation (il est systématiquement plus élevé en première interrogation, avec, selon les trimestres, entre 0,21 et 1,66 pts d'écart). Des phénomènes analogues se retrouvent dans tous les pays avec des ampleurs variables, et personne, à l'heure actuelle, n'a pu proposer une explication convaincante du phénomène et encore moins y remédier.

Les enquêtes statistiques ne peuvent tout mesurer car elles se heurtent à de nombreuses limites inhérentes :

- au contexte (on est chez le ménage, on ne peut éviter les perturbations, le téléviseur qui fonctionne, le téléphone qui interrompt l'entretien, le conjoint ou les enfants qui refusent de s'éloigner...);
- à la diversité des ménages et des enquêteurs (avec en particulier une grande variabilité dans le degré d'adhésion et dans les compétences en compréhension) ;

- aux limites de durée (pour enquêteurs et enquêtés).

Les enquêtes téléphoniques répétées concentrent les difficultés :

- absence de support visuel pour les formulations complexes ;

- caractère plus intrusif (pas de prise de rendez-vous) ;

- plus grande facilité pour l'enquêté d'interrompre l'entretien et donc crainte perpétuelle de l'enquêteur qui essaie d'alléger au maximum quitte à reformuler de façon abusive ;

- et, enfin, création d'un effet d'habitude qui peut inquiéter quant au maintien jusqu'à la fin de la sincérité.

Mais des dangers repérés peuvent plus aisément être contournés : l'expérience de l'enquête Information et vie quotidienne (IVQ) incite à ne pas désespérer et au contraire à faire le maximum d'effort pour la qualité : le coût est certain mais le résultat peut se montrer à la hauteur des espérances.

IVQ est née des réflexions conduites à la suite du fiasco d'IALS. Chaque défaut repéré a été pris en compte et le protocole IVQ s'est efforcé d'y apporter une correction, en traitant toutes les étapes du processus.

Première constatation à relever : lors des tests d'IVQ, on a eu la confirmation que tous les problèmes rencontrés dans IALS pouvaient, si on n'y prenait garde, se produire à nouveau (en particulier la tendance des enquêtés à répondre avec leurs connaissances sans lire les textes ou sans tenir compte de ce qu'ils y ont lu, la difficulté à maintenir l'intérêt et l'implication, à éviter les phénomènes perturbants). Le protocole à mettre au point si on veut éviter « d'aller dans le décor » est une mécanique de précision qui nécessite une parfaite maîtrise du réseau d'enquêteurs.

<table><caption>Tableau 1 - Comparaison des taux de pratique PCV-enquête méthodologique - Île-de-France</caption><thead><tr><th></th><th>Taux enquête PCV (*)</th><th>Taux enquête méthodologique</th></tr></thead><tbody><tr><td>Lecture</td><td>74</td><td>72</td></tr><tr><td>Cinéma</td><td>65</td><td>67</td></tr><tr><td>Écoute musicale</td><td>83</td><td>87</td></tr><tr><td>Randonnée pédestre (¹)</td><td>19</td><td>28</td></tr><tr><td>Course à pied (¹)</td><td>20</td><td>15</td></tr><tr><td>Natation</td><td>34</td><td>55</td></tr><tr><td>Vélo (hors vélo d'appartement) (¹)</td><td>38</td><td>38</td></tr><tr><td>Danse (hors discothèque ou soirée dansante) (¹)</td><td>8</td><td>14</td></tr><tr><td>Théâtre (¹)</td><td>26</td><td>23</td></tr><tr><td>Spectacle de danse ou ballet (¹)</td><td>15</td><td>11</td></tr><tr><td>Comédie musicale, spectacle comique ou de variétés (¹)</td><td>20</td><td>12</td></tr><tr><td>Concert (¹)</td><td>27</td><td>23</td></tr><tr><td>Festival (¹)</td><td>8</td><td>12</td></tr><tr><td>Visite d'un château, d'une église ou d'un monument historique</td><td>56</td><td>56</td></tr><tr><td>Voir une exposition (¹)</td><td>43</td><td>35</td></tr><tr><td>Visite d'un musée (¹)</td><td>39</td><td>39</td></tr></tbody></table>

(¹) : questionnement détaillé selon diverses périodes pour l'enquête méthodologique

Source : partie variable de l'enquête Permanente sur les Conditions de Vie, mai-juin 2003 et enquête méthodologique associée

Champ : individus de 15 ans ou plus, résidant en Île-de-France

<figure><img src="image_8.png" /></figure>

Source : Insee

<caption>Visite de musée</caption>

Parmi les mesures prises, on citera :

- le recours à un échantillon aléatoire, sur adresse, sans possibilité de remplacement ;

- un calage pour correction des fluctuations d'échantillonnage et redressement de la non-réponse totale

conforme aux normes de ce que l'on fait habituellement à l'Insee ;

- un choix d'exercices plus courts, plus variés que dans IALS (un texte en désordre, un texte accompagné de graphiques, un texte long -une page-, un texte court et technique, un suivi d'itinéraire à partir de cartes)
<table><caption>Tableau 2 - Comparaison entre l'enquête Histoire de vie et l'enquête PCV</caption><thead><tr><th rowspan="2"></th><th colspan="2">Pourcentage de pratiquants au cours des douze derniers mois</th></tr><tr><th>Selon l'enquête Histoire de vie</th><th>Selon l'enquête PCV</th></tr></thead><tbody><tr><td>Lire</td><td>67</td><td>68</td></tr><tr><td>Écouter de la musique</td><td>72</td><td>72</td></tr><tr><td>Faire une activité artistique</td><td>19</td><td>27</td></tr><tr><td>Aller au cinéma</td><td>43</td><td>50</td></tr><tr><td>Aller au spectacle</td><td>30</td><td>48</td></tr><tr><td>Regarder la télévision</td><td>88</td><td>97</td></tr><tr><td>Visiter une exposition, musée, monument</td><td>32</td><td>55</td></tr><tr><td>Faire de la marche, des randonnées</td><td>50</td><td>26</td></tr></tbody></table>

Champ : individus 18 ans et plus, France entière

avec un module spécial pour mesurer finement les compétences des « illettrés » (identification de mots, compréhension, production écrite, compréhension orale, numératie avec usage de supports non conventionnels -un boîtier de Compact Disc présentant une liste de chansons ainsi qu'un court texte critique sur leur auteur) ;

- une collecte bien contrôlée avec une entrée en matière non scolaire (programme de TV) avec, après cha-

que exercice, le remplissage d'une grille sur l'attitude du répondant (permettant d'estimer trois composements, de motivation, d'application et de compétence), utilisant à plein les possibilités offertes par Capi (collecte assistée par informatique) avec des exercices distribués un par un (donc pas de possibilité d'exercice sauté), avec une mesure des temps de réflexion et le recours à des « fichiers son » pour tester la compréhension orale.

Pour les enquêteurs, on avait mis au point une instruction très précise sur les conditions de passation (neutralité des attitudes, gestion des éventuelles relances,...) et organisé une formation approfondie.

Les efforts ont été couronnés de succès puisque les résultats obtenus sont cohérents avec ceux des Journées d'Appel de Préparation à la Défense et très éloignés de ceux d'IALS : même les équipes conceptrices d'IALS acceptent désormais de reconnaître que la collecte a été défectueuse dans plusieurs pays, à la fois dans ceux dont les résultats sont particulièrement mauvais et ceux qui, à l'opposé, sont en tête de classement.

Cet exemple emblématique prouve à la fois que les questions de rédaction de questionnement, de protocole d'enquête peuvent entraîner des fluctuations importantes des résultats et, en même temps rassure puisque les mesures correctives ont atteint leur but. ■

## Bibliographie

* **F. Battagliola, I. Bertaux-Wiame, M. Ferrand, F. Imbert**, 1994, « Dire sa vie : entre travail et famille » in *Trajectoires sociales et inégalités* ouvrage coordonné par F. Bouchayer (Erès).

* **A. Blum et F. Guérin-Pace** 2000 : *Des lettres et des chiffres Fayard*.

* **C. Landré et D.Verger**, 2006, « La difficile mesure des pratiques dans le domaine du sport et de la culture », Document de travail de l'UMS n° M0601.

* **S. Lollivier et D.Verger**, 2005, « Trois apports des données longitudinales à l'analyse de la pauvreté » in Les approches de la pauvreté à l'épreuve des comparaisons internationales, *Économie et Statistique*, N° 383-384-385.

* **J. Pariente** 2008 : mémoire de stage, Insee.

* **L.A. Vallet, G. Bonnet, J.C Emin, J. Levasseur, T. Rocher, P. Vrignaud, X. D'Haultfoeuille, F. Murat, D. Verger et P. Zamora**, 2002, « Enquête méthodologique Information et Vie quotidienne Bilan du test 1 », document de travail Méthodologie de collecte N° 0202.

* **D. Verger**, 2004 : « La qualité dans les enquêtes auprès des ménages » in *Echantillonnage et méthodes d'enquêtes* Dunod 2004.