# Rédiger un « bon » questionnaire : une variante de la quadrature du cercle ?

<figure><img src="image_1.png" /></figure>

Daniel Verger*

La réalisation d'un « bon » questionnaire ressemble fort à la quadrature du cercle : les questions doivent être précises tout en restant courtes et en étant intelligibles par toutes les strates de la population. Faut-il simplifier à outrance pour être sûr d'être compris par tous, au risque de perdre en précision sur la définition des phénomènes à mesurer ? Le débat est ouvert. L'expérience accumulée et les travaux menés pour limiter les ambiguïtés permettent néanmoins de désigner et d'éviter des erreurs lourdes de conséquences.

La difficulté d'un diagnostic sur la « qualité d'un questionnaire » est extrême, car le seul résultat qui semble établi est la quasi-absence de règles générales :

- ce qui est constaté sur un sujet ne peut être transposé aveuglément à un autre thème ;

- ce qui a été montré à une époque n'a pas forcément de validité pérenne.

Lorsque les modalités de réponse à une question sont nombreuses, on attire artificiellement les réponses sur le premier ou le dernier item cité, mais on ne peut prévoir lequel se manifestera : cela dépend du mode de collecte, du sujet, et même de l'enquêté lui-même sans que l'on ait réussi à dégager une régularité claire (selon le sexe, l'âge ou le diplôme par exemple).

## Traquer l'ambiguïté

Pour un statisticien féru de mesures quantifiées de phénomènes objectifs, chasser toute ambiguïté apparaît comme un objectif naturel, au risque, assumé, d'apparaître comme intoxiqué par un positivisme naïf. La difficulté surgit dans la détection de ce qui peut se révéler ambigu à l'usage. Quelle que soit la formulation adoptée, quel que soit le nombre de personnes auprès desquelles elle a été testée, on pourra toujours trouver une nouvelle personne qui fera apparaître une ambiguïté non encore répertoriée.

Le problème vient de ce que le but poursuivi par le concepteur en posant une question n'est pas toujours perceptible, que ce soit par l'enquêteur ou par l'enquêté. Pour éviter d'alourdir à l'excès une instruction écrite que de nombreux enquêteurs peinent à lire dans son intégralité, le concepteur reste la plupart du temps elliptique. Ce registre n'est au mieux abordé que pour une sélection très réduite de variables, dont on ne peut même pas être sûr qu'elles sont réellement sélectionnées parmi les plus importantes. La plupart du temps, on en est réduit à imaginer la place de telle ou telle variable dans le plan d'exploitation.

Ce qui est retenu lors des formations orales n'est quasiment jamais évalué,

ni par les gestionnaires qui assurent ces formations, ni par les concepteurs : on ne vérifie donc pas que les intentions sous-jacentes aux diverses questions sont maîtrisées<fnref n="1" />.

Le cas des enquêtés est encore plus délicat, car il peut arriver que la collecte d'information sur certains sujets impose que l'on avance masqué, quel que soit le souci de réaliser une collecte loyale. Ainsi, pour obtenir de

<figure><img src="image_2.png" /><figcaption>Questionnaire d'enquête</figcaption></figure>

Source : Insee

<footnote n="1">¹ Daniel Verger est le chef de l'unité des Méthodes statistiques à l'Insee.</footnote>

<footnote n="1">1. Pour remédier à cette situation, il faudrait sans doute généraliser l'expérience conduite avec succès pour l'enquête Patrimoine, opération des plus techniques : un recueil d'exercices est remis à l'enquêteur à l'issue de la formation, corrigé par le gestionnaire régional ; en cas de réussite insuffisante, une formation complémentaire est dispensée, ciblée sur les points mal compris.</footnote>
l'information sur la santé mentale, les questionnaires estampillés internationalement sont constitués d'un grand nombre d'items dont l'agrégation fait surgir le portrait escompté alors que chaque question est en elle-même non signifiante : l'enquêté ne peut savoir quel est le but poursuivi quand on lui demande, entre autres, s'il éprouve un plaisir extrême à contempler un coucher de soleil.

Expliquer trop explicitement ce que l'on cherche à mesurer peut entraîner des comportements stratégiques de la part de l'enquêté pouvant aller jusqu'à la dissimulation, au mensonge : on ne peut vraiment pas dire à l'enquêté que l'on cherche à déterminer s'il a ou non des symptômes de dépression, des tendances suicidaires ou s'il souffre ou non de certaines formes d'aliénation mentale !

Les modules destinés à mesurer le degré d'aversion au risque ou de préférence pour le présent, annexés aux enquêtes Patrimoine, procèdent de la même logique. Il est difficile d'expliquer leur utilité sans créer un « biais de désirabilité », inciter les répondants à orienter leurs réponses pour donner d'eux-mêmes l'image qu'ils souhaitent donner.

Pour éviter le faux sens dans ce contexte où chacun ignore le but ultime du jeu de questions-réponses auquel il participe, il est donc indispensable que la question se suffise à elle-même. Mais c'est difficile à réaliser.

## Proscrire les mots trop complexes

La première chose à faire est de proscrire l'usage de mots trop complexes quand on peut leur substituer des synonymes mieux connus. N'oublions pas, en effet, que près de 9 % des personnes scolarisées en français ont des difficultés de compréhension d'un texte écrit et 12 % des difficultés de compréhension d'un message oral.

Les exemples abondent de questions, fort bien rédigées au demeurant, qui gagnent à être ainsi expurgées : ce qu'elles perdent en élégance, elles le gagnent en clarté. Rédiger un questionnaire ne doit pas être un exercice de style littéraire.

On peut se permettre des tournures parlées, à la limite de la correction formelle académique, si cela rend le déroulement de l'entretien plus fluide, plus facile à suivre. Certains ne partagent pas cet avis, sous prétexte que le questionnaire, émanation de l'administration, doit recourir à une langue des plus châtiées : cette position, dominante il y a quelques années, a désormais tendance à céder le pas à une vision plus pragmatique ne prônant l'élégance que si elle ne nuit pas à l'efficacité du message. Les exemples de mots ou locutions que l'on peut remplacer par des synonymes plus simples, plus courants et donc mieux maîtrisés par des personnes peu à l'aise en compréhension, abondent : « opportunité » peut être remplacée par « possibilité », « consulter » par « regarder », « pratiquer » par « faire ».

De telles modifications ne coûtent pas cher à réaliser et contribuent à simplifier le dialogue. Mais il ne faut pas en attendre des merveilles car les problèmes qui se révèlent les plus graves ne proviennent pas en général de l'emploi de mots complexes, hors du vocabulaire courant. En effet, le ménage comprend alors qu'il ne comprend pas et demande des explications. Ceci permet à l'enquêteur d'expliquer, de clarifier. On perd un peu de temps, on court le risque d'un certain manque d'homogénéité entre enquêteurs, mais ces inconvénients sont assez mineurs.

## Identifier et cerner les concepts mal définis

Plus grave est le cas où l'enquêté croit comprendre et se trompe. De nombreux concepts mal définis se cachent en effet derrière des mots usuels que tout le monde croit comprendre mais derrière lesquels chacun met un contenu différent. La liste

est longue de ces mots faussement simples :

- à partir de quel moment une simple connaissance devient-elle un « ami » ?

- le conjoint d'un ami est-il un ami ?

- les allergies sont-elles à compter dans les maladies ?

- et les rhumatismes ?

- à partir de quand la promenade devient-elle du sport ?

- barboter le long de la plage, se baigner, est-ce faire de la natation ?

- quand une personne à la recherche d'un emploi lit les petites annonces dans un journal, fait-elle une démarche ?

- est-ce lire un livre que de pulser une recette dans un livre de cuisine, ou de se plonger dans une bande dessinée ?

Une opération méthodologique réalisée en 2003 en Île-de-France, en marge de l'enquête Pratiques culturelles et sportives, s'est intéressée, entre autres, à cette question des limites de concepts flous. L'enquête principale demandait de quantifier le nombre de fois où la personne s'était adonnée, depuis 12 mois, à diverses pratiques dans le domaine du sport et de la culture. Une fois les réponses spontanées obtenues, on a demandé aux enquêtés si, à leur avis, des situations qui par certains aspects ressemblaient à la pratique que l'on souhaitait observer mais en différaient par d'autres devaient être prises en compte ou non. On a essayé ainsi de faire préciser les frontières de chaque concept pour le répondant ; puis on lui a demandé si sa réponse spontanée était ou non en accord avec sa définition « réfléchie » du concept. Cette opération a été riche d'enseignements.

Une des principales conclusions (Landré-Verger 2006²) a été la suivante : même pour les situations a priori les plus éloignées du cœur du concept, il y a toujours une minorité

<footnote n="2">2. C. Landré et D. Verger : « La difficile mesure des pratiques dans le domaine du sport et de la culture » Document de travail Méthodologie statistique N° M0601.</footnote>
non négligeable qui l'inclut, alors que, pour les situations plus proches du cœur, il y a toujours une minorité non négligeable pour l'exclure. Dans tous les cas, une fraction importante des répondants ont donné une réponse spontanée ne correspondant pas à leur concept réfléchi. La réponse à une question d'enquête peut ainsi varier selon le temps que l'enquêté prend pour réfléchir et la réponse spontanée à chaud peut être modifiée à la réflexion, ce qui crée une certaine volatilité des réponses. Divers concepts ont été mis ainsi à l'épreuve : lire un livre, écouter de la musique, assister à un concert, à un festival, visiter un monument ou un lieu historique.

Une question sur le nombre de livres lus peut sembler simple et on peut parier que personne ne va demander à l'enquêteur ce que c'est qu'un « livre », ce que veut dire « lire ». Pourtant, à la réflexion, il est ardu de délimiter le concept d'une façon suffisamment précise pour que le dénombrement des livres lus soit interprétable. A la question « pensez-vous qu'il faille compter comme livres lus les cas suivants », seuls 14 % répondent oui quand la situation évoquée est « Feuilleter un livre de photographies » ; Les réponses positives atteignent 70 % pour « Lire une biographie d'un artiste ou d'un sportif célèbre ». Cas intermédiaires : environ 20 % de oui pour « Lire un article dans une encyclopédie » ou « Regarder les reproductions d'un livre d'art » ; 40 % pour « Lire quelques pages d'un ouvrage religieux » et 60 % pour « Lire une histoire à ses enfants ». L'ambiguïté porte à la fois sur « livre » et sur « lire ».

Le problème de l'écoute de la musique est différent. La difficulté potentielle principalement sur le mot « écoute »—vient de ce qu'il s'agit d'une activité, dite « secondaire », que l'on fait souvent en même temps qu'une autre activité. La musique comme fond sonore, on l'entend mais l'écoute-t-on ? C'est cela que l'on a cherché à tester avec la question : « Imaginez que vous êtes chez vous, et que vous passez un disque ou une cassette, ou que vous allumez la radio ou la télé à l'heure d'une émission musicale. Diriez-vous

que vous écoutez de la musique si, en même temps... vous prenez un bain (64 % de oui dans ce cas), vous faites du repassage (68 % de oui), vous bricolez (51 % de oui), vous prenez un verre en discutant avec des amis (45 % de oui), vous lisez un dossier pour votre travail, préparez un examen (15 % de oui).

51 % des personnes interrogées considèrent que, lorsqu'elles se promènent dans une ville le soir de la fête de la musique, elles assistent à un concert !

Il en va de même avec la notion de monument (ou lieu) historique. On pourrait penser que « se promener dans les jardins d'un château comme Versailles », « Faire le tour des remparts d'une ville fortifiée » serait considéré par tous comme des visites de monuments historiques, or ils ne sont qu'un peu moins des trois quarts à le faire (de 70 % à 74 % selon les items).

De fait, quand on y réfléchit, dans une question comme « combien de fois avez-vous visité des monuments historiques » – question des plus traditionnelles et apparemment des plus anodines –, les trois mots utilisés posent problème, que ce soit le terme « visité », celui de « monument » et celui de « historique » ! Le fait de visiter présuppose-t-il qu'il doit y avoir une intention « culturelle » ce qui tendrait à exclure une simple balade ou qu'il faille entrer dans un lieu clos, entrée concrétisée par l'octroi d'un ticket ? C'est sans doute le cas pour certains qui ne considèreront pas qu'ils visitent le parc de Versailles s'ils y font leur jogging dominical... Une construction qui n'a d'exceptionnelle que son ancienneté, qui n'est ni un palais ni une cathédrale, par exemple une maison bourgeoise du Moyen Âge peut-elle être considérée comme un « monument » ? Quant au caractère historique qu'est-ce qui justifie qu'on l'attribue à un lieu ou à un personnage ? L'éloignement dans le temps est certainement un critère auquel la plupart des personnes se raccrochent plus ou moins implicitement (ce n'est sans doute pas un hasard si l'item qui attire les réponses les plus homogènes avec un taux de 83 % est « Se

promener dans les ruines d'une ville antique »), mais c'est faire peu de cas du concept d'histoire contemporaine... Un homme célèbre est-il un personnage historique de sorte que tous les lieux qu'il a fréquentés sont parés de l'aura de lieu historique ? Les avis sont partagés puisque « Pénétrer à l'intérieur de la maison natale d'un homme célèbre » n'est assimilé à une visite de monument historique que par 59 % des répondants.

Les mots de patrimoine, revenu, salaire, emploi ne sont pas plus aisés à définir. Si le questionnaire échoue à éviter de tels mots-pièges et à préciser les concepts, on risque de commenter des différences du champ implicitement retenu par les répondants plutôt que des vraies disparités de pratiques.

## Qui est « vous » ?

Un mot des plus simples et nonobstant un des plus porteurs d'ambiguïté est le mot « vous ». Il n'est quasiment pas de première version d'un questionnaire, celle qui est présentée pour le premier « focus group » (groupe de discussion préparatoire) ou le premier test papier qui soit irréprochable sous ce rapport.

La première source d'ambiguïté relève de la distinction « individu » « ménage ». Quand on demande « disposez-vous d'internet à la maison ? », on ne sait si le concepteur cherche à savoir uniquement s'il existe une liaison avec la toile installée dans le logement ou s'il désire l'information plus précise relative à l'accès personnel de l'individu.

C'est le problème le plus facile à déterminer et à corriger : il suffit d'être vigilant et d'être bien au clair sur ce que l'on souhaite, en quelque sorte la moindre des choses pour un concepteur.

D'autres sources de confusion, beaucoup plus subtiles, sont parfois apparipues et ce n'est parfois que par une conjonction de facteurs favorables que l'information est remontée du terrain. Le contexte est celui de l'opération méthodologique déjà évoquée
réalisée en complément de l'enquête Patrimoine, destinée à collecter de l'information sur le degré d'aversion pour le risque et de préférence pour le présent des personnes dont on avait étudié le revenu et le patrimoine dans l'enquête elle-même. Parmi les éléments qui devaient permettre, par synthèse, de faire émerger le profil de l'épargnant, figuraient des questions demandant ce que la personne avait fait face à des événements alors bien identifiés (on est à la fin de 1997) et qui concernaient beaucoup de monde.

La question « Avez-vous réduit ou modifié votre consommation de viande à la suite des problèmes de la vache folle ? » a suscité la remarque qui va nous intéresser ici. La personne a en effet déclaré qu'elle ne savait pas quoi répondre car, disait-elle, elle ne savait pas à quelle facette de l'individu on s'intéressait : pas trace de confusion individu-ménage, mais une gêne provenant des multiples identités qui forgent une individualité. Plus précisément, la question a été formulée ainsi : « en tant que personne, je suis végétarienne et donc je n'ai pas changé mes comportements ; mais en tant que maîtresse de maison il m'arrivait de servir de la viande à mes invités et, dans ce rôle, j'ai changé mes habitudes des car j'ai arrêté de servir du bœuf ». Alors que répondre à la question ? Oui ou Non ? C'est plutôt Oui et Non qui serait pertinent ! Nul besoin de soulagner que personne, dans la phase de conception, n'avait imaginé qu'une telle subtilité puisse être source de perturbation pour l'enquêté !

## Préférer des listes de cas concrets à des abstractions souvent ambiguës

Savoir schématiser une situation réelle protéiforme pour la faire entrer dans un cadre descriptif préformaté et standardisé n'a, de fait, rien de naturel pour le commun des mortels. Or, répondre à un questionnaire d'enquête, c'est justement savoir réussir cela !

Le concepteur, statistien, économiste ou sociologue, lui, a été formé à la taxinomie. Il a du mal à se rendre compte que ni l'enquêteur ni l'en-

quêté n'ont de raison d'avoir cette compétence et qu'il leur est difficile de classer leur situation particulière dans la bonne boîte, surtout lorsque leur cas est intermédiaire entre les grandes catégories proposées. Finalement on leur demande de schématiser une réalité continue sous une forme discrète. On mesure la difficulté de la tâche quand on regarde, dans les tests, les situations décrites dans les modalités du type « Autres, préciser ». Il est fréquent que ce que l'on a ainsi obtenu puisse être reclassé dans une des cases fermées de la nomenclature, mais l'enquêté ne s'en est pas rendu compte. Ignorant les grands principes de la nomenclature, il lui a semblé préférable de décrire par le menu sa situation plutôt que d'effectuer une schématisation dont il ne peut garantir la validité. Le « noyau dur » de chaque rubrique est sans doute assez bien identifié (même si l'on vient de montrer que l'assignment n'est pas parfaite), mais le classement des situations intermédiaires est extrêmement problématique.

Le remède est relativement simple, même s'il peut apparaître contre nature à un statisticien nomenclateur : éviter les mots généraux, abstraits, désignant l'ensemble du poste de façon synthétique et préférer une liste de cas concrets emblématiques couvrant l'étendue de chaque poste de la nomenclature. Par exemple, une question du type « Lisez-vous les quotidiens nationaux d'information générale » peut avantageusement être réécrite en « Lisez vous le Monde, le Figaro, Libération ou un autre quotidien national d'information générale », en se basant, pour l'ordre des titres cités, sur l'ordre décroissant des tirages.

Dans le questionnaire récent d'une enquête cherchant à décrire les comportements des nouveaux migrants, au moment des tests, on a pu relever la question suivante « Pensez-vous qu'il est important pour vos enfants de connaître et respecter les valeurs et traditions de la France ? » sans autre indication. Il a été facile de prouver que, parmi les personnes ayant participé à la conception du questionnaire, il n'y avait aucune

unanimité quant aux contours de la notion : se réfère-t-on à la liberté, à l'égalité, à la fraternité ou à d'autres éléments comme la laïcité, le respect des droits de l'homme sans parler du béret et de la baguette de pain des stéréotypes ? La bonne façon de rédiger le questionnaire est, dans un cas comme celui-ci, de lister les divers éléments à retenir.

La difficulté rencontrée par le couple enquêteur-enquêté à coder la situation personnelle de l'enquêté, à faire rentrer la réalité dans les cases prévues est souvent renforcée par la simplification abusive de la réalité sous-entendue par le questionnaire. La simplification la plus fréquente consiste à postuler l'unidimensionnalité d'un phénomène, l'unicité d'une situation alors qu'en réalité elle est multiple.

Sans critère de choix explicite, comment schématiser le réel sans créer de contresens ? Ce malaise, les enquêteurs s'en font les porte-parole quand, en test, ils reprochent au concepteur de devoir inscrire n'importe quoi en réponse faute de modalité adaptée. Quand on souhaite réduire la multidimensionnalité d'un phénomène, il ne faut absolument pas ignorer la difficulté, se réfugier derrière un postulat d'unicité fallacieux, mais au contraire aborder la difficulté de front et donner un critère de choix aisément objectivable. Ainsi, quand on parle de la situation professionnelle de quelqu'un, il faut envisager la possibilité d'activités multiples et, si l'on veut restreindre l'étude à une seule activité, définir sous quel angle on se place pour définir cette activité « principale » : est-ce celle qui génère les revenus d'activité les plus élevés, celle qui occupe le maximum de temps, celle qui répond à la formation la plus ambitieuse ?... Tous ces critères de classement sont envisageables et le concepteur doit choisir clairement lequel retenir.

## Ne pas exiger des tâches impossibles

Une autre source de mauvaise qualité dans les enquêtes vient de ce que le concepteur demande de fait à l'enquêté de réaliser des tâches impossibles.
Quand on demande à l'enquêté de
sommer, sans aide pour se remémor-
rer les diverses occurrences et sans
possibilité de calculs intermédiaires,
des grandeurs qu'il n'a pas l'habi-
tude de calculer, comme les « reve-
nus du patrimoine », les « dépen-
ses de vacances », ou le nombre
de maladies qu'il a eues, ce qui
combine en général problèmes de
mémoire et incertitude sur les fron-
tières du concept, peut-on vraiment
espérer un résultat qui s'approche
de la réalité ?

Il est bien connu, par exemple, que le
pourcentage de gens malades aug-
mente en fonction de la longueur des
listes d'exemples cités.

Les enquêtes sur les vacances ou les
déplacements touristiques posent,
pour la plupart d'entre elles, des
problèmes particulièrement redouta-
bles aux personnes interrogées. On
y trouve en effet souvent une ques-
tion apparemment anodine du type
« combien avez-vous dépensé en
tout pour ces vacances ? » Sans le
moindre support, parfois sur une aire
d'autoroute ou dans la salle d'at-
tente d'un aéroport, le répondant doit
definir ce qu'est une dépense de
vacances (y inclut-on les souvenirs
rapportés pour soi ou les amis ?...),
sommer des sommes relatives à
des postes aussi divers que le billet
d'avion, les frais de location de la
voiture, l'essence, les nuitées d'hôtel,
les notes de restaurant, les entrées
dans les monuments ou au spectacle,
dépenses faites par lui et les autres
membres de sa famille, réglées avant
le séjour, pendant, voire après (cartes
de crédit), avec des moyens de paie-

ment différents et parfois même des
monnaies différentes !

Seuls ceux qui ont des pratiques
budgétaires très rigoureuses peu-
vent, « au débotté », donner une
somme qui ne soit pas grossièrement
erronée. C'est d'autant plus
dommageable que les réponses à
ces questions peuvent servir à l'éta-
blissement de statistiques impor-
tantes pour le pilotage économique
du pays, puisque de telles données
entrent dans le calcul de la balance
des paiements.

La plupart des problèmes que l'on
vient d'évoquer viennent d'un travers
répandu auprès de nombreux concep-
teurs : rejeter sur le ménage la charge
des tâches qu'ils souhaitent éviter,
soit pour se faciliter la conception ou
l'exploitation, soit pour raccourcir le
questionnaire et payer moins (ou, plus
noblement, pour ne pas trop abuser
du temps du répondant) !

C'est évidemment l'inverse qu'il faut
faire : ce n'est pas l'enquêté qui
saura trancher le problème de défini-
nition de concept que l'on n'a pas su
résoudre ; ce n'est pas à l'enquêté
de faire un exercice de calcul mental
en effectuant des totalisations que
l'ordinateur saura faire beaucoup plus
rapidement et de façon plus fiable...

Pour permettre à l'enquêté de faire
le travail de maïeutique nécessaire à
l'accouchement d'une donnée bien
constituée, s'il faut décomposer, il
faut accepter de le faire, fût-ce au prix
d'un allongement du temps d'entretien.
La décomposition d'une ques-
tion peut aussi être un remède effi-

cace en cas de formulation complexe
mal comprise.

Beaucoup de problèmes viennent du
fait que l'on a tendance trop souvent
à vouloir « en avoir plus que pour son
argent » alors qu'il n'y a pas de miracle :
il faut se donner les moyens de son
ambition et il faut toujours avoir pour
règle d'aller dans le sens de la simplifi-
cation pour le ménage interrogé.

Un problème supplémentaire, dans ce
registre des conseils à donner pour la
conception de questionnaire, vient de
ce que la difficulté à comprendre une
question dépend du mode de collecte
retenu. La formulation idoine n'est pas
la même selon que l'on est seul devant
un questionnaire autorenseigné (recen-
sement), que l'on est en face-à-face
avec l'enquêteur ou que celui-ci vous
appelle au téléphone. Or souvent le
questionnaire est conçu indépendam-
ment du mode de collecte retenu, ce
qui multiplie les tâches impossibles :
ce qui est acceptable quand on a sous
les yeux un support visuel devient
incompréhensible au téléphone. De
même le fait que des précisions soient
rappelées un grand nombre de fois
de suite (comme par exemple « la
semaine du ... » ou « depuis 12 mois »
en début d'un recensement de pra-
tiques en grand nombre) ne choque
pas quand on a sous les yeux un
questionnement papier alors que cela
engendre des lourdeurs insupporta-
bles lors d'un entretien oral. Tester le
questionnaire en respectant le mode
de collecte prévu est indispensable à
la préparation d'un questionnaire de
qualité. ■