<figure><img src="image_1.png" /></figure>

HAL
open science

# Conception de questionnaires auto-administrés

Heidi Koumarianos, Amandine Schreiber

► To cite this version:

Heidi Koumarianos, Amandine Schreiber. Conception de questionnaires auto-administrés. 2021. hal-05386504

HAL Id: hal-05386504

https://insee.hal.science/hal-05386504v1

Preprint submitted on 28 Nov 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Conception de questionnaires auto-administrés

## Documents de travail

### N° 2021-03 – Décembre 2021

<figure><img src="image_3.png" /></figure>
INSTITUT NATIONAL DE LA STATISTIQUE ET DES ÉTUDES ÉCONOMIQUES

Série des documents de travail « Méthodologie Statistique »
de la Direction de la Méthodologie et de la Coordination Statistique et Internationale

M 2021/03

Conception de questionnaires auto-administrés

Heidi KOUMARIANOS
Amandine SCHREIBER

Insee

Décembre 2021

Les auteurs remercient Gwennaëlle Brilhault, Laura Castell, Cindy Duc, Emmanuel Gros, Sylvie Lagarde, Stéphane Legleye, Erwan Pouliquen et Patrick Sillard pour leur relecture attentive du document, ainsi que tous les concepteurs d'enquête ayant contribué indirectement à la rédaction de ce document par les cas concrets rencontrés ces dernières années

Un remerciement spécial à Gaël de Peretti, pour son expérience, transmise avec passion et pédagogie.

Direction de la méthodologie et de la coordination statistique et internationale

Département des Méthodes Statistiques -Timbre L001 -

88 Avenue Verdier - CS 70058 - 92541 Montrouge Cedex - France -

Tél. : 33 (1) 87 69 55 00 - E-mail : -DG75-L001@insee.fr - Site Web Insee : http://www.insee.fr

Ces documents de travail ne reflètent pas la position de l'Insee et n'engagent que leurs auteurs.

Working papers do not reflect the position of INSEE but only their author's views.
Conception de questionnaires auto-administrés

Heidi KOUMARIANOS
Amandine SCHREIBER

Insee

Décembre 2021

Résumé

Depuis quelques années, les modes de collecte d'enquête évoluent fortement. Dans ce contexte, le recours à des questionnaires auto-administrés se développe rapidement, notamment pour une collecte par internet.

Les questionnaires auto-administrés sont le plus souvent des médias écrits, impliquant une perception visuelle des enquêtés. Ils diffèrent à ce titre des questionnaires intermédiés, qui font généralement appel à la perception auditive. En outre, l'absence d'intermédiation exige une grande précision et clarté des questions.

Ce document de travail expose les principes de conception de questionnaires auto-
administrés, et les illustre par des exemples tirés d'échanges avec les concepteurs d'enquête
au cours des années 2015 à 2020.

Mots clés : data collection, survey, questionnaire design, self-administered questionnaire

Classification JEL : C18, C83, C93
# Conception de questionnaires auto-administrés

## Table des matières

<table><tr><td>Introduction</td><td>2</td></tr><tr><td>La conception de questionnaire de quoi parle-t-on ?</td><td>3</td></tr><tr><td>La conception de questionnaires : un exercice qui relève de l'interdisciplinarité</td><td>4</td></tr><tr><td>I. Cadre théorique</td><td>6</td></tr><tr><td>I.1. Le processus cognitif de réponse</td><td>6</td></tr><tr><td>I.2. Les apports de la théorie de la Gestalt à la conception de questionnaire</td><td>7</td></tr><tr><td>I.3. Interaction entre forme et contenu : la question</td><td>8</td></tr><tr><td>I.4. Les lignes directrices du Census Bureau</td><td>10</td></tr><tr><td>II. Une déclinaison des lignes directrices du Census Bureau</td><td>13</td></tr><tr><td>II.1. L'énoncé des questions</td><td>13</td></tr><tr><td>II.1.1. Adopter une forme interrogative pour formuler les questions</td><td>14</td></tr><tr><td>II.1.2. Ne poser qu'une seule question par question</td><td>17</td></tr><tr><td>II.2. L'affichage des espaces de réponse et des options de réponse</td><td>20</td></tr><tr><td>II.2.1. Mettre en relief et uniformiser les espaces de réponse</td><td>20</td></tr><tr><td>II.2.2. Préciser dans quelle unité de mesure la réponse est attendue</td><td>22</td></tr><tr><td>II.2.3. Statuer sur la remontée de données antérieures</td><td>26</td></tr><tr><td>II.2.4. Distinguer « valeur nulle » et non-réponse partielle</td><td>27</td></tr><tr><td>II.2.5. Prendre garde aux effets de questionnement liés à l'utilisation d'une question filtre</td><td>30</td></tr><tr><td>II.3. L'élimination du désordre visuel</td><td>35</td></tr><tr><td>II.3.1. Définir une feuille de style</td><td>35</td></tr><tr><td>II.3.2. Limiter l'usage de graphiques ou d'images</td><td>37</td></tr><tr><td>II.4. La création d'un cheminement clair</td><td>40</td></tr><tr><td>II.4.1. Proposer un sens de lecture homogène</td><td>40</td></tr><tr><td>II.4.2. Indiquer clairement le début de chaque question et de chaque partie</td><td>44</td></tr><tr><td>II.4.3. Utiliser des espaces blancs pour faciliter le cheminement dans les questionnaires</td><td>45</td></tr><tr><td>II.4.4. Aligner les questions et les espaces de réponse/options de réponse</td><td>46</td></tr><tr><td>II.4.5. Faciliter la compréhension des filtres pour les questionnaires papier</td><td>51</td></tr><tr><td>II.4.6. Éviter de scinder une question sur deux pages</td><td>53</td></tr><tr><td>II.5. Les instructions</td><td>54</td></tr><tr><td>II.5.1. Bien articuler instructions et questions</td><td>54</td></tr><tr><td>II.5.2. Aérer le texte</td><td>57</td></tr><tr><td>II.5.3. Définir précisément les périodes de référence</td><td>58</td></tr><tr><td>II.6. Les tableaux</td><td>59</td></tr><tr><td>II.6.1. Limiter l'utilisation de matrices</td><td>59</td></tr><tr><td>II.6.2. Si un tableau est nécessaire, guider les répondants</td><td>62</td></tr><tr><td>III. Quel impact du multidevice et du multimode : premiers éléments de réflexion</td><td>66</td></tr><tr><td>III.1. Et le smartphone ?</td><td>66</td></tr><tr><td>III.1.2. Répondre sur smartphone : des effets d'équipement s'ajoutent aux effets de mode</td><td>66</td></tr><tr><td>III.1.3. La part de répondants sur smartphone est croissante</td><td>67</td></tr><tr><td>III.1.4. Comment relever le défi de l'adaptation des questionnaires à la réponse sur smartphone ?</td><td>67</td></tr><tr><td>III.1.5. L'adaptation au smartphone suppose une double réponse : technique, mais également en conception</td><td>71</td></tr><tr><td>III.1.6. Le défi de la réponse sur smartphone se pose différemment pour les enquêtes entreprises et ménages</td><td>77</td></tr><tr><td>III.2. Concevoir le questionnement d'une enquête multimode</td><td>78</td></tr><tr><td>Conclusion</td><td>81</td></tr><tr><td>Bibliographie</td><td>82</td></tr></table>
# Introduction

Le développement d'internet et sa démocratisation depuis les années 2000 ont conduit les instituts de statistique à repenser la façon de concevoir leurs enquêtes et de collecter leurs données.

Au sein du service statistique public français (SSP), la collecte des données d'enquêtes par internet a d'abord été mise en œuvre pour les entreprises. Elle est introduite en 2000 par le Sessi<fnref n="1" />, alors service statistique ministériel de l'Industrie, puis en 2004 par l'Insee pour une douzaine d'enquêtes fréquentes et régulières<fnref n="2" />. Dans la sphère des enquêtes ménages, l'introduction de la collecte par internet est plus tardive et plus progressive. Plusieurs expérimentations sont menées par l'Insee à partir de 2010 et la collecte par internet est introduite pour la première fois en 2015 dans l'enquête annuelle de recensement. Plusieurs groupes de travail sont alors constitués et un programme est lancé en 2017 pour généraliser la collecte multimode pour les enquêtes ménages<fnref n="3" />.

En parallèle, une nouvelle filière informatique de collecte se met en place à l'Insee, destinée en premier lieu aux enquêtes entreprises en 2010 avec le projet Coltrane (COLlecte TRANsversale d'Enquêtes) (Haag et Husseini-Skalitz, 2019), puis transposée en 2017 aux enquêtes ménages avec le programme Métallica (METadonnées Actives<fnref n="4" />, Logiciels Libres et Infrastructure pour une Collecte Assistée).

L'introduction d'internet est loin d'être neutre pour le processus de conception d'enquêtes appréhendé dans toutes ses dimensions (stratégie d'échantillonnage, protocole de collecte, organisation des relances, traitements avals, etc.), et plus particulièrement pour l'étape essentielle qu'est celle de la conception du questionnaire.

Les enjeux sont toutefois différents pour les enquêtes entreprises – adressées à des unités légales ou aux établissements échantillonnés – et pour les enquêtes ménages – destinées à des particuliers. Pour les enquêtes entreprises, historiquement collectées sous format papier mais déjà en auto-administré, la réponse par internet est désormais la cible<fnref n="5" />. Dans la sphère ménages, les enquêtes sont essentiellement collectées par l'intermédiaire d'un enquêteur, majoritairement en face-à-face et dans quelques cas, par téléphone. L'objectif est aujourd'hui de généraliser l'usage d'internet, en l'introduisant comme mode alternatif complémentaire, dans des protocoles de collecte multimode adaptés selon les thématiques d'enquêtes. La plupart des enquêtes ménages doivent donc opérer une double transition de l'hétéro-administré à l'auto-administré d'une part, du monomode au multimode d'autre part.

Les enjeux sont donc de nature différente, mais pour tous les concepteurs, quelle que soit leur population d'intérêt – ménages ou entreprises –, l'introduction d'internet et l'utilisation des outils de conception de la nouvelle filière, donnent l'occasion de remettre en question certaines habitudes, dictées par des contraintes multiples (financières, informatiques) ou de comparabilité dans le temps (risques de ruptures de séries) plus que par des considérations méthodologiques.

L'objectif de ce document de travail est d'outiller les concepteurs, en explicitant différents enjeux méthodologiques de conception de questionnaires auto-administrés et quelques bonnes pratiques de conception déclinées selon les modes de collecte utilisés. Ce document s'appuie largement sur la littérature existante sur la conception de questionnaires auto-administrés en général, et sur les exemples rencontrés au cours des dernières années lors de la réalisation de nouvelles enquêtes ou de leur réédition. Certains écueils sont plus faciles à éviter que d'autres. Certaines recommandations peuvent ne pas être respectées à

<footnote n="1">1 Sessi : Service des statistiques industrielles.</footnote>

<footnote n="2">2 Essentiellement des enquêtes auprès des entreprises de la direction des Études et synthèses économiques (enquêtes de Conjoncture) et de la direction des Statistiques d'entreprises (enquêtes mensuelles de fréquentation touristique).</footnote>

<footnote n="3">3 Publication interne Depeche Mode n°1, mai 2018.</footnote>

<footnote n="4">4 Une métadonnée est un ensemble structuré d'informations servant à définir ou décrire une ressource. On qualifie d'actives les métadonnées utilisées pour produire automatiquement des composants du processus statistique.</footnote>

<footnote n="5">5 La part des réponses obtenues par internet oscille entre 60 % et 98 %. La cible du 100 % d'internet est ainsi presque déjà atteinte pour certaines enquêtes.</footnote>
la lettre. Des compromis acceptables peuvent être trouvés, sans que la qualité des données collectées ne soit fondamentalement remise en cause.

Parmi les recommandations proposées dans ce document de travail, certaines sont valables pour toutes les enquêtes, qu'elles soient ou non intermédiées, en particulier les recommandations qui portent sur la formulation des questions. Les objectifs finaux sont en effet les mêmes ; on doit s'assurer de trois points élémentaires : l'enquêté comprend la question, l'enquêté est capable d'y répondre, l'enquêté accepte de répondre.

Certaines recommandations s'appliquent en revanche plus particulièrement aux enquêtes auto-administrées. L'absence d'intermédiation implique en effet que les questions doivent être comprises par l'enquêté sans aide extérieure. L'absence d'intermédiation limitant la motivation à répondre, elle implique par ailleurs que les questionnaires auto-administrés soient plus courts, et mobilisent des concepts plus simples. Enfin le média utilisé pour les questionnaires auto-administrés étant la plupart du temps visuel (papier, web) et non sonore, l'absence d'intermédiation incite à respecter un certain nombre de bonnes pratiques qui portent sur la mise en forme des questionnaires.

## La conception de questionnaire de quoi parle-t-on ?

La conception de questionnaire recouvre de multiples travaux qui portent tout à la fois sur l'élaboration du contenu du questionnaire et donc le choix des informations que l'on souhaite collecter pour répondre à une question initialement posée, sur la rédaction des questions et des instructions nécessaires à leur bonne compréhension et sur leur mise en forme, en fonction du ou des supports de collecte choisis. Elle se situe dans le contexte plus large de la conception d'enquêtes, qui porte également sur la définition du champ de l'enquête, l'échantillonnage, le protocole de collecte, les traitements statistiques, l'exploitation des données, la diffusion et la documentation des résultats.

Le déroulement d'une enquête, son protocole, le ou les modes de contact et d'interrogation mobilisés, la formulation des questions ne sont pas sans effet sur les données collectées. Celles-ci sont soumises à différents effets : certains sont liés au questionnaire (l'ordre des questions, la formulation) et d'autres sont relatifs au mode de collecte. Ils peuvent nuire à la qualité de l'information collectée, à sa pertinence, sa précision etc.

Les effets de mode sont relatifs aux variables cibles de l'enquête (« outcomes » dans la terminologie anglo-saxonne) et en particulier aux différences observées entre les niveaux des outcomes lorsqu'ils sont mesurés sur deux modes différents utilisés dans un ou plusieurs échantillons que l'on compare.

Ils se décomposent classiquement en :

- **effets de sélection** : les enquêtés sont plus ou moins enclins à répondre sur un mode plutôt qu'un autre. Cela conduit à une non-réponse totale reliée aux modes proposés. Ce sont les répondants qui diffèrent ici, et non leurs réponses.

- **effets de mesure** : la réponse fournie peut différer selon le mode. La présence d'un enquêteur peut notamment conduire un enquêté à se présenter sous un meilleur jour et ne pas répondre avec la plus grande sincérité. Elle peut a contrario l'inciter à faire l'effort de rechercher les réponses adéquates et à poursuivre l'entretien jusqu'à la fin du questionnaire. À l'inverse, les questionnaires auto-administrés sont plus à même de garantir l'authenticité des réponses, mais le risque est grand que l'enquêté relâche son effort et réponde approximativement, voire s'interrompe avant la fin du questionnaire. L'effet de mesure ou biais de mesure est défini à caractéristiques individuelles données : il s'agit théoriquement de la différence de réponse à une variable cible fournie par un individu interrogé sur un mode et la réponse qu'il aurait fournie sur un autre mode (réponse contrefactuelle).

Si le protocole s'avère déterminant pour limiter les effets de sélection (choix du ou des modes, mention du caractère obligatoire de l'enquête, courriers à destination des enquêtés, fréquences et calendrier des relances, etc.), les effets de mesure sont en théorie directement liés à la façon dont est conçu le questionnaire. Ces effets sont liés à la clarté et la formulation des questions (de Singly 2020, Verger 2009), à l'ordre des questions (Schuman et al. 1983, Schuman et Presser 1996) ou l'ordre des modalités de réponses
(Grémy 1993), ou encore à l'existence de filtres de cohérence plus ou moins prégnants selon les spécificités techniques du mode.

Limiter autant que faire se peut les effets de mesure est dès lors l'un des principaux enjeux de l'étape de conception de questionnaire. Une fois le mode fixé, le contenu du questionnaire a une grande importance. Il contribue en effet à l'appropriation par l'enquêté des consignes de remplissage et de la structure du questionnaire, à sa complexité perçue et à l'engagement de l'enquêté à répondre le plus exactement possible.

## La conception de questionnaires : un exercice qui relève de l'interdisciplinarité

La conception de questionnaires, étape essentielle de la réalisation d'une enquête, est souvent perçue par le statisticien comme une tâche qu'il lui est naturel de réaliser. En tant qu'expert de la donnée, de sa manipulation, il peut lui sembler simple de proposer la manière de la collecter. Pourtant, rédiger un « bon » questionnaire relève de la quadrature du cercle, le concepteur étant souvent confronté à l'absence de cadre théorique clair et de règles générales systématiques (Verger, 2009). La pratique permet d'accumuler des expériences, de formuler des hypothèses et d'acquérir un certain savoir-faire, mais ce qui est constaté sur un sujet à une époque donnée n'est pas forcément pérenne dans le temps ni transposable à un autre sujet d'enquêtes.

Il existe toutefois de nombreux travaux, généralistes ou plus spécifiques sur la manière de concevoir, rédiger, mettre en forme, ou tester un questionnaire, quel que soit son mode de collecte. Ces travaux, qu'ils soient issus de la sphère statistique publique, d'organismes privés ou de la recherche universitaire sont souvent le fruit d'une collaboration interdisciplinaire : si le statisticien est en effet l'expert de la donnée, il n'a généralement pas les connaissances et compétences requises pour comprendre les réactions de l'enquêté.

Dans le contexte d'une enquête, l'étude et la compréhension des phénomènes de perception, d'attention de l'être humain sont nécessaires pour déterminer les bonnes pratiques de conception, et pour les évaluer. Il est donc utile au statisticien de mobiliser quelques résultats des sciences cognitives, dont l'objet est précisément la description et l'explication des mécanismes de la pensée humaine. Les sciences cognitives permettent ainsi de s'appuyer sur des fonctionnements invariants, comme le mécanisme de lecture par exemple, qui invite à respecter un ordre de perception naturelle (de gauche à droite et de haut en bas). Les sciences cognitives s'intéressent également à la façon dont l'apprentissage et la cognition évoluent avec le temps et les habitudes. On ne peut ainsi complètement occulter un lien entre raisonnement, apprentissage et évolution des technologies, comme en témoignent les articles sur la modification du temps d'attention (Wilmer et al., 2017), de la manière de lire un texte long avec la part croissante de temps consacré à la lecture sur écran.

> Le travail interdisciplinaire dans le domaine de la conception de questionnaires doit permettre de mettre en œuvre des protocoles expérimentaux et d'en analyser les résultats. Comme le déclare Dillman, spécialiste de la conception de questionnaires (Dillman, 2017) : « La conception de questionnaire est idéalement le fruit d'un travail d'équipe, rassemblant des experts des domaines relevant de la thématique d'intérêt de l'enquête, de la conception de questionnaire, de la collecte de données et du traitement des données. Il est aussi recommandé de solliciter l'avis d'un graphiste pour les questionnaires web et papier complexes. »

En France, la conception de questionnaires repose souvent très majoritairement sur le responsable d'enquête. La sollicitation de méthodologues et graphistes n'est pas systématique, mais les échanges avec les méthodologues sont réguliers, sur différents aspects de conception d'enquête.

La bonne compréhension du questionnaire est un enjeu majeur, aussi des tests sont réalisés avant la collecte pour s'en assurer (focus group, tests terrain menés par des enquêteurs, pilotes...). L'ampleur de ces tests varie selon l'enjeu : lors de refontes importantes, des tests nombreux sont menés, l'avis des enquêtés peut être recueilli et analysé. Le recours à des prestations de design est également possible lors du développement d'outils ou de supports de collecte appelés à persister.
Des travaux assez généralistes ont été publiés par des statisticiens publics et universitaires américains, allemands et néerlandais, mobilisant des équipes interdisciplinaires et reposant sur des collaborations entre universités et administrations. Ce document de travail expose en détail les travaux de Rebecca Morrison, menés en collaboration avec Don Dillman, qui offrent un cadre et des lignes directrices à la conception de questionnaires (encadré 1).

La première partie de ce document de travail propose un cadre théorique pour la conception de questionnaires auto-administrés (web ou papier), principalement inspirée de la *Gestalt psychology* (voir définition en I.2).

Dans la partie suivante, les lignes directrices proposées par Rebecca Morrison sont déclinées selon qu'elles concernent l'énoncé des questions (partie II.1), le choix et l'affichage des modalités de réponse (partie II.2), l'élimination du désordre visuel (partie II.3), la création d'un cheminement clair (partie II.4), les instructions (partie II.5) et l'usage de matrices ou tableaux (partie II.6).

La dernière partie du document aborde les enjeux posés par le multi-device<fnref n="6" /> (partie III.1) et le multimode (partie III.2), et a vocation à être approfondie à l'avenir.

<footnote n="6">6 Terme que l'on pourrait traduire par multi-appareil ou multi-matériel (en faisant référence au type de matériel informatique utilisé pour remplir le questionnaire)</footnote>
# I. Cadre théorique

## I.1. Le processus cognitif de réponse

De façon générale, répondre à une enquête fait appel à plusieurs mécanismes : la compréhension de ce qui est demandé, la mise en œuvre de compétences ou la mobilisation de connaissances, et la volonté de participer.

Les recherches en psychologie cognitive ont permis de décrire le processus de réponse. Il est souvent présenté en 5 étapes, par lesquelles le répondant doit passer pour répondre à une question (table I.1) :

- la perception de la question ;

- la compréhension de la question ;

- la recherche de l'information appropriée (dans sa mémoire, ou dans des documents) ;

- l'évaluation de l'information ;

- la réponse.

<table><caption>Table I.1 : Illustration du processus de réponse</caption><tr><td>Perception de la question</td><td>A combien de temps remonte votre dernier contact avec un médecin généraliste ?<br/>- À moins de 6 mois<br/>- Entre 6 mois et un an<br/>- À plus d'un an</td></tr><tr><td>Compréhension</td><td>Doit-on inclure les messages sur un répondeur téléphonique pour un simple renouvellement d'ordonnance ? Oui puisque cela inclut la délivrance d'une prescription...</td></tr><tr><td>Recherche de l'information pertinente</td><td>Effort de mémoire du répondant : ce devait être juste avant les vacances d'été, donc plutôt fin juin - début juillet</td></tr><tr><td>Évaluation de l'information</td><td>Si nous sommes en octobre, alors fin juin correspond à moins de 6 mois</td></tr><tr><td>Réponse</td><td>Le répondant répond : à moins de 6 mois.</td></tr></table>

Source : Questionnaire development, Giesen et al., 2012

La structure générale de ce processus concerne toute enquête, qu'elle soit auto-administrée ou intermédiée, mais les étapes se déroulent différemment selon le mode de collecte choisi.

Ainsi le canal mobilisé (visuel ou auditif) joue sur l'étape de perception de la question. Le caractère intermédié influence les étapes suivantes de compréhension et de recherche, l'enquêteur pouvant donner des précisions complémentaires, échanger avec l'enquêté. Le support (et le canal) joue pour la phase de réponse : une enquête auto-administrée (papier ou internet) exige un geste de saisie au clavier de la part du répondant ou d'écriture, alors qu'une réponse orale suffit lors d'une enquête en face-à-face ou par téléphone.

Dans les enquêtes auprès des entreprises et des établissements, le processus peut être un peu plus long et complexe : en plus des étapes ci-dessus, les personnes morales doivent identifier la ou les personnes qui peuvent répondre, prioriser la tâche de réponse à l'enquête parmi d'autres, et répondre effectivement au questionnaire lorsque les informations de réponse ont été obtenues.
Dans les enquêtes auto-administrées sur internet, les enquêtés doivent également commencer par se connecter au site concerné, ce qui constitue une étape supplémentaire qui relève d'une démarche volontaire.

## I.2. Les apports de la théorie de la Gestalt à la conception de questionnaire

Les travaux de design d'interface s'appuient souvent sur les grands principes de la théorie de la Gestalt. Cette école de psychologie allemande, apparue au début du 20e siècle, étudie principalement la perception visuelle. Elle est très largement utilisée dans le domaine du design et du web.

Si le mot allemand Gestalt peut être traduit par « forme », la notion, théorisée en Autriche en 1890 par Ehrenfels puis développée par des psychologues allemands, renvoie à quelque chose de plus complexe, qu'aucun mot d'aucune langue ne traduit exactement. Adopté tel quel dans les dictionnaires anglais ou français, le concept de Gestalt peut être traduit par forme, silhouette, configuration, disposition, ou par une périphrase : « la façon dont les éléments sont disposés, assemblés, mis ensemble ».

L'idée forte de cette théorie est que « le tout est plus que la somme des parties ». Par conséquent, la manière de structurer et de disposer un ensemble d'éléments donne une information qui n'est pas accessible si l'on dispose de chaque élément séparément.

L'image de la figure I.1 en donne une illustration classique. Pris séparément, les éléments symétriques qui composent la figure (en noir sur fond blanc) comptent 3 disques, dont une portion est rognée, et trois lignes brisées en forme de V. Leur positionnement crée l'apparition de deux triangles, que l'on imagine superposés. La similarité des deux groupes d'éléments (les trois disques d'une part, les trois V d'autre part), leur positionnement, et la loi dite de clôture ou de continuité<fnref n="7" /> conduisent le cerveau à voir des triangles, qui n'existent pourtant pas. C'est l'homogénéité et la structure qui donnent un sens que les éléments en eux-mêmes ne portent pas.

<figure><img src="image_4.png" /><figcaption>Figure I.1 : Triangle de Kaniza</figcaption></figure>

Source : Kanizsa G. (1979)

Cette idée se décline en plusieurs principes, entre autres sur la similitude et la proximité des différents éléments. Ces principes sont fréquemment utilisés dans le design d'interfaces et de sites web.

<footnote n="7">7 Selon la loi de bonne continuité, l'esprit clôt une forme incomplète ou un espace non fermé.</footnote>
En s'appuyant sur des éléments de la théorie de la Gestalt, Rebecca Morrison expose des principes précis utiles pour la conception de questionnaires auto-administrés (encadré 1). Ces principes concernent la structure du questionnaire, sa mise en forme, son contenu et l'interdépendance entre structure, forme et contenu. C'est l'un des enseignements de la théorie de la Gestalt : la forme éclaire le contenu ; la forme éclaire la structure ; la structure éclaire le contenu.

Ces principes doivent permettre au concepteur d'identifier de potentielles incohérences ou des points d'amélioration, afin que les différents éléments de son questionnaire, qu'ils soient pris séparément ou comme un ensemble, véhiculent un message maîtrisé.

Une autre façon d'explicitier cette théorie, consiste à tenir compte du fait que les répondants mobilisent souvent inconsciemment toute l'information présente sur le questionnaire pour répondre. C'est la démarche proposée par des statisticiens de l'institut statistique néerlandais, selon lesquels le langage utilisé peut être divisé en quatre types : verbal (titres, questions, instructions...), numérique (numérotation des questions), symbolique (flèches, icônes) et graphique (polices de caractère, positionnement sur la page, espacement, couleurs) (Giesen et al., 2012). Giesen et ses co-auteurs insistent sur le fait que les différents types de langage mobilisés dans un questionnaire doivent se renforcer les uns les autres et fournir un support global à la réponse, car des expérimentations montrent que de petits changements dans l'un de ces langages peuvent avoir un impact important sur la façon de répondre. Ainsi selon eux, la forme du questionnaire et son contenu textuel doivent toujours être compatibles. Il doit y avoir une cohérence interne au questionnaire parmi tous les types de langage utilisés. Par exemple, les instructions doivent toujours avoir le même style, et l'on doit utiliser toujours les mêmes mots pour désigner un concept précis.

## I.3. Interaction entre forme et contenu : la question

Avant de présenter l'ensemble des principes énoncés par Rebecca Morrison et de les illustrer, il est nécessaire de s'intéresser à l'un des composants élémentaires du questionnaire d'enquête : la question. Selon Dillman, une question est composée de plusieurs parties, qui fonctionnent ensemble (de concert) pour produire une information de qualité. Si une partie de la question fait défaut, ou est incohérente avec une autre partie, cela peut réduire la précision des réponses des enquêtés. Créer de bonnes questions nécessite d'identifier les différentes parties de la question, de comprendre comment chacune d'elles véhicule du sens de façon indépendante pour les répondants, et comment, prises dans leur ensemble, elles interagissent pour produire un sens complet différent, articulant celui de chacune de ses parties..

Selon Dillman, la partie la plus importante est *le tronc, la racine de la question* (stem), c'est-à-dire les mots qui expriment concrètement la requête. Cette colonne vertébrale de la question procure l'information la plus directe et la plus explicite sur la demande, et sur la façon dont les enquêtés doivent y répondre.

Une question peut également inclure des *instructions, définitions, exemples* qui aident les enquêtés à comprendre le sens de la question, ou les concepts utilisés. Les instructions recouvrent des instructions rédigées, mais elles peuvent aussi comprendre des nombres, des symboles qui informent plus précisément sur la façon de répondre (c'est le cas des unités, des indications de format comme AAAA pour recueillir une date).

Chaque question comporte également des *espaces ou des choix de réponse* qui apportent de l'information supplémentaire aux enquêtés sur les réponses possibles ou sur la façon de formuler leur réponse. Les choix de réponse offerts (plages de valeurs numériques autorisées, catégories ordonnées, modalités catégorielles, champ texte libre etc.) limitent les possibilités offertes aux répondants et donnent souvent des indices sur le type et le nombre de réponses attendus (les unités, la taille des champs de réponse...).

Dillman choisit dans son ouvrage de désigner par le mot *question* l'ensemble des trois types d'éléments listés ci-dessus. D'autres préfèrent utiliser le mot question pour désigner le libellé de la question seulement, la distinguant ainsi de la réponse (espace ou choix de réponse) et autres éléments d'instruction. Ces deux
usages du mot question sont légitimes, le premier souligne le caractère polymorphe du questionnement, alors que le second met l'accent sur l'importance de la phrase interrogative, et de sa précision.

Le standard de métadonnées utilisé à l'Insee pour la description formelle des questionnaires propose la structure suivante : une question est un objet qui comprend un libellé, des déclarations optionnelles, un domaine de réponse pouvant être plus ou moins complexe et faire par exemple référence à une liste de codes.

Afin d'éviter les confusions, on désignera par la suite le tronc de la question par les mots « libellé de la question », et les espaces ou choix de réponse par « champ(s) de réponse ».

## Comment les différents éléments concourent à la qualité des données recueillies : un exemple

Dans son ouvrage de référence sur la conception d'enquête (Dillman et al., 2014), Dillman présente un exemple éclairant de l'interaction du contenu et de la forme, à partir d'une question visant à connaître le début de la période d'études des enquêtés. Il s'intéresse à la formulation de la question et à ses effets potentiels sur la probabilité d'obtenir une réponse avec la précision calendaire attendue (mois / année).

Trois formulations sont testées :

- Quand avez-vous commencé vos études à l'université de Washington ?

- A quelle date avez-vous commencé vos études à l'université de Washington ?

- En quel mois et en quelle année avez-vous commencé vos études à l'université de Washington ?

La proportion de réponses au format attendu (mois / année) varie de 13 % pour la première formulation à 84 % pour la troisième, les autres réponses obtenues indiquant seulement le semestre ou l'année. Le fait de préciser le type de réponse attendu dans le libellé même de la question augmente mécaniquement la qualité de la réponse. Le premier libellé « quand » indique la notion de temporalité, mais reste trop imprécis. Le second donne un repère dans le temps plus précis (« quelle date ») mais ne donne pas d'indication sur le niveau de précision attendu. Le troisième libellé donne une indication plus stricte : quel mois et quelle année.

Dillman teste ensuite cette troisième question, en y associant des mises en forme différentes des champs de réponse, et en testant l'ajout d'une consigne encore plus précise. La consigne et les champs de saisie apportent un complément sur le format, en chiffres, sur 2 et 4 positions (exemple I.1).
Exemple I.1 : Formulations de questions pour collecter une date d'entrée à l'université

a. Quand avez-vous commencé vos études à l'université de Washington ?

<figure><img src="image_5.png" /></figure>

b. En quel mois et quelle année avez-vous commencé vos études à l'université de Washington ?

<figure><img src="image_6.png" /></figure>

Mois

<figure><img src="image_7.png" /></figure>

Année

c. En quel mois et quelle année avez-vous commencé vos études à l'université de Washington ?
Merci de répondre en utilisant deux chiffres pour le mois, et quatre chiffres pour l'année

<figure><img src="image_8.png" /></figure>

Mois

<figure><img src="image_9.png" /></figure>

Année

d. En quel mois et quelle année avez-vous commencé vos études à l'université de Washington ?
Merci de répondre en utilisant deux chiffres pour le mois, et quatre chiffres pour l'année

<figure><img src="image_10.png" /></figure>

MM

<figure><img src="image_11.png" /></figure>

AAAA

Source : Internet, Phone, Mail, and Mixed-Mode surveys – The tailored design method, Don A. Dillman and al., 2014

Là encore, les pourcentages de réponse respectant le format attendu (MM AAAA) varient très fortement. Ils sont respectivement de 44 % (a), 57 % (b), 78 % (c), et 94 % (d).

Cet exemple met ainsi en évidence la façon dont le libellé de la question, la consigne, la forme du champ de réponse, et les indications de format coopèrent pour garantir l'obtention de la meilleure réponse possible.

**I.4. Les lignes directrices du Census Bureau**

Parmi les différentes approches proposées dans la littérature, celle de l'équipe du Census Bureau pilotée par Rebecca Morrison, que l'on a retenue dans ce document, offre un cadre très concret pour réfléchir aux pratiques de conception d'enquêtes au sein d'un institut national de statistique (INS). L'objectif que se donnait Rebecca Morrison résonne particulièrement avec les évolutions récentes de la collecte de données à l'Insee. La Direction des programmes économiques, dans laquelle elle était alors en poste, avait jugé nécessaire d'élaborer des lignes directrices pour la conception de questionnaires dans ses services. Deux facteurs étaient avancés. D'une part, la multiplicité des concepteurs, des systèmes de collecte, la diversité des méthodes de création et de présentation de questionnaires empêchaient les répondants aux enquêtes économiques de percevoir une image de marque du Census Bureau. D'autre part, les spécialistes du domaine, à qui incombaient la conception des questionnaires, manquaient de formation sur le sujet et sollicitaient un appui méthodologique (Morrison et al., 2008).

**Un ensemble de lignes directrices qui peuvent remettre en question des habitudes inefficaces**

Les lignes directrices proposées par Rebecca Morrison fournissent un cadre propice à une meilleure compréhension du questionnaire par les enquêtés. Les préconisations visent à faciliter la lecture, à donner du sens et de la cohérence au questionnaire. Elles peuvent concerner la structure du questionnaire, sa mise en forme ou son contenu, et souvent plusieurs de ces attributs simultanément.
Elles peuvent remettre en question certaines pratiques, héritées du passé, ou qui semblent naturelles, mais qui sont souvent dictées par des contraintes qui ne relèvent pas de recommandations méthodologiques. Les questionnaires des enquêtes de l'Insee témoignent en général d'une grande implication et d'un travail important du concepteur, jusque dans les moindres détails du questionnaire. Mais devant l'ensemble des contraintes, qui dépassent celles de la conception pure, certains choix ne sont pas toujours optimaux ni conscients. De plus, cela génère potentiellement de la variabilité dans l'abord et le questionnement des mêmes concepts d'une enquête à l'autre, ce qui complique les communications des résultats et peut nuire à leur comparabilité.

Lors de la conception d'une enquête, de multiples paramètres doivent être pris en compte : les demandes d'informations, exprimées par des partenaires ou un comité utilisateurs par exemple ; des contraintes de coût ; l'insertion dans un système d'informations pré-existant (application de gestion d'enquête par exemple) ; l'existence d'éditions d'enquêtes précédentes et la volonté de limiter les ruptures de série. Face à ces enjeux, les bonnes pratiques de conception peuvent passer au second plan.

La prise en compte de toutes ces contraintes relève de la quadrature du cercle, et le questionnaire parfait n'existe pas, mais lorsque des décisions vont à l'encontre des bonnes pratiques, elles doivent être bien mesurées, et prises en connaissance de cause. Car le non-respect des bonnes pratiques entraîne souvent une moindre lisibilité du questionnaire.

Selon les domaines, les modes de collecte, les pratiques de conception d'enquête ont conduit à développer certains écueils plus que d'autres. Les écueils les plus fréquents, que l'on illustrera par la suite, sont les suivants :

- Le paradigme de la feuille A4 : la volonté de produire un questionnaire papier de taille limitée peut conduire à des choix de mise en forme contraires à ces principes.

- L'appétence pour les tableaux : la formation du statisticien à l'analyse de l'information, complexe et structurée entraîne parfois une préférence pour la complexité. Le souhait de privilégier des tableaux est aussi lié à la volonté de réduire l'espace occupé par le questionnaire. Pour autant, les enquêtés sont souvent peu familiers d'une lecture multidimensionnelle.

- La méconnaissance de l'importance de la structure et du bon usage de la similarité : la forme va de pair avec le fond, et une similarité de forme doit être en lien avec une similarité de contenu. Dans un questionnaire la similarité de forme permet de mettre en évidence les différents types d'éléments composant le questionnaire (titres, questions, instructions, listes de réponse...). La volonté légitime de mettre en évidence les concepts les plus importants nuit souvent à la clarté de la structure.
## Encadré 1 : les lignes directrices de conception de questionnaires du Census Bureau

Les travaux de Rebecca Morrison visaient à répondre aux attentes de la Direction des programmes économiques du Census Bureau (INS américain), qui avait jugé nécessaire d'élaborer des lignes directrices pour la conception de questionnaires dans ses services. Menés en collaboration avec Don Dillman, chercheur américain spécialiste de la conception d'enquêtes, ces travaux ont d'abord fait l'objet de Guidelines internes au Census Bureau (Morrisson et al., 2008). Les lignes directrices proposées ont par la suite évolué et ont été présentées sous différentes versions. Elles ont notamment été publiées dans le Journal of Official Statistics (JOS). Elles ont également été présentées au symposium de StatCan (Morrisson et al., 2009), sous la forme de 23 propositions énoncées dans l'ordre suivant :

### Lignes directrices concernant l'énoncé

(1) Formuler les demandes sous forme de questions ou d'énoncés impératifs, et non sous forme de fragments de phrase ou de mots clés.

(2) Décomposer les questions complexes en une série de questions simples.

### Lignes directrices concernant l'affichage des espaces de réponse et des options de réponse

(3) Utiliser des espaces blancs sur fond de couleur pour mettre en relief les espaces de réponse.

(4) Utiliser des espaces de réponse semblables pour les demandes d'un même type d'information.

(5) Indiquer clairement l'unité de mesure pour chaque élément de données.

(6) Décider s'il faut ou non fournir aux répondants les données qu'ils ont déclarées antérieurement après avoir pesé les avantages et les risques éventuels en matière de qualité des données et les risques éventuels de divulgation.

(7) Fournir des cases à cocher « Inscire "X" si aucun(e) » s'il faut faire la distinction entre la non-réponse partielle et les valeurs nulles déclarées.

### Lignes directrices concernant l'élimination du désordre visuel

(8) Utiliser les diverses polices de caractère uniformément et à une seule fin dans un questionnaire.

(9) Regrouper les éléments de données et leurs espaces de réponse/options de réponse.

(10) Évaluer la nécessité de tout graphique, image ou diagramme, afin de confirmer leur utilité pour les répondants.

### Lignes directrices concernant la création d'un cheminement clair

(11) Formater l'instrument uniformément, en tirant parti des habitudes de lecture familières.

(12) Indiquer clairement le début de chaque question et de chaque partie.

(13) Regrouper les éléments de données similaires.

(14) Utiliser des espaces blancs pour séparer les questions et faciliter le cheminement dans les questionnaires.

(15) Aligner les questions et les espaces de réponse/options de réponse.

(16) Utiliser de bonnes caractéristiques visuelles pour mettre l'accent sur les instructions « Passez à ».

(17) Informer les répondants du cheminement lorsqu'une question continue sur une autre page.

### Lignes directrices concernant les instructions

(18) Intégrer des instructions propres aux questions dans le questionnaire là où elles sont nécessaires. Éviter de placer les instructions sur une feuille, brochure ou page Web distincte.

(19) Envisager de reformuler les instructions importantes sous forme de questions.

(20) Convertir les paragraphes narratifs en listes à puces.

(21) Dans la mesure du possible, utiliser une date réelle plutôt qu'un délai vague pour faire référence aux dates d'échéance.

### Lignes directrices concernant les matrices

(22) Limiter l'utilisation de matrices. Considérer le niveau de familiarité possible des répondants avec les tableaux et les matrices avant de décider ou non de les utiliser.

(23) Si une matrice est nécessaire, aider les répondants à traiter l'information en réduisant le nombre d'éléments de données recueillis et en établissant un cheminement clair.
## II. Une déclinaison des lignes directrices du Census Bureau

### II.1. L'énoncé des questions

Les deux premiers principes de Rebecca Morrison concernent l'énoncé des questions (ou le wording). Ils pourraient se résumer par l'injonction de ne poser qu'une seule question à la fois, sous la forme d'une phrase complète, de préférence à la forme interrogative.

Appliquer ces principes suppose en préalable de bien identifier chaque question, ce qui n'est pas toujours si évident.

Pour illustrer ce point, avant d'examiner plus en détail les deux premiers principes de R. Morrison, on peut s'appuyer sur l'exemple de l'édition 2014 de l'enquête auprès de la fonction publique d'État (FPE) et l'énoncé de sa première « question » :

> « 1) En 2014, vous avez exercé un emploi salarié dans l'administration... »

Cet énoncé, informatif plus qu'interrogatif, ne constituait pas véritablement une question : aucune réponse n'était attendue.

L'énoncé 2 quant à lui, regroupait en fait 3 questions : il y avait bien 3 libellés, et 3 espaces de réponses bien distincts relevant de mesures différentes (exemple II.1).

En 2019, l'enquête FPE a été reconduite, et le questionnaire papier a été généré par l'outil Eno, générateur de questionnaires de la nouvelle filière de collecte pilotée par les métadonnées (programme Métallica). Le premier énoncé a été spécifié comme étant une « instruction », et l'ancienne « question 2 » a été modélisée comme trois questions distinctes.
<figure><img src="image_12.png" /></figure>

En 2018, vous avez exercé un emploi salarié dans l'administration désignée ci-dessous :

1. Êtes-vous toujours en activité au sein de cette administration ?

☐ Oui

☐ Non

<figure><img src="image_13.png" /></figure>

Si oui, passez à la question 4.

2. Si vous n'êtes plus en activité dans cette administration, quand l'avez-vous quittée ?

Indiquez le mois et l'année.

☐☐☐ / ☐☐☐☐☐

3. Pour quelle raison avez-vous quitté cette administration ?

Une seule réponse possible.

☐ Changement d'administration

☐ Départ à la retraite

☐ Départ définitif de la fonction publique (fin de contrat, démission...)

☐ Disponibilité ou autre sortie temporaire (détachement...)

☐ Autre

## II.1.1. Adopter une forme interrogative pour formuler les questions

Un des premiers principes énoncés par R. Morrison suppose ainsi de bien identifier ce qui relève véritablement d'une question. Selon ce premier principe, la formulation d'une phrase complète, de préférence sous forme interrogative est importante.

(1) Formuler les demandes de données sous forme de questions ou d'énoncés impératifs, et non sous forme de fragments de phrase ou de mots clé

Plusieurs arguments sont avancés pour expliquer pourquoi cette construction grammaticale de l'énoncé est à privilégier :

- les mots typiques de l'interrogation signalent à l'enquêté qu'il va devoir fournir une réponse ;

- des recherches montrent que l'attention des enquêtés est meilleure sur les premiers mots et les premières phrases ;

- une phrase complète est plus explicite sur le format et la nature de la réponse attendue. La phrase seule doit être suffisante pour comprendre la réponse qui est attendue (même si les indications de format doivent
être présentes et cohérentes pour contribuer à une meilleure qualité de réponse comme l'a montré l'exemple
de Dillman - cf exemple I.1).

Il est important que le libellé de la question comporte le sens entier (et non partiel) de la demande, pour éviter une lecture plus longue, plus difficile. L'effort cognitif est réduit pour le répondant, si la question est complète, elle évite de devoir chercher ailleurs des éléments d'information. Si des fragments de phrase peuvent être évidents pour une personne maîtrisant le questionnaire et ses attentes, il n'en va pas de même pour la très grande majorité des enquêtés. Il n'y a pas d'évidence pour celui qui lit, et toute ambiguïté est à proscire.

Les exemples sont nombreux, d'emploi dans les questionnaires, de phrases partielles, se terminant au sein des éléments de réponse, ou de fragments de phrase faisant référence à la question précédente. L'exercice de formulation complète oblige souvent à nommer de façon plus précise les concepts que l'on souhaite mesurer, et conduit ainsi à lever des imprécisions.

L'exemple II.2 illustre cette utilisation fréquente d'un questionnement partiel, s'étalant sur les modalités de réponse et faisant référence à la question précédente. Le libellé de la question 2 « Si oui, s'agit-il ? » n'a pas de sens pris isolément. Il est nécessaire de lire la question précédente, et les modalités de réponse pour comprendre de quoi il retourne. Cette question a été reformulée depuis, afin de limiter l'effort cognitif que l'enquêté doit fournir pour comprendre la question (exemple II.3).

<figure><img src="image_14.png" /><figcaption>Exemple II.2 : Question sur les capacités de production extraite du questionnaire papier de l'enquête mensuelle de conjoncture dans l'industrie et le bâtiment (éditions antérieures à 2018)</figcaption></figure>

Source : Questionnaire papier de l'enquête de mensuelle de conjoncture dans l'industrie du bâtiment avant 2018
Exemple II.3 : Question sur les capacités de production extraite du questionnaire web de l'enquête mensuelle de conjoncture dans l'industrie et le bâtiment (éditions postérieures à 2018)

Source : Questionnaire web de l'enquête de mensuelle de conjoncture dans l'industrie du bâtiment 2018

# VI - COMMENT UTILISEZ-VOUS VOTRE CAPACITÉ DE PRODUCTION ?

→ **1. Existe-t-il actuellement des obstacles à l'accroissement de votre activité ?**

<figure><img src="image_15.png" /></figure>

Oui

<figure><img src="image_16.png" /></figure>

Non

→ **2. De quels obstacles s'agit-il ?**

Plusieurs réponses possibles

☐ d'une demande insuffisante

☐ de conditions climatiques défavorables

☐ de l'insuffisance d'un personnel que vous avez du mal à accroître

☐ de l'insuffisance de votre équipement ou de votre matériel

☐ de contraintes financières

☐ de difficultés d'approvisionnement

☐ d'autres facteurs

A noter que le « Si oui » de la question 2 telle qu'elle était posée dans le questionnaire papier a disparu dans le questionnaire web. En effet le questionnaire étant dynamique, les questions peuvent être affichées ou masquées en fonction des réponses précédentes (voir paragraphe II.4.5. sur les filtres au sein de questionnaires papier).

L'exemple II.4 propose une deuxième illustration de question non rédigée extraite du questionnaire papier de l'enquête Acemo 2016, qui comporte plusieurs écueils. La question 1 contient deux questions. La deuxième question, conditionnée par la réponse à la première, n'est ni numérotée, ni référencée (aucun énoncé explicite), ni rédigée : pour comprendre le sens du mot « pour » il faut avoir en tête la question 1, et lire les éléments de réponse.

Deux autres écueils relèvent de principes que l'on détaillera par la suite. Afin de gagner de la place sur le questionnaire papier, la mise en forme rompt la linéarité de la lecture. Afin de conserver le lien entre le « pour » et les réponses possibles, l'instruction a dû être déplacée avant le libellé de la question, rompant également l'homogénéité de la disposition des éléments au sein du questionnaire.

Cette question a été reformulée pour le questionnaire web (exemple II.5).

Exemple II.4 : Autre exemple de questionnement partiel, extrait du questionnaire papier de l'enquête Acemo 2016

# IV. LES ARRÊTS COLLECTIFS DE TRAVAIL EN 2016 DANS VOTRE ENTREPRISE OU L'UN DE SES ÉTABLISSEMENTS

## 1. Dans votre entreprise ou l'un de ses établissements, au moins une grève et/ou un débrayage se sont-ils produits au cours de l'année 2016 ?

Oui

<figure><img src="image_17.png" /></figure>

Non

<figure><img src="image_18.png" /></figure>

Ne sait pas

Plusieurs réponses possibles

Pour :

• Des motifs spécifiques à l'entreprise ou l'un de ses établissements -1

• Des revendications sectorielles -2

• Des revendications interprofessionnelles, nationales -3

Source : Questionnaire papier de l'enquête Acemo sur le dialogue social en entreprises 2016
Exemple II.5 : Autre exemple de reformulation d'une question en une phrase complète

# VI - LES ARRÊTS COLLECTIFS DE TRAVAIL EN DANS VOTRE ENTREPRISE OU L'UN DE SES ÉTABLISSEMENTS

Les informations ci-dessous concernent votre entreprise identifiée par son numéro SIREN (et non l'UES ou le groupe).

## Grève et débrayage

- 1. Dans votre entreprise ou l'un de ses établissements, au moins une grève et/ou un débrayage se sont-ils produits au cours de l'année ?

☐ Oui

☐ Non

☐ Ne sais pas

- 2. Pour quelles raisons ces grève(s) et/ou débrayage(s) se sont-ils produits ?

Plusieurs réponses possibles

☐ Des motifs spécifiques à l'entreprise ou l'un de ses établissements

☐ Des revendications sectorielles

☐ Des revendications interprofessionnelles, nationales

Source : Questionnaire web de l'enquête Acemo sur le dialogue social en entreprises

## II.1.2. Ne poser qu'une seule question par question

Le deuxième principe de R. Morrisson concernant l'énoncé des questions n'est pas nouveau et s'applique, quel que soit le mode de collecte mis en œuvre, qu'il soit auto-administré ou non :

### (2) Décomposer les questions complexes en une série de questions simples

Cette règle élémentaire est toutefois souvent oubliée (Singly, 2020). Et en l'omettant, le concepteur rend souvent impossible la tâche du répondant (Verger, 2009).

De fait, lorsque l'on souhaite collecter une information complexe, il n'est pas toujours évident de parvenir à une interrogation simple pour l'enquêté. Garder à l'esprit que l'on pose une seule question à la fois est important. Lorsque la question est complexe, il est souvent nécessaire de décomposer le questionnement, pour ne pas introduire de confusion dans l'esprit de l'enquêté sur les réponses attendues.

Le recours aux tableaux correspond souvent à la formulation de questions complexes. En effet, une question complexe se traduit dans ce cas par une mise en forme complexe pour collecter plusieurs dimensions d'information. Une vigilance particulière doit donc être apportée dans le cas de tableaux, mais le sujet fait l'objet de principes explicites (voir infra partie II.6).

La présence de petits mots tels que ET / OU constituent de bons indicateurs pour déceler le risque de poser plusieurs questions en une seule.

Une des questions posées dans l'enquête Filière Aéronautique et spatiale en 2015, concernant « les attentes et la satisfaction » de l'entreprise enquêtée vis-à-vis de son principal client, permet d'illustrer ce principe (exemple II.6). La complexité de la question est perceptible dès le libellé « attentes et satisfaction ». La présence de la conjonction de coordination « et » doit alerter le concepteur. Par ailleurs, le concept même d'attentes est assez flou et ne s'applique pas toujours très bien aux divers items listés, dont l'hétérogénéité induit une complexité supplémentaire. L'enquête sur la filière aéronautique et spatiale ayant été longtemps collectée entièrement par papier, la volonté de limiter les coûts a conduit à une mise en forme contrainte, favorisant les tableaux, et les questions complexes.

La question a depuis été simplifiée et clarifiée, en ne conservant notamment que la dimension « satisfaction » pour appréhender la qualité de la relation client, et en découpant les critères en trois blocs
dans le questionnaire papier (exemple II.7), puis en trois questions différentes dans le questionnaire web (exemple II.8). Ces nouvelles versions de questionnaire ouvrent un autre sujet, celui de l'usage et de l'interprétation des pictogrammes, qui fait l'objet de principes énoncés plus loin dans le document (cf partie II.3).

Exemple II.6: Questionnement multiple sur les relations de l'entreprise avec son principal client dans l'enquête Filière Aéronautique et spatiale 2015

B5.3 Quelles sont les attentes et la satisfaction de votre entreprise vis-à-vis de son principal client AS ?

Cochez les cases et symboles correspondants

<table><thead><tr><th rowspan="2"></th><th colspan="5">Attente</th><th rowspan="2">Degré de satisfaction</th></tr><tr><th>Très forte</th><th>Forte</th><th>Moyenne</th><th>Faible</th><th>Très faible</th></tr></thead><tbody><tr><td>Planification des commandes</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Délais de paiement</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Respect des droits de propriété</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Aide au développement économique de votre entreprise</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Implication de votre part dans la conception ou les spécifications</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Durée d'engagement</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr><tr><td>Autre (précisez) :</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>☐</td><td>😊 😊 😞</td></tr></tbody></table>

Source : Questionnaire papier de l'enquête Filière Aéronautique et spatiale 2015

Exemple II.7 : Décomposition de la question dans le questionnaire papier de l'enquête Filière Aéronautique et spatiale année 2019

B6 Evaluez le climat de la relation avec votre principal client :

Cochez la case du symbole correspondant :

<table><thead><tr><th></th><th>Très satisfaisant</th><th>Plutôt satisfaisant</th><th>Plutôt insatisfaisant</th><th>Très insatisfaisant</th></tr></thead><tbody><tr><td><strong>Climat général</strong></td><td></td><td></td><td></td><td></td></tr><tr><td>Équilibre de la relation</td><td></td><td></td><td></td><td></td></tr><tr><td>Respect des engagements contractuels</td><td></td><td></td><td></td><td></td></tr><tr><td><strong>Niveau d'exigence du client</strong></td><td></td><td></td><td></td><td></td></tr><tr><td>Qualité</td><td></td><td></td><td></td><td></td></tr><tr><td>Prix</td><td></td><td></td><td></td><td></td></tr><tr><td>Délais de paiement</td><td></td><td></td><td></td><td></td></tr><tr><td><strong>Niveau de soutien du client</strong></td><td></td><td></td><td></td><td></td></tr><tr><td>Prise en compte des difficultés de votre entreprise</td><td></td><td></td><td></td><td></td></tr><tr><td>Aide au développement de vos compétences</td><td></td><td></td><td></td><td></td></tr><tr><td>Planification des commandes</td><td></td><td></td><td></td><td></td></tr><tr><td>Qualité des spécifications fournies</td><td></td><td></td><td></td><td></td></tr></tbody></table>

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>

Source : Questionnaire papier de l'enquête Filière Aéronautique et spatiale année 2019
Exemple II.8 : Décomposition de la question dans le questionnaire web de l'enquête Filière Aéronautique et spatiale année 2019

Evaluation de la relation avec votre principal client (aéronautique et/ou spatial)

→ 12. Quel est le climat général de la relation avec votre principal client ?

Equilibre de la relation

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

Respect des engagements contractuels

<figure><img src="image_31.png" /></figure>

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>

<figure><img src="image_38.png" /></figure>

→ 13. Quel est le niveau d'exigence de votre principal client ?

Qualité

<figure><img src="image_39.png" /></figure>

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>

<figure><img src="image_42.png" /></figure>

<figure><img src="image_43.png" /></figure>

<figure><img src="image_44.png" /></figure>

<figure><img src="image_45.png" /></figure>

<figure><img src="image_46.png" /></figure>

Prix

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /></figure>

<figure><img src="image_53.png" /></figure>

<figure><img src="image_54.png" /></figure>

Délais de paiement

<figure><img src="image_55.png" /></figure>

<figure><img src="image_56.png" /></figure>

<figure><img src="image_57.png" /></figure>

<figure><img src="image_58.png" /></figure>

<figure><img src="image_59.png" /></figure>

<figure><img src="image_60.png" /></figure>

<figure><img src="image_61.png" /></figure>

<figure><img src="image_62.png" /></figure>

→ 14. Quel est le niveau de soutien de votre principal client ?

Prise en compte de vos difficultés

<figure><img src="image_63.png" /></figure>

<figure><img src="image_64.png" /></figure>

<figure><img src="image_65.png" /></figure>

<figure><img src="image_66.png" /></figure>

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

<figure><img src="image_69.png" /></figure>

<figure><img src="image_70.png" /></figure>

Aide au développement de vos compétences

<figure><img src="image_71.png" /></figure>

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

<figure><img src="image_78.png" /></figure>

Planification des commandes

<figure><img src="image_79.png" /></figure>

<figure><img src="image_80.png" /></figure>

<figure><img src="image_81.png" /></figure>

<figure><img src="image_82.png" /></figure>

<figure><img src="image_83.png" /></figure>

<figure><img src="image_84.png" /></figure>

<figure><img src="image_85.png" /></figure>

<figure><img src="image_86.png" /></figure>

Qualité des spécifications fournies

<figure><img src="image_87.png" /></figure>

<figure><img src="image_88.png" /></figure>

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

<figure><img src="image_93.png" /></figure>

<figure><img src="image_94.png" /></figure>

Source : Questionnaire web de l'enquête Filière Aéronautique et spatiale 2019

Exemple II.9 : Projet initial de questionnaire papier de l'enquête Filière Aéronautique et spatiale – 2019

G7 Si votre établissement envisage de recruter du personnel salarié (hors intérim et stage) en 2018, et/ou si, depuis un an, il a rencontré des difficultés pour recruter du personnel qualifié dans le domaine technique pour son activité aéronautique et/ou spatiale, veuillez compléter le tableau ci-dessous :

<table><thead><tr><th>Domaine</th><th>Métier</th><th>Métiers recherchés (cochez les cases)</th><th>Difficultés de recrutement (cochez les cases)</th><th>Taux d'échéc*</th><th>Durée moyenne du processus de recrutement**</th></tr></thead><tbody><tr><td rowspan="6">1- La conception</td><td>1.1-Ingénieur Recherche et Développement Structure</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>1.2-Ingénieur CAO</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>1.3-Ingénieur développeur logiciel</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>1.4-Ingénieur calcul</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>1.5-Chef de projet</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>1.9-Autre métier (précisez) :</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td rowspan="4">2- Les essais</td><td>2.1-Ingénieur d'essais</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>2.2-Ingénieur système</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>2.3-Technicien d'essais</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>2.9-Autre métier (précisez) :</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td rowspan="3">3- L'industrialisation</td><td>3.1-Responsable production</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>3.2-Ingénieur méthode</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr><tr><td>3.3-Technicien méthode</td><td>☐</td><td>☐</td><td>%</td><td>semaine(s)</td></tr></tbody></table>

Source : archives concepteur
Cet écueil peut être illustré par une autre question issue de l'enquête Filière Aéronautique et spatiale (exemple II.9), qui cherchait elle aussi à capturer une information très complexe, pour répondre à une demande du comité des utilisateurs de l'enquête portant sur les difficultés de recrutement. Un tableau multidimensionnel était proposé à l'entreprise répondante pour répondre à la question complexe suivante : « si votre établissement envisage de recruter du personnel salarié (hors intérim et stage) en 2018, et/ou si, depuis un an, il a rencontré des difficultés pour recruter du personnel qualifié dans le domaine technique pour son activité aéronautique et/ou spatiale, veuillez compléter le tableau ci-dessous : ». Y répondre relevait de la gageure, et pouvait s'avérer très lourd dans le cas du papier. Mais renoncer au tableau aurait conduit à générer un nombre important de questions, et augmenter fortement le nombre de pages du questionnaire papier<fnref n="8" />.

Là encore, l'utilisation du « et/ou » dans le libellé de la question met en évidence le fait qu'elle en condense plusieurs, de même que la référence à deux périodes de temps différentes, l'une dans le passé (depuis un an), l'autre dans le futur.

## II.2. L'affichage des espaces de réponse et des options de réponse

Les cinq principes suivants repris des travaux de R. Morrison ont trait aux options de réponse (ou modalités), les deux premiers découlant directement des enseignements de la théorie de la Gestalt et des sciences cognitives.

### II.2.1. Mettre en relief et uniformiser les espaces de réponse

#### (3) Utiliser des espaces blancs sur fond de couleur pour mettre en relief les espaces de réponse

Cette recommandation, est particulièrement adaptée à un questionnement papier, mais elle peut tout à fait être transposée au mode web. Il s'agit de bien indiquer au répondant à quel endroit il doit répondre, et de distinguer formellement des zones de question et de réponse.

Les champs de réponse ou options de réponse doivent être facilement identifiables et bien distincts au sein du questionnaire. Les espaces de réponse sont aussi l'occasion, par leur forme (taille, structure), leur mode d'interaction sur le web (saisie, coche, liste déroulante), de donner des précisions sur le format attendu.

Cette recommandation d'utiliser un espace blanc sur fond de couleur découle des travaux de recherche en sciences cognitives (loi de perception figure/fond de la théorie de la Gestalt) qui ont montré que les espaces légèrement colorés sont perçus comme le fond, alors que les zones les plus claires sont perçues comme des éléments saillants. Ainsi formatés, les espaces de réponse ressortent mieux, et le répondant peut s'assurer plus facilement qu'il a bien répondu à toutes les questions.

Dans le questionnaire papier du recensement (exemple II.10), cette recommandation est mise en œuvre.

<footnote n="8">8 Le nombre de pages d'un questionnaire papier a des conséquences directes et facilement mesurables sur les coûts d'impression et de publipostage de l'enquête. En revanche, son impact sur la motivation à répondre est peu documenté. Si l'on soupçonne qu'un nombre important de pages peut dissuader le répondant à répondre, on ignore l'ampleur de cet effet et l'on ne dispose pas d'éléments pour dire s'il est plus dissuasif que le fait de proposer des tableaux.</footnote>
<figure><img src="image_95.png" /><figcaption>Exemple II.10 : Utilisation d'espaces blancs pour les champs de collecte dans le bulletin du recensement</figcaption></figure>

Source : Questionnaire papier du recensement de la population

(4) Utiliser des espaces de réponse semblables pour les demandes d'un même type d'information.

L'espace de réponse fournit des indications sur le format de réponse attendu : type, taille, unité, etc. L'uniformité pour un même type de données est importante. Selon le principe de similarité, les éléments qui se ressemblent sont de même nature, ceux qui diffèrent sont donc de nature différente.

En lisant ce principe en creux, cela doit nous inciter à différencier la forme des champs de réponse, si l'on souhaite collecter des informations différentes. Comme le montre l'exemple introductif sur la date de début d'études (exemple I.1), une longueur identique des champs « mois » et « année » incite à répondre en toutes lettres, l'absence de différenciation pouvant laisser supposer que les réponses attendues sont de même nature, et de longueurs similaires.

Inversement, si l'on souhaite collecter des informations de même nature, il convient de choisir des champs de réponse identiques. L'exemple II.11 permet d'illustrer l'ambiguïté qui peut résulter du non-respect de ce principe. Dans ce tableau extrait de l'édition 2015 de l'enquête Antipol, l'absence de la mention d'unité, ainsi que l'absence de tout élément graphique indiquant qu'un montant est attendu (« ..., » ou k€ par exemple), peut laisser croire que le contenu attendu dans les premières lignes du tableau est différent du contenu de la marge « Total » qui figure sur la dernière ligne. Le répondant peut dès lors se poser plusieurs questions : doit-on simplement cocher les cases correspondant aux investissements effectués ? Peut-on renseigner un pourcentage, un montant ?

Dans les faits, certains enquêtés renseignaient en montant la ligne Total, et se contentaient de croix dans le tableau, alors qu'une réponse en k€ était également attendue. Ce que le concepteur pensait gagner en « espace » était perdu en information.
Exemple II.11 : Illustration du non-respect du principe d'homogénéité des espaces de réponse

<figure><img src="image_96.png" /></figure>

Source : Questionnaire papier de l'enquête Antipol année 2015

## II.2.2. Préciser dans quelle unité de mesure la réponse est attendue

Le principe suivant de R. Morrisson porte sur l'unité de mesure, qui doit être clairement mentionnée dans les espaces de réponse :

(5) Indiquer clairement l'unité de mesure pour chaque élément de données.

Au-delà du chiffre, pour un statisticien, il est important de connaître ce qu'il représente et dans quelle unité s'exprime la mesure. La métadonnée unité est fondamentale pour manipuler la donnée, elle est donc également fondamentale à l'étape de son recueil.

Il est dès lors crucial de l'expliciter dans le questionnaire, et que l'ensemble des informations sur le sujet soit cohérent, en particulier lorsqu'un grand nombre de quantités est collecté, comme souvent dans les enquêtes entreprises.

L'unité de réponse doit être claire pour le répondant, visible, et cohérente avec la question et le format de réponse proposé. Si l'on attend une réponse en %, on choisira des termes comme « part », tout en prévoyant un champ de collecte compris entre 0 et 100. Si l'on parle de montant, alors une unité monétaire sera choisie etc...

Lorsque c'est possible, il est préférable de limiter le nombre d'unités différentes utilisées dans le questionnaire. En particulier pour les quantités monétaires, on évitera de mixer euros et keuros.

L'enquête EACEI par exemple (cf exemple II.12), collecte des quantités d'énergie consommées, et fait appel à différentes unités. Il est fondamental qu'elles soient bien rappelées à chaque champ.
<figure><img src="image_97.png" /><figcaption>Exemple II.12 : Précision des unités pour chaque champ de collecte</figcaption></figure>

Il arrive parfois que l'on souhaite proposer plusieurs choix d'unités au répondant. Plusieurs raisons peuvent être avancées selon les cas, qui ne sont pas toutes de même importance.

Tout d'abord, il est connu que ce que l'on cherche à mesurer peut parfois l'être de façons différentes, et potentiellement exclusives les unes des autres. C'est le cas par exemple des quantités de déchets collectées dans l'enquête déchets. Les unités les plus fréquentes sont la tonne (mesure de la masse, par pesée ou estimation), et le m3 (mesure d'un volume, parfois facturé par un prestataire – bennes, camions etc...).

La question de laisser ou non le choix de l'unité à l'enquêté est épineuse dans un questionnaire auto-administré (un enquêteur pouvant facilement s'accommoder de plusieurs possibilités si le questionnaire le permet). En effet, il est possible qu'un répondant ne dispose de l'information que dans une seule des deux unités. Mais on sait par ailleurs que la masse volumique peut varier fortement (on peut compacter plus ou
moins fortement ses déchets d'emballage pour en réduire le volume). On aurait donc une préférence naturelle pour la masse, plus fiable, mais on ne se prive pas de collecter des quantités en volume également.

Cependant, il y a un arbitrage à faire entre la facilitation de la réponse de l'enquêté et l'exploitation des données. Proposer deux unités nécessite d'être ensuite capable de convertir les données dans une même et unique unité, avec une précision importante. On peut douter de la capacité à calculer des agrégats, lorsque le nombre d'unités proposé est grand, ou concerne la mesure d'un matériau imprécis (exemples II.13 et II.14).

<table><caption>Exemple II.13 : Proposition de deux unités pour quantifier les déchets produits</caption><thead><tr><th>Catégorie de déchets<br>(Cochez la case si vous êtes<br>concernés par ce déchet)</th><th colspan="3">Quantité produite<br>en 2008<br>(Indiquez une<br>quantité de<br>préférence en tonne,<br>sans décimale)</th></tr></thead><tbody><tr><td>☐ D2 Papiers</td><td>tonnes</td><td>ou</td><td>m<sup>3</sup></td></tr><tr><td>☐ D3 Papiers et cartons en<br>mélange</td><td>tonnes</td><td>ou</td><td>m<sup>3</sup></td></tr><tr><td>☐ E1 Déchets textiles</td><td>tonnes</td><td>ou</td><td>m<sup>3</sup></td></tr><tr><td>☐ E2 Déchets de cuir</td><td>tonnes</td><td>ou</td><td>m<sup>3</sup></td></tr><tr><td>☐ F1 Pneumatiques</td><td>tonnes</td><td>ou</td><td>nombre</td></tr><tr><td>☐ F2 Autres déchets de<br>caoutchouc</td><td>tonnes</td><td>ou</td><td>m<sup>3</sup></td></tr><tr><td>☐ G1 Palettes perdues et<br>usagées</td><td>tonnes</td><td>ou</td><td>nombre</td></tr></tbody></table>

Source : Questionnaire papier de l'enquête sur la production de déchets non dangereux en 2008
Exemple II.14 : Choix laissé à l'entreprise enquêtée pour quantifier ses déchets produits

→ 6. **Donnez une estimation de la quantité totale (ou le volume total) des déchets recyclables:**

Les différentes lignes de contenants permettent de donner les informations pour chaque type de contenants (de volumes différents).

Vous **devez choisir** entre les colonnes "Volume" et "Poids" qui indiquent le volume (en litres, L) ou le poids (en kg) d'un sac ou d'une benne ou d'un bac.

Vous **devez choisir** entre les colonnes "Nombre par mois* " et "Nombre par an" qui indiquent le nombre de contenants collectés par mois « moyen » ou de l'année 2018.

* multiplier par 4 la quantité habituelle d'une semaine pour avoir la quantité pour le mois

Si vous avez des volumes en m3, convertissez en L, sachant que 1 m3 = 1 000 L.

<table><thead><tr><th></th><th>Volume (en L)</th><th>Poids (en kg)</th><th>Nombre par mois</th><th>Nombre par année</th></tr></thead><tbody><tr><td>Sacs*</td><td></td><td></td><td></td><td></td></tr><tr><td>Sacs</td><td></td><td></td><td></td><td></td></tr><tr><td>Sacs</td><td></td><td></td><td></td><td></td></tr><tr><td>Bacs*</td><td></td><td></td><td></td><td></td></tr><tr><td>Bacs</td><td></td><td></td><td></td><td></td></tr><tr><td>Bacs</td><td></td><td></td><td></td><td></td></tr><tr><td>Bennes*</td><td></td><td></td><td></td><td></td></tr><tr><td>Bennes</td><td></td><td></td><td></td><td></td></tr><tr><td>Bennes</td><td></td><td></td><td></td><td></td></tr><tr><td>Autre</td><td></td><td></td><td></td><td></td></tr><tr><td>Autre</td><td></td><td></td><td></td><td></td></tr></tbody></table>

*Sacs (en plastique ou en papier, de couleurs différentes selon le type de recyclage)

*Bacs (à 2 roues, souvent de 120 L, 240 L, 360 L, 750 L ou à 4 roues de 1 000 L soit 1 m3 maximum)

*Bennes (en acier, de plus de 1 m3)

Source : Questionnaire papier de l'enquête sur la production et la gestion des déchets dans les Hauts-de-France dans le secteur tertiaire en 2019

Par ailleurs, dans certaines enquêtes, la distribution d'une variable peut être à queue longue. Certaines entreprises seront plus à l'aise pour répondre en k€, et les plus petites répondront parfois plus naturellement en euros. Cette conversion d'un facteur mille est relativement simple, tout comme il est rapide de se tromper et de répondre dans la « mauvaise » unité. Dans ce cas, il est toutefois préférable de choisir une unité, et de la conserver dans le temps pour faciliter les contrôles temporels.

Enfin, des questions portant sur une ventilation peuvent être posées en niveau dans l'unité concernée (nombre d'employés, chiffre d'affaires par branche) ou selon un pourcentage (exemple II.15). Les informations en niveau sont généralement présentes dans le système d'information des entreprises, elles le sont plus rarement en pourcentage. Une réponse en pourcentage résulte dès lors souvent d'une estimation grossière, plutôt que d'une réelle quantification. Cependant, lorsque l'information n'est pas connue de façon absolue par le répondant, ou que l'effort pour collecter l'information serait trop important, il peut être utile de proposer une réponse en pourcentage, qui permet certaines approximations.

Il faut noter toutefois qu'un montant est une information absolue, alors que l'expression d'un pourcentage devra toujours être rattachée à une autre variable, de façon explicite, que ce soit dans le questionnaire lors de la collecte, ou après, lors de la diffusion des données.
Exemple II.15 : Proposer d'indiquer une réponse en pourcentage plutôt qu'en effectif

<figure><img src="image_98.png" /></figure>

Lorsque l'on décide de laisser le choix de l'unité de réponse au répondant, il faut garder à l'esprit dans tous les cas que répondre à la question requiert alors une double action de la part du répondant : avant même de répondre à la question, il doit décider dans quelle unité il va répondre, ce qui augmente la charge cognitive.

### II.2.3. Statuer sur la remontée de données antérieures

La recommandation suivante de R. Morrisson est d'une nature différente de celles qui portent sur la mise en forme ou l'explicitation des espaces de réponse. Elle porte sur les avantages ou les inconvénients de pré-remplir ces espaces de réponse avec des données connues de vague d'enquête précédente.

(6) Décider s'il faut ou non fournir aux répondants les données qu'ils ont déclarées antérieurement... après avoir pesé les avantages et les risques éventuels en matière de qualité des données et les risques éventuels de divulgation.

La question de la remontée de données antérieures pose des questions liées à la confidentialité, mais également liées à la conception.

En effet, la connaissance de données peut être utilisée de différentes manières au sein du questionnaire. Il peut s'agir d'une donnée que l'on souhaite collecter, et pour laquelle on connaît déjà une valeur, issue d'une collecte précédente, ou de sources administratives. On peut alors pré remplir directement le champ de collecte pour un questionnaire web. Les choses sont possibles, mais plus compliquées pour le papier.

On peut également utiliser cette information dans une question, et demander une confirmation.

Le pré remplissage est une option que l'on retrouve lorsqu'une variable varie très peu dans le temps, ou lorsqu'une variable historique peut être modifiée par des collectes ultérieures (indices de prix industriels par exemple).

L'inconvénient de cette solution est qu'en cas d'invariance, on ne sait pas si le répondant n'a rien modifié parce que la valeur n'a effectivement pas changé ou s'il s'agit d'un oubli. Le pré remplissage peut également pousser au satisficing, et inciter les enquêtés à ne pas préciser leur réponse. Les questions de confirmation permettent dans ce cas de lever toute ambiguïté.

Enfin, ces informations peuvent servir de variables auxiliaires dans la phase de traitement post collecte, et être utilisées à des fins de contrôles ou de redressements.
Dans tous les cas, il faut se poser la question de l'opportunité de rappeler d'anciennes informations, en lien avec leur sensibilité d'une part, mais également de la fréquence de changement, ou de l'importance que revêt cette information.

### II.2.4. Distinguer « valeur nulle » et non-réponse partielle

L'enjeu du principe suivant énoncé par R. Morrisson est lui aussi d'ordre assez différent. Il relève du bon sens, ne découle pas des enseignements de la théorie de la Gestalt ou des sciences cognitives, mais peut s'avérer crucial pour la qualité des données recueillies par questionnaire auto-administré :

> (7) Proposer une modalité « aucune des modalités proposées » dans les questions à choix multiple pour bien distinguer non-réponse partielle et valeurs nulles déclarées.

Certaines questions peuvent laisser le doute sur la signification de la réponse ou plutôt de la non-réponse. Il s'agit de questions de type booléen ou à choix multiples (QCM), dans lesquelles les réponses proposées ne décrivent pas l'ensemble des possibles. Il faut en effet toujours garder en mémoire que lorsqu'une liste fermée est proposée pour la réponse, elle doit envisager l'ensemble des possibles.

Pour une question à choix multiples, il y a plusieurs solutions pour contourner ce problème.

Pour illustrer ce principe, on peut s'inspirer d'une des questions posées aux ménages dans l'enquête annuelle sur les technologies de l'information et de la communication (TIC), portant sur les lieux d'utilisation d'internet au cours des trois derniers mois, en dehors de chez soi (lieu de travail ou d'études, chez des amis ou membres de leur famille, ailleurs). On peut construire une question fictive incomplète dans laquelle la modalité « aucune utilisation en dehors de chez vous » n'est pas proposée (exemple II.16). Utilisée seule, cette question ne recouvrirait pas tout l'univers des possibles, une personne n'utilisant pas internet ou ne l'utilisant que chez elle, ne trouvant aucune réponse qui la concerne. Une telle question ne permettrait donc pas de distinguer la non-réponse d'un vrai "zéro".

Dans l'enquête Tic auprès des ménages, cette question est de fait posée sous forme d'une question à choix multiples avec ajout d'une modalité « pas d'utilisation en dehors de chez vous » correspondante à « aucune des modalités proposées » (exemple II.17).

Exemple II.16 : Modalités ne décrivant pas tous les possibles

→ 1. Au cours des trois derniers mois, en dehors de chez vous, vous avez utilisé internet...

Plusieurs réponses possibles

☐ sur votre lieu de travail.

☐ sur votre lieu d'études

☐ chez des membres de votre famille, des amis, voisins

☐ dans un autre lieu (cybercafé, bibliothèque, hôtel, aéroport, etc.)

Source : Exemple fictif créé à partir du questionnaire de l'enquête Tic ménages
Exemple II.17 : Réponse mixte QCM avec modalité excluante

→ **1. Au cours des trois derniers mois, en dehors de chez vous, vous avez utilisé internet...**

*Plusieurs réponses possibles*

☐ sur votre lieu de travail.

☐ sur votre lieu d'études

☐ chez des membres de votre famille, des amis, voisins

☐ dans un autre lieu (cybercafé, bibliothèque, hôtel, aéroport, etc.)

☐ pas d'utilisation en dehors de chez vous

Source : Questionnaire de l'enquête Tic Ménages

Cette façon de présenter a l'avantage de réduire l'espace utilisé et constitue un bon compromis. Elle condense toutefois deux questions (utilisation en dehors de chez vous oui/non, et si oui, où) et présente quelques écarts par rapport à la cible théorique :

- la question n'est pas formulée : il n'y a pas de phrase complète, ni d'interrogation. Le libellé de la question ne porte pas totalement la notion de lieu. On sait qu'il s'agit de parler de l'usage en dehors du domicile, mais on ne sait pas ce qui est demandé.

- le format de réponse ne correspond pas strictement à celui d'une question à choix multiples puisque le dernier item est exclusif des premiers.

- la formulation du dernier item de la liste n'est pas cohérente avec le libellé de la question.

Une autre possibilité consiste à transformer le QCM en liste de questions Oui/Non (exemple II.18).

Exemple II.18 : Batterie de questions Oui/Non

→ **2. Au cours des trois derniers mois, en dehors de chez vous, vous avez utilisé internet...**

sur votre lieu de travail.

☐ Oui

☐ Non

sur votre lieu d'études

☐ Oui

☐ Non

chez des membres de votre famille, des amis, voisins

☐ Oui

☐ Non

dans un autre lieu (cybercafé, bibliothèque, hôtel, aéroport, etc.)

☐ Oui

☐ Non

Source : Exemple fictif créé à partir du questionnaire de l'enquête Tic ménages
Le débat sur cette alternative est un marronnier de la littérature de conception de questionnaires pour au moins deux raisons :

- lorsque l'enquête est passée par téléphone, la version Oui/Non est toujours à privilégier. En effet, le mode auditif conduit à des efforts de mémorisation plus importants. L'énumération d'une liste conduit à un effet de mode appelé *recency* : les items de la fin d'une liste sont mieux mémorisés, et plus souvent choisis.

- à l'inverse, lorsqu'une question à choix multiples contenant un nombre important de modalités est posée sur un support visuel (papier ou internet) on constate que les répondants ont tendance à choisir plus souvent les premiers items (*primacy effect*).

Ces effets (*recency* ou *primacy*) sont décrits depuis longtemps (Krosnick & Alwin, 1987), toutefois, la recherche plus récente semble souligner que ceux-ci se combinent avec d'autres aspects : l'existence d'un ordre logique des modalités, la simplicité de la question, les aptitudes cognitives des répondants, leur motivation sont susceptibles de réduire les effets de primacy et recensy.

- la présentation en Oui/Non conduit à un nombre moyen d'items sélectionnés plus grand qu'avec un QCM (Smyth, Dillman, Christian, & Stern 2006). L'hypothèse étant que les questions Oui/Non ont en théorie plus de chances d'être lues et de faire l'objet d'une réponse systématique, que les modalités d'une liste, que le répondant parcourt parfois rapidement, jusqu'à ce qu'un nombre acceptable de modalités soit sélectionné. Le choix de l'une ou l'autre de ces présentations n'est donc pas anodin et peut altérer la réponse obtenue.

Une dernière possibilité consisterait en théorie à distinguer formellement les deux questions posées, à savoir l'usage d'internet à l'extérieur de son domicile dans un premier temps, puis les lieux de cet usage dans un second temps, en choisissant pour cette deuxième question soit un format QCM (exemple II.19), soit une batterie de questions Oui/Non (exemple II.20). Mais l'usage d'une question filtre n'est pas toujours recommandé, car elle induit potentiellement des effets de questionnement importants lorsque la question est complexe, dont nous proposons une illustration au paragraphe suivant.

<figure><img src="image_99.png" /><figcaption>Exemple II.19 : Proposition avec filtre et QCM</figcaption></figure>
Exemple II.20 : Proposition avec question filtre et batterie de questions Oui/ Non

3. Au cours des trois derniers mois, avez-vous utilisé internet en dehors de chez vous ?

O Oui

O Non

4. Dans quels lieux avez-vous utilisé internet en dehors de chez vous ?

Pluiseurs réponses possibles

sur votre lieu de travail.

O Oui

O Non

sur votre lieu d'études

O Oui

O Non

chez des membres de votre famille, des amis, voisins

O Oui

O Non

dans un autre lieu (cybercafé, bibliothèque, hôtel, aéroport, etc.)

O Oui

O Non

Source : Exemple fictif créé à partir du questionnaire de l'enquête Tic ménages

II.2.5. Prendre garde aux effets de questionnement liés à l'utilisation d'une question filtre<fnref n="9" />

Le risque d'un effet de questionnement lié à l'introduction d'une question filtre est en effet fort, quel que soit
le mode retenu (auto-administré ou non). La série des questions portant sur la participation à des
associations, posées en face à face dans les éditions successives des enquêtes permanentes sur les
conditions de vie (EPCV) puis dans l'enquête statistique sur les ressources et les conditions de vie (SRCV),
permet d'en donner une illustration.

Depuis plusieurs décennies, l'Insee mène régulièrement des enquêtes sur les conditions de vie des
ménages résidant en logement ordinaire qui abordent les pratiques associatives (Burricand, Gleizes, 2016).
Les différences de protocole d'enquête, de champ de population, de nomenclature d'associations et surtout
de questionnement ont pu conduire à des taux d'adhésion différents selon les enquêtes.

Ainsi, de 1996 à 2005, dans les enquêtes permanentes sur les conditions de vie des ménages (EPCV),
menées en face-à-face, la question de l'adhésion à des associations était posée, sous forme de **batterie de
questions**, pour toute une liste d'associations citées par l'enquêteur (et reproduite sur une carte codes)
(exemple 3.12).

En 2006, un module européen sur la participation sociale dans l'enquête européenne sur les revenus et
conditions de vie des ménages (SRCV/Silc) comportait une partie sur la vie associative. Le questionnement
 faisait l'objet d'une question à choix multiples (set-off). Le répondant devait dire s'il avait été membre d'une
(ou de plusieurs) association(s) parmi celles présentées sur une **carte avec 18 modalités** (exemple II.21). Il
n'était pas demandé à l'enquêteur de lire les modalités. Ce changement de questionnement, dont a pu
découler une forme de **satisficing**, a induit une baisse de l'ordre de 10 points sur la mesure du taux
d'adhésion (figure II.1), sans que l'on puisse affirmer directement avec certitude que l'un est plus proche de
la vérité que l'autre..

En 2008 et 2010, suite à une refonte de l'enquête SRCV les questions posées sur la vie associative,
reposait sur la déclaration spontanée des individus à l'adhésion de manière générale à une association

<footnote n="9">⁹ Ce sujet, contrairement aux précédents, ne fait pas l'objet d'un principe énoncé par R. Morrison.</footnote>
quelle qu'elle soit, à partir d'une **question filtre** (exemple II.22). Comme en 2006, ce mode de recueil a conduit à sous-estimer l'adhésion, les enquêtés ne pensant pas toujours spontanément à se déclarer comme adhérent (effet mémoire), ou cherchant à gagner du temps (*satisficing*).

Par ailleurs, la notion d'association est très vaste, et le périmètre recouvert par ce terme n'est pas toujours bien compris. La mention d'une adhésion à une association de parents d'élèves par exemple peut être négligée à tort par l'enquêté. C'est probablement en prenant connaissance de la liste des différents types d'associations que l'enquêté est en mesure de se déterminer précisément. La question filtre amène forcément une réduction du périmètre, un flou sur le concept que l'on cherche à appréhender, dans la mesure où elle ne porte pas autant d'informations qu'une batterie de questions déclinées selon les types d'associations.

En 2013, un mode de questionnement plus détaillé a donc été repris sur le même principe que celui des enquêtes EPCV (le questionnement se rapprochait du questionnaire de 2006), la question de l'adhésion étant explicitement posée pour plusieurs types d'association, sous forme de **batterie de questions**, permettant de se prémunir, pour partie, d'oublis ou d'incompréhensions de la part des enquêtés.

La baisse de près de 10 points en 2006, 2008, et 2010 du taux d'adhésion à une association dans la série des enquêtes EPCV-SRCV illustre l'effet de questionnement lié aux modifications du questionnaire : batterie de questions de 1996 à 2005 et en 2013, question à choix multiple avec de nombreuses modalités listées sur une carte codes en 2006 ou question filtre en 2008 et 2010. Le questionnement sous forme de batterie de questions a entraîné en 2013 la remontée du taux d'adhésion à un niveau similaire à celui observé en 2005.
Exemple II.21 : Extrait du questionnaire des enquêtes permanentes sur les conditions de vie (EPCV) 1996-2005*

Je vais vous citer un certain nombre de types d'associations et vous me direz si vous faites partie d'une association de ce type, même en tant que simple adhérent. → Présentez la carte 14

<table><thead><tr><th>TYPE D'ASSOCIATION</th><th>À combien d'associations de cette catégorie ?</th><th>Vous y participez en tant que...</th><th>À quelle fréquence participez-vous aux activités ?</th></tr><tr><th>Êtes-vous membre d'une association de ce type ?</th><th>NBASXX</th><th>PARTAXX</th><th>FREQAXX</th></tr></thead><tbody><tr><td>A01 Association de parents d'élèves</td><td>☐</td><td>☐</td><td>☐</td></tr><tr><td>A02 Association de locataires, propriétaires ou co-propriétaires</td><td>☐</td><td>☐</td><td>☐</td></tr><tr><td>A03 Groupement syndical ou professionnel</td><td>☐</td><td>☐</td><td>☐</td></tr><tr><td>A04 Association à but others</td><td>☐</td><td>☐</td><td>☐</td></tr></tbody></table>

Source : travaux menés en 2016 par C. Burricand et F. Gleizes pour accompagner leur publication « Trente ans de vie associative. Une participation stable mais davantage féminine », Insee Première n° 1580, janvier.

*la question de la fréquence est extraite de l'enquête 2002 ; ses modalités sont légèrement différentes des éditions précédentes et suivantes.
Question posée sous forme d'un set off, avec une carte. Les catégories étaient imposées par Eurostat :

<table><tr><td>Au cours des douze derniers mois, [c'est-à-dire depuis ^DATENQ-1AN], avez-vous [^PRENOM a-t-il (elle)] été membre :</td><td>MBASSOC<br/>(SET OF)</td></tr><tr><td colspan="2">CARTE (la carte contient les exemples ci-dessous pour aider au classement des associations, exemples qui ne sont cités qu'à titre d'illustrations et ne sont aucunement limitatifs).</td></tr><tr><td colspan="2">Tendre la carte IN28 (Types d'association)</td></tr><tr><td colspan="2">Plusieurs réponses possibles</td></tr><tr><td colspan="2">1. D'une association artistique, culturelle ou musicale ? (musique, danse, photo, théâtre, arts plastique etc...).</td></tr><tr><td colspan="2">2. D'une association sportive ? (club sportif, fédération sportive, chasse, pêche etc...).</td></tr><tr><td colspan="2">3. D'un club de troisième âge ou association de personnes âgées ? (association de loisirs pour les personnes âgées, etc...)</td></tr><tr><td colspan="2">4. D'une association d'anciens combattants, de retraités d'une entreprise ou d'anciens élèves d'une école ? (classe d'année de naissance, etc...)</td></tr><tr><td colspan="2">5. D'une association locale ou de quartier ? (amicale, groupement d'habitants, régie de quartier, jardin associatif, etc...)</td></tr><tr><td colspan="2">6. D'une association de loisirs, comité des fêtes ? (tourisme social, Lions Club, Rotary Club etc...).</td></tr><tr><td colspan="2">7. D'une association religieuse, groupe paroissial ? (association pour lire la Bible ou le Coran, mouvement évangélique, etc...)</td></tr><tr><td colspan="2">8. D'une association de parents d'élèves ? (FCPE, PEEP, UNAPE, UNAPEL, etc...)</td></tr><tr><td colspan="2">9. D'une association du domaine éducatif ? (alphabétisation, soutien scolaire, formation professionnelle continue, etc...)</td></tr><tr><td colspan="2">10. D'un syndicat ? (CFDT, CFTC, CGC, CGT, FO, FSU, SUD, UNSA, syndicats patronaux et professionnels...)</td></tr><tr><td colspan="2">11. D'un groupement professionnels hors syndicats ? (association de professeurs d'histoire, de musiciens, etc...)</td></tr><tr><td colspan="2">12. D'une association de défense de consommateurs, d'usagers des services publics, de défense du vélo ou d'une autre association de défense d'intérêt catégoriel à base non professionnelle ? (club automobile, association de riverains, prévention routière, groupement de défense sanitaire, prévention routière, ATTAC, etc....)</td></tr><tr><td colspan="2">13. D'une association d'aide aux malades ou de lutte contre la maladie ? (visiteurs d'hôpital. « le rire médecin », amicale ou groupement de malades ou d'anciens malades, lutte contre le cancer, la myopathie ou l'Alzheimer, etc...)</td></tr><tr><td colspan="2">14. D'une association caritative, d'aide sociale ou à domicile ? (Secours Populaire, Secours Catholique, Restos du cœur, aide à l'insertion, soutien aux mères isolées, etc...)</td></tr><tr><td colspan="2">15. D'une association de protection de l'environnement ? (amis des animaux, défense de la faune, de la flore, du littoral, protection de sites naturels, etc...)</td></tr><tr><td colspan="2">16. D'une organisation internationale d'aide et de soutien ? (UNICEF, aide alimentaire, Amnesty International, échanges culturels internationaux, etc...)</td></tr><tr><td colspan="2">17. D'un parti politique ?</td></tr><tr><td colspan="2">18. D'un autre type d'association ?</td></tr><tr><td colspan="2">19. D'aucune association</td></tr><tr><td colspan="2">NSP</td></tr><tr><td colspan="2">DECUS</td></tr></table>

Source : travaux menés en 2016 par C. Burricand et F. Gleizes pour accompagner leur publication « Trente ans de vie associative. Une participation stable mais davantage féminine », Insee Première n° 1580, janvier.
Exemple II.23 : Extrait des questionnaires de l'enquête Statistiques sur les conditions de vie (SRCV) 2008 et 2010

Sous-bloc Vie associative

**RAPASS**
Nous allons maintenant parler des associations, organisations ou groupements dont vous avez fait
[^PRENOM a fait] partie, même en tant que simple adhérent(e), au cours des douze derniers mois c'est-à-
dire depuis ^DATENQ-1AN. Et nous vous demanderons comment vous[^PRENOM] y participez
[participe]²⁴².

**ASSOC**
Au cours des douze derniers mois (c'est-à-dire depuis ^DATENQ-1AN), avez-vous [^PRENOM a-t-il(elle)]
été membre d'une ou plusieurs associations (sportives, culturelles, humanitaires, politiques, de jeunesse, de
loisirs, de personnes âgées) ?

1. Oui

2. Non

➤ Si oui

**TASSOC**
De quel type d'association s'agit-il ?

Plusieurs réponses possibles

Carte IN26 (Types d'association)

1. D'action sanitaire et sociale, association humanitaire et caritative

2. Sportive

3. Culturelle

4. De loisirs

5. Association de défense de droits et d'intérêts communs (y compris parents d'élèves)

6. Club de 3ème âge, loisirs pour les personnes âgées

7. Association de protection de l'environnement

8. Syndicat, groupement professionnel

9. Association religieuse, cultuelle, groupe paroissial

10. Autre

**NBASSOC**
De combien d'associations au total ?

[1 à 9]

**MBASSOCT**
Pour ces associations, nous vous demanderons à quelle fréquence vous y avez participé
[^PRENOM a participé].

Au cours des douze derniers mois (c'est-à-dire depuis ^DATENQ-1AN)), vous avez participé [^PRENOM a participé] à des activités :

<table><tr><td></td><td></td><td>1. Régulièrement<br/>2. De temps en temps tout au long de l'année<br/>3. Seulement pendant certaines périodes ou pendant les vacances<br/>4. Occasionnellement ou rarement<br/>5. Jamais (simple adhérent(e))</td></tr><tr><td>Si TASSOC contient 1</td><td>- d'association d'action sanitaire et sociale ou humanitaire et caritative ?</td><td>SOCIAL</td></tr><tr><td>Si TASSOC contient 2</td><td>- d'association sportive ?</td><td>SPORTIVR</td></tr><tr><td>Si TASSOC contient 3</td><td>- d'association culturelle ?</td><td>CULTUR</td></tr></table>

Source : travaux menés en 2016 par C. Burricand et F. Gleizes pour accompagner leur publication « Trente ans de vie associative. Une participation stable mais davantage féminine », Insee Première n° 1580, janvier.
<figure><img src="image_100.png" /><figcaption>Figure II.1 : Comparabilité des enquêtes sur la participation associative selon le mode de questionnement</figcaption></figure>

Source : travaux menés en 2016 par C. Burricand et F. Gleizes pour accompagner leur publication « Trente ans de vie associative. Une participation stable mais davantage féminine », Insee Première n° 1580, janvier.

## II.3. L'élimination du désordre visuel

Les recommandations suivantes de R. Morrison qui visent à « éliminer le désordre visuel » sont particulièrement pertinentes pour les questionnaires auto-administrés, qu'ils soient proposés sur papier ou sur internet.

### II.3.1. Définir une feuille de style

Une feuille de style est un modèle de document, qui définit une mise en forme pour les différents éléments qui composent ce document.

Celle-ci permet de mettre en évidence visuellement la structure du document, mais elle doit s'appuyer pour cela sur une typologie des éléments qui composent le document. Classiquement, il s'agira des titres, intitulés de figures, corps de texte, etc.

Au sein d'un questionnaire, il est nécessaire de distinguer les différents éléments (titres de modules, sous modules, libellés de question, instructions, réponse, messages de contrôle) afin de leur associer un style.

Les outils de conception de questionnaire fondés sur les métadonnées s'appuient justement sur une modélisation structurée et fine d'un questionnaire (grâce au standard de métadonnées DDI), ce qui permet d'associer facilement une mise en forme aux différents éléments (Koumarianos, Sigaud, 2019).

(8) Utiliser les diverses polices de caractère uniformément et à une seule fin dans un questionnaire.
De façon très pragmatique, cette recommandation de R. Morrison consiste à associer une forme à chaque type d'éléments : réserver par exemple l'usage du style gras au libellé des questions, de l'italique aux instructions et du style normal aux modalités de réponse. Cette structure qui peut paraître rigide simplifie grandement la lecture du questionnaire.

Elle aide le répondant à se repérer, à rechercher de l'information dans les instructions. Elle permet de mettre en évidence la structure.

A contrario, la mise en évidence en gras de quelques mots (au milieu d'une question, d'une instruction, d'une modalité) nuit à l'appréhension globale de la structure d'une part, et nuit à la lecture du reste de la phrase d'autre part.

Vouloir mettre en évidence une multitude de choses de nature diverse et à différents niveaux du questionnaire brouille le message principal.

<figure><img src="image_101.png" /><figcaption>Illustration II.1 : Variation de styles et messages multiples</figcaption></figure>

Source : illustration inspirée d'une affiche de Vincent Perrottet, 2009

Ainsi la différenciation d'une partie du texte (en gras, en couleur, etc.) est même parfois utilisée pour jouer sur le double sens d'un message, comme dans l'exemple classique de l'illustration II.1. Sur cette affiche, on ne sait pas lequel des deux messages le lecteur va lire en première intention : « Travaille d'abord, tu t'amuseras ensuite ! » ou « Va d'abord t'amuser ».

De façon moins caricaturale, on peut prendre comme autre exemple la question sur le statut d'occupation du logement telle qu'elle a été rédigée en 2016 pour une interrogation en face-à-face (exemple II.24).

<caption>Exemple II.24 : Utilisation non uniforme de différentes polices de caractère</caption>
Plus précisément, au 1er [mois enquête] 2016, étiez-vous ?

• FERMIER ou MÉTAYER

* ACCÉDANT À LA PROPRIÉTÉ, titulaire d'un prêt aidé à l'accession à la propriété (prêt à taux zéro, PAS, PAP ou PAJ) ou d'un prêt conventionné (PC)

• Autre ACCÉDANT à la propriété

• PROPRIÉTAIRE non accédant

• USUFRUITIER, y compris en viager

* LOGÉ GRATUITEMENT par l'EMPLOYEUR pour la durée des fonctions du contrat de travail d'un des membres du ménage

• LOGÉ GRATUITEMENT DANS UN CAS AUTRE que par l'employeur

• LOCATAIRE ou sous-locataire (paiement d'un loyer avec ou sans charges)

Source : Questionnaire en face à face de l'enquête logement 2016

Le risque est important que le lecteur se focalise sur les termes écrits en majuscules. Dans ce cas, il n'est
pas évident qu'un accédant à la propriété visualise la bonne modalité qui correspond à sa situation. Cette
mise en forme (destinée ici aux enquêteurs) n'est ainsi pas adaptée à un questionnaire auto-administré.

En outre, les majuscules sont moins lisibles que les minuscules, car elles offrent moins de variabilité de hauteur des lettres. Leur usage doit être limité à des textes courts comme les titres.

(9) Regrouper les éléments de données et leurs espaces de réponse/options de réponse.

Afin d'éviter toute confusion lors de la réponse, il est préférable que les espaces de réponse soient proches des libellés de question ou des modalités qui les concernent. Lorsque les libellés sont alignés sur la gauche et les cases à cocher correspondantes, sur la droite, plusieurs options sont envisageables pour faciliter le rapprochement entre les deux. Sur les questionnaires papier, des lignes pointillées sont le plus souvent utilisées, comme dans le questionnaire papier du recensement commenté précédemment (exemple II.10). Le choix d'une mise en page sur deux colonnes plutôt qu'une seule participe également de cet effort pour réduire systématiquement l'espace entre éléments de données (ou modalités) et espaces de réponse.

Sur internet, où ces procédés ne sont pas envisageables, R.Morrison évoque la possibilité d'utiliser des fonds de couleur différents pour séparer les lignes entre elles (cf infra partie II.4).

II.3.2. Limiter l'usage de graphiques ou d'images

(10) Évaluer la nécessité de tout graphique, image ou diagramme, afin de confirmer leur utilité pour les répondants.

Les images peuvent être utilisées, mais il faut veiller à ce qu'elles ne nuisent pas à la bonne compréhension du questionnaire. En effet, elles peuvent procurer une contextualisation utile pour le répondant. Mais elles peuvent donner lieu à des interprétations différentes ou distraire le répondant, d'autant plus qu'elles attirent facilement le regard (exemple II.25).

Les images visant à donner de l'information générale au répondant devraient plutôt figurer sur la lettre-avis, ou sur la documentation de l'enquête (exemple II.26).
Exemple II.25 : Illustrations de bennes à ordures peu informatives

1. Quelle quantité totale de déchets (recyclables ou non) produisez-vous ? **QUESTION BLOQUANTE**

En tonnes par an : _________

ou En m³ par an : _________

ou En l par an : _________

ou En nombre de bennes par semaine : _________

Type de bennes :

☐ 120 l

☐ 240 l

☐ 360 l

☐ 1 000 l

<figure><img src="image_102.png" /></figure>

Autre : _________

Précisez : _________

<figure><img src="image_103.png" /></figure>

Source : spécification du projet de questionnaire web de l'enquête déchets dans les Hauts de France

Exemple II.26 : Utilisation d'un graphique pour illustrer une définition générale

Les dispositifs existants en faveur de la gestion des déchets

<figure><img src="image_104.png" /></figure>

⇒ 22. Votre établissement est-il engagé dans une démarche d'économie circulaire* ?

Le terme d'économie circulaire fait appelle à ce [modèle](https://www.ademe.fr/expertises/economie-circulaire/leconomie-circulaire).

☐ Oui

☐ Non

☐ Ne sais pas

* L'économie circulaire désigne un modèle économique dont l'objectif est de produire des biens et des services de manière durable, en limitant la consommation et les gaspillages de ressources (matières premières, eau, énergie) ainsi que la production des déchets.

ECONOMIE CIRCULAIRE

Trois domaines d'actions
Sept pilliers
Nouvelle ACTEZ

Approvisionnement
durable

Éco-conception

Recyclage

GESTION
DES
DÉCHETS

OFFRE DES
ACTEURS
ÉCONOMIQUES

Écologie industrielle
et territoriale

DEMANDE ET
COMPORTEMENTS
DES
CONSOMMATEURS

Économie de la
fonctionnalité

Allongement
de la durée d'usage

• Réempio

• Réparation

• Réutilisation

Consommation responsable

• Achat

• Consommation collaborative

• Utilisation

<figure><img src="image_105.png" /></figure>

Source : spécification du projet de questionnaire web de l'enquête déchets dans les Hauts de France

Il faut aussi noter que l'encombrement visuel dépend du support de collecte utilisé. En particulier pour les questionnaires web, l'encombrement visuel dépendra du matériel utilisé pour répondre : ordinateur, tablette ou smartphone.

La tentation peut être grande pour le concepteur, afin par exemple d'égayer son questionnaire, d'utiliser des images ou pictogrammes comme modalités de réponse. C'est le cas dans le questionnaire de l'enquête sur la Filière Aéronautique et spatiale 2019, commentée précédemment (voir exemple II.8).
Des images liées à la météo (soleil, nuage, pluie, averse) y sont utilisées depuis plusieurs années pour des questions subjectives portant sur la relation de l'entreprise enquêtée avec son principal client. Le lien avec la météo se prête assez bien à la question qui porte sur le « climat général de la relation avec le principal client ». En revanche, les efforts effectués récemment pour préciser et simplifier les questions rendent plus flagrant l'écart entre ce que l'on souhaite mesurer (niveau d'exigence du client quant à la qualité, aux prix et aux délais de paiement notamment), et l'image utilisée (météo). Même si l'évocation est compréhensible, l'adéquation avec le sujet est questionnable.

Les deux images de l'exemple II.27 représentent la même question, posée lors des vagues 1 et 4 d'une enquête répétée sur le moral des agents de l'Insee pendant le second confinement lié à la crise sanitaire de la Covid 19.

Exemple II.27 : Utilisation de smiley dans une enquête sur le moral des agents menée en interne à l'Insee

Comment vous sentez-vous cette semaine ? - vague 1

Semaine du 9 au 13 novembre 2020

Après un printemps confiné, nous démarrons une nouvelle période de télétravail. Ce questionnaire est envoyé par le Secrétariat général de l'Insee dans l'objectif de savoir quel est votre état d'esprit semaine après semaine. Les réponses sont anonymes. Les résultats seront en ligne au fil de l'eau sur Agora.

Comment vous sentez-vous cette semaine ?

Échelle de Mal (1 smiley) à Très bien (5 smiley)

<figure><img src="image_106.png" /></figure>

<figure><img src="image_107.png" /></figure>

<figure><img src="image_108.png" /></figure>

<figure><img src="image_109.png" /></figure>

<figure><img src="image_110.png" /></figure>

Comment vous sentez-vous cette semaine ? - vague 4

Semaine du 30 novembre au 4 décembre

Le Secrétariat général de l'Insee poursuit son enquête visant à savoir quel est votre état d'esprit semaine après semaine dans cette période particulière. Nous vous rappelons que les réponses sont anonymes. Les résultats continueront à être mis en ligne sur Agora.

* Comment vous sentez-vous cette semaine ?

Échelle de Mal (1 smiley) à Très bien (5 smiley)

Mal

<figure><img src="image_111.png" /></figure>

Un peu mal

<figure><img src="image_112.png" /></figure>

Ni bien ni mal

<figure><img src="image_113.png" /></figure>

Bien

<figure><img src="image_114.png" /></figure>

Très bien

<figure><img src="image_115.png" /></figure>

Source : Questionnaires web de l'enquête interne sur le moral des agents pendant le second confinement de 2020

Là encore, le smiley est évocateur. Ici, il est en lien avec la question posée. En revanche deux choses peuvent réduire la compréhension du lecteur : l'usage d'un même smiley souriant est déstabilisant. On pourrait s'attendre en effet à une corrélation entre le sentiment et l'image utilisée pour l'illustrer. Le smiley souriant est en lui-même représentatif d'un état d'esprit plutôt bon et enjoué. Les répondants pourraient préférer mobiliser une variété d'images pour illustrer différents états d'esprit.
Toutefois, il ne s'agit pas ici d'une question avec 5 modalités de réponses, qui pourraient être illustrées différemment, mais bien d'une question d'échelle. L'échelle de réponses proposée gagne en lisibilité entre la vague 1 (où une interprétation est donnée pour les extrémités de l'échelle seulement) et la vague 4. Même si certains répondants ont pu se sentir un peu frustrés de répondre par un smiley alors qu'ils allaient mal. L'usage d'illustrations différenciées aurait été adapté à une question qualitative, l'usage d'une image pour une question de type échelle peut entraîner une confusion.

Cet exemple souligne que les images sont porteuses de sens, et qu'elles doivent être utilisées avec parcimonie et prudence.

On peut supposer qu'une majorité des personnes interrogées comprendront le sens de la question, mais elles effectueront un effort cognitif plus important.

Dans le contexte de cette enquête du secrétariat général de l'Insee (enquête extrêmement courte, menée en interne), il est probable que cela n'ait pas nui aux résultats. Il aurait pu en être autrement pour une enquête en population générale reposant sur un questionnaire plus long. Dans ce cas, plutôt que de chercher à « égayer » le questionnaire en mobilisant des pictogrammes pouvant engendrer une certaine ambiguïté, l'usage d'une question - échelle à 5 modalités, avec son interprétation (de mal à bien), aurait probablement été recommandée.

## II.4. La création d'un cheminement clair

Comme les précédentes, les recommandations suivantes de Rebecca Morrison qui visent à créer un cheminement clair sont particulièrement pertinentes pour les questionnaires auto-administrés, qu'ils soient proposés sur papier ou sur internet.

### II.4.1. Proposer un sens de lecture homogène

(11) Formater le questionnaire uniformément, en tirant parti des habitudes de lecture familières.

En France, la lecture se fait habituellement de gauche à droite, et de haut en bas. Le respect de cette habitude dans la mise en page du questionnaire permet d'en faciliter la lecture et donc de diminuer l'effort cognitif demandé au répondant d'une part, et les risques d'oubli d'autre part.

Il est préférable d'adopter une mise en forme simple et homogène au sein du questionnaire (toujours utiliser une seule colonne, ou toujours utiliser deux colonnes par exemple). Même si le respect de ce principe peut conduire à l'augmentation du nombre de pages du questionnaire papier.

Afin de "gagner de la place" certains questionnaires présentent des sens de lecture quelque peu surprenants. Rebecca Morrison en donne un exemple (exemple II.28). Il peut nous paraître excessif, mais des cas moins extrêmes, comme celui du questionnaire papier de l'enquête Ecmoss (exemple II.29) peuvent toutefois soulever des problèmes.
<figure><img src="image_116.png" /><figcaption>Exemple II.28 : Illustration d'un sens de lecture déroutant</figcaption></figure>
<figure><img src="image_117.png" /><figcaption>Exemple II.29 : Illustration d'un sens de lecture non homogène</figcaption></figure>

Source : Questionnaire papier de l'enquête Ecmoss 2017

On peut mobiliser un autre exemple, qui se situe à la frontière de plusieurs recommandations (sens de lecture, mais aussi identification des questions et des espaces de réponse et usage de tableaux) et qui a posé des difficultés de collecte. L'enquête Acemo qui porte sur le dialogue social en entreprises, recueille les thèmes abordés lors des négociations, et ceux ayant donné lieu à un accord. La question posée en 2019 (exemple II.30) propose une liste de thèmes et permet d'en spécifier d'autres, dans trois champs ouverts, afin de s'assurer de pouvoir bien couvrir le champ complet des négociations.
Afin de collecter un libellé pour ces thèmes « autres » comme le souhaitait la maîtrise d'ouvrage, un champ texte a été ajouté dans la colonne de gauche (« Autre thème n°1. Précisez : », « Autre thème n°2. Précisez : », « Autre thème n°3. Précisez : »). Cette mise en forme a occasionné une rupture dans l'habitude de lecture/réponse du répondant. Les champs texte étaient de ce fait moins visibles. Le taux de réponse à ces questions a été très faible et les champs libres « Autres » ont été ensuite abandonnés. Il est toutefois difficile d'imputer totalement cette non-réponse à la mise en forme, les champs ouverts demandant par ailleurs un effort supplémentaire pour l'enquêté.

<figure><img src="image_118.png" /><figcaption>Exemple II.30 : Rupture de l'habitude de lecture et de saisie des réponses (cases à cocher et texte libre)</figcaption></figure>

Source : Enquête web Acemo DSE 2019
II.4.2. Indiquer clairement le début de chaque question et de chaque partie.

(12) Indiquer clairement le début de chaque question et de chaque partie.

Les éléments indiquant le début d'une question ou d'une partie participent à clarifier la structure du questionnaire et les points où focaliser l'attention. Ils fournissent à l'enquêté des repères visuels. En rendant perceptible la structure du questionnaire ils en facilitent la lecture.

Des repères visuels comme la flèche, choisie lors des développements de Coltrane Eno (exemple II.31) ou l'impression inversée des titres de parties ou du numéro de la question (texte en blanc sur fond sombre comme dans l'exemple II.32) sont utilisés à cet escient. Les espacements contribuent également à mettre en avant les différents éléments du questionnaire.

Exemple II.31 : Impression inversée pour les titres de partie et sous parties et utilisation d'un pictogramme pour identifier le début des questions

<figure><img src="image_119.png" /></figure>
Exemple II.32 : Impression inversée pour les titres de parties et les numéros de questions

<figure><img src="image_120.png" /></figure>

Source : Questionnaire papier de l'enquête Tic Ménages 2016

II.4.3. Utiliser des espaces blancs pour faciliter le cheminement dans les questionnaires

(13) Regrouper les éléments de données similaires.

(14) Utiliser des espaces blancs pour séparer les questions et faciliter le cheminement dans les questionnaires.

Ces deux recommandations s'appuient sur le principe de proximité de la théorie de la Gestalt : les éléments proches sont naturellement perçus comme similaires. Ainsi, on regroupera dans un même ensemble de questions la collecte de données similaires. Cette proximité peut être mise en évidence par des titres de paragraphe, des cadres.

À l'inverse, les espacements et les lignes de séparation seront utilisés pour délimiter des questions différentes. L'espacement entre une question, l'instruction et les réponses associées sera moins important que l'espacement avec la question suivante.
Espacer des questions va à l'encontre des habitudes prises en général par les concepteurs pour gagner de la place, et donc limiter le nombre de pages imprimées des questionnaires papier. Pourtant, l'espace permet de structurer l'information, d'en fluidifier la lecture. Il apporte souvent du sens au texte.

Nombre d'écrits sont structurés en insérant des espaces pour simplifier la lecture : marques de paragraphe, titres, retours à la ligne, sauts de lignes, et même marges, rendront plus fluide la lecture d'un roman, d'une note technique ou d'un poème.

Dans un questionnaire, les espacements contribuent à un meilleur repérage des différentes parties ou éléments. Ils améliorent la première tâche cognitive du répondant : la perception de la question.

### II.4.4. Aligner les questions et les espaces de réponse/options de réponse.

En plus de la structuration du questionnaire et des espacements entre questions qui en facilite la compréhension, la façon dont les questions et les espaces de réponse sont disposés les uns par rapport aux autres a son importance, comme énoncé dans le principe suivant proposé par Rebecca Morrison :

(15) Aligner les questions et les espaces de réponse/options de réponse.

Il s'agit là aussi de s'appuyer sur des habitudes de lecture, et de les utiliser uniformément au sein du questionnaire.

Aligner les réponses d'une question, mais également utiliser le même alignement pour les réponses des différentes questions facilite le cheminement du répondant au sein du questionnaire.

Quelques questions extraites du questionnaire papier de l'enquête sur les déchets 2008 permettent d'illustrer ce principe (exemple II.33). Dans ce questionnaire, l'alternance entre présentation verticale des réponses (question 1) et présentation horizontale (question 4), voire un mix des deux (question 6) peut entraîner une moindre visibilité des réponses pour certaines questions.

Un effort supplémentaire est demandé à l'enquêté pour chercher les espaces de réponse comme dans l'exemple suivant (II.34).

L'objectif de la mise en forme du questionnaire est plutôt de faciliter le plus possible la compréhension du questionnaire par l'enquêté et que l'effort cognitif soit consacré à élaborer les réponses et renseigner le questionnaire.

L'alignement (loi de la bonne continuité de la Gestalt) aide les enquêtés à identifier rapidement les espaces de réponse.

Ainsi, l'alignement doit faciliter non seulement la lecture des différentes options de réponse, mais également le repérage des espaces dans lequel l'enquêté doit saisir ses réponses (cases à cocher ou champ de réponse).
<figure><img src="image_121.png" /><figcaption>Exemple II.34 : Alignements variés de modalités de réponse dans l'enquête Antipol 2015</figcaption></figure>

Une alternance de mise en forme verticale ou horizontale des espaces de réponse peut, selon la nature des questions, se justifier. En particulier, les réponses aux questions à choix multiple sont usuellement alignées verticalement, alors que les questions de type échelle (dont la réponse consiste à se positionner sur une échelle d'appréciation, de bien-être) recourent plus souvent à un alignement horizontal.

Il est à noter que les alignements horizontaux trouvent toutefois une nouvelle limite dans les enquêtes web, les écrans de smartphone étant généralement petits.
Comme évoqué précédemment, ce conseil peut sembler difficilement conciliable avec le principe 9 préconisant de regrouper les modalités (Oui/non par exemple) et leurs espaces de réponse/ options de réponse (cases à cocher).

L'exemple II.35 illustre cette difficulté.

Trois mises en forme différentes des modalités et espaces de réponse associés (case à cocher) y sont proposées. La première mise en forme respecte à la fois le principe de l'alignement des espaces de réponse (les cases à cocher) et celui de la proximité visuelle entre l'espace de réponse et la modalité correspondante. Elle introduit cependant une légère entorse au principe du respect du sens de lecture usuel (on lit la modalité de gauche à droite, puis l'œil revient en arrière pour cocher la case qui lui correspond). Les deux autres mises en forme illustrent l'effet induit par le fait de privilégier soit le principe de proximité entre modalité et réponse au détriment de celui de l'alignement des espaces de réponses (2ᵉ mise en forme), soit l'inverse (3ᵉ mise en forme), et les limites qui en découlent.

Lorsque plusieurs réponses sont proposées pour une modalité (et non pas une unique case à cocher), comme c'est le cas dans l'exemple II.36, la première mise en forme de l'exemple II.35 (cases à cocher à gauche des modalités) est difficilement envisageable. Dans ce cas, l'alignement des réponses conduit à augmenter l'espace entre réponses et modalités dont les libellés sont les plus courts. Une solution consiste dès lors à utiliser des lignes pointillées ou une coloration différente des lignes pour créer un lien entre le libellé et le champ de réponse associé, comme dans l'exemple II.36.
<figure><img src="image_122.png" /><figcaption>Exemple II.35 : Aucune mise en forme ne remplit parfaitement tous les critères attendus</figcaption></figure>

Source : Simulations à partir du questionnaire papier de l'enquête TIC entreprises 2020
Exemple II.36 : Compensation de l'éloignement de la modalité et de la réponse par une alternance de couleurs

→ **2. Votre entreprise achète-t-elle les services de cloud computing suivants ?**
*(hors services de cloud gratuits)*

Courrier électronique (utilisé sur Internet en cloud)

<figure><img src="image_123.png" /></figure>

Oui

<figure><img src="image_124.png" /></figure>

Non

Logiciels de bureautique (éditeur de texte, tableur, etc.) (utilisés sur Internet en cloud)

<figure><img src="image_125.png" /></figure>

Oui

<figure><img src="image_126.png" /></figure>

Non

Hébergement de base(s) de données de l'entreprise (utilisé sur Internet en cloud)

<figure><img src="image_127.png" /></figure>

Oui

<figure><img src="image_128.png" /></figure>

Non

Stockage de fichiers (utilisé sur Internet en cloud)

<figure><img src="image_129.png" /></figure>

Oui

<figure><img src="image_130.png" /></figure>

Non

Logiciels de comptabilité (utilisés sur Internet en cloud)

<figure><img src="image_131.png" /></figure>

Oui

<figure><img src="image_132.png" /></figure>

Non

Gestion de la relation clientèle (GRC/CRM, logiciel de la relation client) (utilisée sur Internet en cloud)

<figure><img src="image_133.png" /></figure>

Oui

<figure><img src="image_134.png" /></figure>

Non

Puissance de calcul (ressources serveur) pour faire fonctionner les logiciels de l'entreprise (utilisée sur Internet en cloud)

<figure><img src="image_135.png" /></figure>

Oui

<figure><img src="image_136.png" /></figure>

Non

Source : Questionnaire web de l'enquête TIC entreprises 2020

**II.4.5. Faciliter la compréhension des filtres pour les questionnaires papier**

(16) Utiliser de bonnes caractéristiques visuelles pour mettre l'accent sur les instructions « Passez à ».

Le sujet des instructions de navigation (type « passez à ») est important pour les questionnaires papier. Ces instructions sont utiles notamment pour filtrer certaines questions ou pour indiquer un changement de page. Les « filtres » ou instructions de type « passez à » doivent être bien visibles (généralement en gras, et précédées d'un élément graphique comme une flèche), sans toutefois éclipser les éléments de structure du questionnaire.
<figure><img src="image_137.png" /><figcaption>Exemple II.37 : Utilisation de l'instruction « Passez à » dans un questionnaire papier</figcaption></figure>

Source : Questionnaire papier de l'enquête TIC entreprises 2020

La question des instructions pour les filtres ne se pose pas pour les questionnaires web, dans lesquels il est en principe possible d'introduire de l'interactivité. En revanche, la mise en évidence de la navigation y est importante pour les changements de page, souvent matérialisés par des boutons, ou pour les étapes de validation.

La couleur, et l'emplacement des boutons sont importants, mais il est difficile de proposer une règle qui fasse consensus.

On trouve dans la littérature de nombreuses expériences sur le positionnement : le bouton *Suivant* doit-il être situé à gauche du bouton *Précédent* afin qu'il apparaisse en premier lors de la lecture, ou plutôt à droite pour être plus cohérent avec le sens dans lequel on lit les pages d'un livre, et la navigation la plus classiquement observée sur le web ? Doit-il être plus gros, plus visible ? Les deux boutons doivent-ils être côte à côte, ou au contraire de chaque côté de la page ?

Ces études évaluent la rapidité de l'enquêté pour accéder à la page suivante, le mouvement de ses yeux, de la souris, mais aussi sa satisfaction vis-à vis du questionnaire (Romano et alii, 2016).

Certains arguent que le positionnement du bouton *Suivant* à gauche tend à limiter le temps de réponse et les clics erronés sur le bouton *Précédent*.

D'autres réfutent cet argument, en s'appuyant sur le sens logique d'une part, et les habitudes d'autre part et préconisent de positionner le bouton *Suivant* à droite du bouton *Précédent*. C'est cette dernière position, plus semblable au sens de lecture sur papier, qui a été retenue à l'Insee, lors de la construction du générateur de supports de collecte Eno à partir des métadonnées.
II.4.6. Éviter de scinder une question sur deux pages

(17) Éviter qu'une question soit scindée sur deux pages, ou informer clairement les répondants si le cas se produit.

Cette recommandation concerne davantage le mode papier. On pourra plutôt choisir de ne pas scinder une question sur deux pages, et privilégier la simplicité de la lecture d'une question sur une seule et même page. C'est d'ailleurs le choix qui a été fait dans la génération de questionnaires papier à partir des métadonnées : le libellé de la question reste solidaire des éventuelles instructions, et des champs de réponse associés.

Mais cela peut également s'appliquer au web, en particulier sur la collecte d'informations à structure complexe (comme une adresse). Le problème avait été identifié en 2020, dans une des versions provisoires du questionnaire internet de l'enquête emploi. Un écran permettait de collecter les différents éléments d'une adresse, sauf le nom de la commune, qui apparaissait sur la page suivante (exemple II.38).

Exemple II.38 : Questionnement scindé sur deux pages

<figure><img src="image_138.png" /></figure>

La dimension de chaque « page » des questionnaires web suscite un autre débat récurrent.

Il y a en effet un arbitrage à trouver entre la longueur de la page, et la nécessité qu'il en découle d'y naviguer à l'aide de l'ascenseur vertical (« scroll ») et l'intérêt de présenter simultanément des éléments qui " vont ensemble".

La question est d'autant plus cruciale que les écrans des tablettes et smartphones sont plus petits et que leur utilisation soulève d'autres défis (cf infra partie III.1).

L'exemple II.38 donne l'occasion d'évoquer une autre question qui fait débat, et qui concerne l'usage d'une barre d'avancement, donnant à l'enquêté une indication sur sa progression (et les questions restantes) au sein du questionnaire (Villar, Callegaro, Yang, 2013).

Son influence sur le comportement des enquêtés n'est pas claire (en matière d'interruption d'enquête notamment), et l'analyse de plusieurs expérimentations est non concluante. Il n'y a donc pas de base théorique solide pour appuyer l'usage d'une barre d'avancement, et son efficacité pour réduire les interruptions d'enquête n'est pas prouvée.
## II.5. Les instructions

### II.5.1. Bien articuler instructions et questions

*(18) Intégrer des instructions propres aux questions dans l'instrument d'enquête là où elles sont nécessaires. Éviter de placer les instructions sur une feuille, brochure ou page Web distincte.*

La présentation des consignes et instructions soulève de nombreuses questions pour la conception de questionnaires auto-administrés. La recommandation de R. Morrison en la matière repose sur l'hypothèse selon laquelle l'effort fourni par le répondant est incomplet lorsque les consignes figurent sur une page distincte : autrement dit, l'enquêté ne fera pas l'effort de la lecture sur un document séparé, et répondra donc de manière approximative. Il y a dès lors un arbitrage à faire entre le volume de la consigne et son emplacement.

On sait en effet, notamment par les résultats des tests de questionnaires réalisés auprès des entreprises, que les consignes séparées sont rarement lues. On veut donc éviter cela, en les intégrant au sein du questionnaire lui-même, et généralement au plus proche de leur utilisation.

Mais si ces consignes sont volumineuses et complexes, elles risquent de décourager le répondant et d'occuper beaucoup d'espace sur le questionnaire, sans pour autant être plus lues.

Le concepteur doit donc fournir un effort important pour formuler des instructions courtes et pédagogiques lorsqu'elles lui paraissent indispensables.

Dans le cas des enquêtes auprès des entreprises, des spécifications précises sont souvent demandées sans que cela ne constitue pour autant un obstacle à la réponse. Dans le cas des enquêtes auto-administrées auprès des ménages, le concepteur doit redoubler d'effort pour clarifier ses questions et limiter la charge cognitive pour le répondant.

Certains concepts nécessitent des éclaircissements. Toutefois, une question claire, précise, bien circonscrite entraînera le plus souvent une plus grande clarté dans les instructions.

Dans l'enquête logement, certaines consignes historiques sont importantes, mais ne concernent pas tous les répondants (uniquement les propriétaires par exemple ou les locataires du secteur social). Une pratique adoptée a été de mieux cibler les profils à qui elles s'adressent en paramétrant l'affichage de ces instructions, dans les modes de collecte dynamiques (ce qui n'est pas possible sur le papier).

Pour les enquêtes internet, il existe plusieurs manières de présenter des aides : une instruction peut être ajoutée classiquement après la question, mais on peut également proposer des liens cliquables, des informations lisibles au survol par la souris etc.

Ces différentes mises en forme ne sont pas toujours conformes aux standards d'accessibilité numérique ou lisibles selon tous les équipements (cf partie III.1).

Mais elles peuvent aussi poser un problème d'équivalence de mode : les liens et infos bulles requerront un effort supplémentaire de l'enquêté, au même titre que la consultation d'une instruction au sein d'une notice. Ainsi, on s'assurera que les instructions et aides indispensables à la bonne compréhension des questions figurent au sein du questionnaire et soient visibles de prime abord quel que soit le mode de collecte.

*(19) Envisager de reformuler les instructions importantes sous forme de questions.*

Parfois, il est difficile, voire impossible d'expliciter un concept en peu de mots. Il sera alors probablement difficile pour le répondant de l'appréhender, et Rebecca Morrison suggère dans ce cas de transformer cette
instruction en question, afin d'accompagner le répondant dans le processus cognitif nécessaire pour
comprendre la notion.

Ce conseil s'applique bien lorsque l'instruction est relative à la définition du champ de l'enquête, ou du champ d'une question spécifique. Reformuler certaines instructions en questions, augmente la probabilité que le répondant y prête attention et lise l'information. C'est d'autant plus utile que l'instruction est importante, en particulier lorsqu'elle permet de déterminer l'appartenance au champ ou au périmètre de la réponse.

On peut illustrer ce principe à partir d'une question posée dans l'enquête sur la fonction publique d'État,
visant à distinguer les enseignants des autres fonctionnaires, pour permettre une meilleure mesure de leur
temps de travail (temps de cours en classe et travail de préparation).

<figure><img src="image_139.png" /><figcaption>Exemple II.39 : Instruction relative aux enseignants dans le questionnaire de l'enquête sur la Fonction publique de l'État 2014</figcaption></figure>

Source : questionnaire papier de l'enquête Fonction Publique d'État 2014
<figure><img src="image_140.png" /><figcaption>Exemple II.40 : Transformation de l'instruction en question dans le questionnaire de l'enquête sur la Fonction publique de l'État 2018</figcaption></figure>

Source : questionnaire papier de l'enquête Fonction Publique d'État 2018

Les exemples II.39 et II.40 présentent l'évolution du questionnement sur le temps de travail des fonctionnaires entre les éditions 2014 et 2018 de l'enquête sur la Fonction publique d'État. L'enquête propose des questions différentes pour les enseignants.

La consigne utilisée en 2014 mobilisait deux informations différentes : être un enseignant, et bénéficier de l'ensemble des vacances scolaires. En 2018, la délimitation du champ a quelque peu évolué, mais surtout le choix a été fait de remplacer l'instruction par une question, pour augmenter la probabilité qu'elle soit effectivement lue. Ainsi, le questionnement de 2014 a été modifié de plusieurs façons. L'instruction « *Si vous êtes enseignant et bénéficiez de toutes les vacances scolaires, passez à la question 26.* » a été transformée en une question plus précise : « *Êtes-vous enseignant du primaire ou du secondaire ?* Oui, sans décharge totale ; Oui, avec décharge totale ; Non », suivie d'une consigne de redirection.

Le questionnement en deux sous modules différents pour les enseignants et les autres fonctionnaires adopté en 2018 est plus clair.

L'augmentation du nombre de questions peut faire craindre une augmentation de la charge pour le répondant, mais *in fine*, la charge d'une question supplémentaire n'est pas supérieure à la charge occasionnée par la lecture d'une instruction, surtout si elle est complexe.

Enfin, la question permet de mettre en place un comportement conditionnel du questionnaire web, et de poser au répondant seulement les questions qui le concernent.
## II.5.2. Aérer le texte

(20) Convertir les paragraphes narratifs en listes à puces.

Il s'agit ici surtout d'apporter une structure au message que l'on souhaite faire passer, en facilitant la lecture pour l'enquêté, et en mettant en évidence visuellement les étapes de raisonnement.

Cela pousse également à aérer le texte, pour éviter qu'il soit purement et simplement ignoré. R. Morrison en donne une illustration à partir de l'enquête américaine annuelle sur les services 2003. Les exemples II.41 et II.42 reprennent une instruction extraite du questionnaire 2003 et modifiée dans le questionnaire 2006 pour mettre en œuvre ce principe.

Exemple II.41 : Instructions de l'enquête américaine annuelle sur les services 2003 – exemple à ne pas suivre

<figure><img src="image_141.png" /></figure>

Source : Morrison et al. (2008), « *Economic Directorate Guidelines on Questionnaire Design* »

Exemple II.42 : Instructions de l'enquête américaine annuelle sur les services 2006, respectant les consignes proposées

<figure><img src="image_142.png" /></figure>

Source : Morrison et al. (2008), « *Economic Directorate Guidelines on Questionnaire Design* »
### II.5.3. Définir précisément les périodes de référence

(21) Dans la mesure du possible, utiliser une date réelle plutôt qu'un délai vague pour définir les périodes de référence.

Les efforts à déployer par le répondant sont plus importants lorsqu'on évoque le passé et qu'on lui demande un effort de mémoire. Dans ce contexte, il est important d'être le plus précis possible.

Les enquêtes auprès des entreprises visent généralement à collecter des données sur une période écoulée (mois, trimestre, année), mais elles peuvent aussi faire référence à des concepts non strictement temporels, comme l'exercice comptable.

Dans tous ces cas, il est important de préciser clairement la période concernée, en utilisant des références absolues et non relatives (privilégier année 2020 à l'année dernière).

Si cela est possible, il est plus simple d'utiliser toujours le même vocabulaire pour désigner la même période.

Exemple II.43 : Choix des dates ou périodes de référence dans l'enquête structurelle des entreprises mahoraises (ESEM) 2016

**Effectifs salariés au 31/12/2016**:

Comptez la totalité des salariés rémunérés directement par l'entreprise et inscrits à la date du 31/12/2016, y compris les dirigeants de sociétés et gérants salariés, le personnel saisonnier ou occasionnel.

<table><tr><td>1) Effectifs salariés à temps plein</td><td></td></tr><tr><td>2) Effectifs salariés à temps partiel moins de 6 mois</td><td></td></tr><tr><td>3) Effectifs salariés à temps partiel 6 mois et plus</td><td></td></tr><tr><td>4) Apprentis, stagiaires rémunérés</td><td></td></tr><tr><td>Total salariés 1+2+3+4</td><td></td></tr></table>

Ne comptez pas le personnel rémunéré par d'autres entreprises (travail temporaire, personnel prêté par d'autres entreprises) ni les stagiaires non rémunérés.

**III) DERNIER EXERCICE COMPTABLE CLOS AVANT LE 01 JUIN 2017**

Date de clôture

<figure><img src="image_143.png" /></figure>

jours

mois

an-year

Durée de cet exercice en mois

<figure><img src="image_144.png" /></figure>

**IV) CHIFFRE D'AFFAIRES DE L'EXERCICE 2016**

<table><tr><td>4.1 Chiffre d'affaires net</td><td>....................................€</td></tr></table>

→ Il s'agit du montant des ventes de produits (y/c revente de produits en l'état) et services liées à l'activité courante, diminué des réductions sur ventes, de la taxe sur la valeur ajoutée et des taxes assimilées (compte 70 du plan comptable général).

<table><tr><td>dont ventes de marchandises en l'état (négoce)</td><td>....................................€</td></tr></table>

Source : Questionnaire papier de l'enquête structurelle des entreprises mahoraises (ESEM) 2016

Dans le questionnaire papier de l'enquête structurelle des entreprises mahoraises (ESEM) 2016, il était fait référence à de multiples dates ou périodes de référence (exemple II.43). Les mentions d'une date de référence au 31/12/2016, puis d'un exercice clos avant le 1er juin 2017, puis de l'exercice 2016 entraînaient une impression de confusion, alors même que les périodes concernées étaient cohérentes. Pour tenter de
résoudre ce problème, il a été proposé dans les éditions suivantes d'ajouter une instruction au début du module IV pour préciser qu'il était question dans la suite du questionnaire de l'exercice comptable tel que défini dans le module III.

Exemple II.44 : Choix des dates ou périodes de référence dans l'enquête structurelle des entreprises mahoraises (ESEM) 2019

### III - Dernier exercice comptable

1. Quelle est la date de clôture de l'exercice qui se réfère à l'année 2019 ?

L'exercice demandé concerne l'année 2019. Merci de renseigner une date postérieure au 1er juillet 2019 et antérieure au 30 juin 2020

☐☐ / ☐☐ / ☐☐☐☐

2. Quelle est la durée de l'exercice qui se réfère à l'année 2019 ? (en mois)

<figure><img src="image_145.png" /></figure>

### IV - Chiffre d'affaires de l'exercice 2019

Pour la suite du questionnaire, toutes les questions concerneront l'exercice que vous venez de décrire.

1. Quel est le chiffre d'affaires net de l'exercice 2019 ?

Il s'agit du montant des ventes de produits (y compris revente de produits en l'état) et services liées à l'activité courante, diminué des réductions sur ventes, de la taxe sur la valeur ajoutée et des taxes assimilées (compte 70 du plan comptable général).

<figure><img src="image_146.png" /></figure>

Source : Questionnaire papier de l'enquête structurelle des entreprises mahoraises (ESEM) 2019

## II.6. Les tableaux

### II.6.1. Limiter l'utilisation de matrices

(22) Limiter l'utilisation de matrices. Considérer le niveau de familiarité possible des répondants avec les tableaux et les matrices avant de décider ou non de les utiliser.

Le sujet des tableaux est certainement l'un de ceux qui suscitent le plus d'incrédulité pour les statisticiens. Le passage des enquêtes entreprises d'une collecte papier à une collecte web a été l'occasion – souvent à contre-cœur pour les concepteurs – de forcer l'abandon de tableaux, dont certains avaient atteint un degré de complexité impressionnant. Il était pourtant clair, dans certains cas, que quelque chose échappait à la perception collective (exemples II.46 et II.47).

Le tableau ci-dessous (II.45) a été proposé par un responsable d'enquête, pour remplacer une boucle de questions et ainsi tenter de limiter le nombre de pages généré pour un questionnaire web (dans le questionnaire réel, chaque « colonne » donne lieu à un module de questions, ce module est répété pour plusieurs salariés).
<figure><img src="image_147.png" /><figcaption>Exemple II.45 : Questionnement sous forme de tableau</figcaption></figure>

Le biais d'expertise ou aveuglement de l'expert (knowledge blindness et expert blindness) fait référence à l'incapacité de l'expert à voir certaines choses. En particulier, un expert ne peut faire l'expérience de ce à quoi ressemble le fait de « ne pas savoir ».

Un statistien manipule quotidiennement des tableaux de données. La présentation synthétique et multidimensionnelle d'un grand nombre d'informations fait partie de son « langage ». Il en résulte, chez lui, un a priori sur les connaissances communes qui se révèle être un biais de perception « statistico-centré ».

Les tableaux ont été beaucoup utilisés dans les questionnaires papier, non seulement à cause de ce biais de perception du statisticien, mais également parce qu'ils permettent de réduire le nombre de pages des questionnaires, dans un contexte budgétaire contraint.

La généralisation de la collecte internet constitue une opportunité pour abandonner le recours systématique au format tableau, et proposer une autre mise en forme. Il convient toutefois de noter que le changement de forme peut poser question pour la collecte papier, en particulier lors de la collecte répétée d'informations similaires sur un grand nombre d'items.

C'est le cas de l'enquête sur la production de déchets par exemple, dont le passage au web a permis de fragmenter le questionnement. Des tableaux ont été conservés, mais en nombre plus réduit et sous un format plus compréhensible. Ainsi, le tableau complexe sur les déchets non dangereux proposé dans le questionnaire papier de l'édition 2008 (exemple II.46) a été remplacé par une série de questions dans l'édition web 2016 (exemple II.47). Dans la version papier du questionnaire 2016, cela impliquait nécessairement un nombre de pages important, car même si un seul établissement ne produit pas tous les types de déchets, il en existe une variété importante.
<figure><img src="image_148.png" /><figcaption>Exemple II.46 : Tableau sur la production de déchets non dangereux, extrait de l'enquête 2008</figcaption></figure>

Source : Questionnaire papier de l'enquête déchets non dangereux 2008
Exemple II.47 : Questions sur la production de déchets non dangereux extraites de l'enquête 2016

IV - PRODUCTION DE DÉCHETS NON-DANGEREUX EN 2016

* **Sont considérés ici comme « déchets » toutes les matières destinées à l'abandon, ainsi que celles recyclées, valorisées, traitées (en interne : sur site ou en externe) ou mises en décharge.**

La définition d'un déchet est donc indépendante de la destination du déchet, ainsi que des notions économiques liées à sa gestion (coûts d'élimination ou bénéfices lors de la valorisation). Les déchets, ré-introduits dans le processus de production de l'établissement, ne doivent pas être comptabilisés.

* **Les déchets concernés par cette enquête sont les déchets non dangereux.** Cette enquête ne porte donc pas sur les substances explosives, inflammables, nocives, toxiques etc... comme les déchets de préparations chimiques, les déchets acides... Tous déchets souillés par une substance dangereuse (chiffons souillés, verre souillé, bois traité avec des substances dangereuses...), sont considérés comme des déchets dangereux.

* **Merci de remplir le questionnaire en tonnes lorsque vous le pouvez ou à défaut en m3 (ou en nombre pour la ligne G1 « palettes »).** En cas de quantité inférieure à 1 tonne ou 1 m3 arrondir à la première décimale (ex pour 320 Kg, indiquer 0,3)

→ 1. Parmi les types de déchets ci-dessous, lesquels avez-vous produits au cours de l'année 2016 ?

<table><thead><tr><th></th><th></th><th>Catégorie de déchets produits ?</th></tr></thead><tbody><tr><td rowspan="2">Boues et effluents non dangereux</td><td>N1 - Boues de STEP (uniquement si vous avez une station d'épuration sur votre site)</td><td>○ Oui<br>○ Non</td></tr><tr><td>N2 - Autres boues ou effluents (eaux usées...)</td><td>○ Oui<br>○ Non</td></tr><tr><td rowspan="2">Déchets organiques non dangereux</td><td>O1 - Déchets organiques d'origine végétale (fruits, légumes, brisures de pain, déchets verts...)</td><td>○ Oui<br>○ Non</td></tr><tr><td>O2 - Autres déchets organiques (origine animale ou mélange animal/végétal)</td><td>○ Oui<br>○ Non</td></tr><tr><td rowspan="2">Déchets non dangereux non triés</td><td>P1 - Déchets en mélange</td><td>○ Oui<br>○ Non</td></tr><tr><td>A1 - Déchets de verre</td><td>○ Oui<br>○ Non</td></tr><tr><td></td><td>B1 - Métaux ferreux</td><td>○ Oui<br>○ Non</td></tr><tr><td></td><td>B2 - Métaux non ferreux (aluminium, cuivre, etc.)</td><td>○ Oui</td></tr></tbody></table>

Source : Questionnaire web de l'enquête déchets non dangereux 2016

Comme le mentionne R. Morrison, l'utilisation des tableaux dans les questionnaires ne présente toutefois pas les mêmes risques selon que l'enquête s'adresse à des entreprises ou à des ménages. Les répondants aux enquêtes entreprises sont probablement plus familiers de la manipulation de tableaux alors que c'est loin d'être le cas en population générale.

II.6.2. Si un tableau est nécessaire, guider les répondants

(23) Si une matrice est nécessaire, aider les répondants à traiter l'information en réduisant le nombre d'éléments de données recueillis et en établissant un cheminement clair.

Des efforts importants ont ainsi été déployés à l'occasion de la refonte de la feuille de logement du recensement de la population.

Dans cette feuille de logement, un des objectifs est de décrire les habitants permanents du logement et les liens familiaux qui les unissent deux à deux (couple et lien parent-enfant). Cela conduit à un questionnement assez complexe.
Parmi toutes les propositions graphiques proposées, celle qui a été retenue visait à guider au mieux le répondant dans le remplissage ligne à ligne et colonne après colonne, du tableau des habitants du logement (exemple II.48). Le choix a été fait de réinscrire explicitement dans chaque cellule du tableau, la façon d'interpréter le croisement entre l'intitulé de la ligne et l'intitulé de la colonne. Ainsi par exemple sur la première ligne – qui correspond à la description du premier individu du logement –, dans la colonne « conjoint », il est précisé : « le conjoint de la personne n°1 est la personne n° : ... ».

Certaines propositions testées au niveau européen étaient particulièrement révélatrices du biais d'expert. L'une d'entre elles, reproduite dans l'exemple II.49, consistait à matérialiser la symétrie des liens familiaux deux à deux pour ne faire remplir par le ménage que la moitié supérieure d'une matrice symétrique...
<figure><img src="image_149.png" /><figcaption>Exemple II.48 : Extrait de la feuille de logement du recensement de la population 2019</figcaption></figure>

La feuille de logement actuelle est consultable à l'adresse : https://www.le-recensement-et-moi.fr/rpetmoi/pdf/feuille-logement.pdf (lien consulté le 17/06/2021)

Source : Enquête annuelle de recensement 2019.
<figure><img src="image_150.png" /><figcaption>Exemple II.49 : Proposition (non retenue) de refonte de la feuille logement du recensement présentée à l'occasion d'un focus group</figcaption></figure>

<figure><img src="image_151.png" /></figure>

S'il y a plus de 8 personnes vivant dans ce logement, indiquer le nombre de personnes supplémentaires

et remplir un bulletin individuel pour chacune d'elles lorsque c'est nécessaire (voir notice).

Source : archives concepteurs
# III. Quel impact du multidevice et du multimode : premiers éléments de réflexion

## III.1. Et le smartphone ?

Lorsqu'on évoque le mode de collecte, on pense le plus souvent à une distinction face-à-face, téléphone, papier ou web, autant de « modes » qui relèvent en réalité de différents enjeux : mode de communication, intermédiation éventuelle et support utilisé.

Jusqu'aux années récentes, le support de réponse choisi par le répondant était relativement bien connu à l'avance même si l'introduction d'internet a soulevé de nouvelles problématiques liées à l'équipement matériel et logiciel du répondant (son navigateur en particulier).

Avec l'expansion des tablettes et des smartphones, l'appareil électronique (device) utilisé pour répondre à un questionnaire électronique n'est plus maîtrisé par le service de collecte des données.

Et le mode web, auparavant considéré comme un mode unique, regroupe dès lors des réponses issues de supports différents. On parle de device-effect ou effets d'équipement (de dispositif), qui viennent se superposer aux effets de mode.

Les effets liés au mode de collecte se décrivent généralement selon les trois aspects suivants :

- le biais de sélection sur observables : les répondants selon le mode diffèrent par leurs caractéristiques socio-démographiques, connues dans l'enquête ou dans la base de sondage ;

- le biais de sélection sur non-observables : les répondants selon le mode diffèrent par une caractéristique non observée, souvent par leur intérêt pour l'enquête. Ce second cas est plus problématique si ce biais est lié aux variables collectées dans l'enquête (Castell et Sillard, 2021) ;

- l'effet de mesure : les réponses d'un même répondant diffèrent selon le mode utilisé (par exemple désirabilité sociale en face-à-face, satisficing en papier ou web)<fnref n="11" />.

Les effets liés à l'équipement utilisé peuvent relever de biais de sélection, mais aussi et surtout des effets de mesure, liés aux caractéristiques des équipements (taille de l'écran, mode d'interaction tactile, etc.) et à leur usage (mode sédentaire pour les ordinateurs fixes / mode nomade pour les smartphones utilisés à une fréquence élevée, mais avec un temps d'utilisation court).

Dans une enquête, cela peut se traduire par des erreurs (boutons trop petits), une augmentation de la non-réponse partielle, voire de la non-réponse totale, suite à des abandons précoces du questionnaire. Le questionnaire et les questions doivent de ce fait être aussi courts que possible et minimiser l'effort de scrolling (Couper et Peterson, 2017). Les données les plus récentes indiquent que lorsqu'une enquête est conçue de manière appropriée pour les smartphones, la qualité des données peut être aussi bonne que celle des enquêtes en ligne réalisées sur ordinateur fixe (Antoun et al. 2017).

### III.1.2. Répondre sur smartphone : des effets d'équipement s'ajoutent aux effets de mode

Une équipe néerlandaise issue de la recherche et de l'institut national de statistique CBS, a mis en évidence un device effect et montré qu'il pouvait être plus fort même que l'effet de mode (Roberts et Bakker, 2018). Elle s'est pour cela appuyée sur une expérimentation faite par CBS sur les interruptions d'enquête

<footnote n="11">11 Un répondant ne répond ordinairement que sur un mode, mais la définition de l'effet de mesure lié au mode est la différence entre la réponse observée sur un mode et la réponse contrefactuelle que l'on aurait mesurée sur l'autre mode, toutes autres choses étant égales, c'est-à-dire à sélection sur observables et inobservables neutralisée.</footnote>
(abandon prématuré) en fonction du device. La part supplémentaire d'abandons y était bien plus importante pour les répondants sur smartphone (59 % des questionnaires entamés avaient été terminés) que pour les répondants web (85 % des questionnaires entamés avaient été terminés).

Cette expérimentation (menée sur les enquêtes emploi, conditions de vie, et conditions de travail) conclut à un risque d'incomplétude du questionnaire près de 3 fois plus fort sur smartphone que sur ordinateur, en lien avec la longueur et la complexité des questionnaires. Elle pose également des questions de protocole, notamment sur la faisabilité de l'interrogation de plusieurs individus au sein du ménage, qui conduit à un questionnement long, et un risque élevé de questionnaire incomplet.

### III.1.3. La part de répondants sur smartphone est croissante

Le taux croissant d'équipement en smartphone et en tablette d'une part, et le recours (ou la tentative de recours) de plus en plus fréquent à ces équipements pour répondre aux enquêtes statistiques rend leur prise en compte incontournable dans la conception des enquêtes. En 2018 par exemple, 15 % des connexions au site « le recensement-et-moi » étaient établies à partir d'un smartphone.

On ne peut d'autant moins l'ignorer que les répondants sur smartphone ont très vraisemblablement des caractéristiques socio-démographiques différentes de celles des autres répondants, notamment en termes d'âge comme l'ont montré les expérimentations de CBS (Roberts et Bakker, 2018).

### III.1.4. Comment relever le défi de l'adaptation des questionnaires à la réponse sur smartphone ?

Une adaptation des questionnaires électroniques à une réponse potentielle sur smartphone est nécessaire mais soulève des questions techniques et statistiques. Une partie des personnes n'accède à Internet que par le biais d'un smartphone ou préférera utiliser son smartphone pour répondre, ce qui souligne l'enjeu de proposer une interface et un questionnaire conçus d'emblée pour ce type de support ou dont le format des pages s'adapte de manière ergonomique (responsive design).

Les bonnes pratiques de questionnement sur smartphone sont encore peu stables, et introduisent de nouvelles contraintes à la conception d'enquêtes multimode. Les listes déroulantes, les info-bulles (exemple III.1) ou tableaux parfois utilisés dans les questionnaires électroniques ne peuvent être conservés tels quels et nécessitent une adaptation ; les cases à cocher trop petites doivent être remplacées par des boutons ou zones cliquables plus grandes.
<figure><img src="image_152.png" /><figcaption>Exemple III.1 : Aide contextuelle consultable sur smartphone et tablette</figcaption></figure>

Une autre difficulté, plus dommageable à l'équivalence des modes, est la lecture moins aisée de libellés de questions longs. La réponse sur smartphone induit des libellés de questions plus courts, ou même imagés.

La recherche dans le domaine est encore jeune, et s'attache parfois à des détails comme l'espacement idéal entre des cases à cocher.

Par ailleurs, on constate pour les réponses sur smartphone un taux plus important de questionnaires interrompus, le répondant sur smartphone étant plus susceptible d'être interrompu ou distrait. A
questionnaire identique, le temps de réponse est également un peu plus long sur smartphone. Le temps de questionnement doit donc être plus court lorsqu'on imagine que les répondants utiliseront leur smartphone (Schouten et alii, 2018) (Roberts et Bakker 2018).

Que peut-on faire ? Différents niveaux d'action sont envisageables (Mussmann et Bakker, 2017) :

- ne rien faire ;

- décourager ou empêcher la réponse smartphone ;

- rendre l'enquête compatible avec une réponse smartphone ;

- optimiser l'enquête pour une réponse smartphone ;

- construire une application spécifique.

Rares sont les instituts nationaux de statistiques européens qui ont adapté leurs enquêtes à la réponse sur smartphone (Table III.1).

Le projet MIMOD (Mixed Mode Designs in Social Surveys – projet piloté par Istat et subventionné par Eurostat pour améliorer la collecte multimode dans les enquêtes ménages) dresse un état des lieux et des pistes pour améliorer les enquêtes multimodes.

<table><caption>Table III.1 : Compatibilité smartphone des enquêtes européennes - Nombre d'INS</caption><thead><tr><td>Enquête</td><td>Pas de web</td><td>Bloqué</td><td>Pas adapté mais utilisable</td><td>Légèrement adapté</td><td>Entièrement adapté</td></tr></thead><tbody><tr><td>Emploi</td><td>25</td><td>1</td><td>5</td><td></td><td></td></tr><tr><td>Revenus Conditions de Vie</td><td>24</td><td>2</td><td>4</td><td>1</td><td></td></tr><tr><td>Santé</td><td>20</td><td>1</td><td>10</td><td>1</td><td></td></tr><tr><td>Formation des adultes</td><td>21</td><td>1</td><td>8</td><td>2</td><td></td></tr><tr><td>TIC</td><td>16</td><td>3</td><td>10</td><td></td><td></td></tr><tr><td>Budget des familles</td><td>26</td><td>2</td><td>3</td><td></td><td></td></tr><tr><td>Emploi du temps</td><td>31</td><td></td><td></td><td></td><td></td></tr></tbody></table>

Source : État des lieux du projet MIMOD, présenté en avril 2019

Note de lecture : pour l'enquête TIC auprès des ménages, 16 INS ne proposent pas la réponse par internet, 3 INS bloquent la possibilité de répondre sur internet en utilisant un smartphone, et 10 autorisent la réponse en utilisant un smartphone, sans avoir toutefois adapté le questionnaire.

Le multimode implique d'abandonner certaines habitudes anciennes de conception. Plutôt que de percevoir cette nécessité de changement comme une contrainte, on peut la considérer comme une opportunité de réexaminer les enjeux de la conception d'enquêtes, et de répondre aux attentes des enquêtés.
Exemple III.2 : Attente des enquêtés vis-à-vis des possibilités techniques des questionnaires

Dites @InseeFr, on est en 2020, il serait temps de pouvoir répondre au #recensement sur un #smartphone. C'est quasi impossible : formulaire qui s'affiche à moitié, bouton "suivant" hors écran, lecture des questions sur une ligne tronquée...

<figure><img src="image_153.png" /></figure>

10:42 AM · 4 oct. 2020 · Twitter for Android

Source : Fil twitter d'un enquêté lors du test de l'enquête logement – archives concepteur

Dans ce contexte, prendre en compte les technologies mobiles peut apparaître comme une préoccupation annexe ou comme une opportunité de profond changement.

Il faut alors entamer une transition de l'incompatibilité vers la compatibilité d'abord, puis vers l'optimisation de réponse smartphone (Mussmann et Bakker, 2017), en limitant le plus possible les freins à la réponse sur smartphone.

Bakker liste six freins à la réponse de qualité sur smartphone, et distingue trois stades principaux :

- l'absence de compatibilité smartphone : tous les freins sont présents, à savoir la nécessité d'ajuster le texte par zoom pour le rendre lisible, d'avoir des aptitudes motrices fines, le besoin de défilement (scroll), la saisie au clavier virtuel, les difficultés de réponses liées à une connexion internet lente ou instable, et enfin les risques de distraction du répondant (par exemple à cause de la présence d'autres personnes).

- la compatibilité smartphone : il s'agit d'une première étape d'adaptation, qui vise à supprimer les deux premiers obstacles, par des réponses techniques (feuille de style adaptée, boutons et champs de saisie de taille suffisante pour l'interaction tactile).

- l'optimisation smartphone, elle, va plus loin, en essayant autant que faire se peut de dépasser les freins suivants (défilement et saisie au clavier virtuel) : cette optimisation nécessite souvent d'adapter le contenu même du questionnement, sa pagination, voire le type d'information demandé.

Cette adaptation du questionnement (longueur, découpage du questionnaire, rédaction des questions) est alors souvent propagée aux autres modes, afin d'avoir un questionnement cohérent et de limiter les effets de mesure.
Il n'est pas possible en revanche de supprimer les difficultés liées au caractère nomade du smartphone (risques de distraction et d'interruption – réseaux, appels... -, consultation brève), quels que soient les efforts déployés en conception. Le seul levier est de limiter la longueur du questionnaire.

### III.1.5. L'adaptation au smartphone suppose une double réponse : technique, mais également en conception

Afin d'adapter les questionnaires à une réponse sur smartphone ou tablette, il est nécessaire de prendre en compte ces trois aspects : l'écran, la navigation et le contexte d'utilisation.

#### Adapter le contenu à la lecture sur un petit écran

L'écran varie en taille et en proportion. L'affichage du questionnaire doit donc pouvoir s'adapter à cet écran, dont les dimensions ne sont pas connues *a priori*. La réponse technique à ce problème s'appelle *responsive design* et s'implémente principalement dans la feuille de style associée au questionnaire web.

Cette première réponse permet cependant seulement de rendre le contenu du questionnaire lisible sur des écrans de petite taille, tout du moins des questions "simples". Cela évite notamment de devoir zoomer ou utiliser la barre de déplacement horizontale (exemple III.3).
<figure><img src="image_154.png" /><figcaption>Exemple III.3 : Comparaison de l'affichage sur smartphone, sans feuille de style adaptée, et avec une feuille de style adaptée</figcaption></figure>

Source : copies d'écran de questionnaires, avec simulation d'équipement

Cependant, cela reste plus lourd de répondre sur un petit écran, en particulier lorsque les textes sont longs (exemple III.4), ou les questions complexes.

Il convient donc d'essayer de proposer une seule question par page et d'éviter à tout prix les tableaux. Ceux-ci ne sont en effet pas adaptés à un questionnement smartphone. Ils posent par ailleurs des problèmes d'accessibilité : les tableaux ne sont en effet pas lisibles pour des personnes non voyantes ou mal voyantes qui utilisent des lecteurs d'écran.

Cela nécessite aussi d'adopter un questionnement plus simple avec des questions plus courtes. Or des phrases qui nous paraissent courtes et lisibles sur un écran d'ordinateur ne seront pas perçues de la même façon sur un écran de taille réduite.
Toute la difficulté résulte du fait que le choix de l'équipement utilisé relève du répondant. Il ne peut donc pas y avoir des enquêtes smartphone et d'autres qui ne le seraient pas. À partir du moment où l'enquête est en ligne, on peut seulement fortement encourager une réponse sur ordinateur, ou décourager la réponse sur smartphone. Il n'est pas possible de contraindre l'enquêté à utiliser un ordinateur, et les réponses sur smartphone existeront, qu'on le souhaite ou non. Cela se traduira vraisemblablement par une réponse de moins bonne qualité, ou un taux de non-réponse totale et partielle plus élevé. Il est donc important de rendre le questionnaire compatible, afin de ne pas décourager les enquêtés qui répondraient spontanément en utilisant leur smartphone.

Il faut également penser à limiter le nombre de modalités de réponses, et si celui-ci est élevé, à découper la question. Même si le défilement sur écran tactile est plus simple qu'avec une souris, l'effort à fournir ne doit pas être négligé.

Cet effort à fournir est moindre lorsque la liste des modalités est déjà connue par le répondant, comme c'est le cas lorsqu'il doit renseigner sa date de naissance, son lieu de naissance ou sa commune de résidence.

L'exercice est plus délicat lorsque l'on demande au répondant de sélectionner une réponse, alors même que la liste de ces réponses n'est pas connue de lui a priori (exemple III.5). Il ne peut pas dans ce cas en prendre connaissance en un seul coup d'œil et cela peut accroître les effets de primacy (sélection plus fréquente des premiers items).

<figure><img src="image_155.png" /><figcaption>Exemple III.4 : Visibilité d'un texte long sur smartphone</figcaption></figure>
Exemple III.5 : Visibilité partielle d'un nombre de réponses important sur smartphone

5. Au cours des trois derniers mois, hors
usage professionnel, avez-vous utilisé
internet (y compris via des applications) pour

---

(quel que soit le lieu d'utilisation)

Plusieurs réponses possibles

☐ envoyer et recevoir des e-mails

[ ] téléphoner (ou passer des appels vidéo) par internet, par exemple via Skype, Messenger, WhatsApp, Facetime, Viber, Snapchat

☐ créer un profil ou poster des messages sur les réseaux sociaux (Facebook, Twitter, Youtube, Instagram, Snapchat, etc.)

☐ utiliser une messagerie instantanée, c'est-
à-dire échanger des messages, par exemple
via Skype, Messenger, WhatsApp, Viber,
Snapchat

☐ lire des journaux, des magazines ou
consulter des sites d'actualité

☐ rechercher des informations liées à la santé (ex : sur une maladie, des blessures, la nutrition ou l'amélioration de la santé)

☐ rechercher des informations sur des produits et services (horaires de transport, catalogues en ligne, etc.)

☐ exprimer des opinions sur des questions civiques ou politiques via des sites web ou médias sociaux (Facebook, Twitter, Instagram, YouTube, etc.)

☐ participer à des consultations ou des votes en ligne sur des questions civiques ou politiques (ex : plan d'urbanisation, signature d'une pétition)

Source : simulation smartphone du questionnaire de l'enquête Tic Ménages 2021

Enfin, les menus et autres bandeaux, tout à fait pertinents pour une consultation sur ordinateur, deviennent problématiques sur un smartphone : ils occupent une place trop importante sur l'écran ce qui conduit d'une part à reléguer les questions hors du champ de vision du répondant, et d'autre part à instaurer une possible lassitude chez le répondant, qui devra scroller de façon systématique à chaque page (exemples III.6 et III.7).

La conception générale du questionnaire doit donc aussi viser à mettre en évidence le contenu, en limitant l'espace occupé par les éléments graphiques secondaires. L'identification claire de l'organisme enquêteur est importante puisqu'elle contribue à l'acceptation de l'enquête, mais la mise en forme de cette information doit contribuer à faciliter la réponse.
<figure><img src="image_156.png" /><figcaption>Exemple III.6 : Comparaison de l'espace relatif occupé par le bandeau, selon la taille de l'écran (écran d'ordinateur)</figcaption></figure>
<figure><img src="image_157.png" /><figcaption>Exemple III.7 : Comparaison de l'espace relatif occupé par le bandeau, selon la taille de l'écran (écran de tablette et de smartphone)</figcaption></figure>

## Adapter les comportements interactifs à la navigation tactile

Le deuxième des trois aspects à prendre en compte afin d'adapter les questionnaires à une réponse sur smartphone ou tablette, est celui de la navigation. La navigation, la sélection d'éléments et la saisie sur un site internet diffèrent en effet lorsqu'on utilise un ordinateur ou un équipement plus petit.

Lorsqu'on utilise un ordinateur, la souris et le clavier physique sont utilisés pour naviguer au sein d'une page (horizontalement ou verticalement), pour se déplacer d'un champ de saisie à l'autre ou pour saisir les caractères dans un champ de réponse.

Lorsqu'on utilise un smartphone ou une tablette, la navigation se fait par l'écran tactile, et la saisie est possible via un clavier virtuel. L'écran sert donc à la fois la présentation, l'affichage, mais également l'interaction (navigation, saisie).

Ce fonctionnement n'est pas neutre. En effet, la navigation et la saisie d'éléments sont souvent moins précises sur un smartphone, l'écran est plus petit d'une part, et l'instrument de navigation est plus épais. C'est le fameux « fat finger problem » qui peut conduire à des sélections malencontreuses de boutons ou de cases à cocher. Les éléments à sélectionner (boutons radio, cases à cocher) doivent donc être suffisamment gros et espacés pour compenser le manque de précision de la sélection, tout en occupant une place
raisonnable dans un écran de petite taille... Le Census Bureau a mené des travaux pour déterminer la taille idéale d'un élément à cocher pour limiter les erreurs de saisie, tout en permettant une mise en page sur petit écran (Wang et alii, 2017).

La saisie d'un texte nécessite l'apparition d'un clavier virtuel qui peut prendre une grande place sur l'écran, voire cacher le libellé de la question en cours.

En particulier, certaines fonctionnalités usuelles utilisées dans les questionnaires web posent des difficultés pour une interaction tactile, et sont donc à éviter :

- le comportement de survol de la souris n'est pas possible. Les infos bulles visibles au survol de la souris doivent alors être remplacées par des informations cliquables. Toutefois sur un petit écran, la superposition nuit à la lecture (cf exemple III.1)

- les listes déroulantes sont difficiles à manipuler, elles doivent donc rester courtes pour éviter les difficultés de sélection de la bonne modalité de réponse

## Limiter le temps de questionnement

Enfin le dernier point à prendre en compte afin d'adapter les questionnaires à une réponse sur smartphone ou tablette, est le temps d'attention à l'enquête potentiellement plus réduit. Le smartphone est un outil multi-tâches et nomade, qui favorise les interruptions, distractions, déconnexions, etc. Les enquêtes susceptibles de susciter une réponse par smartphone doivent donc être courtes et simples.

Le projet MIMOD a considéré ces trois dimensions pour proposer une mesure de la compatibilité smartphone d'une enquête (en comptant par exemple le nombre d'introductions aux différentes parties du questionnaire, le nombre d'instructions, le nombre de questions dont le libellé excède 20 mots, dont le nombre de modalités de réponses excède 5 etc.). Lors de cet état des lieux, la totalité des enquêtes ménages européennes nécessitaient des adaptations pour répondre à certains critères, et une refonte complète pour d'autres critères (Schouten et alii, 2018).

### III.1.6. Le défi de la réponse sur smartphone se pose différemment pour les enquêtes entreprises et ménages.

Au vu de la collecte de nombreuses informations numériques, parfois sous forme de tableaux, il semble illusoire de rendre simple la réponse sur smartphone pour les enquêtes entreprises. Le problème est moins critique que pour les enquêtes ménages, car les répondants aux enquêtes entreprises sont sollicités dans un contexte professionnel et sont donc plus enclins que les ménages à répondre sur un ordinateur.

Les réponses techniques apportées à la réponse smartphone pourront bénéficier cependant également aux enquêtes web dans le cadre de la filière de génération de questionnaires.

Si un format d'enquêtes plus courtes, et moins quantitatives venait à se développer (comme les enquêtes de conjoncture ou plus récemment les enquêtes liées à la crise sanitaire de la Covid-19), alors une prise en compte des problématiques smartphone en conception pourrait avoir un intérêt.

Les enquêtes ménages comportant un mode internet ne peuvent, elles, faire l'impasse sur une amélioration progressive de l'adaptation à une réponse smartphone. La difficulté se posera principalement sur la simplification des questionnaires : raccourcissement des enquêtes, simplification des concepts, formulations claires et courtes, etc.

Les formats de question fermée (cases à cocher) sont plus facilement adaptables que les tableaux, et plus simples que les questions ouvertes (celles-ci déclencheront l'ouverture d'un clavier virtuel, qui nécessite plus de précision motrice et peut également gêner la lecture)

La possibilité d'une réponse sur smartphone (et l'estimation de sa fréquence) est dans tous les cas un argument à prendre en compte lors de la conception du protocole de collecte.
### III.2. Concevoir le questionnement d'une enquête multimode

La prise en compte du mode de collecte dans la phase de conception d'une enquête n'est pas nouvelle, mais le développement de la collecte par internet et en multimode a remis le sujet au premier plan depuis quelques années.

Comme évoqué précédemment, plusieurs éléments sont à prendre en compte lorsqu'il est question de mode de collecte :

- la différence de mode de communication : orale ou visuelle ;

- l'intermédiation (par un enquêteur) ou l'auto-administration ;

- le "support" utilisé : papier ou électronique, le plus souvent envisagé dans le cas d'enquêtes auto-administrées ;

- depuis quelques années l'outil (device) utilisé par l'enquêté pour répondre à un questionnaire internet devient aussi un enjeu (ordinateur, tablette, smartphone).

Il faut souligner que certaines enquêtes sont relativement complexes et peuvent mobiliser plusieurs modes de communication et plusieurs supports (enquête face-à-face avec des cartes de codes, module sous casque).

Chacun de ces éléments peut entraîner des différences dans la perception et la compréhension du questionnaire et occasionner des différences de mesure. Chacun a ses avantages et ses inconvénients : l'intermédiation permet une meilleure appropriation de concepts complexes par exemple, alors que l'auto-administration limite les effets de mesure (désirabilité) pour les questions sensibles ou d'opinion.

Lorsque l'on parle d'enquête multimode, on peut envisager plusieurs approches pour concevoir le questionnaire, en tentant de minimiser l'impact de la collecte multimode sur les résultats.

Les deux approches les plus extrêmes sont les suivantes :

- une conception « omnimode » ou « unimode » vise à obtenir un stimuli identique pour tous les modes.

Cela implique de concevoir un questionnaire identique pour tous les modes, et le plus souvent à se limiter au mode le moins interactif. On n'utilise pas les possibilités de chaque mode, mais le stimulus est identique ;

- une conception spécifique à chaque mode, qui cherche à obtenir la meilleure qualité possible en tirant parti des avantages de chaque mode, ce qui devrait en théorie conduire à la plus petite erreur totale d'enquête. Mais cela peut aboutir à des stimuli différents d'un mode à l'autre, les réponses recueillies n'étant alors pas comparables car entachées d'effets de mesure potentiellement différents. Ce que l'on recherche dans ce cas est l'équivalence fonctionnelle (Dillman, 2014, de Leeuw et Hox, 2011).

D'autres approches plus nuancées ou intermédiaires sont envisageables :

- une conception presque omnimode, privilégiant le mode le plus utilisé par les répondants. Les enquêtes entreprises de l'Insee recueillent souvent 95 % des réponses par internet, il est donc légitime de privilégier la qualité de ce mode.

- une conception "sur mesure", identifiant les éléments qui doivent être identiques pour tous les modes de ceux qui peuvent différer.

Dans ce cadre, Eurostat a lancé en 2012 un Ess-net "Data Collection in Social Surveys Using Multiple Modes".

Destatis, l'INS allemand a poursuivi ces travaux, qui ont donné lieu à publication et présentation dans différentes conférences.

Face au constat du besoin d'une méthodologie solide et de standardisation dans la collecte multimode, Destatis propose un cadre de conception d'une enquête multimode.
Les objectifs sont de limiter les effets de mode, en distinguant les facteurs qui induisent ces effets de mode (oral, visuel, face-à-face, auto-administré...). Ces facteurs sont concomitants et il n'est donc généralement pas possible de quantifier les effets de chacun d'entre eux.

Destatis propose de retenir une approche intermédiaire de conception sur mesure.

En effet, une conception uniforme n'aboutit pas nécessairement à un processus de réponse uniforme (le choix de la première option n'est donc pas une garantie), mais il n'est pas non plus possible d'avoir des formulations différentes pour chaque question.

L'objectif est d'obtenir une équivalence cognitive entre les modes. Tout l'enjeu est donc de distinguer les éléments qui doivent être différenciés ou non selon le mode.

La figure III.1 (Blanke, 2016) propose une orientation plutôt unimode (en orange) ou spécifique pour chaque mode (en violet) pour chaque élément d'un questionnaire.

Le fond du questionnement, à savoir le libellé des questions, l'ordre des questions, et les filtres sont des éléments clés, et doivent être identiques selon les modes.

Un exemple courant concerne les questions à choix multiple. Le mode oral conduisant à d'avantage mémoriser les derniers items d'une liste (*recency effect*), pour limiter les effets de mesure, il est classique de proposer une batterie de questions oui/non plutôt qu'une question à choix multiple.

La question se pose donc pour une enquête multimode (téléphone, papier et web par exemple) de la rédaction des questions à choix multiple pour les questionnaires auto-administrés, puisque ceux-ci ne sont pas soumis à cet effet.

Des études montrent que la proposition de batteries de questions oui/non pour un questionnaire auto-administré conduit à sélectionner plus d'items dans la liste qu'une question QCM présentée avec une série de cases à cocher (Smyth, Dillman, Christian, & Stern 2006). L'impact des modifications de questions sur la participation associative dans les enquêtes de l'Insee sur les conditions de vie en donne une illustration (voir *supra* partie II exemples 21 à 23).

Afin de limiter les différences de réponse entre les modes, on préférera donc proposer la batterie de questions pour l'ensemble des modes.

De manière plus générale, les effets de mode peuvent varier selon les types de questions, leur contenu, et leur implémentation (présence d'une option « ne sais pas » par exemple) (Campanelli et alii, 2011). Ces considérations doivent entre en compte lors de la conception d'une enquête multimode, ou changeant de mode.

En revanche, les aspects très dépendants du mode (filtres, contrôles, page d'accueil ou de fin) peuvent être adaptés à chaque mode.

A l'Insee, l'usage d'outils de conception de questionnaire fondés sur les métadonnées actives pousse à concevoir les questionnaires modaux comme des déclinaisons d'une seule enquête. L'heure n'est plus à la conception spécifique pour chaque mode, qui pouvait induire des développements coûteux et parallèles, d'autant de questionnaires que de modes de collecte.

Cependant, l'abandon de la conception spécifique à chaque mode ne doit pas pour autant conduire à une identité parfaite des supports de collecte.

Les efforts engagés visent notamment à distinguer ce qui relève du contenu stricto sensu du questionnaire et ce qui relève de la gestion de collecte, cette dernière étant nécessairement liée au mode.

Les métadonnées de description d'un questionnaire visent à décrire la structure et le contenu du questionnement, et non sa forme. Cette description peut donc être agnostique des choix de mise en forme, ceux-ci peuvent alors se décliner différemment selon le support de collecte.
Lorsque cela n'est pas suffisant, un paramétrage est envisagé, notamment pour différencier les instructions selon que l'enquête est intermédiée ou non, ou encore personaliser les libellés de question (avec la civilité d'un enquêté par exemple) pour les modes d'interrogation interactifs.

<caption>Illustration III.1 : Adaptation unimode ou spécifique, pour les éléments d'un questionnaire</caption>

DILSTATIS
wissen.nutzen.

## 3 Unimode vs. mode-specific design: Tailored mixed-mode design (III)

<table><thead><tr><th colspan="2">Unimode</th><th colspan="2">Mode-specific</th></tr></thead><tbody><tr><td>Welcome page</td><td>Question wording</td><td>Answering categories</td><td>Chart lists</td></tr><tr><td>Question order</td><td>Filter questions</td><td>„Don't know“ option</td><td>Explanations & Instructions</td></tr><tr><td>Navigation</td><td>Edit checks</td><td>Error messages</td><td>Final page</td></tr></tbody></table>

© Federal Statistical Office of Germany | Institute for Research and Development in Federal Statistics

Slide 13

Source : Modernisation of German household surveys : Modularisation & mixed-mode–future challenges. European Conference on Quality in Official Statistics
Conclusion

Ce document s'appuie sur la littérature et l'expérience de quelques années de support en conception de questionnaires auto-administrés. Comme l'expose R. Morrison, concevoir des questionnaires auto-administrés nécessite d'aller au-delà du travail habituel sur la formulation des questions et de réfléchir à leur mise en forme. Ces principes ont été mis en œuvre autant que faire se peut au sein des outils de conception et génération de questionnaires. Cela permet une harmonisation des pratiques, tout en allégeant la charge de mise en forme pour les concepteurs.

La confrontation des principes à des questionnaires réels rend compte de la nécessité d'arbitrer parfois entre plusieurs propositions imparfaites, et de l'impossibilité de concevoir un questionnaire parfait. Des choix doivent être faits en ayant conscience de leurs impacts éventuels sur la qualité des réponses.

Deux évolutions importantes nous invitent à reconsidérer notre façon d'interroger les ménages : le développement du multimode, et l'usage accru des smartphones. Les deux dernières parties de ce document, assez succinctes, ont vocation à être développées et enrichies, notamment par les travaux coordonnés par le programme multimode à l'Insee, et les retours d'expérience des enquêtes récentes et à venir.
# Bibliographie

Antoun C., Couper M. P., Conrad F. G. (2017), « Effects of mobile versus PC web on survey response quality: a crossover experiment in a probability web panel ». *Public Opinion Quarterly*, 81, 280-306.

Blanke K., Paulus O., & Riede T. (2016). *Modernisation of German household surveys : Modularisation & mixed-mode–future challenges*. European Conference on Quality in Official Statistics

Burricand C., Gleizes F. (2016) « Trente ans de vie associative. Une participation stable mais davantage féminine », *Insee Première* n° 1580, janvier.

Castell L., Sillard P., (2021) « Le traitement du biais de sélection endogène dans les enquêtes auprès des ménages par modèle de Heckman », Documents de travail Insee n° M2021/02

Campanelli P., Nicolaas G., Jäckle A., Lynn P., Hope S., Blake M., Gray M., « A classification of question characteristics relevant to measurement (error) and consequently important for mixed mode questionnaire design », Présentation à la Royal Statistical Society, 2011

Christian L.M., Dillman Don A., Morrison, R.L., (2010), « Questionnaire Design Guidelines for Establishment Surveys », In : *Journal of Statistics* [en ligne]. Vol. 26, N°1, pp.43-85.

Christian L.M., Dillman Don A. et Smyth J. D., (2014), *Internet, Phone, Mail, and Mixed-Mode surveys – The tailored design method*, 4th edition. Août 2014. Wiley Online Edition. ISBN 978-1-11-845614-9.

Couper M.P., Peterson G.J. (2017), « Why Do Web Surveys Take Longer on Smartphones ? » *Social Science Computer Review*, 35 (3), 357-377

Dillman, D.A., Brown, T.L., Carlson, J.E., Carpenter, E.H., Lorenz, F.O., Mason, R., Saltiel, J. and Songster, R.L. (1995), « Effects of Category Order on Answers in Mail and Telephone Surveys ». *Rural Sociology*, 60: 674-687.

Eurostat (2019), Documentation du projet européen MIMOD (Mixed Mode Designs in Social Surveys ) : https://www.istat.it/en/research-activity/international-research-activity/essnet-and-grants

Giesen D., Meertens V., Vis-Visschers R., Beukenhorst D. (2012), « Questionnaire development », *Statistical Methods* (2012)10, Statistics Netherlands.

Graham L. (2008), « Gestalt Theory in Interactive Media Design », *Journal of humanities and social science*.

Grémy J.-P., (1993), « Questions et réponses : quelques résultats sur les effets de la formulation des questions dans les sondages », *Sociétés Contemporaines*, n°16, pp. 165-176.

Haag O., Husseini Skalitz A (2019), « Collecte par internet des enquêtes auprès des entreprises : l'Insee entre dans l'ère Coltrane », *Courrier des statistiques* n°3, décembre.

Kanizsa G. (1979), *Organization in Vision: Essays on Gestalt Perception*. New York: Praeger

Koumarianos H., Sigaud E., (2019), « Eno, un générateur d'instrument de collecte », *Courrier des statistiques* n°3, décembre.

Krosnick J. A., & Alwin D. F. (1987). An evaluation of a cognitive theory of responseorder effects in survey measurement. *Public Opinion Quarterly*, 51, 201-219.

Leeuw, E. D. d., & Hox, J. J. (2011). Internet surveys as part of a mixed-mode design. In M. Das, P. Ester, & L. Kaczmirek (Eds.), *Social and behavioral research and the Internet: Advances in applied methods and research strategies* (pp. 45–76).
Mendoza J., Pody B., Lee S., Kim M., & Mcdonough I. (2018). The effect of cellphones on attention and learning: The influences of time, distraction, and nomophobia. *Computers in Human Behavior, 86*.

Morrison R.L., Stokes S.L., Buron J., Caruso, A., Edwards K.K., Harley D., Hough C., Hough R. Lazirko B.A., Proudfoot S. (2008), « Economic Directorate Guidelines on Questionnaire Design », Census Bureau.

Morrison R.L. (2009), « Writing and Revising Questionnaire Design Guidelines », *Symposium 2008 : data Collection : Challenges, Achievements and New Directions, Component of Statistics Canada Catalogue* n° 11-522-X.

Morrison R.L., Dillman D.A., Christian L.M. (2010) Questionnaire Design Guidelines for Establishment Surveys Journal of Official Statistics, Vol. 26, No. 1, 2010, pp. 43–85

Mussmann O., Bakker J. (2017). « Questionnaire design for smartphones (and tablets):an on-going journey from mobile unfriendly to mobilefriendly to mobile optimization », Unece, Data Collection Workshop.

Razafindranovona T. (2015), « La collecte multimode et le paradigme de l'erreur d'enquête totale », *Document de travail Insee*.

Revilla M., Ochoa C. (2017) « Ideal and Maximum Length for a Web Survey », *International Journal of Market Research* 2017 59 (5), 557-565

Roberts A., Bakker J. (2018), « Mobile device login and break-off in individual surveys of Statistics Netherlands », *discussion paper Statistics Netherlands*

Romano Bergstrom J. C, Chandra E. and Sabin L. (2016). « Navigation Buttons in Web-Based Surveys: Respondents' Preferences Revisited in the Laboratory. » *Survey Practice* 9 (1)

Schouten B., Blanke K., Gravem D., Luiten A., Meertens V., Paulus O. (2018). MIXED MODE DESIGNS FOR SOCIAL SURVEYS - WP5 – Deliverable 1 Assessment of fitness of ESS surveys for smartphones

Schuman H., Kalton G., Ludwig J. (1983). « Context and contiguity in survey questionnaires ». *Public Opinion Quarterly*, 47(1), 112–115

Schuman, H., Presser, S. (1996). *Questions and answers in attitude surveys: Experiments on question form, wording, and context*. Sage Publications.

Singly F. (de) (2020), *Le questionnaire*, Collection 128, Armand Colin, 5ᵉ édition.

Smyth J., Christian L., & Dillman D. (2008), « Does “yes”or “no” on the telephone mean the same as “check-all-that-apply” on the web ». *Public Opinion Quarterly*,72(1), 103–113.

Smyth, J., Dillman, D., Christian, L., & Stern, M. (2006) « Comparing check-all and forced-choice question formats in web surveys », *Public Opinion Quarterly*,70(1),66–77.

Statistique Canada (2003), *Méthodes et pratiques d'enquête*, n° 12-587-X

Verger D. (2009), « Rédiger un « bon » questionnaire : une variante de la quadrature du cercle », *Courrier des statistiques*, n° 126, janvier-avril.

Villar, Ana, Callegaro, Mario et Yang, Yongwei, (2013). Where Am I ? A Meta-Analysis of Experiments on the Effects of Progress Indicators for Web Surveys. Social Science Computer Review. pp. 19.

Wang L., Antoun C., Sanders R., Nichols E., Olmsted-Hawala E., Falcone B., Figueri I. (2017) « Development of Standards and Guidelines for Mobile Survey Instruments », European Survey Research Assocation Conference

Wilmer H., Sherman L. E., Chein J. M. (2017), « Smartphones and Cognition: A Review of Research Exploring the Links between Mobile Technology Habits and Cognitive Functioning », *Front Psychol*. 2017; 8: 605.
Série des Documents de Travail
« Méthodologie Statistique »

9601 : Une méthode synthétique, robuste et efficace pour réaliser des estimations locales de population.

G. DECAUDIN, J.-C. LABAT

9602 : Estimation de la précision d'un solde dans les enquêtes de conjoncture auprès des entreprises.

N. CARON, P. RAVALET, O. SAUTORY

9603 : La procédure FREQ de SAS - Tests d'indépendance et mesures d'association dans un tableau de contingence.

J. CONFAIS, Y. GRELET, M. LE GUEN

9604 : Les principales techniques de correction de la non-réponse et les modèles associés.

N. CARON

9605 : L'estimation du taux d'évolution des dépenses d'équipement dans l'enquête de conjoncture : analyse et voies d'amélioration.

P. RAVALET

9606 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT).

S. LOLLIVIER, M. MARPSAT, D. VERGER

9607 : Enquêtes régionales sur les déplacements des ménages : l'expérience de Rhône-Alpes.

N. CARON, D. LE BLANC

9701 : Une bonne petite enquête vaut-elle mieux qu'un mauvais recensement ?

J.-C. DEVILLE

9702 : Modèles univariés et modèles de durée sur données individuelles.

S. LOLLIVIER

9703 : Comparaison de deux estimateurs par le ratio stratifiés et application

aux enquêtes auprès des entreprises.

N. CARON, J.-C. DEVILLE

9704 : La faisabilité d'une enquête auprès des ménages.

1. au mois d'août.

2. à un rythme hebdomadaire

C. LAGARENNE, C. THIESSET

9705 : Méthodologie de l'enquête sur les déplacements dans l'agglomération toulousaine.

P. GIRARD.

9801 : Les logiciels de désaisonnalisation TRAMO & SEATS : philosophie, principes et mise en œuvre sous SAS.

K. ATTAL-TOUBERT, D. LADIRAY

9802 : Estimation de variance pour des statistiques complexes : technique des résidus et de linéarisation.

J.-C. DEVILLE

9803 : Pour essayer d'en finir avec l'individu Kish.

J.-C. DEVILLE

9804 : Une nouvelle (encore une !) méthode de tirage à probabilités inégales.

J.-C. DEVILLE

9805 : Variance et estimation de variance en cas d'erreurs de mesure non corrélées ou de l'intrusion d'un individu Kish.

J.-C. DEVILLE

9806 : Estimation de précision de données issues d'enquêtes : document méthodologique sur le logiciel POULPE.

N. CARON, J.-C. DEVILLE, O. SAUTORY

9807 : Estimation de données régionales à l'aide de techniques d'analyse multidimensionnelle.

K. ATTAL-TOUBERT, O. SAUTORY

9808 : Matrices de mobilité et calcul de la précision associée.

N. CARON, C. CHAMBAZ

9809 : Échantillonnage et stratification : une étude empirique des gains de précision.

J. LE GUENNEC

9810 : Le Kish : les problèmes de réalisation du tirage et de son extrapolation.

C. BERTHIER, N. CARON, B. NEROS

9901 : Perte de précision liée au tirage d'un ou plusieurs individus Kish.

N. CARON

9902 : Estimation de variance en présence de données imputées : un exemple à partir de l'enquête Panel Européen.

N. CARON

0001 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT) (version actualisée).

S. LOLLIVIER, M. MARPSAT, D. VERGER

0002 : Modèles structurels et variables explicatives endogènes.
J.-M. ROBIN

0003 : L'enquête 1997-1998 sur le devenir des personnes sorties du RMI - Une présentation de son déroulement.

D. ENEAU, D. GUILLEMOT

0004 : Plus d'amis, plus proches ? Essai de comparaison de deux enquêtes peu comparables.
O. GODECHOT

0005 : Estimation dans les enquêtes répétées : application à l'Enquête Emploi en Continu.

N. CARON, P. RAVALET

0006 : Non-parametric approach to the cost-of-living index.

F. MAGNIEN, J. POUGNARD

0101 : Diverses macros SAS : Analyse exploratoire des données, Analyse des séries temporelles.

D. LADIRAY

0102 : Économétrie linéaire des panels : une introduction.

T. MAGNAC

0201 : Application des méthodes de calages à l'enquête EAE-Commerce.

N. CARON

C 0201 : Comportement face au risque et à l'avenir et accumulation patrimoniale - Bilan d'une expérimentation.

L. ARRONDEL, A. MASSON, D. VERGER

C 0202 : Enquête Méthodologique Information et Vie Quotidienne - Tome 1 : bilan du test 1, novembre 2002.

J.-A. VALLET, G. BONNET, J.-C. EMIN, J. LEVASSEUR, T. ROCHER, P. VRIGNAUD, X. D'HAULTFOEUILLE, F. MURAT, D. VERGER, P. ZAMORA

0203 : General principles for data editing in business surveys and how to optimise it.

P. RIVIERE

0301 : Les modèles logit polytomiques non ordonnés : théories et applications.

C. AFSA ESSAFI

0401 : Enquête sur le patrimoine des ménages - Synthèse des entretiens monographiques.

V. COHEN, C. DEMMER

0402 : La macro SAS CUBE d'échantillonnage équilibré

S. ROUSSEAU, F. TARDIEU

0501 : Correction de la non-réponse et calage de l'enquêtes Santé 2002

N. CARON, S. ROUSSEAU
**0502** : Correction de la non-réponse par répondération et par imputation
N. CARON

**0503** : Introduction à la pratique des indices statistiques - notes de cours
J-P BERTHIER

**0601** : La difficile mesure des pratiques dans le domaine du sport et de la culture - bilan d'une opération méthodologique
C. LANDRE, D. VERGER

**0801** : Rapport du groupe de réflexion sur la qualité des enquêtes auprès des ménages
D. VERGER

**M2013/01** : La régression quantile en pratique
P. GIVORD, X. D'HAULTFOEUILLE

**M2014/01** : La microsimulation dynamique : principes généraux et exemples en langage R
D. BLANCHET

**M2015/01** : la collecte multimode et le paradigme de l'erreur d'enquête totale
T. RAZAFINDROVONA

**M2015/02** : Les méthodes de Pseudo-Panel
M. GUILLERM

**M2015/03** : Les méthodes d'estimation de la précision pour les enquêtes ménages de l'Insee tirées dans Octopus
E. GROS K. MOUSSALAM

**M2016/01** : Le modèle Logit Théorie et application.
C. AFSA

**M2016/02** : Les méthodes d'estimation de la précision de l'Enquête Emploi en Continu
E. GROS K.MOUSSALAM

**M2016/03** : Exploitation de l'enquête expérimentale Vols, violence et sécurité.
T. RAZAFINDROVONA

**M2016/04** : Savoir compter, savoir coder. Bonnes pratiques du statisticien en programmation.

E. L'HOUR R. LE SAOUT B. ROUPPERT

**M2016/05** : Les modèles multiniveaux
P. GIVORD M. GUILLERM

**M2016/06** : Econométrie spatiale : une introduction pratique
P. GIVORD R. LE SAOUT

**M2016/07** : La gestion de la confidentialité pour les données individuelles
M. BERGEAT

**M2016/08** : Exploitation de l'enquête expérimentale Logement internet-papier
T. RAZAFINDROVONA

**M2017/01** : Exploitation de l'enquête expérimentale Qualité de vie au travail
T. RAZAFINDROVONA

**M2018/01** : Estimation avec le score de propension sous R
S. QUANTIN

**M2018/02** : Modèles semi-paramétriques de survie en temps continu sous R
S. QUANTIN

**M2019/01** : Les méthodes de décomposition appliquées à l'analyse des inégalités
B. BOUTCHENIK E. COUDIN S. MAILLARD

**M2020/01** : L'économétrie en grande dimension
J. L'HOUR

**M2021/01** : R Tools for JDemetra+ - Seasonal adjustment made easier
A. SMYK A. TCHANG

**M2021/02** : Le traitement du biais de sélection endogène dans les enquêtes auprès des ménages par modèle de Heckman
L. CASTELL P. SILLARD

**M2021/03** : Conception de questionnaires auto-administrés
H. KOUMARIANOS A. SCHREIBER