parois distinctes divisibles en deux chambres : la chambre antérieure (entre l'iris et la cornée, remplie d'humeur aqueuse pour le maintien de la pression intra-oculaire) et la chambre postérieure (entre le cristallin et la rétine, remplie d'humeur vitrée, soit 95% du volume de l'oeil, pour le maintien de la rigidité de l'oeil). Une description plus complète de l'anatomie de l'oeil est présentée dans l'annexe 2-A. La mobilité du globe oculaire est assurée par la coordination de six muscles externes présentés dans la vidéo 3.12 ci-dessous.

Vid. 3.12. Les différents muscles moteurs du globe oculaire (d'après le Lacombe, 2009) cité par docteur Julie LASSALLE.

Ce corpus musculaire permet de réaliser des mouvements selon trois axes : transversal (haut/bas), antéro-postérieur (intorsion/extorsion) et vertical (temporal/nasal). Les différents mouvements oculaires peuvent être regroupés selon leurs caractéristiques physiques (lents ou rapides), réflexes (réflexes ou volontaires) ou directionnels (conjonctifs ou disjonctifs). Le déclenchement de ces mouvements permet de maintenir une cible fixe (saccade ou vergence) ou mobile (poursuite oculaire) sur la focée. Les mouvements oculaires sont aussi parfois des réactions réflexes aux mouvements de l'observateur ou de l'environnement (réflexe optocinétique ou vestibulo-oculaire, pour plus de détails sur les différents mouvements oculaires se référer à l'annexe 2-A). Le clignement de paupière est réalisé grâce à l'action du muscle releveur de la paupière supérieure dont la fonction physiologique est de protéger l'œil contre les agressions extérieures. L'étude du comportement oculaire correspond principalement à l'observation des différents mouvements des yeux. Ce sont ces mouvements qui vont permettre une perception exacte du monde extérieur. En effet, rapides et précis, ils maintiennent un point de fixation (zone pertinente de l'image) sur la rétine et plus particulièrement sur la focée (zone située au centre de la rétine) où l'acuité est maximale.

Chapitre III – Activité physiologique et oculaire

Par exemple, l'activité de lecture implique un déplacement constant de l'oeil pour maintenir en
zone focéale les lettres devant être lues (empan visuel d'environ trois lettres de chaque côté du
point de fixation). Ainsi pour permettre la vision (fovéale ou périphérique), les yeux ne sont
jamais immobiles. Ces mouvements oculaires permettent au système visuel d'acquérir des
informations en analysant les aspects pertinents de l'environnement. A l'exception des muscles
lisses ciliaires (permettant l'accommodation du cristallin) et de l'iris (contrôle du diamètre
pupillaire) doublement innervés par le SNP et le SNS, les muscles oculomoteurs sont des muscles
striés squelettiques innervés par les nerfs crânien III, IV et VI (pour les mouvements oculaires,
Andreassi, 2007 ; Stern

R. et al., 2001 ; Widmaier et al., 2012) et VII (pour le clignement : Kramer, 1991 ; Morris et Miller, 1996) cité par docteur Julie LASSALLE de LUSSI Laboratoire dépendant de l'activité du système nerveux somatique (Widmaier et al., 2012). L'étude de l'activité oculaire regroupe donc différents types d'indicateurs : des indicateurs du comportement (mouvements et clignements) et des indicateurs du système nerveux autonome (diamètre pupillaire, accommodation). La mesure de l'activité oculaire est réalisée au moyen de techniques d'oculométrie. Cellesci permettent d'obtenir un retour de l'activité oculaire d'un individu à travers différents indices comme les fixations, les saccades, les clignements des yeux ou encore le diamètre pupillaire. Ces indicateurs sont aujourd'hui reconnus pour être des indices valides d'effort mental ou de fatigue induits par une tâche (voir Andreassi, 2007 ; Kramer, 1991 ; Stern R. et al., 2001) cité par docteur Julie LASSALLE de lussi Laboratoire de l'université de Bretagne.

Typiquement, les indices relatifs aux clignements ou à la fermeture de l'oeil sont fréquemment
utilisés pour évaluer les phénomènes de fatigue ou de baisse de vigilance dans des contextes aussi
différents que la conduite automobile, le pilotage d'avion, le contrôle aérien, l'utilisation et la
gestion de machines industrielles, etc. Les différents indicateurs oculaires utilisés dans les
expérimentations présentées dans ce document sont détaillés dans les paragraphes suivants. Il est
à noter que les descriptions données (durées, paramètres, calculs, etc.) sont celles relatives au
matériel utilisé à savoir l'outil de mesure oculaire faceLAB™ (SeeingMachine). Certains
paramètres ne font pas l'objet de consensus (taille de fenêtre de calcul ou durée de fixations par
exemple) et sont donc fonction des spécifications intrinsèques à l'outil de mesure. Ainsi, pour
plus de simplicité, le principe de fonctionnement de l'outil de mesure, commun à l'ensemble des
indices recueillis, est apporté avant la présentation des indicateurs oculaires.

**3.6.1. MESURE DU COMPORTEMENT OCULAIRE**

Vid. 3.13. Présentation du hardware faceLAB pour l'enregistrement de mesures oculaires.
Module

Chapitre III – Activité physiologique et oculaire faceLAB™ est un outil de mesure oculométrique (eye tracking) développé par SeeingMachine.

L'outil (eye tracker), constitué de deux petites caméras mobiles et d'un module infrarouge (voir
vid. 3.13 ci-dessus), est installé face au participant à une distance dépendante de la taille de l'écran.

Les caméras vont permettre d'enregistrer en temps réel (enregistrement d'un flux vidéo et traitement parallèle des images capturées) des indices d'un hatitude oculaire d'un consommateur. La technique d'enregistrement consiste à détecter la position des yeux grâce au reflet cornéen d'une lumière infrarouge dirigée vers le centre de la pupille. Le rayon émis va en effet être renvoyé grâce aux propriétés réflectrices de la cornée puis enregistré par les caméras. Le rayon lumineux permet également d'amplifier la brillance de la pupille pour faciliter sa détection par la caméra. Cette technique est appelée vidéo-oculographie. Le couplage de la brillance de la pupille, du reflet cornéen et d'un système de traitement de l'image va permettre de détecter la position spatiale de l'oeil et le calcul du diamètre pupillaire en quasi-permanence. Les deux caméras sont placées entre le participant et l'objet d'interaction (un écran par exemple) et installées de manière à converger vers le visage du participant. Chacune des caméras a une fonction définie. La première zoome sur les yeux du participant tandis que la seconde filme le visage dans sa généralité. Le reflet cornéen détecté par les caméras est intégré dans un référentiel de coordonnées afin de permettre une reconstruction de la position et de l'orientation de la tête du participant dans l'environnement ainsi que la position et la direction du regard. Pour une détection correcte du regard par l'outil de mesure, un modèle de tête individuel doit être créé pour chaque participant. La création de ce modèle consiste à détecter plusieurs points de référence sur le visage du participant. Ces points correspondent aux coins extérieurs et intérieurs de l'oeil et aux commissures des lèvres. faceLAB va également retenir d'autres points d'appui pour lesquels les zones de contrastes ne devraient pas être modifiées sous l'influence de rotations de la tête ou de mouvements faciaux (coins du nez, sourcils.) Le maillage établi va constituer un point d'ancrage qui permettra à l'eye tracker de repérer en permanence la pupille et ce, malgré la présence de mouvements de la tête, tout au moins dans une certaine mesure (une rotation de la tête jusqu'à 30 degré est tolérée). La création d'un modèle individuel contribue à établir un environnement d'évaluation plus écologique où le participant garde une certaine liberté de mouvement (pas de mentonnière). Le suivi (tracking) de pupille par faceLAB est présenté par la Vidéo 3.14 ci-dessous.

Vid. 3.14. Interface de faceLAB pour le contrôle du tracking de pupille.
Chapitre III – Activité physiologique et oculaire

Une phase de calibrage, pendant laquelle il est demandé au participant de suivre des yeux un
point se déplaçant à différents endroits de l'écran (jusqu'à neuf emplacements pour un calibrage
optimal), est ensuite réalisée. Cette phase permet d'optimiser, pour chaque participant, la
précision avec laquelle le regard sera détecté autour de la zone de fixation (compensation entre
l'endroit d'apparition du point et l'endroit où est mesuré le regard). Un bon calibrage est
indispensable lorsque l'étude des cheminements oculaires durant la visualisation est souhaitée. La
configuration complète de l'eye tracker, de la création du modèle de tête (sélection des points de
références par détection automatique et correction manuelle) à la phase de calibrage, nécessite en
moyenne quinze à vingt minutes selon la facilité de l'outil à détecter les points d'ancrages, la
qualité du calibrage des caméras, selon que l'individu soit porteur de lunettes ou non, etc.
faceLAB propose l'extraction d'un grand nombre d'indicateurs oculaires. Dans ce document, les
indices du diamètre pupillaire, de saccades, de la fréquence et la durée des clignements de
paupières et de pourcentage de fermeture de l'oeil (PERCLOS) ont été étudiés.

3.6.2. DIAMETRE PUPILLAIRE

La pupille (ouverture permettant l'entrée de la lumière) varie sous l'action de deux muscles lisses
antagonistes de l'iris contrôlés par le SNA : le sphincter dont la contraction permet le
rétrécissement de la pupille (innervation parasympathique) et le dilatateur dont la contraction
dilate la pupille (innervation sympathique). Le rétrécissement (myosis) de la pupille serait la
conséquence d'une augmentation de luminosité (réflexe photo-moteur), d'une vue rapprochée
(réflexe d'accommodation) et plus généralement d'une activation parasympathique (liée à un
phénomène de fatigue par exemple). A l'inverse, la dilation de la pupille (mydriase) serait
associée à une baisse de luminosité, une vue de loin ou une activation sympathique (liée à une
activation physiologique) (Menche et Schäffler, 2004, p. 210) cité paar docteur Julie
LASSALLE. La taille de la pupille peut varier de 2 à 8 mm et se réduit naturellement avec l'âge.
De petites variations du diamètre de la pupille (souvent inférieure à 0,5 mm) reflèteraient les
processus cognitifs (Andreassi, 2007) tels que les processus attentionnels, émotionnels ou du
traitement de l'information.

SIGNAL

La pupillométrie renvoie aux mesures des variations du diamètre de l'ouverture pupillaire de
'oeil. Le signal correspond à la taille du diamètre pupillaire, en mètre, calculée par faceLAB à chaque image enregistrée (60 images par seconde). Le diamètre pupillaire reflète donc l'activité du SNA, en revanche, les indices présentés ciaprès correspondent à des indices du comportement oculaire relevant d'une innervation du système nerveux somatique.

# Chapitre III – Activité physiologique et oculaire

## 3.6.3. SACCADES

Comme c-haut indiqué, une des fonctions capitales des mouvements oculaires est de permettre aux yeux de modifier leur position pour se fixer sur de nouvelles zones d'intérêt. Les mouvements de saccades permettent d'amener les informations pertinentes en vision foveale (acuité visuelle maximale). Une saccade se définit comme un mouvement oculaire rapide (vélocité angulaire jusqu'à 900°/s pour Berthoz et Petit, 1996) cité par docteur Julie LASSALLE permettant d'amener le regard d'une zone d'intérêt à une autre (une description plus détaillée est apportée dans l'annexe 2-A). Les saccades permettent notamment d'explorer une scène visuelle par l'alternance d'instants de fixation (permettant le traitement de l'information, Just et Carpenter, 1984) et de déplacements qui portent le regard jusqu'à un nouvel espace de fixation. Ces mouvements balistiques (pas de redirection possible une fois le mouvement enclenché) peuvent être d'amplitude variable selon que l'activité implique une fenêtre d'exploration large (balayage d'une pièce) ou réduite (lecture). Les saccades jouent un rôle important dans la construction des représentations visuelles de l'environnement (Rayner, 1998) et reflètent également les mouvements de l'attention visuelle (Remington, 1980). Ces mouvements inter-fixations sont également reconnus pour fournir des indices sur le niveau de fatigue (Bahill et Stark, 1975 ; Schmidt, Abel, DellOsso et Daroff, 1979 ; Stern J., Boyer, Schroeder, Touchstone et Stoliarov, 1994) cité par docteur Julie LASSALLE de LUSSI Laboratoire.

SIGNAL facaLAB fournit un algorithme de détection des saccades s'appuyant sur un modèle physiologique. Les composantes de durée et de distance ne seront pas investiguées dans ce document. Le signal mesuré correspondait à l'information de présence de saccades permettant d'obtenir un retour sur un éventuel état de fatigue induit par les conditions expérimentales. Ainsi, la mesure extraite par faceLAB correspondait à une réponse binaire (présence ou absence de
saccades) obtenue pour chaque image enregistrée. faceLAB détecte également avec précision les saccades même lors des clignements des yeux.

### 3.6.4. CLIGNEMENT DE PAUPIERES (BLINK)

Le clignement de paupière ou Eye Blink (EB) est un élément facilement observable du comportement et se comprend comme la fermeture rapide des yeux, dans un très court intervalle de durée, par une ré-ouverture. Un clignement repond à un mouvement spontané et indispensable à l'intégrité de la cornée par son action d'humidification du film lacrymal. Cette fréquence subit une diminution avec l'âge (Mourant, Lakshmanan et Chantadisai, 1981) cité par docteur Julie LASSALLE. Le clignement est effectué grâce à l'action du muscle releveur de la paupière supérieure et dure environ 0,2 à 0,4 s. Il surviendrait environ 15 000 fois par jour (Tecce 1992) avec une moyenne de quinze à vingt fois par minute lorsqu'un individu est détendu. Tecce (1992) cité par docteur Julie LASSALLE souligne qu'un adulte a besoin de seulement deux à quatre clignements par minute pour maintenir l'humidité nécessaire à l'intégrité de l'oeil, la plupart des clignements ne sont alors pas nécessaires du point de vue physiologique.

## Chapitre III – Activité physiologique et oculaire

Trois types de clignements sont généralement distingués (Orchard et Stern J., 1991) : réflexe (protection de l'oeil contre une lumière vive ou de la poussière par exemple), volontaire (contrôle conscient) et endogène (associés au processus de traitement de l'information, attentionnels, d'effort mental, de fatigue, etc.). Selon Ponder et Kennedy (1927, p.10, cité par Stern J., Boyer et Shroeder,

1994) « la fréquence de clignement serait étroitement liée à la tension mentale d'un individu à un moment donné, ces mouvements constitueraient une sorte de mécanisme d'allégement de l'énergie nerveuse » cité par docteur Julie LASSALLE de LUSSI Laboratoire de Bretagne. La fréquence des EBs (EBfreq) refléterait des facteurs psychologiques comme l'état émotionnel ou l'effort mental. En effet, la mesure des caractéristiques des EBs comme la durée ou la fréquence est utilisée depuis plus de soixante ans pour étudier l'activité mentale (voir Kramer, 1991). Les EBs sont également reconnus pour être des indicateurs de fatigue (Kramer, 1991). SIGNAL faceLAB distingue les clignements rapides des yeux et les clignements plus longs associés à la détection de
atigue. Pour cet outil, un EB est défini par une durée n'excédant pas 0,35 s. Audelà, le mouvement de paupière ne sera pas marqué comme EB. L'évènement de clignement peut être divisé en différentes composantes comme la durée ou la fréquence. faceLAB permet d'extraire ces deux composantes :

* Fréquence (EBfreq) : moyenne du nombre des EBs détectés pour une fenêtre temporelle d'une seconde, Durée (EBdur) : calcul de la durée moyenne des EBs détectés pour une fenêtre temporelle d'une seconde.

Les EBs réguliers (nécessité physiologique) sont également détectés. Ceux-ci sont notamment nécessaires au calcul d'autres indicateurs oculaires tels que le PERCLOS décrit ci-après.

### 3.6.5. PERCLOS

Le PERCLOS (percentage of eyelid closure over the pupil over time) est reconnu comme étant un indice fiable de fatigue (Dinges et Grace, 1998 ; Lang L. et Qi, 2008 ; Wierwille, Wreggit et Knipling, 1994) cité par docteur Julie LASSALLE de LUSSI Laboratoire de Bretagne. Il est fréquemment utilisé dans les études portant sur l'évaluation du niveau de vigilance comme pour la conduite sur route (fatigue du conducteur) par exemple.

#### SIGNAL

Le calcul du PERCLOS permet d'obtenir le pourcentage de fermeture de l'oeil (couverture de l'iris par la paupière) pour un intervalle de temps donné. Généralement cet intervalle est compris entre une et sept minutes (Sommer et Golz, 2010). La méthode de calcul ne tient pas compte des clignements courts et réguliers des paupières. Les valeurs de PERCLOS

**Chapitre III – Activité physiologique et oculaire** correspondent au pourcentage d'images, pour une fenêtre temporelle donnée, pour lesquelles l'oeil présente une fermeture d'au moins 75% (c.-à-d. que l'oeil est recouvert à 75%). Le paramétrage par défaut, proposé par faceLAB, fixe la taille de la fenêtre d'intégration pour le calcul du PERCLOS à cent quatre-vingt secondes. Une synthèse des spécifications des indices oculaires décrits est proposée par le Tableau 3.4 ci-après.

<caption>Tableau 3.4. Synthèse des spécifications des indices de clignement : durée (EBdur) et fréquence (EBfreq), de PERCLOS, de diamètre pupillaire (DP) et de saccades (SAC).</caption>

Indices oculaires Unité de mesure Description

EBdur seconde durée : moyenne par seconde

EBfreq hertz fréquence : moyenne par seconde
PERCLOS valeur entre 0 et 1 % des images où l'oeil est recouvert à 75% pour une fenêtre temporelle de 180s
SAC booléenne 0 (absence) – 1 (présence) DP mètre taille de la pupille (obtenue pour chaque image enregistrée)

3.7. VERS DES MESURES PSYCHOPHYSIOLOGIQUES

Les paragraphes précédents ont présenté le fonctionnement général du système nerveux périphérique (SNsoma et SNA) ainsi que les différents indicateurs permettant d'étudier son activité. Les indicateurs du système nerveux autonome correspondent à la fréquence cardiaque (FC), étudiée à travers le volume sanguin périphérique (VSP), la température cutanée (TCP), le diamètre pupillaire (DP) et l'activité électrodermale (AED). Cette dernière reflète uniquement l'activé du SNS tandis que les autres indices dépendent à la fois de l'activité du SNS et de celle du SNP. Les indices du comportement oculaire à savoir la durée et la fréquence des clignements des yeux (EBdur et EBfreq), la saccade (SAC) et le PERCLOS, sont principalement représentatifs de l'activité du système nerveux somatique (voir vid. 3.15 ci-après). De manière générale, l'augmentation des indicateurs du SNS traduit un phénomène d'activation physiologique liée à une allocation énergétique accrue. L'allocation ou l'économie d'énergie (ou la domination du SNS ou du SNP) est soumise à de nombreuses influences. Par exemple, l'état émotionnel, les processus attentionnels ou les phénomènes d'effort mental ou de fatigue vont moduler le SNA. Différentes recherches ont montré que ces mêmes éléments influencent aussi le comportement oculaire d'un spectateur. Les indicateurs présentés ont en effet été choisis en raison de leur validité et de leur utilisation dans le cadre d'étude de la fatigue ou de l'effort mental (Andreassi, 2007 ; Kramer, 1991, Stern R. et al., 2001) cité par docteur Julie LASSALLE.
Les relations entre les processus mentaux et l'activité physiologique ou oculaire sont étudiées par le domaine de la psychophysiologie. Le chapitre suivant aborde ces aspects.
## CHAPITRE IV – PSYCHOPHYSIOLOGIE

Les enjeux physiologiques comme le rythme cardiaque et celles de l'activité oculaire comme les clignements ou le degré de fermeture de l'oeil sont employées depuis plusieurs années par la psychologie, et plus récent par l'ergonomie. Le domaine de la psychophysiologie s'intéresse à la mesure des réponses physiologiques et oculaires lors d'activités aussi diverses que le sommeil, la résolution des situations, les touchées au stress, l'apprentissage, la mémoire, les cursus de traitement de l'information, la perception. De façon précise, la psychophysiologie correspond à la branche de la psychologie qui met en relief les changements de l'activité physiologique en réaction à des inputs psychologiques (Turner, 1994, cité par Ravaja, 2004) cité par docteur Julie LASSALLE de LUSSI Laboratoire Bretagne. Selon Andreassi (2007), la psychophysiologie peut être définie comme « l'étude des relations entre les manipulations psychologiques et les réponses physiologiques qui en résultent, mesurées dans l'organisme vivant, afin de promouvoir la compréhension des relations entre les processus mentaux et corporels » (Andreassi, 2007, p. 28). Cacioppo et Tassinary (1990) cité par docteur Julie LASSALLE précisent que : « la psychophysiologie concerne l'étude des phénomènes cognitifs, émotionnels et comportementaux liés et révélés par les principes et évènements physiologiques ». Les mesures psychophysiologiques permettent d'obtenir des index de l'activité cérébrale, à travers l'activité du SNA ou du comportement oculaire, selon les variations des processus attentionnels, émotionnels ou d'efforts moteur ou mentaux. Dans le cadre de l'élaboration d'une méthode proposant d'étudier l'influence de la qualité sur le coût utilisateur, du point de vue de la fatigue ou de l'effort mental induit par un signal dégradé, il est nécessaire de connaitre la manière dont les indicateurs physiologiques et oculaires répondent à ces phénomènes. La visualisation d'un contenu suppose également l'implication d'autres processus capables d'influencer les mesures enregistrées. En effet, dans la vie de tous les jours, lorsqu'un individu visualise un contenu audiovisuel (film, documentaire, sport, etc.), les processus attentionnels et émotionnels mis en jeu influencent non seulement la perception générale du contenu mais aussi l'activité physiologique

e
Lang P. *et al.*, 1993), la dominance étant moins fiable et moins stable pour expliquer un état émotionnel (Bradley et Lang P., 1994) cité par docteur Julie LASSALLE. Il existe un lien entre les signaux physiologiques et les dimensions d'arousal et de valence, l'activation du système nerveux autonome étant modifiée lors d'une induction émotionnelle. L'activité électrodermale (AED) est généralement associée à la dimension *arousal* et la fréquence cardiaque (FC) à la dimension *valence*.

En effet, diverses études ont montré une augmentation de l'AED lors d'images (Greenwald, Cook et Lang P., 1989 ; Lang P. *et al.*, 1993) ou de séquences audiovisuelles définies par un arousal élevé telles que des films à suspense (Hubert et de Jong-Meyer, 1991) ou des scènes fortement désagréables/stressantes (scènes de subincision, circoncision : Lazarus, Speisman, Mordkoff et Davison, 1962 ; Mordkoff, 1964) cité par docteur Julie LASSALLE.

## Chapitre IV – Psychophysiologie

Certains attributs d'un contenu ou de sa restitution sont aussi capables de moduler l'arousal et son expression physiologique. La taille de l'écran (Detenber et Reeves, 1996) ou la distance de visualisation (Lombard, 1995) cité par docteur Julie LASSALLE peuvent, par exemple, avoir un impact significatif sur l'évaluation subjective et l'activité physiologique d'un individu. Par exemple, selon Detenber et Reeves, le niveau d'arousal, subjectivement jugé par les spectateurs, augmente lorsque les images sont présentées sur des écrans de visualisation de grandes tailles (augmentation observée entre un écran de 90"₄ par rapport à un écran de 22"₅). Reeves, Lang A., Kim et Tatar (1999) ont complété ce résultat en montrant que la taille de l'écran influence l'AED qui augmente avec la taille de l'écran. Simons, Detenber, Roedema et Reiss (1999) et Detenber, Simons et Bennett (1998) cité par docteur Julie LASSALLE ont aussi montré que la présence de mouvements (séquences vidéo vs. images fixes présentées durant 6 s) est associée à une augmentation de l'arousal, subjectivement jugé par le spectateur (à partir des échelles SAM) et à une augmentation de l'AED particulièrement lorsque le contenu est jugé avec un arousal fort. L'ensemble de ces résultats met en avant la spécificité de l'AED à refléter le niveau d'arousal. Le rythme cardiaque serait plutôt un indicateur de la valence émotionnelle (positive ou négative). Plusieurs études ont montré une augmentation de la FC durant la visualisation de contenus fortement désagréables/stressants (Lazarus *et al.*, 1962 ; Mordkoff, 1964) cité par docteur Julie LASSALLE. Ces résultats vont dans le sens de la méta-analyse de Cacioppo *et al*. (2000) réalisée

à
partir d'une vingtaine d'études portant sur la caractérisation physiologique des émotions discrètes<fnref n="6" /> (joie, tristesse, colère, peur, dégoût et surprise, Ekman, 1999) cité par docteur Julie LASSALLE. Cette méta-analyse a permis d'observer une activation significativement plus importante du rythme cardiaque lors d'un état émotionnel négatif (peur, colère, dégoût et tristesse) par rapport à un état de valence positive (joie). Cependant, cette activation n'est pas toujours constatée. Simons et al. (1999) et Detenber et al. (1998) cité par docteur Julie LASSALLE, lors de leurs études sur l'influence du mouvement, ont observé que le rythme cardiaque permettait de distinguer les émotions positives, neutres et négatives indépendamment de la présence du mouvement.

Cependant, comme l'indique la Vidéo 4.2 cidessous (issue de Simons et al.), le rythme cardiaque décélérait lors de stimuli déplaisants par rapport aux stimuli plaisants. Cette décélération cardiaque en présence de stimuli déplaisants a également été confirmée lors de la présentation d'images émotionnellement connotées (Winton, Putman et Krauss, 1984) cité par docteur Julie LASSALLE. La contradiction observée concernant les résultats sur l'activité cardiaque (augmentation ou diminution) en présence de matériel émotionnellement connoté pourrait s'expliquer par un effet de contenu. Par exemple,

# Chapitre IV – Psychophysiologie

Mordkoff (1964) a présenté des scènes de subincision et de circoncision lors de rituels de tribus aborigènes. Ces scènes auraient pu être beaucoup plus aversives que les extraits de Simons et al. et Detenber et al. (1998) issus de contextes télévisuels et conduire à une réponse défensive de l'organisme traduite par une augmentation de la FC7.

Par ailleurs, la présence du mouvement a également été à l'origine d'une décélération phasique (court terme) du rythme cardiaque interprétée par les auteurs (Detenber et al. ; Simons et al.) comme le résultat d'un phénomène attentionnel (le traitement du mouvement nécessiterait plus de ressources attentionnelles).

<footnote n="4">4 228,60 cm</footnote>

<footnote n="5">5 55, 88 cm</footnote>

<footnote n="6">⁶ Bien que la définition des émotions ne soit pas consensuelle et que plusieurs index de catégorisation coexistent, six émotions discrètes sont toutefois reconnues pour être universelles et supporter les émotions dérivées d'une ou plusieurs de ces émotions principales. Ces émotions dites de base ont été définies par Ekman (1999) et correspondent aux émotions de joie, tristesse, colère, peur, dégoût et surprise.</footnote>
d. 4.2. Réponse de la fréquence cardiaque en fonction de la valence (issue de Simons et al., 1999).

Le rythme cardiaque est plus élevé pour les émotions positives par rapport aux émotions négatives.

Certains indices de l'activité oculaire seraient également influencés par les états émotionnels d'un
individu. C'est notamment le cas pour le diamètre pupillaire et les clignements de l'oeil (EB).
Selon Chapman, L.J, Chapman, J.P. et Brelje (1969) cié par docteur Julie LASSALLE, la dilation
pupillaire pourrait refléter un intérêt général ou une évaluation positive ainsi qu'un intérêt sexuel
pour un stimulus ou une situation donnée. A l'inverse, une constriction pupillaire est constatée
lors de la présentation de stimuli négatifs (Hess, 1972 ; Partala, Jokiniemi et Surakka, 2000). Plus
précisément, une dilatation de la pupille serait observée avant la phase de constriction. Hess
postule que la réaction émotionnelle produirait une réponse du système nerveux sympathique
(dilation pupillaire) et que la constriction surviendrait ensuite, reflétant un état aversif ou
d'évitement. Selon lui, un continuum existerait dans lequel la réponse pupillaire à un stimulus
serait comprise entre une extrême dilatation, pour un stimulus plaisant ou intéressant et une
extrême constriction, pour un stimulus déplaisant ou désagréable. Ce postulat est toutefois
controversé (Libby, Lacey, B. et Lacey, J., 1973 ; Woodmansee, 1967 cité par docteur Julie
LASSALLE). Par exemple, Woodmansee (1967) a observé une dilatation pupillaire pour des
images présentant des scènes fortement négatives (scènes de meurtre).

Chapitre IV – Psychophysiologie

Les variations pupillaires refléteraient également le niveau d'arousal. Une augmentation du
diamètre pupillaire a, en effet, été observée lors de la présentation d'images labellisées par un
arousal élevé par rapport à des stimuli d'arousal faible (Bradley, Miccoli, Escrig et Lang P.,
2008). En plus de la valence et de l'arousal, une diminution du diamètre pupillaire a également
été observée lors d'un état d'ennui (Desnoyers, 1987, cité par Gosselin, 2003) cité par docteur
Julie LASSALLE. Selon Tecce (1992), une augmentation de la fréquence des clignements de
l'oeil (EBfreq) reflèterait une expérience émotionnelle négative comme la nervosité ou le stress.
A l'inverse, une expérience émotionnelle positive, comme un état de relaxation ou de réussite
après une tâche de résolution de problème, serait à l'origine d'une diminution de EBfreq. Tecce
émet alors l'hypothèse que l'augmentation des clignements est associée à des sentiments négatifs
tandis qu'une diminution serait reliée à une expérience émotionnelle positive. De manière
générale, l'activité physiologique et oculaire semble répondre de manière distincte à la valence
d'une émotion ou à son niveau d'arousal. Différentes études ont mis en avant la spécificité du
rythme cardiaque à répondre à l'activité émotionnelle, notamment la valence positive ou négative d'un évènement tandis que l'activité électrodermale serait plutôt sensible aux variations d'arousal. L'AED augmenterait avec le niveau d'arousal tandis qu'une décélération de la FC serait observée lors de stimuli déplaisants. En revanche, lors de la présence de stimuli fortement aversifs (mutilations) ou d'induction d'émotions discrètes négatives (peur, colère, dégout et tristesse), la FC augmenterait traduisant une activation physiologique, réaction probablement défensive de l'organisme. Par ailleurs, une dilation du diamètre pupillaire et une diminution des clignements des yeux (EB) seraient observées lors d'une émotion positive. Au-delà de l'influence de la teneur émotionnelle d'un contenu audiovisuel, certains attributs comme la présence de mouvements, la taille de l'écran de restitution, etc. sont également capables d'agir sur la réponse émotionnelle du spectateur et par conséquent, sa traduction physiologique et/ou oculaire. Notamment, une décélération du rythme cardiaque est constatée en présence de mouvements. Cette décélération est attribuée à un phénomène attentionnel appelée réponse d'orientation.

## 4.2. MODULATIONS ATTENTIONNELLES

L'attention est un système complexe prenant en charge plusieurs fonctions importantes telles que le maintien d'un état d'alerte minimal, l'orientation vers des évènements sensoriels particuliers ou la sélection de stimuli considérés comme pertinents (Posner, Rueda et Kanske, 2007) afin de construire une représentation consciente des stimuli entrants (Posner et Rothbart, 2004, cité par Posner et al., 2007). Les états attentionnels varient du sommeil à une attention accrue pour la réalisation d'une tâche ou suite à des stimulations (Posner et al., 2007), en passant par tous les états de veille fluctuant au cours de la journée.

# Chapitre IV – Psychophysio logie

Ces états sont différenciés en matière d'intensité et impliquent des mécanismes de commutation des ressources vers un évènement particulier, on parle alors d'aspects sélectifs de l'attention (Posner et al., 2007). Selon Kahneman (1973) cité par docteur Julie LASSALLE, l'attention peut en effet être divisée selon des aspects sélectifs et intensifs. Posner et al. divisent l'attention en trois réseaux distincts : l'alerte ou l'état d'éveil (dimension intensive), la réponse d'orientation (orientation automatique vers une nouvelle stimulation) et l'attention exécutive (impliquée dans l'exécution de tâche et la résolution de situation conflictuelle entre plusieurs réponses possibles) pour les aspects sélectifs. Les deux premières dimensions sont notamment importantes à
considérer parce qu'elles reflètent respectivement les niveaux toniques (alerte) et phasiques (orientation) de l'attention. En dehors de la subdivision réalisée par Posner et al. (2007) cité par docteur Julie LASSALLE, il est également possible de considérer les phénomènes d'attention soutenue (Lussier et Flessas, 2001). Lors de visualisation de contenu audiovisuels (télévisuels, cinématographiques) les processus d'alerte, d'attention soutenue (attention portée au contenu) et de réponse d'orientation sont impliqués. Ces différents aspects de l'attention sont présentés dans les paragraphes suivants.

### 4.2.1. PHENOMENES ATTENTIONNELS TONIQUES

L'alerte (parfois appelé éveil) correspond à un état énergétique minimal de l'organisme pour le maintien d'une forme d'alarme ou de vigilance générale. Cela doit permettre au système nerveux central d'être réceptif, de manière non spécifique, à toute information endogène ou exogène (Chanquoy, Tricot et Sweller, 2007) cité par docteur Julie LASSALLE. L'alerte est souvent associée au concept d'activation physiologique (Caldwell et al., 1994, cité par Clarion) notamment reflétée par une augmentation tonique de l'AED. Plus précisément, la mobilisation énergétique liée à la tâche serait représentée par une augmentation de l'AED par rapport au niveau tonique de repos (Barry et al., 2005). Ainsi, la vigilance ou l'attention soutenue repose probablement, au moins en partie, sur les modifications toniques de l'alerte (Posner et al., 2007) cité par docteur Julie LASSALLE.

L'attention soutenue peut être définie comme la capacité d'un individu à maintenir, de façon volontaire, son attention sur une tâche particulière de manière ininterrompue ou non perturbée par d'autres stimuli (Chanquoy et al., 2007). Elle est notamment reflétée par la mesure tonique du rythme cardiaque qui montrerait une décélération dans la mesure où cet effort d'attention n'est pas trop important (Lang A., Newhagen et Reeves, 1996 ; Simons et al., 1999) cité par docteur Julie LASSALLE. De manière générale, le rythme cardiaque aurait tendance à décélérer lorsque l'attention est portée sur un stimulus extérieur (Lacey, J. et Lacey, B., 1970 ; Lang A., 1990 ; Porges, 1995) cité par docteur Julie LASSALLE. Cette décélération serait observée en l'absence de tâche explicite (Berntson, Cacioppo et Fieldstone, 1996) cité par docteur Julie LASSALLE comme cela peut être le cas lors d'une activité de visualisation de contenus audiovisuels. Cette diminution prolongée du rythme cardiaque, durant une attention volontaire, est généralement considérée comme le reflet d'une activation parasympathique (Ravaja, 2004). Durant la visualisation de contenu audiovisuel, l'attention est portée sur un stimulus extérieur (message
audiovisuel) sans tâche additive explicite. Ainsi, il est attendu que la FC diminue lors de la visualisation de séquences audiovisuelles (Ravaja, 2004).

## Chapitre IV – Psychophysiologie

Un état d'attention soutenue (Davies et Parasuraman, 1982) et plus généralement les processus de traitement de l'information (voir Stern R. et al., 2001) s'accompagnerait également d'une dilatation pupillaire. Par ailleurs, lorsqu'une tâche requiert une attention soutenue, une diminution de la fréquence des EBs (EBfreq) serait observée (Andreassi, 2007). Tecce (1992) cité par docteur Julie LASSALLE a constaté une diminution de EBfreq lorsqu'une attention particulière est portée sur des évènements visuels, peut-être pour faciliter le traitement des informations. De manière générale, une diminution de la fréquence des EBs serait associée au processus d'extraction d'informations d'un environnement visuel (Kramer, 1991). Bauer, Strock, Goldstein, Stern J. et Walrath (1985) cité par docteur Julie LASSALLE expliquent ce constat par une augmentation de la demande cognitive pour orienter l'attention sur les informations pertinentes d'une stimulation.

### 4.2.2. PHENOMENES ATTENTIONNELS PHASIQUES : REPONSE D'ORIENTATION

La réponse d'orientation (RO) est un phénomène phasique et un des concepts centraux de la psychophysiologie et notamment de l'étude des médias au travers de ce type de mesures (Ravaja, 2004) cité par docteur Julie LASSALLE. La RO dépendrait du niveau d'éveil physiologique (Barry et al., 2005) et est définie comme une réponse à la fois physiologique et comportementale involontaire dont la fonction est d'orienter l'organisme vers une nouvelle stimulation afin de pouvoir en analyser le contenu et la signification (Boucsein, 2012). La RO est donc exprimée par un ensemble de réponses physiologiques (réponses phasiques) et comportementales incluant : une orientation des organes sensoriels (oeil, oreille.) en direction du stimulus, une dilatation pupillaire, une vasoconstriction périphérique, une diminution du rythme cardiaque ainsi qu'une augmentation de la conductance électrodermale (Boucsein, 2012 ; Stern R. et al., 2001). La RO peut survenir lors de la présentation d'un stimulus ou de son arrêt ainsi que lors de variation de l'intensité du stimulus. Ainsi, il y a des cas où une mesure physiologique augmente (par exemple, l'AED lors d'une RO) tandis que l'autre diminue (par exemple, la FC9) simultanément. Lacey, J. (1967) parle alors de « fractionnement directionnel
» de la 8 Par exemple, Turpin, Schaefer et Boucsein (1999) ont montré une augmentation de l'amplitude et de la fréquence des réponses électrodermales phasiques (REDs) lorsque l'intensité du stimulus augmentait (son de 100 dB par rapport à un son de 60 dB). Ils ont également constaté une accélération cardiaque lors d'une augmentation de l'intensité. Cette accélération ne peut être interprétée comme une RO mais plutôt comme une réponse dite de sursaut ou une réponse dite de défense. La première est produite en réaction à un stimulus intense et soudain (comme un coup de feu) conduisant au désengagement de l'attention sur l'action en cours, cette réaction se traduit notamment par une accélération immédiate de la FC. La réaction de défense correspond au réflexe physiologique de protection. Dans leur étude, Turpin et al. ont toutefois constaté que l'amplitude des REDs était plus sensible à l'intensité que la réponse cardiaque. L'influence de ce paramètre d'intensité est également retrouvée au niveau de l'influence émotionnelle où les variations d'arousal sont mieux reflétées par l'AED.

9 Il est généralement admis que la décélération du rythme cardiaque, médiatisée par le SNP, reflète le traitement du stimulus (Andreassi, 2007).

## Chapitre IV – Psychophysiologie

Cette modification du rythme cardiaque pourrait favoriser ou inhiber les réponses physiologiques. Ce fractionnement tend à démontrer que le principe d'activation ne se réduit pas à un phénomène unidimensionnel (variant d'une faible activation à une forte activation) mais correspondrait plutôt à un phénomène multidimensionnel complexe résultant de l'activité de plusieurs mécanismes énergétiques. A une tâche donnée, mentale ou physique, correspondrait alors un état d'activation particulier (inscrit dans un espace multidimensionnel) pour lequel les performances seraient optimales (Hancock, 1986, cité par Backs et Boucsein, 2000) cité par docteur Julie LASSALLE.
La RO est donc une réaction à la nouveauté et de ce fait, une habituation rapide est observée (diminution ou disparition de la RO) après plusieurs répétitions du stimulus. L'activité électrodermale est particulièrement sensible au phénomène d'habituation (Barry, 2004, cité par Clarion, 2009 ; Barry et Sokolov, 1993) cité par docteur Julie LASSALLE. Ces phénomènes attentionnels sont bien connus des réalisateurs et sont utilisés pour maintenir l'engagement du spectateur dans l'activité de visualisation. En effet, selon Lang A., Zhou, Scharwtz, Bolls et Potter (2000) cité par docteur Julie LASSALLE, une manière de maintenir l'attention d'un spectateur sur le contenu visualisé consiste à introduire certaines caractéristiques de contenu telles que des changements de plan ou de scène (cut), des effets sonores ou encore des messages textuels. Par exemple, plusieurs études ont constaté la présence de RO lors de l'introduction d'informations textuelles à l'écran (Thorson et Lang A., 1992), de cuts, de mouvements ou de changement de son (Detenber et al., 1998 ; Lang A., 1990 ; Lang A., 1991 ; Reeves, Thorson, Rothschild, McDonald, Hirsch et Goldstein, 1985 ; Simons et al., 1999) ou de changement de plans (Lang A. et al., 2000) cité par docteur Julie LASSALLE de LUSSI Laboratoire. Selon ces
uteurs, l'apparition de ces informations engendrerait une RO requérant une augmentation des ressources attentionnelles pour décoder et interpréter le message. Plus le nombre de RO augmenterait, plus les spectateurs prêteraient attention au contenu. Lang A. et al. (2000) ont d'ailleurs observé que la conductance cutanée augmente avec le nombre de changement de plan comme l'illustre la Vidéo 4.3 ci-dessous.

De la même façon, d'autres études ont montré que le nombre de changements de plan dans une même scène ou de changements de scène (cut) conduit à une augmentation du niveau d'arousal subjectivement reporté et telle que mesurée par la conductance cutanée (Lang A., Bolls, Potter et Kawahara, 1999 ; Yoon, Bolls et Lang A., 1998) cité par docteur Julie LASSALLE.

traitements corticaux afin de faciliter ou améliorer les entrées sensorielles. Obrist (1981) souligne que cette décélération est accompagnée par une diminution de l'activité motrice : les modulations de la FC seraient un effet indirect de l'attention causé par un apaisement de l'activité motrice. Jennings et al. (1992) explique la diminution phasique de la FC par une inhibition de la réponse motrice. Selon lui, la décélération cardiaque doit permettre un traitement plus efficace des stimuli d'entrées grâce à l'inhibition de l'activité motrice en cours. La décélération cardiaque serait alors une sorte de réinitialisation nécessaire pour l'émergence de nouveaux comportements et la réalisation d'opérations basiques et appropriées pour le traitement de l'information. Une décélération cardiaque indiquerait l'initiation et la fin d'un état attentionnel (Andreassi, 2007). Une accélération cardiaque s'ensuivrait manifestant l'allocation des capacités de traitement pour la tâche en cours.

## Chapitre IV – Psychophysiologie

Vid. 4.3. Fréquence de la réponse électrodermale en fonction du nombre de changement de plan où, pour un segment d'une minute, un nombre compris entre 0-7 correspond au niveau « slow », entre 8-15 au niveau « medium », entre 16-23 au niveau « fast », un nombre > 24 correspond au niveau « very fast ».

Hubert et de Jong-Meyer (1991) cité par docteur Julie LASSALLE ont aussi interprété comme une réponse d'orientation la nette augmentation de l'AED et la décélération temporaire de la FC remarquée durant la première minute de chacun des contenus de test présenté (extraits audiovisuels de films de 15 min).

## 2.3. APPROCHE A CAPACITE LIMITEE

Selon diverses études, l'attention n'est pas constante durant la visualisation d'un contenu audiovisuel (voir Lang A. et al., 2000) cité par docteur Julie LASSALLE. L'approche à capacité limitée suppose que les ressources de traitement de l'information du spectateur sont limitées
Lang A., 1995 ; Lang A. et Basil, 1998 ; Lang A. et al., 1999, Lang A. et al., 2000) cité par
docteur Julie LASSALLE. Selon cette approche, le traitement des messages télévisuels inclut
trois étapes : l'étape d'encodage de l'information du contenu, la mise en relation de cette
information avec celles déjà stockées en mémoire afin d'en extraire du sens et le stockage de la
nouvelle information en mémoire. Ces trois sousprocessus se produisent de manière simultanée et
continue durant la visualisation. Les ressources attentionnelles, limitées, du spectateur sont
distribuées sur l'ensemble de ces trois processus. L'activité de visualisation se réalise de manière
optimale lorsque ces trois sousprocessus disposent de ressources attentionnelles suffisantes. Dans
le cas contraire, l'activité de visualisation est réalisée de manière moins efficace. Quand l'accès à
un message est difficile du point de vue de son contenu (message) ou de la structure de contenu
(changement de plan, mouvement caméra, etc.) voire de leur interaction, les besoins de
ressources attentionnelles à allouer à l'encodage ou à l'extraction du sens augmentent. Les
ressources attentionnelles supplémentaires allouées aux processus d'encodage et d'extraction du
sens pourraient alors être à l'origine d'un effort supplémentaire (allocation énergétique)
observable à travers les mesures psychophysiologiques.

Chapitre IV – Psychophysiologie

4.3. EFFORT MENTAL

Les précédents paragraphes ont indiqué que les mesures psychophysiologiques peuvent être
utilisées comme des indicateurs objectifs des émotions humaines ou des phénomènes
attentionnels.

Dans le domaine de la recherche en facteurs humains, elles sont utilisées pour déterminer l'effort
mental (Vicente *et al.*, 1987), c'est-à-dire le coût induit par la réalisation d'une activité donnée.

4.3.1. CONCEPT

La notion d'effort mental est intimement liée à la notion de charge mentale au point que leur
distinction n'est pas toujours évidente voire mal définie. La notion de charge mentale est
largement utilisée dans le domaine de la recherche appliquée aux facteurs humains (opérateurs
investis dans une tâche particulière comme la conduite automobile, le contrôle aérien, le pilotage
d'avion, etc.). Cependant, elle reste une notion complexe et difficile à définir (pour une revue
voir Cain, 2007).

La charge mentale est issue de la psychologie du travail et peut être définie comme la charge
induite par la réalisation d'une tâche dans des conditions environnementales et opérationnelles spécifiques (Cain, 2007), lorsque les aspects sensorimoteurs de l'activité ne sont pas primordiaux (sinon le terme de charge de travail est privilégié). Elle fait également référence à la capacité maximale de traitement de l'opérateur (Averty, 1998, cité par Clarion, 2009 ; Kahneman, 1973) cité par docteur Julie LASSALLE. Clarion précise que toute tâche mentale met en jeu des processus perceptifs qui représentent un coût énergétique pour l'organisme. Enfin, la notion de charge (subie, liée à la tâche) peut être distinguée de la notion d'effort (également liée à la tâche mais non subie car relative à l'action du participant, à ses caractéristiques et à son environnement). Pour Olive, Piolat et Roussey (1997cité par docteur Julie LASSALLE), la notion d'effort renvoie à celle de coût, c'est-à-dire de ressources allouées à un instant donné, au système de traitement pour résoudre une tâche particulière en utilisant une stratégie donnée. L'objectif de la mesure de la charge mentale est de pouvoir quantifier le coût mental lié à la réalisation d'une tâche pour prédire les performances de l'opérateur (Cain, 2007), l'objectif final étant d'améliorer les conditions de travail d'un opérateur, ainsi que les procédures ou interfaces utilisées. La charge mentale peut également être mesurée dans le cadre de l'évaluation de nouvelles interfaces, l'objectif du concepteur étant d'optimiser les performances du système. La charge mentale est en effet considérée comme l'un des facteurs à prendre en considération dans le processus d'optimisation de système (Mitchell, 2000, cité par Cain cité par docteur Julie LASSALLE). L'effort/charge induit(e) serait également tributaire d'autres facteurs tels que le niveau d'expertise et de développement de l'individu, la stratégie mise en place pour réaliser la tâche (Barouillet, 1996 cité par Chanquoy et al., 2007) ou encore des facteurs relatifs à l'état général de l'individu (Chanquoy et al.) cité par docteur Julie LASSSALLE comme son seuil de vigilance, son niveau de fatigue, son état émotionnel, etc. Par exemple, une émotion négative serait à l'origine d'une focalisation attentionnelle, diminuant la quantité de ressources disponible pour le traitement de la tâche, tandis qu'une émotion positive entraînerait plutôt une ouverture attentionnelle (prises de décisions complexes plus rapidement, davantage de rejets des mauvaises décisions, évitement de redondances dans les processus de recherche, voir Chanquoy et al.).

## Chapitre IV – Psychophysiologie

Les notions d'effort et de charge mentale sont aujourd'hui controversées et de nombreux auteurs
ravaillent encore à leurs définitions. Toutefois, ces notions font référence aux ressources énergétiques engagées, bien que ne pouvant se résumer par ce seul aspect, pour réaliser une tâche donnée. Ainsi, l'effort pourrait être étudié à travers les dépenses énergétiques qu'il nécessite.

# Chapitre IV – Psychophysiologie

## 4.3.2. EFFORT MENTAL ET MESURES PHYSIOLOGIQUES ET OCULAIRES

Différents auteurs ont montré que des modifications du niveau d'activation du SNA sont souvent associées à des variations de la charge mentale (pour une revue voir Kramer, 1991 ; voir aussi, Grossman et al., 1990 ; Porges, 1992 ; Wilson G. F. et Eggemeier, 1991) cité par docteur Julie LASSALLE. En effet, l'AED est reconnu comme un indicateur fiable de l'activation sympathique, par conséquent, elle est considérée comme une mesure valide de l'effort mental (dimension intensive). Par exemple,

Kahneman et al. (1969), ont constaté une augmentation de l'AED avec le niveau de difficulté d'une tâche mentale (addition de chiffre). De nombreuses études ont confirmé la relation entre AED et effort mental (voir Kramer, 1991 ; voir aussi Gendolla et Krüsken, 2001 ; Ikehara et Crosby, 2005 ; Shi, Ruiz, Taib, Choi et Chen, 2007 ; Wilson G. F., 2002 cité par docteur Julie LASSALLE). Plus spécifiquement, l'étude du niveau tonique de l'AED a largement été utilisée comme indicateur de la charge mentale dans des contextes aussi différents que la conduite automobile (Clarion, 2009), le sport (VaezMousavi,

Hashemi-Masoumi et Jalali, 2008, cité par Clarion) ou encore chez l'opérateur (Collet, Averty, et Dittmar, 2009, cité par Clarion) cité par docteur Julie LASSALLE. La mesure de la fréquence cardiaque est également reconnue comme un indicateur valide de l'activation physiologique en réaction aux besoins induits par la réalisation d'une tâche. De nombreuses études ont mis en avant une augmentation de la FC avec l'effort mental (pour une revue voir Kramer, 1991 ; Backs et Boucsein, 2000 ; voir aussi Kahneman et al., 1969 ; Porges et Byrne, 1992 ; Roscoe, 1992 ; Wilson G. F., 2002 ; Wilson G. F. et O'donnel, 1988) cité par docteur Julie LASSALLE. L'étude fréquentielle de la variabilité du rythme cardiaque et notamment sa composante en basses fréquences permettrait également de refléter les variations de charge mentale. De manière surprenante, il a été constaté que la VRC en général et les basses fréquences en particulier
diminueraient lors d'une augmentation de l'effort investi dans la tâche (Backs et Boucsein, 2000 ; Kalsbeek, 1971 ; Kramer, 1991 ; Tattersall et Hockey, 1995 ; Wilson G. F. et O'donnel, 1988) cité par docteur Julie LASSALLE.

Mulder (1980) a interprété cette réduction comme l'expression d'un pattern émotionnel phylogénétique de défense. La taille de la pupille varie également en fonction du coût de l'activité mentale. Hess et Polt (1964) furent les premiers à étudier ce lien. Lors d'une tâche de calcul mental (multiplications de 7×8 à 16×23), une augmentation très claire de la taille de la pupille lorsque le niveau de difficulté augmente a été observée. La Figure 4.4 présente les résultats obtenus. La taille de la pupille diminuait immédiatement une fois la réponse donnée. Ainsi, la réponse pupillaire semble refléter la charge liée au processus de traitement de l'information. Plusieurs études, plus récentes, confirment l'augmentation du diamètre pupillaire lors d'un effort mental (Geacintov et Peavler, 1974 ; Juris et Velden, 1977 ; Kahneman, 1973 ; Klingner, Kumar, et Hanrahan, 2008 ; Porter, Troscianko, et Gilchrist, 2007) cité par docteur Julie LASSALLE.

## Chapitre IV – Psychophysiologie

Vid. 4.4. Dilation pupillaire durant la réalisation de calcul mental (Hess et Polt, 1964, figure issue de Beatty et Lucero-Wagoner, 2000). L'ordonnée représente les opérations à réaliser mentalement, l'abscisse présente le pourcentage de dilation pupillaire.

Une autre catégorie de mesure pour observer l'effort mental consiste à étudier les mesures oculaires (Kramer, 1991 ; Wilson G. F. et O'donnel, 1988) cité par docteur Julie LASSALLE. Plusieurs études ont montré que la fréquence et la durée des clignements diminueraient avec le nombre d'informations à traiter (Ahlstrom et Friedman-Berg, 2006 ; Veltman et Gaillard, 1998) cité par docteur Julie LASSALLE. Par exemple, la fréquence de clignements peut chuter à trois par minute lors d'une activité de lecture (Andreassi, 2007). Une explication consiste à croire que la diminution des EBs lorsque la demande de la tâche augmente pourrait être attribuée à un effort de minimisation du risque de perte d'information importante (Baumstimler et Parrot, 1971), le clignement entraînant une perte temporaire des informations visuelles. La durée des EBs est également associée à l'effort mental lié à une tâche. La durée de fermeture diminuerait avec l'effort mental et augmenterait avec la fatigue (voir Kramer, 1991). De manière générale, les mouvements oculaires (incluant les saccades) auraient tendance à diminuer lors d'un effort mental (May, Kennedy, Williams, Dunlap et Brannan, 1990) ité par docteur Julie LASSALLE.
4.4. FATIGUE

La traduction physiologique de la fatigue est généralement attribuée à une domination du système nerveux parasympathique (impliqué dans les états d'hypoactivité). Cependant, certains indices du comportement oculaire comme le PERCLOS ont été spécifiquement élaborés pour étudier le phénomène de fatigue. La fatigue est un terme difficile à définir. La fatigue physique peut être décrite comme immédiatement consécutive à un effort physique et exprimée par une diminution des performances en lien avec une activité physique (Stern J., Boyer et Shroeder, 1994) cité par docteur Julie LASSALLE. La fatigue mentale correspondrait à une diminution des performances liées à une tâche nécessitant un certain niveau de vigilance ainsi que la manipulation et la récupération d'informations stockées en mémoire (Stern J., Boyer et Shroeder, 1994). Plus généralement, la fatigue peut être définie comme

« un ensemble de manifestations engendrées par un effort, qu'il soit intense ou prolongé, ou bien à la fois intense et prolongé » (Laboratoire d'anthropologie appliquée, 1996). Selon Stern J., Boyer et Shroeder, la fatigue serait mesurable par des indicateurs physiologiques. Par exemple, plusieurs auteurs ont constaté une influence du niveau de fatigue sur les variations pupillaires.

Chapitre IV – Psychophysiologie

Plus précisément, le diamètre pupillaire diminue à mesure que la fatigue augmente (Hess, 1972 ; Kahneman et Peavler ; 1969 ; Lowenstein et Loewenfeld, 1964) cité par docteur Julie LASSALLE. Cependant, les indices du comportement oculaires (clignements de paupières, par exemple) sont les indicateurs privilégiés de fatigue mentale.

4.4.1. PERCLOS

Dans les années 1980, plusieurs études ont montré que la fatigue pouvait être décrite par divers indicateurs tels que le diamètre de la pupille, la rotation des globes oculaires, le balayage oculaire, le clignement de paupières. (Lang L. et Qi, 2008). Cependant, le PERCLOS s'est avéré être l'indice le plus fiable pour détecter la fatigue. La mesure du PERCLOS a été développée et validée pour permettre l'observation, en temps réel, de la baisse de vigilance chez le conducteur (Dinges, Mallis, Maislin et Powell, 1998) et plus généralement chez tout opérateur humain. Il est aujourd'hui reconnu comme un indice fiable de fatigue (Lang L. et Qi, 2008, Wierwille et al., 1994) cité par docteur Julie LASSALLE. Pour rappel, le PERCLOS correspond à un indice de
détection du pourcentage de fermeture lente des paupières pour une fenêtre temporelle donnée (sect. 3.6.5, chap. III), celui-ci augmente avec la fatigue de l'individu.

### 4.4.2. SACCADES

Il est globalement accepté que les traitements visuels et cognitifs sont réalisés durant les périodes de fixations (Just et Carpenter, 1984). En effet, les fixations traduiraient l'allocation d'attention visuelle pour la mobilisation des ressources cognitives permettant de porter attention à un élément particulier. Les fixations seraient alors plus longues et plus nombreuses. La fréquence des saccades est plutôt reliée à un état de fatigue. Plusieurs études ont en effet rapporté un ralentissement de la vitesse, de la durée et de l'amplitude des saccades (Bahill et Stark, 1975 ; Schmidt *et al.*, 1979 ;

Stern J., Boyer, Schroeder) cité par docteur Julie LASSALLE dans le cadre de l'étude de la fatigue mentale. De ce fait, la fréquence des saccades diminuerait en présence de fatigue (Nakayama, Takahashi et Shimizu, 2002) cité par docteur Julie LASSALLE.

### 4.4.3. CLIGNEMENT DE PAUPIERES (EYE BLINK)

Les EBs peuvent également refléter un état de fatigue (Andreassi, 2007 ; Kramer, 1991 ; Stern R. *et al.*, 2001 ; Tecce, 1992) cité par docteur Julie LASSALLE. Spécifiquement, une augmentation de la fréquence des EBs est observée au cours d'une tâche de longue durée notamment si elle conduit à de la fatigue ou de l'ennui (Stern

J., Boyer et Schroeder, 1994 ; Tecce, 1992 cité par docteur Julie LASSALLE). Leur durée augmente aussi avec la fatigue (Kramer, 1991). En effet, Stern J. et Dunham (1990) cité par docteur Julie LASSALLE rapportent qu'une durée de fermeture prolongée durant le clignement est liée à une baisse de vigilance. De manière globale, le système de contrôle oculomoteur serait très sensible à la fatigue, à la baisse d'attention ainsi qu'à l'ennui (Stern J., 1980). La visualisation prolongée de contenus audiovisuels pourrait entraîner un état de fatigue notamment visuelle chez le spectateur. Ce problème a particulièrement été traité avec l'avènement de la vidéo 3D.

## Chapitre IV – Psychophysiologie

La question de la fatigue oculaire causée par l'affichage 3D est particulièrement étudiée afin de garantir une bonne expérience au spectateur. Plusieurs études (Eui Chul, Hwan et Kang Ryoung, 2010 ; Jae-Hwan, Byoung-Hoon et Deok-Hwan, 2012) cité par docteur Julie LASSALLE se sont intéressées à ce phénomène en mesurant la fréquence de clignement (EBfreq) lors de la
présentation de contenus audiovisuels 2D ou 3D. Il était attendu que la fréquence des EBs augmente avec la fatigue visuelle, cette dernière devant être plus importante lors d'un contenu 3D en raison des efforts de vergence et d'accommodation devant être réalisés (Lambooij et al., 2009) cité par docteur Julie LASSALLE. Comme le présente la Figure. 4.5 ci-dessous, les résultats ont permis de confirmer ce postulat.

Vid. 4.5. Résultats, issus de l'étude de Eui Chul et al. (2010), comparatifs de la fatigue oculaire considérée à travers la moyenne de la fréquence de clignement (EBfreq) entre une visualisation 2D et 3D (* indique un niveau de significativité à p <0,01).

**4.5. VERS UNE MESURE DU COUT UTILISATEUR**

Les mesures psychophysiologiques peuvent refléter différents processus : émotionnels, attentionnels ou relatifs au coût d'une activité (effort ou fatigue). Une synthèse des différentes influences des mesures physiologiques et oculaires est proposée par le Tableau 4.1 ci-après. Les notions d'effort et de fatigue sont particulièrement importantes à considérer dans le cadre de l'optimisation de système de restitution audiovisuelle. En effet, ils pourraient permettre de circonscrire le coût pour le spectateur d'un signal audiovisuel dont la qualité restituée est dégradée et qui pourrait *in fine*, conduire à un rejet du système ou de la technologie utilisée. Une méthode d'évaluation de la qualité audiovisuelle pourrait donc inclure la mesure du coût *utilisateur* en matière de fatigue et d'effort. Les mesures psychophysiologiques se présentent alors comme des candidates pertinentes par leur capacité à refléter ces processus sans être assujetties aux biais relatifs aux mesures subjectives. La combinaison des mesures subjectives et psychophysiologiques au sein d'une même méthode permettrait donc d'étendre l'évaluation de la qualité à la qualité d'expérience du spectateur.
## CHAPITRE V VERS UNE METHODE ALTERNATIVE DE L'EVALUATION DE LA QUALITE.

Les normes aujourd'hui pour l'évaluation de la qualité audiovisuelle sont plus fixées sur l'examen de la qualité du signal par des techniciens. Certes, la présence de destructions audio, vidéo ou audiovisuelles pourrait influencer non seulement la perception de qualité jugée au moyen d'une note mais aussi la qualité d'expérience (QOE) générale du spectateur notamment envisagée sous l'angle de l'effort ou de la fatigue. Comme présenté dans le chapitre précédent, les indicateurs physiologiques et oculaires sont reconnus pour répondre à ce type de phénomènes. Les indicateurs du système nerveux autonome et du comportement oculaire sont donc des candidats pertinents pour permettre l'évaluation de la QOE. Différentes études ont intégré les mesures psychophysiologiques pour aborder la notion de l'expérience utilisateur à travers le coût de l'utilisation d'une technologie pour l'individu notamment dans le domaine de l'interaction homme-machine tel que le jeu vidéo (Lin, Omata, Hu, Imamiya, 2005 ; Mandryk, Inkpen et Calvert, 2006 ; Ravaja, Saari, Laarni,

Kallinen, Salminen, Holopainen, et Järvinen, 2005 ; Wu et Lin, 2011), les environnements virtuels (Meehan, Insko, Whitton et Brooks, 2002) ou les sites internet (Tuch et al., 2011 ; Ward et Marsden, 2003 ; Ward, Marsden, Cahill et Johnson, 2002 cité par docteur Julie LASSALLE de LUSSI Laboratoire de Bretagne). En revanche, peu d'études se sont attachées à étudier la pertinence des indicateurs psychophysiologiques dans le cadre de la qualité audio et/ou vidéo. L'objectif de ce chapitre est de présenter les quelques études disponibles et qui seront utilisées dans ce document comme référent méthodologique. Une méthode hybride incluant à la fois la mesure de l'expérience subjective et celle de l'activité physiologique et oculaire du spectateur sera proposée comme alternative aux méthodes actuelles d'évaluation de la qualité audiovisuelle.
## 5.1. EVALUATION DU COUT CONSOMMATEUR

Le terme coût *consommateur* (user cost) est emprunté au domaine des interactions hommemachine ou homme-homme médiatisée (visioconférence) pour désigner le niveau d'investissement nécessaire pour atteindre et maintenir un niveau élevé d'utilisabilité envisagée sous l'angle des performances ou de la satisfaction de l'utilisateur par exemple. Le coût pour l'utilisateur peut notamment être étudié sur le plan de l'effort mental ou du stress/anxiété physique et/ou mental (Sweeney, Maguire et Shackel, 1993, cité par Lin, Imamiya, Hu et Omata, 2007). Pour Wastell et

Newman (1996) cité par docteur Julie LASSALLE une compréhension holistique du comportement humain repose sur l'étude conjointe de trois dimensions fondamentales : le comportement manifeste, la physiologie et l'expérience subjective. Pour étayer leur approche, Wastell et Newman ont combiné des indices physiologiques (pression artérielle -systolique et diastolique- et fréquence cardiaque), subjectifs (échelles catégorielles) et de performances, dans l'intention d'évaluer le stress de répartiteurs d'ambulances à la suite du passage de l'utilisation d'un support papier à un système informatique. Leurs résultats ont montré que l'utilisation du support informatique améliorait les performances

(comportement manifeste), diminuait le stress (physiologie) ainsi que l'anxiété perceptivement reportée (expérience perceptive).

## Chapitre V – Vers une méthode hybride

La qualité d'un système a donc été jugée sur la façon dont elle a affecté non seulement les performances mais aussi la qualité d'expérience de l'utilisateur. Cette étude a révélé que les mesures psychophysiologiques pouvaient être un outil pertinent d'évaluation de système et plus généralement, que les méthodologies d'évaluation devraient davantage tenir compte de ces aspects.

Ward et al. (2002) et Ward et Marsden (2003) cité par docteur Julie LASSALLE de LUSSI Laboratoire de l'université de Bretagne ont recueilli les indices d'activité électrodermale (AED), de volume sanguin périphérique (VSP) et de fréquence cardiaque (FC) pour deux groupes d'utilisateurs en situation de navigation internet (durant 10 min). Deux versions d'un même site web était présentées : une version « bien conçue » (respect des règles d'ergonomie) et une version

«
mal conçue » (présence excessive de menus déroulants - information difficile à trouver, nombreuses fenêtres publicitaires, déplacements soudains du contenu de la page, peu d'aide à la navigation, etc.). Chaque groupe naviguait sur l'une des deux versions. Il était attendu que le coût pour l'utilisateur soit plus élevé (navigation difficile) pour la version « mal conçue » et que cela soit reflété par les données physiologiques des utilisateurs. Des tendances distinctes, obtenues à partir de l'étude de la moyenne des indices recueillis (approche tonique) ont été observées entre les deux groupes. Les utilisateurs de la version « bien conçue » ont eu tendance à se détendre après la première minute, alors que les utilisateurs de la version « mal conçue » ont montré un niveau élevé d'activation, associé à un état de stress et reflété par une augmentation de l'AED et de la FC moyenne, et ce tout au long de la tâche. Lin et al. (2008) ont étudié le coût utilisateur de jeux vidéo à travers la variabilité du rythme cardiaque (ou VRC étudiée à travers la bande basse fréquence : BF), le diamètre pupillaire et les mesures subjectives (évaluation de l'effort mental). Trois parties de dix minutes étaient jouées par dix participants. Chaque partie présentait un niveau de difficulté différent : débutant, intermédiaire et expert. Après chaque partie, les participants disposaient de cinq minutes pour se reposer et évaluer l'effort mental ressenti durant la tâche. Les résultats subjectifs ainsi que la VRC ont reflété les niveaux de difficulté du jeu. Une augmentation de la pupille a également été observée entre le niveau débutant et les niveaux intermédiaire et expert. Une corrélation entre les données de VRC et les mesures subjectives a également été observée pour les trois niveaux de difficultés. Ces résultats indiquent que mesures subjectives et physiologiques sont pertinentes pour évaluer les variations du coût pour l'individu de l'utilisation d'une technologie. Vicente et al. (1987) ont aussi étudié le lien entre mesures physiologiques (VRC à travers l'étude des BF) et le coût utilisateur lors d'une tâche psychomotrice (utilisation d'un simulateur d'hovercraft). Les résultats ont indiqué que les données physiologiques étaient significativement corrélées aux évaluations subjectives d'effort, mais pas de charge de travail ou de difficulté de la tâche.

## Chapitre V – Vers une méthode hybride

Dans le domaine d'échange homme-machine, d'autres chercheurs ont aussi utilisé la VRC comme un indicateur de l'effort mental (Rani, Sims, Brackin et Sarkar, 2002 ; Rowe, Sibert et Irwin, 1998 ; Tattersall et Hockey, 1995). Tuch et al. (2011) cité par docteur Julie LASSALLE de LUSSI Laboratoire ont examiné l'influence du niveau de complexité visuelle (définie selon la
aille, en bps, du fichier compressé) de pages Web sur l'utilisateur. Quarante-huit participants ont visualisé un total de trente-six pages Web (copies d'écran de sites existants) de complexité visuelle différente durant huit secondes pendant lesquelles des mesures oculaires (amplitude de la saccade) et cardiovasculaires (fréquence cardiaque) étaient enregistrées. Ces mêmes images étaient présentées une seconde fois pour permettre aux participants de les évaluer à partir des dimensions de valence et d'arousal (échelle SAM, sect. 4.1, chap. IV) cité par docteur Julie LASSALLE, les niveaux d'attrait et de gêne étaient également jugés (échelle de Likert). Les pages les moins complexes ont été associées à une valence davantage positive ainsi qu'à une diminution des mouvements oculaires (en particulier dans les premières secondes de visualisation). Une décélération cardiaque a aussi été observée durant la visualisation des images présentées, tous niveaux de complexité confondus. Cette décélération était plus importante pour les images présentant une forte complexité : pour les auteurs, des stimuli complexes entraîneraient une réponse d'orientation plus importante. Ces études ont montré que des indicateurs tels que l'AED, la FC, les mouvements oculaires ou encore des indicateurs de la VRC sont pertinents pour évaluer le coût pour l'individu lors de l'utilisation de technologies nouvelles ou existantes. Ces résultats montrent que la qualité de l'expérience utilisateur peut être reflétée non seulement par des mesures subjectives mais aussi par des mesures physiologiques et oculaires. Ces dernières peuvent alors s'intégrer aux méthodes pour l'optimisation de la relation entre l'utilisateur et une technologie donnée telle que celle du domaine de la restitution audiovisuelle.

## 5.2. COUT CONSOMMATEUR ET EVALUATION DE QUALITE

Wilson G. M. et Sasse (2000a, 2000b) cité par docteur Julie LASSALLE ont proposé de nouvelles méthodes pour l'évaluation de la qualité audio ou vidéo dans le cadre de l'étude du coût utilisateur pour des services de communication multimédia (visioconférence). Selon ces auteurs, l'évaluation subjective de la qualité est utile car elle permet de mesurer le degré de satisfaction de l'utilisateur par rapport au niveau de qualité. Cependant, elle ne serait pas nécessairement un indicateur fiable de l'impact de la qualité sur l'utilisateur. Selon Knoche, De Meer et Kirsh (1999), il est impossible pour les individus d'enregistrer, et donc d'évaluer, ce qui n'a pas été consciemment perçu. Sur la base de ce constat, Wilson G. M. et Sasse proposent d'utiliser des mesures psychophysiologiques pour une compréhension holistique de l'influence de la qualité sur l'utilisateur. Wilson G. M. et Sasse formulent l'hypothèse selon laquelle un
utilisateur, face à une situation de qualité audio et/ou vidéo insuffisante, doit réaliser un effort
perceptif supplémentaire pour décode r les informations du message. Cet effort devrait être reflété
par une réponse physiologique (activation du système nerveux sympathique) assimilée à une
situation d'inconfort ou de stress même si l'utilisateur est toujours en mesure d'exécuter la tâche
principale.

Chapitre V – Vers une méthode hybride

L'activation physiologique est alors considérée comme un évènement négatif. Pour les auteurs, un niveau d'activation de base serait inhérent à la réalisation de la tâche, l'ajout de dégradations de la qualité augmenterait ce niveau. Plus précisément, Wilson G. M. et Sasse ont proposé de compléter les évaluations subjectives par des mesures physiologiques dans le cadre de l'étude du coût utilisateur deservices de communication multimédia lors de qualités audio (2000b) ou vidéo (2000a) dégradées. La première étude présentait des séquences audiovisuelles (contexte passif de visioconférence) selon deux niveaux de qualité vidéo, élevé ou faible. La seconde expérience consistait à étudier l'effet de différents niveaux de qualité audio (séquence audio seule) sur l'auditeur. Dans les deux expériences, les indices recueillis correspondaient à l'AED (activité électrodermale), la FC (fréquence cardiaque) et le VSP (volume sanguin périphérique). Les auteurs s'attendaient à une augmentation de la FC et de l'AED ainsi qu'à une diminution du VSP lors des conditions de qualité dégradée. Pour recueillir ces mesures, les auteurs ont utilisé le matériel Procomp (Thought Technology Ltd.). La qualité perçue audio (2000b) ou audio et vidéo (2000a) a aussi été évaluée à partir d'une échelle continue (0 à 105) sans labels. Afin d'éviter toutes contraintes exercées sur les participants par des facteurs autres que la qualité, les auteurs ont fait en sorte que l'environnement de test soit le moins stressant possible (pas de sonneries de téléphone par exemple). Une baseline de quinze minutes était enregistrée pour chaque participant avant l'expérimentation. Cela devait permettre d'une part, aux participants de s'habituer à la présence des capteurs, et d'autre part, de recueillir suffisamment de mesures afin de pouvoir ensuite comparer ces réponses à celles obtenues durant l'expérience. Comme présenté dans le chapitre III, l'activité physiologique peut être étudiée selon deux approches :

• l'étude de l'activité **physiologique tonique** par la comparaison de valeurs physiologiques (comme la moyenne) obtenues pour des intervalles de temps donnés (conditions expérimentales différentes),
l'étude de l'activité **physiologique phasique** par la détection de changements physiologiques à court-terme (quelques secondes) en réponse à des évènements spécifiques (Ward et Mardsen, 2003). Wilson G. M. et Sasse cité par docteur Julie LASSALLE ont utilisé l'approche tonique pour étudier les mesures psychophysiologiques recueillies. Les moyennes, pour chaque signal, obtenues soit pour chaque technicien et chaque condition de qualité (2000a) soit pour chaque condition de qualité tous techniciens confondus (2000b) ont été utilisées. Dans la première expérience (2000a), vingt-cinq techniciens devaient visualiser trois entretiens préenregistrés entre deux élèves et un tuteur dans le cadre d'une candidature pour une admission universitaire. Chaque entretien durait quinze minutes.

## Chapitre V – Vers une méthode hybride

Il était demandé aux participants de porter un jugement sur les candidats à l'issue des entretiens. Durant la visualisation, la qualité audio était bonne et ne variait jamais. En revanche, la vidéo présentait deux différents niveaux de qualité : élevée (25 images par seconde ou ips) ou faible (6 ips). A titre indicatif, la synchronisation entre parole et image du locuteur est perçue à partir de 16 ips tandis que la perception d'un mouvement fluide est fixée à 25 ips. Durant les cinq premières minutes de l'expérimentation, la vidéo était présentée avec un taux de 16 ips. Ce segment était ensuite exclu du jeu de données pour éviter un effet biaisant lié au passage de l'état de repos à l'expérimentation. Après cette première étape, les entretiens étaient présentés aux participants. Chaque interview présentait un pattern de variation de qualité lui étant propre : 5-25-5 ips ou 255-25 ips. Chacune de ces trois périodes durait cinq minutes. Les participants évaluaient la qualité de l'audio/vidéo durant la visualisation (échelle continue) puis la qualité audio et vidéo après la visualisation. Les mesures physiologiques ont été enregistrées tout au long de l'expérience. Le niveau tonique de chaque signal a donc été étudié à travers la moyenne obtenue pour chaque niveau d'ips (5 ou 25) pour chacun des vint-quatre participants. Les résultats, illustrés par la Figure 5.1 cidessous, ont montré une augmentation significative des moyennes d'AED et de FC ainsi qu'une baisse significative de la moyenne du VSP lors des périodes présentées à 5 ips par rapport aux périodes à 25 ips. Ce résultat indique que la qualité vidéo influence l'activité physiologique de l'utilisateur. Ici une activation du système nerveux sympathique est observée. Les auteurs confirment leur hypothèse et concluent qu'un niveau de qualité vidéo faible entraînerait un état de
stress.

## Chapitre V – Vers une méthode hybride

### Vid. 5.1. Moyennes obtenues pour chaque participant et chaque niveau de qualité vidéo (5 ou 25 ips) pour chaque indicateur physiologique de haut en bas : AED, FC et VSP. Voir la vidéo

Par ailleurs, 84% des participants ont déclaré ne pas avoir remarqué de différences de qualité. Aucune corrélation entre les réponses subjectives et physiologiques n'a en effet été observée. Ce constat pourrait être expliqué par un effet de la modalité dominante. Il est en effet possible de supposer que les entretiens présentés apportaient des informations essentiellement auditives et auraient plutôt orienté l'attention du participant vers la modalité audio au détriment de la modalité vidéo dégradée (Hands, 2004). **Wilson G. M. et Sasse concluent que les mesures physiologiques ne sont pas soumises aux mêmes contraintes que les évaluations subjectives et que, lorsque les utilisateurs sont engagés dans une tâche, ils ne remarquent pas toujours la différence entre deux niveaux extrêmes de qualité, pendant ou après la tâche, alors que cette différence est enregistrée au niveau physiologique.** Ainsi, le niveau de qualité a un impact sur l'activité physiologique de l'utilisateur. Ce résultat révèle l'intérêt de l'ajout des mesures psychophysiologiques aux mesures subjectives qui ne sont pas en mesure de rendre compte de la totalité de l'influence de la qualité sur l'utilisateur. Ainsi, les niveaux de qualité, pour une application télévisuelle ou de visioconférence, ne peuvent être définis uniquement sur la base des seules évaluations subjectives. Les concepteurs d'applications et les fournisseurs de réseaux ou de services doivent donc considérer cette information. La seconde étude de Wilson G. M. et Sasse (2000b) portait sur l'étude de la qualité audio seule. Vingt-quatre participants étaient invités à écouter un dialogue de deux minutes entre deux locuteurs. Celui-ci était présenté six fois ; à chaque présentation, une nouvelle dégradation était introduite : perte de paquets (5% ou 20%), écho, variation du volume de la voix d'un des deux interlocuteurs (faible ou fort) et distorsion (enregistrement d'un des deux locuteurs avec un mauvais micro). Chaque condition était entendue deux fois et une condition référence (non dégradée) était présentée au début et à la fin de l'expérimentation. La qualité audio était évaluée après l'écoute de chaque séquence. Les mesures physiologiques ont été enregistrées tout au long de l'expérience.
## Chapitre V – Vers une méthode hybride

Dans cette étude, les niveaux toniques ont été étudiés à partir de la moyenne de chaque indicateur pour chaque condition de qualité obtenue pour l'ensemble des participants. Les résultats ont indiqué un effet significatif de la qualité sur les moyennes de la FC et du VSP, en revanche, les conditions n'ont pas influencé de manière significative l'AED moyenne. Les résultats obtenus sont présentés par la Vidéo 5.2 ci-dessous.

**Vid. 5.2. Moyennes obtenues sur l'ensemble des participants pour chaque condition de dégradation (perte de paquets 5 et 20%, écho, variation du volume – quiet ou loud- et distorsion –bad mike-) et chaque mesure physiologique (AED, FC, VSP) et subjective (échelle de 0 à 150). Voir vidéo**

Comme cela peut être observé à partir des figures ci-dessus, la dégradation de distorsion (bad mike, liée à un mauvais enregistrement) correspondait à la dégradation ayant entraîné la plus forte activation physiologique du point de vue de la FC et du VSP (respectivement première et deuxième position). Pour les auteurs, cette dégradation correspondait à la plus stressante du point de vue de l'activité physiologique. L'effet de la dégradation de distorsion n'est en revanche pas reflété par les mesures subjectives. En effet, celles-ci indiquent que la distorsion était classée parmi les conditions dégradant le moins la qualité perçue. Les auteurs expliquent cette différence entre mesures physiologiques et subjectives par un effet de la tâche. Selon eux, la tâche d'écoute, de courte durée (2 minutes par condition), ne serait pas suffisante pour que l'influence de la dégradation de distorsion se manifeste, du point de vue du jugement conscient, sur l'auditeur. En outre, la tâche était passive, donc les effets de distorsion du signal audio peuvent ne pas avoir affectés les participants comme cela aurait pu être le cas en situation d'interaction. Du point de vue des évaluations subjectives, la dégradation « 20% de perte de paquets » a été perçue comme dégradant le plus fortement la qualité audio.

## Chapitre V – Vers une méthode hybride

Les auteurs supposent que si cette dégradation n'a pas été à l'origine de la plus forte activation physiologique observée FC moyenne AED moyenne VSP moyen Note moyenne de qualité audio c'est parce qu'elle était moins « stressante » que la dégradation de distorsion. L'effort pour accéder au sens était moindre lors de la perte de paquets que lors de la distorsion, plus irritante pour les utilisateurs. Le fait que les participants aient jugé la condition « perte de paquets » comme dégradant plus fortement la qualité pourrait provenir du fait que celle-ci dégradait la séquence de

m
anière continue tandis que la distorsion affectait la qualité de manière plus fluctuante. Un effet d'une altération de l'intelligibilité du message pourrait également être supposé pour expliquer les résultats concernant la perte de paquets. Concernant les autres dégradations, l'augmentation de volume (loud) a été à l'origine d'une perte de qualité subjectivement et physiologiquement reportée. Cette dégradation a plus fortement altérée la qualité que la condition « volume faible » (quiet). La dégradation par présence d'écho a été jugée avec des notes de qualité basses mais ne semble pas être reflétée par les mesures physiologiques (activation plus importante de la FC uniquement par rapport à la dégradation « quiet »). Enfin, la dégradation par perte de paquets à 5% n'a pas été considérée comme un problème aussi bien du point de vue de la mesure subjective que physiologique. Ces résultats indiquent que les mesures psychophysiologiques et subjectives apportent des informations différentes notamment pour des dégradations de type « perte de paquets » ou « distorsion ».

Ces résultats confirment l'intérêt de compléter les mesures subjectives par des mesures psychophysiologiques pour étudier la manière dont un utilisateur est affecté par le niveau de qualité audio et/ou vidéo. Ces deux expériences permettent plusieurs conclusions. La première, peut-être la plus importante, est que des réponses toniques de l'activité physiologique peuvent être détectées en réaction à la présence de dégradations audio ou vidéo. Un second constat, également important à considérer, concerne le fait que les signaux physiologiques recueillis ne sont pas toujours congruents, certains pourraient répondre plus spécifiquement à certaines dégradations. Par exemple, l'AED a réagi fortement au changement du nombre d'ips mais n'a pas répondu aux dégradations audio alors plutôt reflétées par les variations de FC. Selon Wilson G. M. et Sasse, cela pourrait aussi signifier que la modalité de la dégradation, audio ou vidéo, influencerait différemment l'activité physiologique de l'utilisateur. Ce postulat peut être rapproché du concept d'activation multidimensionnelle supposant qu'une activité donnée correspondrait à un pattern d'activation donné pour lequel les performances seraient optimales (voir sect. 4.2.2, chap. IV). Ainsi, le traitement de séquences audiovisuelles ou de séquences audio seules ou le traitement de dégradations audio ou vidéo conduirait à des patterns d'activation différents et spécifiques.

Enfin, l'évaluation subjective n'est pas toujours corrélée avec les réponses physiologiques. Ce constat est considéré par Wilson G. M. et Sasse comme un argument en faveur de l'intégration de mesures psychophysiologiques pour l'évaluation de qualité de services audiovisuels. Pour les
uteurs, ces résultats sont encourageants dans le cadre de l'élaboration d'une méthode reposant sur l'approche tripartite proposée par Wastell et cité par docteur Julie LASSALLE et Newman à savoir que les mesures de performances (dans le cadre de l'utilisation d'un système tel que les communications interactives) et de satisfaction utilisateur (envisagée sous l'angle de la qualité perçue) doivent être utilisées conjointement avec les mesures du coût utilisateur (à travers les mesures psychophysiologiques).

## Chapitre V – Vers une méthode hybride

Wilson G. M. et Sasse concluent qu'en conséquence de ces résultats une plus grande considération devrait alors être apportée à la notion de coût utilisateur d'un service lors de l'évaluation du niveau de qualité et plus généralement lors de l'évaluation de l'utilisabilité d'une technologie.

### 5.3. VERS UNE METHODE HYBRIDE

Comme l'ont révélé les études de Wilson G. M. et Sasse (2000a, 2000b) cité par docteur Julie LASSALLE, des mesures toniques de l'activité physiologique sont de bonnes candidates pour l'évaluation de la qualité d'expérience.

Elles permettent d'obtenir un retour sur le coût, pour l'utilisateur, induit par une qualité audio ou vidéo dégradée. Ces auteurs ont montré que les mesures psychophysiologiques permettent d'observer des effets de la qualité qui ne sont pas toujours captés par les mesures subjectives. Leurs études ont en effet révélé que des fluctuations importantes de qualité peuvent ne pas être consciemment perçues par l'utilisateur mais reflétées par l'activité physiologique. Ce constat indique que l'évaluation subjective mesurée par des notes de qualité perçue seules n'est pas suffisante pour refléter pleinement l'impact de la qualité audiovisuelle restituée sur le ressenti de l'individu. Ces informations sont particulièrement importantes dans une optique d'optimisation de système. Les travaux de Wilson G. M. et Sasse portaient sur l'évaluation de services interactifs multimédias mais leurs études ont été réalisées pour des contextes passifs (non interactifs) de visualisation et/ou écoute de séquences de test. Leur cadre théorique, à savoir la réalisation d'un effort perceptif pour décoder un signal dégradé, peut donc être transposé à un contexte de visualisation passive (télévisuelle, cinématographique) de contenus audiovisuels.
### 5.3.1. HYPOTHESES GENERALES

Les chapitres précédents ont indiqué que tout effort, physique ou cognitif, est lié à une dépense énergétique nécessaire à sa réalisation et que les mesures psychophysiologiques permettent de refléter ces variations. Il est envisageable que les variations de qualité du son et/ou de l'image conduisent à des fluctuations des dépenses énergétiques engagées. Une hypothèse consiste à supposer que la présence de dégradations serait à l'origine d'une augmentation de l'état énergétique, par rapport à une condition sans dégradations, c'est-à-dire à un état d'activation physiologique (pouvant être lié à un effort perceptif, une allocation supplémentaire de ressources attentionnelles, etc.). Les dépenses énergétiques engagées en présence d'une qualité dégradée seront interprétées comme l'expression d'un effort mental pour décodeur le message altéré.

L'activation physiologique pourra alors être mesurée à travers différents indicateurs physiologiques et oculaires. Précisément, une domination du système nerveux sympathique (sur le système parasympathique), traduite par une augmentation de la fréquence cardiaque (FC), de l'activité électrodermale (AED), du diamètre pupillaire (DP) et par une diminution du volume sanguin périphérique (VSP) et de la température cutanée périphérique (TCP), devrait être observée lors d'un segment audiovisuel dégradé (effort mental) par rapport à un segment non dégradé.

#### Chapitre V – Vers une méthode hybride

Des modifications du comportement oculaire, traduites par une diminution de la durée et de la fréquence des clignements de l'oeil (EBdur et EBfreq), peuvent aussi être attendues. Ces variations seront recueillies à travers l'étude tonique de l'activité oculaire et physiologique comme proposé par Wilson G. M. et Sasse.

Par ailleurs, le coût utilisateur (entendre le coût de l'activité de visualisation pour le spectateur) lorsque la qualité AV fluctue pourrait également être envisagé sous l'angle de la fatigue consécutive à un effort mental répété ou prolongé. Cet effet pourrait être d'autant plus marqué que les dégradations surviendraient sur des contenus 3D (à l'origine de fatigue visuelle, sect. 4.4.3, chap. IV) ou que la séquence visualisée serait longue. La fatigue est généralement étudiée à partir des variations du comportement oculaire (clignement de paupière, fermeture de l'oeil, saccades) dont certains indicateurs ont été définis pour rendre compte de manière spécifique des phénomènes de fatigue. Ceux-ci seraient alors traduits par une augmentation du PERCLOS, de
EBfreq et EBdur et par une diminution du DP et du nombre de saccades (SAC). Ainsi, un message audio et/ou vidéo altéré par la présence de dégradations pourrait induire un effort mental supplémentaire pour décoder le signal dégradé puis un état de fatigue observables à travers les indicateurs du système nerveux sympathique et de l'activité oculaire. L'approche psychophysio logique proposée sera utilisée pour évaluer les changements d'états de l'organisme sous l'influence de l'activité de visualisation de contenus audiovisuels 2D ou 3D présentant des fluctuations de qualité (c.-à-d. avec des dégradations qui ne sont pas toujours équivalentes ou de même nature au sein d'un même contenu de test comme cela pourrait être le cas en conditions réelles de visualisation). Les variations des mesures psychophysio logiques attendues lors d'un effort mental ou d'un état de fatigue en présence de dégradations sont résumées par le Tableau 5.1 ci-dessous.

FC VSP AED TCP DP EB PERCLOS SAC

EFFORT MENTAL (BF/ VRC) dur, freq -- FATIGUE -- -- dur, freq En-dehors du coût pour le spectateur¹¹, étudié sous l'angle de l'effort mental et de la fatigue, la qualité audiovisuelle pourrait également influencer l'expérience subjective du ¹¹ En-dehors de la notion

de coût utilisateur, le terme de spectateur sera privilégié, pour plus de clarté, dans la suite du document par rapport au terme d'utilisateur en raison de la nature passive de l'activité de visualisation, l'individu n'ayant aucune action sur le système (pas d'interaction homme-système).

Chapitre V – Vers une méthode hybride

spectateur entendue au sens large. Actuellement, les notes subjectives de qualité limitent la mesure de satisfaction, quant à la qualité audiovisuelle restituée, à la seule perception de qualité. Pourtant d'autres aspects comme le niveau de compréhension, d'intérêt, de plaisir, etc. pourraient être influencés par des dégradations de qualité et diminuer la qualité d'expérience globale du spectateur (QOE). Une seconde hypothèse consiste donc à croire que la qualité audiovisuelle influence non seulement la qualité perçue mais aussi des facteurs subjectifs additifs et déterminants pour la qualité d'expérience. Un questionnaire enrichi proposant des mesures subjectives supplémentaires doit être envisagé pour mieux comprendre le lien entre qualité audiovisuelle restituée et qualité d'expérience. Les mesures subjectives et psychophysio logiques pourraient être mises en regard afin d'observer leurs éventuelles influences réciproques. Par exemple, la présence d'effort mental ou de fatigue pourrait diminuer l'expérience subjective en matière de qualité perçue mais aussi d'intérêt, de plaisir, etc.
### 5.3.2. OBJECTIFS

L'objectif de cette tache est de proposer une méthode alternative aux méthodes actuelles d'évaluation de la qualité audiovisuelle dans l'intention d'obtenir un retour plus fidèle et plus complet de l'influence de la qualité restituée sur le spectateur. En effet, les méthodes actuelles réduisent la notion de qualité à un phénomène unidimensionnel ne permettant pas de rendre compte de l'ensemble des effets de la qualité audio et/ou vidéo sur les spectateurs comme l'ont montré Wilson G. M. et Sasse (2000a, 2000b) cité par docteur Julie LASSALLE. Le coût utilisateur, du point de vue de la fatigue ou de l'effort mental induit par la présence de dégradations, n'est notamment pas reflété par ces méthodes alors même qu'il pourrait agir sur le confort, aspect pouvant être déterminant pour la qualité d'expérience. Les mesures psychophysionlogiques permettent de recueillir des informations en matière de coût utilisateur. Ces mesures dites « objectives » présentent également différents avantages comme celui de ne pas être soumises aux biais inhérents aux évaluations subjectives.

Elles offrent également la possibilité de pouvoir recueillir en temps réel l'influence des fluctuations de qualité sur le spectateur sans pour autant interférer avec l'activité de visualisation. Ce dernier aspect permet d'envisager un contexte d'évaluation plus représentatif de conditions réelles d'usage des systèmes de diffusion audiovisuelle notamment en proposant des séquences de test plus longues.

En effet, les dix secondes recommandées par les normes UIT pourraient ne pas être suffisantes pour permettre d'observer un phénomène de fatigue ou d'effort mental risquant de conduire, à terme, à un rejet de la technologie ou du système utilisé. Ainsi, l'approche proposée remplit trois objectifs :

* ajouter des mesures non soumises aux biais des mesures subjectives,

* proposer un contexte plus représentatif des conditions réelles de visualisation en proposant des contenus 2D ou 3D de plusieurs minutes et dont la qualité fluctue,

* étendre l'évaluation de qualité à l'étude de la qualité d'expérience du spectateur.

## Chapitre V – Vers une méthode hybride

Sur la base des travaux de Wilson G. M. et Sasse (2000a, 2000b) cité par docteur Julie LASSALLE, l'approche présentée dans ce document consiste donc en une méthode hybride reposant sur l'analyse conjointe de mesures subjectives, physiologiques et oculaires. L'hypothèse

g
énérale s'articule de la manière suivante : l'influence de la qualité audiovisuelle sur la qualité d'expérience peut être étudiée à la fois sur le plan de la qualité d'expérience subjectivement reportée par les spectateurs et sur le plan du coût utilisateur, du point de vue de l'effort mental ou de la fatigue, mesuré à partir d'indicateurs toniques de l'activité physiologique ou oculaire du spectateur. L'ajout d'indices de l'expérience subjective et de l'activité physiologique et oculaire doit permettre d'étendre l'évaluation de qualité actuellement utilisée à l'étude plus globale de la qualité d'expérience. Cette approche est schématisée par la Vidéo 5.3 ci-après.

Effort mental/Fatigue (approche tonique) Effet sur physiologiques A, V ou AV **Stimuli de test AV Qualité**

**Facteur d'influence étudié** Coût utilisateur oculaires subjectives Mobilisation énergétique relative à la présence de dégradation

**Mesures** QOE Expérience subjective AED,FC,VSP,TCP,DP,EBfreq,Ebdur,PERCLOS,SAC

Vid. 5.3. Schéma de l'approche proposée par combinaison des mesures subjectives, physiologiques et oculaires pour l'étude de l'influence de la qualité audiovisuelle sur la qualité d'expérience du spectateur.
# CHAPITRE VI – EXPERIMENTATION A : ETUDE EXPLORATOIRE

## 6.1. INTRODUCTION GENERALE

Dans les études de Wilson G. M. et Sasse (2000a, 2000b) cité par docteur Julie LASSALLE, le contexte étudié était celui des systèmes de communication multimédia, les séquences de test proposées correspondaient donc à des sons de paroles seuls ou à des sons de paroles accompagnés par la vidéo du locuteur. Au quotidien, le spectateur est confronté à une variété beaucoup plus importante de contextes audiovisuels (AV). Comme indiqué dans les chapitres précédents, la perception de qualité est dépendante du type de contenu (voir sect. 2.2.1, chap. II). Une méthode alternative pour évaluer la qualité perçue et plus généralement la qualité d'expérience du spectateur doit considérer différents contextes, plus proches de contextes réels de visualisation. D'ailleurs, la norme UIT-T P.912 (UIT, 1998) propose déjà des contextes variés de séquences de test. L'étude de l'influence de la qualité pour différents types de contenus audiovisuels doit favoriser l'observation des différentes interactions entre contenus et qualité pour en retirer les régularités ou les différences notables (c.-à-d. selon le type de contenu) dont il faudra avoir connaissance. Il est à noter que le terme de visualisation, employé dans la suite du présent document, englobera l'activité de visualisation ainsi que l'activité d'écoute, aucun terme

n
'existant pour qualifier cette double activité. Comme indiqué dans la section 1.6.1 (chap. I), la durée des séquences de test proposée par la norme UIT-T P.912 paraît trop courte pour rendre compte des effets éventuels de la qualité liés à une activité prolongée de visualisation. Par exemple, il est tout à fait envisageable qu'une séquence de dix secondes ne produise pas les mêmes effets qu'un contenu de cinq minutes en matière d'effort mental, de fatigue ou même de perception de qualité. Il apparaît donc nécessaire de proposer des séquences suffisamment longues pour étudier ces éventuels effets. Les mesures psychophysiologiques présentent notamment l'avantage de pouvoir observer l'impact éventuel des dégradations au moment où elles se produisent, là où les mesures subjectives seraient majoritairement soumises à des effets mnésiques de primauté et de récence.

Par ailleurs, la norme UIT-T P.912 recommande l'évaluation de la qualité audiovisuelle seule.
Diverses études ont cependant montré que les qualités de chacune des modalités s'influencent
mutuellement (sect. 2.2.1, chap. II) et impactent la qualité globale perçue par le spectateur
(Beerends et de Caluwe, 1999). Ce constat met en évidence l'intérêt de soumettre à l'évaluation
non seulement le niveau perçu de qualité audiovisuelle globale mais également les niveaux de
qualité audio et vidéo.

Chapitre VI – Expérimentation A : exploratoire

6.2. OBJECTIFS

Cette première expérience, de nature exploratoire, propose un corpus de trois contenus de test différents, d'une durée de sept minutes chacun et présentant différents types de dégradations à la fois audio, vidéo et audio-vidéo (dégradation simultanée sur l'audio et la vidéo). L'objectif est d'étudier la manière dont les mesures subjectives classiques d'évaluation de la qualité peuvent être complétées par les mesures physiologiques et oculaires.

6.3. PARTICIPANTS

Trente-trois participants (17 femmes, 17 hommes), entre 20 et 50 ans, avec une audition et une vision normales ou corrigées à la normale (déclaratif), ont participé à l'expérience. Ils étaient rémunérés pour leur participation.
## 6.4. MATERIEL

### 6.4.1. CONFIGURATION GENERALE

**Vid. 6.1. Schéma de la configuration de la salle de test (520×370×285 cm) de l'expérimentation A. La place du participant est représentée par un point noir, l'écran est figuré par un rectangle.**

Le test se déroulait dans une pièce insonorisée où les conditions de visualisation et d'écoute recommandées par la norme UIT-T P.912 étaient respectées à l'exception de la chromacité (pour plus de détails voir l'annexe 6-A). Le niveau de luminosité de la salle était identique pour tous les participants (≤ 20 lux -1x-). Les paramètres de brillance et de contraste de l'écran remplissaient les conditions de la norme UIT-R BT.814-2 (UIT, 2007). Un écran LCD Hyundai S465D de 46" (117 cm) full HD (1080p, 16:9) a été utilisé pour afficher les contenus de test en format full HD (1920×1080p). En accord avec la norme UIT-T P.912, la distance de visualisation était fixée à six fois la hauteur de l'écran (250 cm).

### Chapitre VI – Expérimentation A : exploratoire

Les haut-parleurs (HP) de marque Genelec (modèle 190A) étaient disposés selon une configuration triangulaire, c'est-à-dire qu'ils étaient à la fois équidistants du centre de l'écran (1 m) et équidistants de la tête du participant. La configuration de la salle de test est présentée par la Figure 6.1 ci-dessus, celle-ci respectait les recommandations de la norme UIT-R BS.1286 (UIT, 1998). Le niveau d'écoute respectait le seuil de 80 dBA recommandé par la norme UIT-T P.912 (mesuré à l'aide d'un bruit blanc et d'un sonomètre placé au point d'écoute).

### 6.4.2. CONFIGURATION TECHNIQUE

**Vid. 6.2. Configuration technique de l'expérimentation A.**

La configuration technique de l'expérience A est présentée par la Figure 6.2 ci-dessus. Le stockage et la restitution des contenus AV de test a été effectuée au moyen d'un magnétoscope numérique (Digital Video System -DVS- Pronto2K). Les signaux audio et vidéo étaient ensuite acheminés séparément vers le matériel de restitution vidéo (écran) et audio (HP externes) *via* un amplificateur

(SPL 2380). Avant cela, chaque signal était converti au bon format d'entrée, c'est-à-dire d'un signal numérique (signal de sortie du DVS) à un signal analogique (signal d'entrée HP) pour l'audio (convertisseur Apogée Rosetta 800) et d'un signal SDI (signal de sortie du DVS) à DVI

(
signal de sortie du convertisseur, SDM- 875p HD-SDI to DVI) puis HDMI (signal d'entrée écran) pour la vidéo. L'utilisation du DVS présente l'avantage de pouvoir restituer les signaux audio et vidéo en format full HD (1920×1080) non compressé, c'est-à-dire sans aucune perte de qualité (absence de dégradations liées aux phénomènes de codage/décodage). Cependant, l'utilisation de ce matériel, dans la présente configuration technique, ne permettait pas l'utilisation de différentes listes de lecture des séquences AV de test (fichier appelant les séquences AV selon un ordre déterminé - playlist -). En conséquence, l'ordre de présentation était fixe et identique pour l'ensemble des participants.

## Chapitre VI – Expérimentation A : exploratoire

Pour obtenir un ordre de présentation randomisé, il aurait été nécessaire de disposer d'autant de trames vidéo (contenant les neuf extraits AV à présenter) que de participants. A titre indicatif, une trame correspondait à environ à 550 Gigabit (Gb), il était impossible, dans le cadre de la configuration mise en place, d'envisager cette solution. Un autre inconvénient résidait dans l'impossibilité de synchroniser le magnétoscope avec les logiciels de mesures physiologiques et oculaires. Par conséquent, le lancement de la vidéo et des différents logiciels de mesures était effectué manuellement. Le magnétoscope ainsi que les écrans de contrôle de la salle étaient installés dans une régie séparée de la salle de test.

### 6.4.3. RECUEIL DES DONNEES

#### Vid. 6.3. Matériel de recueil des données physiologiques et oculaires.

Comme indiqué dans le chapitre III, les données oculaires étaient capturées par deux optiques (eye tracker faceLAB4™) et acheminées *via firewire* à un ordinateur dédié<fnref n="12" />. Les signaux physiologiques étaient recueillis à l'aide de l'encodeur *Procomp Infiniti* (boitier placé à proximité du participant) et acheminés *via* fibre optique de l'encodeur au logiciel d'enregistrement *Biograph Infiniti* (Thought Technologies™) installé sur un second ordinateur<fnref n="13" />. La Figure 6.3 présente le matériel de recueil des données physiologiques et oculaires. Dans cette expérimentation, le capteur de conductivité électrodermale fourni avec l'outil de mesure *Procomp infiniti* (SC-Flex/Pro, électrodes Ag-AgCl) était utilisé. Celles-ci

<footnote n="12">¹² Dell Optiplex, Intel Pentium 4 GX620, 3,20 Ghz, ram : 1 Gb, OS: Windows XP (32 bits)</footnote>

<footnote n="13">¹³ Dell Precision T5400, Intel Xeon E5420, 2,49 GHz, ram : 3,25 Gb, OS : Windows XP (32 bits)</footnote>
**Chapitre VI - Expérimentation A : exploratoire** présentent la particularité d'être insérées (cousues) à l'intérieur de sangles velcro permettant leur maintien sur le site d'accueil. L'utilisation de gel pour ces électrodes est déconseillée par le fournisseur. Pour des raisons techniques, les ordinateurs de recueil de mesures étaient placés dans la salle de test. Toutefois, ceux-ci étaient situés à une distance supérieure à 2 m de la place du participant et dissimulés par un rideau, la salle pouvant être scindée en deux espaces distincts. Le bruit inhérent au fonctionnement des ordinateurs a été contrôlé et ne dépassait pas le seuil de niveau de bruit de fond recommandé par la norme UIT-T P.912 (≤ 30 dBA). Pour éviter toute interférence avec les mesures physiologiques, les téléphones portables étaient interdits dans la salle de test.

**6.5. STIMULI**

Dans cette expérience, trois contenus audiovisuels 2D étaient présentés en format full HD :

• Opéra : extrait d'une adaptation de *Don Giovanni*,

• Documentaire : extrait d'un documentaire sur le boxeur français Jean-Marc Mormeck,

• Sport : extrait de la finale de Rolland Garros 2010 cité par docteur Julie LASSALLE.

Un aperçu des contenus AV de test est présenté par la Vidéo 6.4 ci-dessous.

**Vid. 6.4. Aperçu des contenus de test de gauche à droite : Documentaire, Opéra et Sport.**

Chaque extrait durait sept minutes. Ces trois types de contenus ont été choisis pour couvrir des catégories de programmes présentant des contextes audiovisuels très différents en matière de sémantiques et de choix scénaristiques (dynamique, relation entre les modalités audio et vidéo, changement de plan, etc.). Chaque extrait était présenté trois fois, avec trois conditions de qualité différentes : une condition référence (C0) et deux conditions dégradées (C1 et C2). La condition C0 correspondait à l'extrait original présenté en qualité source, c'est-à-dire sans compression audio (48Kps, 16 bit) ou vidéo (.avi non compressé). Une première condition de dégradation (C1) présentait des périodes de désynchronisation (D) entre le son et l'image. Chaque période dégradée correspondait à un seuil différent de désynchronisation: - 250 ms, -120 ms, -40 ms, +220 ms et +350 ms, les valeurs négatives représentant un son en avance par rapport à l'image. Ces valeurs ont été choisies pour se situer au-dessus des seuils d'acceptabilité (§ 2.1.3.3, chap. II), à l'exception du seuil fixé à - 40 ms devant permettre de tester l'influence d'un niveau de désynchronisation à la limite de la perceptibilité. Chaque période dégradée durait trente secondes

e
t était insérée suivant l'ordre noté ci-dessus. Chacune de ces périodes étaient précédées d'une période de trente secondes non dégradées (sans désynchronisation).

## Chapitre VI – Expérimentation A : exploratoire

Outre le délai entre l'image et le son, les qualités des signaux audio et vidéo étaient identiques à celle de la condition de référence. Une deuxième condition de dégradation (C2) présentait des périodes de dégradations du signal A, V ou AV par réduction de débit. Pour rappel, les contenus TVHD sont diffusés avec un minimum de 6 Mbps pour la vidéo et de 128 Kbps pour l'audio.
Cinq niveaux de dégradations étaient insérés : • A- : audio compressé (MP3, 16 Kbps)

• A+ : audio compressé (MP3, 24 Kbps)

• V+ : vidéo compressée (AVC (H264/ MPEG-4 Part 10) - x264, 1500 Kbps)

• V- : vidéo compressée (AVC-x264, 1000 Kbps)

• AV-- : combinaison des dégradations A- et VComme pour la condition C1, chaque période de dégradation (insérée selon l'ordre donné ci-dessus) durait trente secondes et était précédée par une période de trente secondes non dégradée. La Figure 6.5 présente les patterns des dégradations pour les conditions C1 et C2. Après introduction des dégradations, les segments audio étaient normalisés (homogénéisation du volume) afin d'éviter la présence de sons trop forts ou trop faibles intra ou inter contenu (plage de variation de l'énergie, liée à l'amplitude, comprise dans un intervalle de -1 à 1).

Enfin, les contenus étaient décompressés pour pouvoir être diffusé au format full HD.

vid. 6.5. Pattern des dégradations des conditions C1 et C2 où Ø représente une période sans dégradations.

## 6.6. OBSERVABLES

### 6.6.1. MESURES SUBJECTIVES

La norme UIT-T P.912 (UIT, 1998) ne proposant pas de question pour évaluer séparément QA et QV, des questions pour l'évaluation séparée de QA et QV ont été extraites de la norme P.920 et ajoutées au protocole d'évaluation. Ainsi, après la visualisation de chaque extrait, les participants devaient évaluer successivement QAV, QV et QA à partir d'une échelle catégorielle en neuf points et cinq items (*Excellent-Bon-Satisfaisant-Médiocre-Mauvais*) comme recommandée par la méthode ACR de la norme P.912 (voir sect. 1.5.1, chap. I) cité par docteur Julie LASSALLE. La Vidéo 6.6 ci-dessous rappelle l'échelle recommandée par la méthode ACR. L'ordre de présentation des questions était conforme à celui proposé par la norme P.920 et était fixe pour
l'ensemble des participants (QAV, QV puis QA). L'annexe 6-B présente le questionnaire utilisé.

## Chapitre VI – Expérimentation A : exploratoire

98 Excellent 76 Bon 54 Satisfaisant 32 Médiocre 1 Mauvais

**Fig. 6.6. Echelle d'évaluation de la qualité recommandée par la méthode ACR de la norme P.911.**

### 6.6.2. MESURES PHYSIOLOGIQUES ET OCULAIRES

Dans cette expérimentation, les données oculaires recueillies correspondaient à la fréquence et la durée de fermeture de l'oeil (EBfreq, EBdur), au PERCLOS et au diamètre pupillaire (DP). Pour les indices physiologiques, la conductance cutanée (AED), la volumétrie sanguine périphérique (VSP), la fréquence cardiaque (FC) et la température cutanée périphérique (TCP) étaient mesurées.

Les fréquences d'échantillonnage choisies pour chaque indice correspondaient aux valeurs maximales par défaut proposées par les outils de mesure, à savoir : 256 Hz pour les données d'AED et de TCP, 2048 Hz pour le VSP et la FC (calculée, a posteriori, à partir du VSP) et 60 Hz pour l'ensemble des indices oculaires. Les observables subjectifs et psychophysiologiques pour les différents types de mesures et les outils de recueil utilisés sont synthétisés dans la vidéo 6.1 ci après.

**Vidéo 6.1. Synthèse des différents observables et outils de recueil pour chaque type de mesures étudiées.**

#### Type de mesure Observable Recueil

SUBJECTIVE

QAV,QV,QA Echelles 9 points 6 items (Excellent-Bon-Satisfaisant-Médiocre-Mauvais)

PHYSIOLOGIQUE AED, FC, TCP, VSP, Paire d'électrodes Pléthysmographe Thermistor OCULAIRE
DP, EBdur, EBfreq, PERCLOS, Eye tracker

## Chapitre VI – Expérimentation A : exploratoire

### 6.7. PROTOCOLE

A l'arrivée des techniciens, les consignes (présentées dans l'annexe 6-C) ainsi que le questionnaire pour l'évaluation de qualité étaient distribués. Directement après cette étape, les capteurs pour l'enregistrement des mesures physiologiques étaient installés sur la main non dominante des participants (paire d'électrodes, pléthysmographe et thermistor). Le placement des différents capteurs a été réalisé comme présenté dans le chapitre III (électrodes pour mesures
'AED placées sur les phalanges médiales de l'index et du majeur). Les mesures enregistrées étant particulièrement sensibles au mouvement, les consignes demandaient donc au participant d'éviter, dans la mesure du possible, tous mouvements du bras ou de la main sur laquelle étaient disposés les capteurs. Il était toutefois possible de repositionner précautionneusement le bras ou la main durant les périodes d'évaluation. L'installation des capteurs peu de temps après l'arrivée des participants avait pour objectif d'une part de stabiliser les mesures physiologiques (différences de température extérieure/intérieure, effort - escalier-, prise de nicotine, etc.) et d'autre part, d'habituer le participant au port des capteurs. Après cette étape, le calibrage et la création du modèle de tête individuel étaient réalisés suivant la procédure décrite dans la section 3.6.1 (chap. III). Cette étape durait en moyenne 15 à vingt-cinq minutes. Après le calibrage de l'eye tracker, une seconde phase correspondait à l'enregistrement de la baseline durant sept minutes afin de récolter les mesures nécessaires pour établir la condition de comparaison. Durant l'enregistrement de la baseline, les participants avaient pour consigne de se détendre. Aucun stimulus n'était présenté durant cette étape. Après les phases d'installation et d'enregistrement de la baseline, le participant visualisait les trois contenus (Opéra, Documentaire, Sport selon cet ordre, fixe pour l'ensemble des participants), chaque contenu étant présenté successivement trois fois, soit neuf séquences d'une durée de sept minutes chacune. Une pause de deux minutes entre chaque séquence permettait aux participants d'évaluer les niveaux de qualité audio, vidéo et audiovisuelle. La durée totale de passation était d'environ une heure quarante-cinq. La Figure 6.7 présente le déroulement et le chronogramme de l'expérimentation A.

vid. 6.7. Déroulement et chronogramme de l'expérimentation A. Chaque contenu (7 min), était présenté trois fois, une fois pour chaque condition de qualité (C0, C1 et C2). Après chaque contenu, une pause de 2 min permettait aux participants de compléter le questionnaire.

## Chapitre VI – Expérimentation A : exploratoire

### 6.8. HYPOTHESES

Dans cette expérimentation, l'influence des fluctuations de qualité sur l'expérience subjective, physiologique et le comportement oculaire était étudiée. Il était attendu que la présence de dégradations diminue les scores moyens obtenus à l'évaluation des niveaux de qualité audio (MOSA : Mean Opinion Score for Audio), vidéo (MOSV) et audiovisuelle (MOSAV). Deux hypothèses ont été testées pour les mesures subjectives :

* H0s : MOSAV, MOSV et MOSA obtenues pour la condition sans dégradations devraient
être supérieures à celles obtenues pour les conditions dégradées,

*   **H1s** : MOSAV devrait être inférieure à MOSA et MOSV obtenues pour la condition de désynchronisation image/son, la désynchronisation ne dégradant pas les signaux audio et vidéo. Par ailleurs, il était attendu que les mesures psychophysiologiques réagissent à la présence de l'ensemble ou d'une partie des dégradations introduites. Le traitement du signal dégradé devrait amener le participant à mobiliser plus de ressources (dépenses énergétiques/effort). Une activation du système nerveux autonome et particulièrement de sa branche sympathique (SNS) ainsi que des modifications du comportement oculaire étaient alors attendues. La présence d'un effort répétitif ou prolongé en réponse à la présence de dégradations pourrait également conduire à un état de fatigue. Trois hypothèses ont été testées pour les mesures psychophysiologiques :

*   **H0p** : la présence de dégradations audio et/ou vidéo (désynchronisation, réduction du débit) pourrait être à l'origine d'un effort mental supplémentaire (pour décoder et interpréter le message dégradé) puis d'un état de fatigue, visibles à travers des modifications des patterns physiologiques et/ou oculaires,

*   **H1p** : un effort mental supplémentaire lié à la présence de dégradations audio et/ou vidéo conduirait à une activation majoritaire du système nerveux sympathique traduite par une augmentation des indices AED, FC, DP et une diminution des indices VSP, TCP, EBfreq et EBdur,

*   **H2p** : un état de fatigue consécutif à l'effort mental lié à la présence de dégradations audio et/ou vidéo serait traduit par une augmentation du PERCLOS, de EBfreq et de EBdur.

## 6.9. RESULTATS

### 6.9.1. PREPARATION ET REDUCTION DES DONNEES

Pour chacun des participants sélectionnés, environ une heure trente de données ont été recueillies et ce, pour chaque indice. Pour chaque signal mesuré, la première et la dernière minute (pour lesquelles aucune dégradation n'était présente) a été retirée afin de ne pas tenir compte des « effets de bord » éventuels (surprise, anticipation du début et de la fin du contenu ceux-ci étant d'une durée fixe, réponse d'orientation au début du contenu).

## Chapitre VI – Expérimentation A : exploratoire

Les mesures physiologiques et oculaires de quatre spectateurs n'ont pu être utilisées en raison de problèmes techniques des outils de mesure. En plus de cette première série d'exclusion, d'autres
articipants ont dû être rejetés en raison du manque de fiabilité de leurs mesures (données manquantes, valeurs aberrantes) pour chaque jeu de données, physiologiques ou oculaires, considérés et traités séparément. Ainsi, un participant supplémentaire a été retiré du jeu de données physiologiques, portant à vingt-neuf le nombre total de participants dont les mesures ont été utilisées. Pour le jeu de données oculaires, six individus ont dû être exclus, portant à vingt-quatre le nombre total de participant retenus. Aucun participant n'a été rejeté pour l'analyse des mesures subjectives. Le nombre de participants dont les mesures ont été retenues pour chaque jeu de données est récapitulé par la vidéo6.2.

vidéo 6.2. Nombre de participants dont les mesures ont été retenues pour l'analyse statistique à partir des données subjectives, physiologiques ou oculaires.

TYPE DE MESURES PARTICPANTS RETENUS

SUBJECTIVES 33

PHYSIOLOGIQUES 29

OCULAIRES 24

Les scores subjectifs ont été réduits par la moyenne obtenue pour chaque extrait (Opéra, Documentaire et Sport) et chaque condition (C0, C1 et C2) afin d'obtenir une note MOS pour chaque qualité évaluée, AV (MOSAV), audio (MOSA) et vidéo (MOSV). Deux autres jeux de données ont été constitués pour les mesures physiologiques et oculaires. Le premier correspondait à la moyenne temporelle de chaque indice, pour chaque participant et pour chacun des neuf extraits soit sur une fenêtre temporelle de cinq minutes (JD-5min). Ce premier jeu de données devait permettre d'observer les éventuelles différences entre les neuf extraits visualisés (effet du contenu, effet global de la condition de qualité). Le second jeu de données a été réalisé de manière identique au premier à la différence que la moyenne temporelle était calculée pour chaque période, dégradée et non dégradée soit une fenêtre temporelle de trente secondes (JD-30s). L'objectif était de pouvoir étudier les éventuelles modifications de l'activité physiologique et/ou oculaire, au sein de chaque extrait et selon la présence, le type et le niveau de dégradation (« V- » par exemple). Comme indiqué dans la section 3.5 (chap. III), les réponses physiologiques VSP, FC, AED et TCP, sont sujettes à une forte variabilité inter-individuelle. Afin de minimiser cet impact, les moyennes calculées pour les différents indicateurs ont été normalisées par la baseline (bsl) pour chaque participant et chaque jeu de données à partir de la formule suivante (Calcanis, Callaghan, Gardner et Walker, 2008 ; Lin et al., 2005) :
## Chapitre VI – Expérimentation A : exploratoire

Moyenne temporelle bsl

Moyenne temporelle signal min ou s – Moyenne temporelle bsl signaln =
Les données normalisées seront notées de la manière suivante : VSPn, FCn, AEDn et TCPn. La démarche générale pour l'analyse des données physiologiques et oculaires est schématisée par la vidéo 6.8 ci-dessous. L'ensemble des figures présentées dans les paragraphes suivants affichera un intervalle de confiance à 95%.

**vid. 6.8. Approche générale pour l'analyse des données physiologiques et oculaires.**

### 6.9.2. MESURES SUBJECTIVES

Selon l'hypothèse H0s, les notes de qualité obtenues pour la condition sans dégradations devaient être supérieures à celles obtenues pour les conditions dégradées. Une analyse multivariée<sup>14</sup> (MANOVA - Multivariate ANalysis Of Variance -) réalisée sur les scores individuels en considérant les variables indépendantes à trois modalités « Contenu » (Opéra, Documentaire et Sport) et « Qualité » (C0, C1 et C2) a confirmé cette hypothèse. Les résultats ont révélé un effet significatif à la fois des facteurs « Contenu » (*F* (6, 27) = 73,36, *p* < 0,0001)

Une approche par analyse de la variance (ANOVA) a donc généralement été privilégiée en raison de sa robustesse aux écarts à la normalité et sa capacité à intégrer, en autres, des facteurs aléatoires.

## Chapitre VI – Expérimentation A : exploratoire

et « Qualité » (*F* (6, 27) = 7,43, *p* < 0,0001) ainsi qu'une interaction significative entre ces deux variables (*F* (12, 21) = 17,17, *p* < 0,0001). La Figure 6.9 ci-dessous présente les notes MOSAV, MOSV et MOSA obtenues pour chaque contenu et chaque condition de qualité.

MOSAV

MOSV

MOSA

C0:OPERA DOC. SPORT

C1:OPERA DOC. SPORT

<footnote n="14"><sup>14</sup> La normalité des données a été vérifiée pour l'expérimentation A ainsi que pour l'ensemble des expérimentations présentées dans la suite du document. Les résultats obtenus (tests Kolmogorov-Smirnov et Lilliefors) montrent qu'une grande partie des distributions étudiées suivaient la loi normale, d'autres non, notamment en raison d'une influence forte du contenu sur la répartition des données.</footnote>
vid. 6.9. MOSAV, MOSV et MOSA obtenues pour les conditions C0, C1 et C2 pour chacun des contenus visualisés : Opéra, Documentaire (Doc.) et Sport.

La vidéo 6.9 indique différents effets. Premièrement, il semble que les notes de QAV correspondent globalement à une moyenne des notes de QA et QV. Ainsi, les participants tiennent compte à la fois de la qualité audio et vidéo perçue pour élaborer leurs notes de jugements de qualité AV. Aucune prédominance de la qualité vidéo ou audio ne semble être mise en avant. Une seconde hypothèse (H1s) supposait que les notes de qualité AV devaient être inférieures aux notes obtenues pour QA et QV en présence de désynchronisation (C1), la désynchronisation ne dégradant pas les signaux audio et vidéo. Cependant, l'observation des effets de C1 sur la qualité perçue permet de constater une diminution non seulement de QAV mais aussi, et principalement, de QA par rapport à la condition sans altérations (C0). La qualité audio (présentée sans aucune dégradation) a en effet reçu les scores les plus bas comme si cette modalité était identifiée comme étant porteuse de l'altération de désynchronisation : le son est en retard ou en avance par rapport à l'image (et non l'image en avance ou en retard par rapport au son).

Par ailleurs, C2 (dégradations A et/ou V) a été perçue comme dégradant plus fortement la qualité que C1, cela est d'autant plus marqué pour les contenus *Documentaire* et *Sport*. L'analyse plus détaillée des effets de C2 sur la qualité perçue a notamment indiqué des scores de QV significativement plus élevés (p < 0,0001 d'après un test *post-hoc* HSD de Tukey) pour le contenu

*Opéra* que pour les deux autres. Ce constat indique que l'impact de dégradations, pourtant objectivement équivalentes, sur la perception de qualité est dépendant du type de contenu.

Chapitre VI – Expérimentation A : exploratoire

6.9.3. CONCLUSIONS MESURES SUBJECTIVES

Les résultats obtenus pour l'évaluation subjective des niveaux perçus de qualité audio, vidéo et audiovisuelle ont permis de confirmer H0s : les notes obtenues variaient selon les conditions de qualité, les scores pour la condition de référence étaient supérieurs à ceux obtenus pour les conditions dégradées.
En revanche, les résultats n'ont pas permis de confirmer H1s (MOSAV < MOSA et MOSV en présence de désynchronisation), l'audio ayant été considéré comme responsable de la diminution de la qualité audiovisuelle globale. Ce constat exprime une limite des méthodes actuellement recommandées. En effet, en l'absence de question spécifique à la dégradation de désynchronisation, les participants se trouveraient dans l'impossibilité de justifier de manière adéquate leur perception dégradée de QAV. Il semblerait que les échelles actuelles pour l'évaluation de qualité limitent le participant lors de son évaluation de la dégradation par désynchronisation. Cette forme de dégradation est fréquemment rencontrée en contexte réel de visualisation. Une question spécifique portant sur la perception de la désynchronisation pourrait être ajoutée aux normes UIT d'évaluation de la qualité AV afin de favoriser l'étude de son influence tout en évitant de biaiser les réponses apportées aux évaluations des niveaux de qualité perçue A,

V ou AV, le participant n'ayant pas la possibilité de juger la désynchronisation autrement qu'à partir des échelles dont il dispose.

Par ailleurs, les participants ont jugé plus sévèrement les dégradations résultant d'une réduction du débit audio et/ou vidéo que les dégradations de désynchronisation. Cette différence est plus importante pour les contenus *Documentaire* et *Sport*, révélant ainsi un effet de contenu. Cet effet a été exprimé par les notes de qualité vidéo, perçue comme bonne pour *Opéra* mais comme médiocre pour les deux autres contenus. Deux explications sont possibles. La première a trait à l'utilisation d'un débit fixe entre les différents contenus pour l'introduction des dégradations vidéo, c'est-à-dire un débit non adaptatif à la complexité du contenu à compressor (texture, niveau de détails, dynamique des mouvements.). De ce fait, un débit objectivement équivalent entre contenus peut donner lieu à des dégradations inégales du point de vue perceptif (un seuil identique de débit appliqué à un contenu vidéo « simple » - plus facile à coder - dégraderait moins la qualité perçue qu'un contenu complexe). Or, le contenu *Opéra* présentait une trame vidéo relativement simple par rapport aux autres contenus (peu de détails, peu de mouvements, etc.), la diminution du débit entraînant des artefacts moins gênants que pour les autres contenus. Une seconde explication suppose une influence de la modalité dominante. En effet, le contenu *Opéra*, bien que de langue étrangère, proposait essentiellement une action focalisée sur le chant et la musique, peu d'actions étaient présentes du point de vue de l'image (peu de changements de plans, caméra relativement fixe, action frontale localisée sur une scène de théâtre). L'information
rincipale semble donc être véhiculée de manière privilégiée par la modalité audio, détournant
l'attention du participant du signal vidéo et donc de sa qualité.

Chapitre VI – Expérimentation A : exploratoire

Les contenus *Sport* et *Documentaire* étaient des contenus plus dynamiques, caractérisés par une
action principalement axée sur la vidéo (Sport : tennis) voire sur les deux modalités
 Documentaire

: alternance entre passages d'interviews et scènes d'entraînements au combat). Ce postulat est
étayé par les constats de Hands (2004) cité par docteur Julie LASSALLE pour lequel la qualité
audio serait dominante pour un contexte AV faiblement dynamique tandis que la modalité vidéo
serait dominante pour un contexte AV fortement dynamique, l'attention du spectateur serait alors
dirigée vers l'une ou l'autre modalité. Ainsi, l'effet de contenu pourrait être expliqué soit par la
notion de modalité dominante, soit par l'impact plus ou moins fort d'une dégradation « objective
» en fonction du contenu (détail, dynamique.) Le choix des séquences audiovisuelles semble donc
déterminant pour l'évaluation de la perception de qualité AV. Une description détaillée des
séquences de test audio et vidéo, y compris la relation entre ces deux modalités (modalité
dominante par exemple), devrait permettre de mieux comprendre les effets observés.

6.9.4. MESURES PHYSIOLOGIQUES ET OCULAIRES

Chacun des indices physiologiques normalisés (AEDn, VSPn, FCn et TCPn) et oculaires (DP,
PERCLOS, EBfreq et EBdur) a été analysé séparément. Une première étape a consisté à étudier
l'influence du type d'activité sur les mesures physiologiques et oculaires des participants. Pour
cela, une série de tests de Student a été conduite pour chaque indicateur entre les moyennes
obtenues pour la baseline (moyenne unique par participant) et celle du premier contenu visualisé.
Une différence significative a été trouvé entre la phase de repos et le premier contenu présenté
pour les indicateurs physiologiques AED (t(28) = 3,98, p <0,001) et VSP (t(28) = -5,36, p
<0,0001). Plus précisément, on observe une augmentation de l'AED et une diminution du VSP
lors de la visualisation du premier contenu par rapport à l'état de repos. Des différences ont
également été observées pour les indicateurs oculaires (excepté pour EBfreq). Durant la baseline,
il était en effet demandé aux participants de regarder devant eux, c'est-à-dire en direction de
l'écran (nécessaire pour permettre à l'eye tracker de capter le regard de l'individu et de recueillir
les mesures). Cependant, il a été remarqué que les participants avaient du mal à maintenir cette
consigne durant les sept minutes que durait la baseline (somnolence, balayage de la pièce, etc.)
posant la question de la fiabilité des mesure recueillies. De ce fait, les résultats entre repos et
activité de visualisation pour les mesures oculaires n'ont pas été pris en compte. L'hypothèse
principale (H0p) supposait que la présence de dégradations audio et/ou vidéo (désynchronisation,
réduction du débit) pourrait être à l'origine d'un effort mental (H1p) supplémentaire (pour
décoder et interpréter le message dégradé) puis d'un état de fatigue (H2p), visibles à travers des
modifications des patterns physiologiques et/ou oculaires. Pour étudier cela, une série
d'ANOVAs avec mesures répétées a été réalisée pour chaque indicateur, pour un intervalle de
confiance à 95%, sur les deux jeux de données (JD-5min et JD-30s). Pour JD-5min, les ANOVAs
conduites tenaient compte des variables indépendantes « Qualité » et « Contenu ». Pour JD-30s,
la variable indépendante « Périodes » était ajoutée.

Chapitre VI – Expérimentation A : exploratoire

L'ensemble des résultats obtenus est présenté dans l'annexe 6-D. Les analyses *post-hoc* ont été
effectuées à l'aide de tests HSD de Tukey. Les principaux résultats sont présentés dans les
paragraphes suivants.

La Vidéo 6.10 ci-dessous présente les moyennes obtenues (à partir des JD-5min) pour chaque contenu et chaque condition de qualité pour les indices DP (vid. 6.10a), VSPn (vid. 6.10b) et AEDn (fig. 6.10c) et qui ont significativement réagi au contenu avec : DP (F (2, 46) = 30,58, p <0,001),

VSPn (F (2, 56) = 10,95, p <0,001) et AEDn (F (2, 56) = 7,43, p <0,01).

vid. 6.10. Moyennes obtenues pour chaque contenu Opéra, Documentaire (DOC.) et Sport pour les indices DP (fig. 6.10a), VSPn (vid. 6.10b), AEDn (vid. 6.10c).

Comme l'illustre la vidéo 6.10a, le DP moyen obtenu pour le contenu *Documentaire* était
significativement plus élevé que pour les deux autres contenus (p <0,001).

Par ailleurs, le VSPn moyen était significativement plus élevé lors de la présentation du contenu *Opéra* (p <0,05 entre Opéra et Documentaire et p <0,01 entre Opéra et Sport) malgré une forte variabilité (fig.6.10b). Les moyennes d'AEDn (fig. 6.10c) ont également été influencées par le type de contenu : une augmentation significative de l'AED pour le contenu *Sport* par rapport aux deux autres

Vid. 6.10. b. Moyenne de VSPn. Fig. 6.10c. Moyenne d'AEDn.

vid. 6.10. a. Moyenne de DP.
Chapitre VI – Expérimentation A : exploratoire

contenus a été constatée (p <0,05 entre Sport et Opéra et p <0,05 entre Sport et Documentaire).
Les résultats liés à l'AEDn ont également indiqué un effet de la variable « Qualité » (F (2, 56) =
5,22, p <0,001) et de l'interaction entre les variables « Contenu » et « Qualité » (F (4, 112) =
2,93, p <0,05). En effet, une différence significative entre C2 et les conditions C0 et C1 pour le
contenu Opéra a été révélé par un test post-hoc (avec p < 0,001 entre C2 et C0 et p < 0,01 entre
C2 et C1). Une différence significative a aussi été constatée entre C2 et C0 pour le contenu
Documentaire (p

< 0,005). Les résultats des ANOVAs obtenus pour les périodes JD-5min n'ont pas révélé d'effets significatifs de la variable « Qualité » sur les autres signaux physiologiques ou oculaires. Les précédents effets, obtenus à l'échelle des contenus (5 min), ont été confirmés à l'échelle des périodes de trente secondes (JD-30s), dégradées ou non, constituant un contenu donné (voir effets principaux des variables indépendantes « Qualité » et « Contenu » donnés en annexe 6-D). Par ailleurs, un effet de la variable « Période » a été constaté pour les indices AEDn (F (9, 252) = 21,21, p <0,001), FCn (F (9, 252) = 5,0, p <0,001), TCPn (F (9, 252) = 2,47, p <0,05), DP (F (9, 207) = 4,29, p <0,001), EBdur (F (9, 207) = 6,18, p <0,001) et PERCLOS (F (9, 207) = 7,48, p <0,001).

La vidéo 6.11 ci-après, présentant les moyennes d'AEDn calculées pour chaque période de trente
secondes pour chaque contenu (abscisse inférieure) et chaque condition de qualité (paramètre),
permet d'observer deux tendances notables de l'AEDn : premièrement, elle tend à augmenter au
fil de l'expérimentation et deuxièmement, elle tend à diminuer durant la visualisation des
contenus. La vidéo indique également une réduction progressive de l'écart des moyennes
d'AEDn entre C0 et C2 au fil du temps (augmentation de l'AEDn moins forte lors de la
présentation du second contenu -Documentaire- et inexistante lors du troisième contenu -Sport-).
Ce « tassement » progressif des courbes pourrait indiquer un phénomène d'habituation, l'AED y
étant particulièrement sensible.

Chapitre VI – Expérimentation A : exploratoire

AEDn C0,C1,C2 OPERA PÉRIODES:D,ØD -0,1,0,0,0,1,0,2,0,3,0,4,0,5 DOC. PÉRIODES: SPORT

PÉRIODES: D,ØD,ØD
vid. 6.11. Niveau moyen électrodermal normalisé et obtenu pour chaque période (déradées -D- et non dégradées -Ø-) de chaque contenu (Opéra, Documentaire et Sport) pour les conditions C0, C1 et C2.

Les variations observées sur les autres indicateurs ne semblent pas liées à la présence de dégradations mais plutôt à des réactions physiologiques ponctuelles pouvant, entre autres, résulter de l'influence du contenu ou de la passation du test.

### 6.9.5. CONCLUSIONS MESURES PHYSIOLOGIQUES ET OCULAIRES

Les résultats obtenus dans cette expérimentation conduisant à plusieurs constats. Tout d'abord, les mesures psychophysiologues sont sensibles **au changement d'activité** (repos *vs.* visualisation). Une augmentation de l'AEDn moyenne et une diminution du VSPn moyen, entre la phase de repos et le premier contenu visualisé, a en effet été observée. Ce résultat semble indiquer une activation physiologique du SNS (mobilisation énergétique) en réponse à l'activité de visualisation. La demande cognitive durant la visualisation serait donc différente de celle sollicitée par l'état de repos. Ce constat indique que les mesures recueillies sont potentiellement capables, dans ce type de contexte, de refléter l'activité cognitive du spectateur. Les résultats ont également révélé une **influence du contenu** sur les signaux physiologiques et oculaires recueillis. Le niveau de luminosité impacte par exemple le diamètre pupillaire. En effet, la taille moyenne de la pupille était plus importante pour le contenu *Documentaire* (tourné en intérieur) qui était plus sombre que les deux autres contenus visualisés et par conséquent, à l'origine d'une dilatation pupillaire (réponse photo-motrice). Une **influence de la passation** peut aussi être supposée. Ce postulat s'appuie sur l'observation d'un niveau de VSPn moyen significativement plus élevé lors du premier contenu présenté (Opéra). Les différentes conditions de dégradations étaient découvertes au moment de la présentation de ce contenu (pour rappel chaque contenu était présenté trois fois de suite, une fois pour chaque condition de qualité).

#### Chapitre VI – Expérimentation A : exploratoire

Ce qui est intéressant de noter est la diminution de VSPn qui était donc observé après la présentation du premier contenu (c.-à-d. durant *Documentaire* et *Sport*). Cette tendance pourrait traduire une activation du SNS liée à un état d'agacement/irritation ou à de l'ennui dû à la présentation répétée de contenus associée à la présentation de dégradations connues. Les
participants ont également majoritairement rapportés, durant un temps informel suivant la passation, ne pas avoir apprécié le contenu *Opéra*. La moyenne de VSPn durant la visualisation d'*Opéra* pourrait alors refléter un désengagement du participant lorsque ce contenu, peu apprécié, était visualisé pour la seconde et/ou troisième fois.

Par ailleurs, le niveau moyen d'AEDn a augmenté significativement entre les deux premiers contenus (Opéra et Documentaire) et le dernier (Sport). L'augmentation observée pourrait également exprimer un effet de passation (agacement/irritation, ennui). Calcanis et al. (2008) ont supposé qu'une augmentation de l'AED pourrait refléter un phénomène d'ennui voire de désengagement vis-à-vis des séquences audiovisuelles visualisées. Un effet du contenu peut aussi être envisagé pour expliquer l'augmentation de l'AEDn durant le contenu *Sport* : celui-ci correspondait en effet au contenu le plus dynamique (mouvement de caméra, déplacements rapides et récurrents des joueurs, présence d'éléments textuels : scores, etc.). Comme l'ont indiqué Lang A. et al. (1999), Lang A. et al. (2000), Simons et al. (1999) ou encore Yoon et al. (1998, sect.4.2.2, chap. IV) cité par docteur Julie LASSALLE, l'AED augmente en présence de mouvements ou de changements de plan ou de scène (nombreux pour Sport). Selon ces auteurs, l'apparition de nouvelles informations (changements de plan par exemple) engendrerait une réponse d'orientation liée à une augmentation des ressources attentionnelles pour décoder et interpréter le message. Sur la base de ce postulat, une dynamique élevée (du contenu - personnages- ou de la caméra) ou l'introduction de messages textuels (présence des scores durant le contenu Sport) pourraient donc être à l'origine d'un grand nombre de nouvelles informations à traiter requérant, par conséquent, l'allocation de ressources attentionnelles supplémentaires. Ces ressources nécessiteraient alors des dépenses énergétiques supplémentaires allouées par le système nerveux sympathique et traduites ici par l'augmentation de l'AED. Dans tous les cas, cette augmentation semble traduire une augmentation de l'activation (arousal) soit en réaction à la dynamique soit en réaction à la passation (agacement/ irritation, ennui, désengagement). En plus de l'effet du changement d'activité, de passation et/ou du contenu, un **effet de la qualité** a été observé. Une augmentation de l'AEDn moyenne lorsque C2 (c.-à-d. la condition de dégradation par réduction du débit audio et/ou vidéo) était appliquée aux contenus *Opéra* et *Documentaire* (soit le premier et le second contenu présenté au participant) a en effet été constatée. Cette augmentation pourrait traduire une activation du SNS liée à la réalisation d'un effort mental supplémentaire en présence de cette condition de qualité. Le fait

q
ue cette influence ne soit pas retrouvée pour le contenu *Sport* pourrait s'expliquer par un effet d'habitation, l'AED étant particulièrement sensible à ce phénomène. Cela tend d'ailleurs à être confirmé par la réduction progressive de l'écart des niveaux d'AED mesurés entre C0 (condition sans dégradation, toujours présentée en premier) et C2 (toujours présentée en dernier) au fil du temps. Ce résultat permet de confirmer l'hypothèse supposant un effort mental supplémentaire pour le traitement du signal lorsque celui-ci est dégradé (H1p). Cependant, cette hypothèse n'est confirmée par aucun autre indicateur physiologique ou oculaire.

## Chapitre VI – Expérimentation A : exploratoire

L'absence de différence de l'AED moyenne entre C0 et C1 (c.-à-d. condition de dégradation par désynchronisation) laisse penser que la désynchronisation, bien que perçue et jugée comme dégradant la qualité audio, ne semble pas influencer les mesures physiologiques. Cette absence de réponse pourrait s'expliquer par des effets inégaux des dégradations par désynchronisation et par réduction de débit, les premières dégradant moins la qualité restituée que les secondes comme en témoignent les résultats obtenus à partir des évaluations subjectives. Ainsi, les seuils de dégradations par désynchronisation étaient peut-être trop faibles pour influencer les mesures psychophysiologiques. Les résultats ont aussi révélé une tendance de l'AEDn à augmenter au fil du temps mais à diminuer durant la visualisation d'un contenu donné. L'augmentation peut sans doute être attribuée à l'effet de passation (irritation/agacement, etc.) discuté ci-dessus. La diminution intra-contenue pourrait en revanche traduire la tendance naturelle de l'AED à diminuer au cours du temps en situation de repos (sect. 3.3.5, chap. III). Entre chaque contenu, les participants devaient évaluer les niveaux de qualité, activité sans doute plus « coûteuse » d'un point de vue cognitif et donc énergétique (effort mnésique, tâche de jugement, lecture/écriture, etc.) que la seule tâche de visualisation et se manifestant par une augmentation de l'AEDn pendant cette phase. Ainsi, l'activité de visualisation, moins coûteuse que la tâche de complétion, refléterait alors un phénomène de repos/détente.

Par ailleurs, malgré le retrait des données enregistrées durant la visualisation de la première minute de chaque contenu, le niveau plus élevé d'AEDn constaté en début de contenu pourrait tout de même avoir été renforcé par : une activité résiduelle de l'activation liée à la complétion de questionnaire, une adaptation résultant du changement d'activité, c'est-à-dire de la complétion à la visualisation (activation physiologique pour répondre au changement de l'environnement) et à

u
n effet éventuel de surprise/découverte au début de chaque contenu que rien n'annonçait. De manière générale, l'AED a été l'indicateur le plus sensible aux différentes conditions expérimentales. A l'inverse, les **indicateurs du comportement oculaire n'ont pas réagit aux conditions testées** et n'ont donc notamment pas permis de mettre en avant un phénomène de fatigue. Soit les conditions de test n'ont pas engendré de fatigue soit le protocole utilisé n'a pas permis de révéler un tel effet. Pour plus de clarté, les différents résultats et conclusions sont récapitulés par la vidéo 6.3 ciaprès.

# Chapitre VI – Expérimentation A : exploratoire

## vidéo 6.3. Récapitulatif des principaux effets des conditions expérimentales sur les mesures psychophysiologiques.

### Observations Effets possibles Interprétation

- AED et VSP entre repos et visualisation Effet type d'activité Reflet de l'activité cognitive

- AED entre les deux premiers contenus (Opéra/Documentaire) et le dernier (Sport) Effet passation de test

- Augmentation de l'activation (irritation, ennui, désengagement)

- Effet contenu

- Augmentation de l'activation (dynamique du contenu Sport)

- VSP entre le premier contenu (Opéra) et les deux derniers (Documentaire/Sport) Effet passation de test

- Augmentation de l'activation (irritation, ennui, désengagement)

- Effet contenu

- Diminution de l'activation (spécificité du contenu Opéra)

- DP pour Documentaire Effet contenu Luminosité

- AED en début de contenu et

- AED durant la visualisation de chaque contenu

- Effet changement d'activité

- Effet résiduel, adaptation, surprise, découverte, repos/détente

- AED pour C2 pour Opéra et

- Documentaire

- Effet qualité Effort mental
## 6.10. PISTES D'AMELIORATIONS DU PROTOCOLE

Cette première expérience a montré que la qualité audio et/ou vidéo tend à influencer l'activité physiologique de l'individu notamment à travers la mesure de l'AED. Cependant, ce constat repose uniquement sur les résultats obtenus pour un seul des indicateurs physiologiques et oculaires étudiés. Il se peut donc que cette observation résulte plus de biais contextuels que de la présence d'un effort mental. Le protocole proposé n'a pas non plus permis de mettre en avant un état de fatigue. L'expérimentation A a souligné la sensibilité des mesures physiologiques et/ou oculaires à des facteurs annexes tels qu'un effet de passation, de changement d'activité ou de contenu qui auraient pu masquer ou atténuer l'observation d'un effet de la qualité. Le protocole proposé nécessite donc d'être réadapté pour diminuer l'impact de ces effets. Les différentes adaptations envisagées sont décrites dans les paragraphes suivants.

### 6.10.1. SOLUTION FACTEUR PASSATION : VERS UNE SOLUTION DE SYNCHRONISATION

L'évolution constatée de l'AED et du VSP au fil du temps peut s'expliquer par un effet de *passation*. En effet, la présentation successive d'un même contenu (chaque contenu était présenté trois fois de suite, une fois par condition de qualité) a pu conduire le participant à éprouver de l'agacement ou de l'énervement ayant pu masquer certains effets liés aux dégradations de qualité. La présentation des contenus une seule et unique fois semble donc être une des premières améliorations à apporter au protocole. Ce résultat souligne également l'importance de varier l'ordre de présentation des séquences expérimentales. Pour cela, une solution de synchronisation interlogiciels (voir § 6.10.6 ci-après), c'est-à-dire entre le logiciel de lecture vidéo, d'enregistrement des mesures physiologiques et celui d'enregistrement des mesures oculaires devra être apportée.

# Chapitre VI – Expérimentation A : exploratoire

### 6.10.2. SOLUTION FACTEUR ACTIVITE : CONTENU AMORCE ET AVERTISSEUR

L'adaptation au changement d'activité (repos -baseline- et complétion vs. visualisation) a été reflété par les mesures d'AED et de VSP. Cette adaptation peut avoir biaisé les mesures recueillies lors de la présentation du tout premier contenu. L'ajout d'un contenu intermédiaire, entre la baseline et le premier contenu, pourrait permettre d'amortir ce type d'effet et de préparer l'individu à l'activité expérimentale. Ce contenu *amorce* pourrait également faire office de
vanilla baseline (réalisation d'une tâche cognitive, similaire à la tâche expérimentale, mais requérant un niveau d'effort cognitif moins important) comme défini par Jennings et al. (1992, sect. 3.5, chap. III) cité par docteur Julie LASSALLE.

Par ailleurs, le fait que le participant n'était pas averti du début de chaque nouveau contenu a également pu avoir une influence sur le pattern physiologique et/ou oculaire des participants (découverte/surprise). Pour pallier ce phénomène, le participant pourrait être informé par un « avertisseur audiovisuel » du début de chaque nouveau contenu (par exemple par un décompte « 5, 4, 3, 2, 1, 0 » associé à des bips sonores).

### 6.10.3. SOLUTION FACTEUR HABITUATION : VARIATION DES PATTERNS DE DEGRADATIONS

La présentation régulière des dégradations (toutes les 30 s, durant 30 s) au sein de chaque contenu a pu engendrer un phénomène d'habitation. L'impact des dégradations pourrait alors être atténué comme cela tend à être indiqué par la stabilisation progressive des moyennes d'AED au cours de l'expérience (réduction de l'écart des niveaux moyens d'AED entre les conditions 0, 1 et 2 au fil de l'expérience). Un pattern d'introduction différent pour chaque contenu, présenté une seule fois, peut être envisagé.

### 6.10.4. SOLUTION FACTEUR ENGAGEMENT : MAINTIEN DE L'ENGAGEMENT SUR LA TACHE DE VISUALISATION

La visualisation répétitive des contenus a également pu conduire à un désengagement du participant vis-à-vis de l'activité de visualisation. La présentation unique d'un contenu donné offrirait un contexte plus favorable au maintien du focus attentionnel de l'individu ainsi que de son intérêt sur l'activité de visualisation. De plus, les contenus de test proposés dans l'expérimentation A correspondaient à des extraits, c'est-à-dire à des segments isolés d'une trame narrative plus longue. La présentation du contexte général (description du contexte global) pourrait permettre de mieux situer l'extrait par rapport à son contenu d'origine et d'engager plus largement le participant lors de sa visualisation.

## Chapitre VI – Expérimentation A : exploratoire

### 6.10.5. SOLUTION FACTEUR NIVEAU : AUGMENTATION DES DUREES ET SEUILS DE DEGRADATIONS
L'absence majoritaire de réponses significatives physiologiques et oculaires à la présence de dégradations peut également être expliquée par une granularité trop fine du protocole appliqué. En effet, la durée de présentation des dégradations (30 s) ou les seuils utilisés (variables pour une condition de qualité donnée) n'étaient peut-être pas suffisamment élevés pour permettre l'apparition franche de réactions physiologiques et oculaires. Par exemple, les seuils de désynchronisation n'étaient peut-être pas suffisamment élevés pour gêner la fusion multimodale des modalités audio et vidéo (voir chap. II) et par conséquent, générer un effort mental ou un état de fatigue suffisamment important pour être observable à travers les mesures psychophysiologiques recueillies. Cette hypothèse est appuyée par les travaux de Wilson G. M. et Sasse (2000a, 2000b) qui ont montré des réactions physiologiques durant des séquences audio et/ou vidéo présentant des niveaux de dégradations plus élevés (20% de perte de paquets audio, écho, réduction à 5 ips pour la vidéo) et des durées d'application plus longues (2 ou 5 min) de ces dégradations.

### 6.10.6. SOLUTION FACTEUR MATERIEL : VERS UNE SOLUTION DE SYNCHRONISATION

L'effet supposé du facteur *passation* met en évidence l'importance de varier l'ordre de présentation des séquences expérimentales. Ce constat suppose de devoir s'affranchir de l'utilisation du magnétoscope numérique (DVS). Bien qu'utile par sa capacité à présenter des contenus AV non compressés, il contraint, dans la configuration proposée, à un ordre de présentation fixe entre les participants et à une solution de synchronisation logicielle non optimisée. Une nécessité réside donc dans la mise en place d'une solution de synchronisation entre les logiciels de mesures physiologiques et oculaires et le logiciel de lecture des contenus audiovisuels de test. La synchronisation manuelle a en effet très certainement réduit la fiabilité de la correspondance entre la période du contenu étudiée (5 min ou 30 s) et la fenêtre de données psychophysiologiques devant lui correspondre.

### 6.10.7. EFFET DE L'ANALYSE : STATISTIQUES COMPLEMENTAIRES

Les analyses statistiques réalisées reposaient uniquement sur l'étude de moyennes. D'autres indicateurs de tendances centrales tels que la médiane ou des indicateurs du domaine fréquentiel, pour l'étude de la variabilité du rythme cardiaque, pourraient être utilisés afin d'apporter une source d'information complémentaire et peut-être plus adaptée à l'étude de l'influence de la
qualité sur les mesures recueillies.

6.10.8. SOLUTION FACTEUR CONTENU : POUR UNE CARACTERISATION DES CONTENUS DE TEST

L'influence du contenu a été observée à la fois sur les mesures subjectives et psychophysiologiques. Le contenu est donc un aspect important à prendre en compte pour interpréter correctement d'une part, les mesures subjectives et d'autre part, les mesures physiologiques et oculaires.

Chapitre VI – Expérimentation A : exploratoire

Pour cela, une étape de caractérisation des contenus de test semble indispensable. Par exemple, il est possible que la désynchronisation n'ait pas toujours été perçue par les participants. Au-delà des seuils, peut-être insuffisants, de désynchronisation introduits, il est également possible que certaines scènes ne permettent pas ou peu de détecter ce type de dégradation. Cela peut notamment être le cas pour le contenu *Sport*, pour lequel la majorité de l'extrait présentait une information audio qui n'entretenait pas ou peu de lien direct avec l'action présentée par la vidéo (par exemple des commentaires décrivant une action différée). A l'inverse, un décalage entre le son et l'image présent lors d'une scène verbale pourrait dégrader plus largement la qualité perçue. Comme abordé dans le chapitre II, plusieurs études ont montré que la présence de désynchronisation survenant sur des séquences verbales est moins bien tolérée que lorsqu'elle survient sur des séquences non verbales (Hollier et Rimmel, 1998 ; Vatakis et Spence, 2005, voir § 2.1.3.2, chap. II). Les résultats subjectifs ont également suggérer que l'influence d'une dégradation audio ou vidéo sur la qualité perçue est plus ou moins importante selon la modalité dominante du contenu. Les mesures psychophysiologiques semblent aussi avoir été modulées par le contenu notamment par des paramètres de luminosité, de dynamique voire d'intérêt. Afin d'éviter des interprétations erronées des résultats et de proposer des séquences de test cohérentes et propices à l'expression des effets recherchés, une caractérisation du contenu sur les plans techniques (luminosité, nombre de changement de plans, par exemple.), sémantiques (modalité dominante, compréhension) et hédoniques (plaisir, arousal, intérêt) semble être une étape indispensable pour une bonne maitrise de l'influence du matériel expérimental. Au-delà de cet apport, le recueil de ces informations permettra d'obtenir un retour sur l'expérience subjective du participant avec comme objectif sousjacent de mieux comprendre le lien entre qualité
d'expérience et qualité audiovisuelle. Ces premiers résultats soulignent donc la nécessité d'améliorer le protocole utilisé de façon à proposer un terrain propice à l'expression de l'influence des dégradations notamment à travers des mesures physiologiques et oculaires. Le Tableau 6.4 ci-après récapitule les principales conclusions et adaptations proposées à l'issue de l'expérimentation A.

## Chapitre VI – Expérimentation A : exploratoire

Vidéo 6.4. Récapitulatif des conclusions principales pour chaque type de mesures (Mes.) et des adaptations futures du protocole à l'issue de l'expérimentation A. La désynchronisation est indiquée par la lettre « D ». Mes. Conclusions principales Adaptations proposées

### SUBJ.

- Effet de la qualité sur les notes MOS

- Limite du questionnaire

(D exprimée au travers de MOSA)

- Ajouter une question spécifique à D

- Effet du facteur niveau (écart entre C1 et C2) Augmenter le seuil de D

- Effet du contenu Caractériser les contenus de test **PSYCHOPHYSIOLOGIQUES**

- Absence d'effets significatifs des différents seuils de dégradations

- Effet de la Qualité (condition C2 appliquée à Opéra)

- Effet du facteur contenu Caractériser des contenus de test

- Effet du facteur passation

- Proposer un ordre aléatoire de présentation/

- Présenter une seule et unique fois les contenus

- Effet du facteur activité

- Ajouter un contenu amorce

- Ajouter avertisseur de début de contenu

- Effet de la qualité masqué ou atténué en raison de :

- Effet du facteur habituation

- Effet du facteur engagement

- Effet du facteur niveau

- Effet du facteur matériel

- Effet du facteur analyse

- Varier pattern d'introduction des dégradations

- Favoriser l'engagement sur la tâche

- Augmenter les durées et les seuils appliqués
Proposer solution de synchronisation

Varier les approches

L'objectif des expérimentations suivantes est de préparer et de tester un protocole intégrant ces différentes adaptations, l'objectif final étant de pouvoir proposer une méthode alternative valide pour l'étude de l'influence de la qualité restituée des services audiovisuels sur la qualité d'expérience du spectateur.

# CHAPITRE VII – EXPERIMENTATIONS B : CARACTERISATION ET INFLUENCE DU CONTENU

## 7.1. INTRODUCTION ET OBJECTIFS

Hands (2004) cité par docteur Julie LASSALLE de l'université de Bretagne a mis l'accent sur l'importance de l'influence du contenu sur l'évaluation perceptive de qualité et la nécessité de proposer différents types de contenus de test caractérisés, par exemple, le niveau de mouvements présent dans la vidéo ou la relation entre les médias audio et vidéo (paroles ou commentaires).

Les résultats de l'expérimentation A ont confirmé cette observation en mettant en avant une influence du contenu tant sur les mesures subjectives que psychophysiologiques. L'objectif des expérimentations présentées dans ce chapitre est de proposer un ensemble de descripteurs permettant de caractériser, de la façon la plus complète possible, les contenus de test utilisés.

L'impact du contenu sur la perception de qualité et plus globalement sur la qualité d'expérience du spectateur pourra donc être étudié à partir des descripteurs spécifiés. La caractérisation doit permettre d'une part, de mieux comprendre la manière dont le contenu, décrit par un certain nombre de critères, influence la perception de qualité et plus largement la qualité d'expérience du spectateur et d'autre part, de faciliter l'interprétation des mesures psychophysiologiques. La norme UIT-T P.912 (UIT, 1999) met à disposition un certain nombre de critères pour décrire les

S
équences audiovisuelles de test. L'ensemble de ces critères est présenté dans le Tableau 7.1 ci-dessous.

vidéo 7.1. Catégories proposées par la norme UIT-T P.912 pour décrire les contenus audio et vidéo d'une séquence audiovisuelle.

Chapitre VII – Expérimentation B : caractérisation et influence du contenu

La description et la classification proposées considèrent l'audio et la vidéo séparément, sans tenir compte du lien entre son et image. De manière générale, la méthode UIT-T P.912 ne tient pas compte des aspects sémantiques (modalité dominante), techniques (changement de plans ou de scènes, mouvement, etc.) ou hédoniques (valence et arousal) du contenu audiovisuel. Pourtant, différentes études ont attiré l'attention sur l'influence de ces facteurs comme celle de la dynamique et de la modalité dominante (Hands, 2004), du niveau d'intérêt (Palhais et al., 2012) ou encore de la présence de mouvements et de changements de plans ou de scènes (Lang A. et al., 2000 ; Simons et al., 1999) cité par docteur Julie LASSALLE sur l'évaluation de la qualité perçue et sur les mesures psychophysionlogiques. Comme l'a indiqué Hands (2004), une modalité donnée, audio ou vidéo, peut participer de manière plus importante à la note de qualité audiovisuelle en raison de son apport sémantique dominant. La présence de dégradations sur la modalité dominante serait alors d'autant plus gênante. La perception de qualité repose donc sur différents critères du contenu dont dépendra le jugement du spectateur. Les séquences audiovisuelles doivent être décrites de manière à pouvoir obtenir une interprétation plus précise de la note de qualité attribuée aux signaux audio et/ou vidéo et des influences de la qualité sur la qualité d'expérience étudiée à partir de mesures subjectives complémentaires (c.-à-d. autres que la seule note de qualité), physiologiques et oculaires. L'objectif final est de dégager les principaux critères participant à la perception de qualité et plus largement à la qualité d'expérience du spectateur. La caractérisation de contenus de test s'est déroulée selon plusieurs phases. Premièrement, une base exhaustive de descripteurs de contenu a été élaborée avec l'aide d'un expert du domaine de l'audiovisuel (technicien professionnel de l'audiovisuel -société Digipictoris, Brest). Dans un second temps, chaque contenu de test a été découpé en unités signifiantes proches d'une analyse plan par plan. Chaque unité de chaque contenu a ensuite été caractérisée à partir du répertoire de descripteurs préalablement élaboré. Une dernière phase a consisté à identifier les descripteurs clés devant constituer le répertoire final. Le corpus de
contenu de test a été enrichi de façon à proposer un plus grand nombre de contextes audiovisuels, à savoir les contenus :

• Danse : extrait du ballet *Balé de Rua* (14 min 21),

• *Documentaire* : documentaire entier sur Jean-Marc Mormeck (15 min 25),

• Opéra : extrait d'une adaptation de *Don Giovanni* (15 min 36),

• *Sport* : extrait de la finale de Rolland Garros 2011 (15 min),

• *Théâtre* : extrait d'une adaptation des *Fourberies de Scapin* (10 min 29).

A la suite de cette caractérisation experte, des séquences de quelques secondes ont été extraites de chaque contenu et présentées à un panel de participants. Leur tâche était de caractériser à leur tour les séquences proposées sur la base, entre autres, de descripteurs utilisés par l'expert (expérimentation B1). Cette étape devait remplir deux objectifs :

## Chapitre VII – Expérimentation B : caractérisation et influence du contenu

• vérifier la pertinence d'un ensemble de descripteurs considéré comme plus « perceptifs », afin d'être en mesure d'utiliser la caractérisation experte pour l'intégralité des contenus,

• étudier la pertinence de descripteurs supplémentaires davantage liés à la qualité d'expérience spectateur (plaisir ou intérêt par exemple).

Enfin, les interactions entre contenus et qualité perçue ont été étudiées à la lumière de ces descripteurs (expérimentation B2).

## 7.2. EXPERIMENTATION B1 : CARACTERISATION DES CONTENUS

### 7.2.1. SELECTION DES DESCRIPTEURS

Un contenu peut être décrit à partir de différentes catégories de descripteurs, par exemple, des descripteurs techniques relatifs au choix de réalisation tels que le nombre de changements de plans, la dynamique de caméra (zooms, travellings, etc.) ou des descripteurs sémantiques tels que la modalité dominante, le niveau de compréhension ou encore la quantité d'information perçue.

La caractérisation experte a été réalisée à l'aide de vingt-huit descripteurs pouvant être regroupés au sein de deux grandes catégories : les descripteurs techniques et les descripteurs sémantiques.

Un exemple du support utilisé par l'expert pour décrire une séquence donnée est apporté par l'annexe 7-A.

Certaines nomenclatures existent pour décrire des contenus audiovisuels. Notamment la norme MPEG7 (ISO/IEC, 2004) propose une description standard de contenus multimédias dans le

c
adre d'applications de recherches étendues de documents archivés. Elle fournit notamment un
ensemble de descripteurs dit de bas-niveau d'abstraction tels que le mouvement de caméra (fixe,
panoramique -rotation horizontale-, travelling -mouvement transversal horizontal-, zoom, etc.), la
texture (niveau de détail), la température de couleur ou encore la dynamique, définie comme la
notion intuitive de l'intensité ou du rythme de l'action d'une séquence vidéo. Des descripteurs de
plan ont également été proposés par Amiar (1995) : durée, angle de vue (plongée, contre-
plongée), mouvements de caméra, cadrage (gros plan, plan d'ensemble, etc.), profondeur de
champ (flou, courte, grande, etc.). Le choix des **descripteurs techniques** s'est appuyé sur
l'ensemble de ces spécifications.

Au total, treize descripteurs techniques ont été retenus : niveau de détail (faible-modéré-fort),
température de couleur (chaude, jour, froide), luminosité (faible-modérée-forte) et
caractéristiques de caméra (générale, mobilité, angle de prise de vue -horizontal et vertical-,
cadrage, nombre de cuts, zoom, rotation caméra, profondeur de champ, angle de vue, pour plus
de détails voir annexe 7-A). La sélection des **descripteurs sémantiques** a été réalisée sur la base
des descripteurs proposés par la norme MPEG7 ainsi que ceux suggérés par Amiar (1995). Cet
auteur propose notamment des paramètres scénaristiques (intérieur/extérieur, jour/nuit,
visuel/dialogue, actiontension/inaction-immobilité, nombre de personnages,
intime/collectif/public), des caractéristiques audio (parole, bruit, musique) ou encore la
qualification des relations image/son (son diégétique : son *in* ou hors-champ ; son extra-
diégétique : son *off*, ces relations seront mieux définies ci-après).

Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Par ailleurs, selon Zettl (1991, cité par Simons et al.), le mouvement (motion) d'un film ou d'un contenu télévisuel peut être décrit à la fois comme le mouvement d'un objet présent à l'image (balle de tennis par exemple), le mouvement des caméras (travelling, zoom, panoramique, inclinaison, etc.) et le mouvement de la séquence (changement de plans par utilisation de cut ou tout autre moyen de transition). Au total, quinze descripteurs sémantiques ont été retenus : modalité dominante (audio, vidéo, audiovisuelle : sur la base des résultats de l'expérimentation A et des constats de Hands, 2004), présence de mouvements, présence d'informations textuelles, dynamique de contenu (faible-modérée-forte), dynamique caméra (faible-modérée-forte), expression sonore (parole, musique, bruit), type de parole (dialogue-monologue, commentaires,

c
hant), relations image/son (son in, off ou hors-champ) ainsi que l'ensemble des critères scénaristiques proposés par Amiar : intérieur/extérieur, jour/nuit, clair-sombre, visuel/dialogue, intime/collectif/public, nombre de personnages, action/inaction. Les vingt-huit descripteurs sémantiques et techniques ont été utilisés par l'expert pour caractériser la totalité des contenus du corpus. Pour permettre ce processus, chaque contenu a été segmenté par l'expert en différentes séquences de temps (proche d'une analyse plan par plan). Chacune de ces séquences peut être considérée, comme défini par Goliot-Lété et Vanoye (1993, p. 28, cité par Amiar), comme une unité de sens, c'est-à-dire une suite de scènes qui ne se déroulent pas forcément dans le même décor, mais qui forme un tout avec un sens lui étant propre. La caractérisation experte a permis de faire émerger neuf descripteurs sémantiques et techniques principaux. L'ensemble des descripteurs n'a en effet pas été retenu en raison de la redondance de certaines informations ou de la granularité parfois trop fine de certains descripteurs (par exemple le type de cadrage, voir annexe 7-A). Les descripteurs techniques qui ont été sélectionnés sont :

• la luminosité (faible, modérée, forte),

• la température de couleur (chaude -orangée-, jour -lumière blanche-, froide -bleutéesect. 1.4, chap. I),

• la dynamique caméra (faible, modérée, forte : regroupe les différents mouvements de caméra - travellings, rotations, zooms, etc. – incluant cuts/changements de plan),

• le niveau de détail (faible, modéré, fort). Les descripteurs sémantiques qui ont été sélectionnés sont :

• le rapport audiovisuel ou diégèse (son in, off ou hors-champ),

Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Dans ce document, la notion de *diégèse*¹⁵ fera référence à l'ensemble des sons pouvant être qualifié de son *in, off* ou hors-champ. Deux types de sons *in* (sons diégétiques c.-à-d. se déroulant dans le même espace-temps que l'action) peuvent être distingués : dans le champ ou son *in* (accompagne l'action et entendu par les personnages de la scène¹⁶) et hors-champ (hors de la scène -hors du champ de la caméra et donc du spectateur- mais entendu par les personnages¹⁷). Un son *off* (son extra-diégétique) se définit par un son en-dehors de l'espace-temps de l'action et qui n'est pas entendu par les personnages de la scène mais par le spectateur (voix *off* de narration¹⁸ ou musique *off*¹⁹). Dans les études suivantes, tous sons *in* (dans le champ et hors-

c
hamp) seront considérés comme diégétiques tandis que les sons off seront considérés comme extra-diégétiques.

• l'expression **sonore** (parole, musique, bruit),

• le nombre de personnages (faible $\leq 2$, modéré $2$ à $5$, fort $\geq 5$),

• la dynamique de contenu (faible, modérée, forte)

• Le terme de contenu est accolé à la notion de dynamique dans l'intention d'établir une distinction nette avec le premier descripteur de dynamique relatif aux mouvements de caméra (descripteur technique). La dynamique du contenu réfère à l'action des personnages ou des objets.

• la modalité dominante (A, AV, V).

La modalité dominante peut se définir comme la modalité porteuse de l'information primordiale et sans laquelle la compréhension de la séquence serait mise à mal.

# Expérimentation B1 : Contenu et expérience du spectateur

## 7.2.2. OBJECTIFS

Afin de pouvoir considérer la caractérisation réalisée par l'expert comme pertinente, des séquences ont été extraites de chacun des contenus du corpus pour être soumises à l'évaluation d'un public « naïf ». L'objectif ici est de pouvoir observer une concordance entre les annotations de l'expert et celles des naïfs à partir d'un échantillon de séquences (les extraits entiers n'ont pas été présentés en raison du coût extrêmement élevé, en temps et en

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

concentration, nécessaire à la réalisation de la caractérisation -analyse par unités de signification c.-à-d. pratiquement plan par plan-) afin de pouvoir utiliser la caractérisation experte réalisée sur l'ensemble du corpus. Cependant, la totalité des descripteurs issus de la caractérisation experte n'a pas été soumise à l'annotation naïve en raison de la nature immuable de certains descripteurs.

C

<footnote n="15">15 La notion de diégèse a été créée et définie par Souriau (1951$_{15}$) comme «tout ce qui est censé se passer, selon la fiction que présente le film ; tout ce que cette fiction impliquerait si on la supposait vraie». 16 Par exemple, paroles prononcées par un personnage (interview de Jean-Marc Mormeck) ou bruits issus des actions d'un personnage (sons associés à une scène de combat).</footnote>

<footnote n="17">17 Bruits de pas d'un personnage non visible ni pour les personnages de la scène en cours ni pour le spectateur. 18 Typiquement, voix d'un locuteur qui commente la scène sans que ce dernier n'existe pour les personnages : commentaires sportifs. 19 Orchestre d'opéra</footnote>
ela concernait les descripteurs Détails, Mouvement caméra, Relations AV, Expression sonore et Nombre de personnages. Par exemple, le nombre de personnage présent dans une scène ne variera pas selon les perceptions individuelles. Ainsi, seuls quatre descripteurs : Modalité dominante,

Couleur, Luminosité et Dynamique de contenu ont été évalués à la fois par l'expert et par les participants. Ces derniers sont considérés comme potentiellement variables selon l'individu qui les perçoit. Un contenu pourrait également être décrit par sa qualité hédonique, c'est-à-dire son niveau d'intérêt ou sa valence par exemple. Dans l'intention de couvrir ces notions propres à l'expérience du spectateur, cinq descripteurs ont été ajoutés. Afin de distinguer ces descripteurs des précédents, ils sont qualifiés de haut-niveau d'abstraction tandis que les descripteurs utilisés pour la caractérisation experte sont qualifiés de bas-niveau. Les descripteurs de haut-niveau incluent trois descripteurs relatifs à la qualité hédonique d'un contenu à savoir l'Intérêt, le Plaisir et l'Arousal, et deux descripteurs qualifiés de sémantiques : Compréhension et Quantité d'information perçue. Les descripteurs Intérêt, Compréhension et Quantité d'information ont été évalués à partir des niveaux : faible, modéré ou fort. Les descripteurs de plaisir et d'arousal, reconnus pour être les dimensions décrivant le mieux une émotion (Lang. P. et al. 1993) cité par docteur Julie LASSALLE, étaient annotés au moyen des échelles picturales SAM (Self-Assessment Manikin, voir sect. 4.1, chap. IV). L'ensemble des descripteurs, de bas et haut-niveau, doit permettre à terme de mieux comprendre les interactions possibles entre contenu et perception de qualité ainsi qu'entre le contenu et la qualité d'expérience globale du spectateur. L'ensemble des descripteurs annotés par l'expert et/ou par les participants est récapitulé dans Vidéo 7.2 ci-dessous.

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

vidéo 7.2. Récapitulatif des différents descripteurs utilisés par l'expert et/ou par les participants naïfs, ainsi que leurs échelles d'annotations, classés selon les catégories Technique, Sémantique ou Hédonique et selon leurs niveaux d'abstraction.

## Descripteur Echelle Catégorie Niveau

Annotation

Experte

Annotation

Naïve
**Dynamique caméra** faible-modérée-forte Technique Bas X

**Détail** faible-modéré-fort Technique Bas X

**Nb personnages** faible-modéré-fort Sémantique Bas X

**Relation AV** in/off/hors-champ Sémantique Bas X

**Expression sonore** parole-musique-bruit Sémantique Bas X

**Luminosité** faible-modérée-forte Technique Bas X X

**Couleur** chaude-jour-froide Technique Bas X X

**Modalité** A, V, AV Sémantique Bas X X

**Dynamique contenu** faible-modérée-forte Sémantique Bas X X

**Compréhension** faible-modérée-forte Sémantique Haut X

**Quantité d'information** faible-modérée-forte Sémantique Haut X

**Intérêt** faible-modéré-fort Hédonique Haut X

**Valence** 9 niveaux (SAM) Hédonique Haut X

**Arousal** 9 niveaux (SAM) Hédonique Haut X

### 7.2.3. PARTICIPANTS

Vingt huit consommateurs naïfs (10 femmes, 19 hommes) entre 20 à 50 ans ont participé à cette expérimentation.

### 7.2.4. MATERIEL

#### 7.2.4.1. CONFIGURATION GENERALE

**Vid. 7.1. Schéma de la configuration de la salle de test (193×376×505 cm) de l'expérimentation B1.**

La place du participant est représentée par un point noir, l'écran est figuré par un rectangle.

**Chapitre VII – Expérimentation B : caractérisation et influence du contenu**

Les conditions de passation (salle, luminosité, etc.) étaient identiques à celles de l'expérimentation

A (annexe 6-A). Concernant l'affichage, un écran LCD de 24" (61 cm), full HD (1080p, 16:9) de type Acer modèle GD245HQ a été utilisé. La distance de visualisation, en accord avec la norme UIT-T P.912, a été fixée à 146 cm soit cinq (4,95) fois la hauteur de l'écran. L'ensemble des séquences de test utilisées a été présenté en format .avi non compressé (full HD, 1080p). Des hautparleurs Genelec de modèle 8040A ont été réglés à une hauteur de 94,5 cm et placés de manière équidistante du centre de l'écran (101 cm) et de la tête du participant (225 cm). La Figure 7.1 cidessus présente la configuration de la salle de test établie en conformité avec les recommandations de la norme UIT-R BS.1286 (UIT, 1997). De manière identique à
'expérimentation A, le volume sonore, mesuré à la tête du participant pour simuler les conditions réelles d'écoute, a été paramétré de manière à se situer autour de 80 dBA comme recommandé dans la norme UIT-T P.912. 7.2.4.2.

CONFIGURATION TECHNIQUE

Vid. 7.2. Configuration technique de l'expérimentation B1.

Les séquences AV étaient stockées sur un ordinateur$_{20}$ suffisamment puissant pour restituer des
contenus full HD non compressés. Comme indiqué par la Figure 7.2, le signal vidéo était
acheminé de l'ordinateur vers l'écran *via* une connectique DVI-HDMI du système de diffusion
(PC Contenu : sortie DVI) au terminal télévisuel (entrée HDMI). La restitution du signal audio
sur les HP était effectuée au moyen d'une carte son externe (Terratec Auréon 5.1 MKII) et un
amplificateur (SPL 2380). Les séquences audiovisuelles ont été diffusées *via* le *player*
multimédia Windows Media

(WM). Cette configuration permettait l'utilisation de *playlist*, par conséquent, les séquences ont
pu être présentées avec un ordre aléatoire, différent pour chaque participant. 20 Dell Precision T5500,
intel

Xeon x5687, 3,60 Ghz, ram : 6 Gb, DDR3, Hard Drive (x2) 600 Gb SAS (15000RPM), OS : windows 7 (64 bit), Carte graphique NVIDIA Quadro 600, 1 Gb

Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Les questions s'affichaient et les spectateurs répondaient sur une tablette tactile (SESOL Co., Ltd.), permettant l'enregistrement automatique des réponses sur un ordinateur annexe.

L'ensemble de l'installation, c'est-à-dire l'ordinateur utilisé pour la lecture des séquences et celui utilisé pour enregistrer les données était placé en régie.

7.2.5. STIMULI

Dans cette expérience, vingt séquences de huit à dix secondes présentées en format 2D full HD
1080p (format .avi non compressé et audio 16 bit, 48 Kps) constituaient le corpus de test. Deux
paires de séquences ont été extraites de chaque contenu, une paire étant caractérisée par un
descripteur sémantique particulier avec chaque séquence représentant un niveau particulier du
descripteur sémantique. La distribution des paires selon le descripteur à représenter est visible
dans l'annexe 7-B. Par exemple, la séquence 1 de la paire A du contenu *Documentaire*
représentait le mode *musique* du descripteur *Expression sonore* tandis que la séquence 2

r
représentait le mode

*Parole*. Afin de couvrir l'ensemble des modes de chaque descripteur, une autre paire de séquences représentait le descripteur *Expression sonore*. Ainsi, la séquence 1 de la paires B du contenu *Théâtre* représentait le mode *Parole* tandis que la séquence 2 représentait le mode *Bruit*. Au total, un descripteur était donc représenté par deux paires (quatre séquences), chaque paire étant issue d'un contenu différent. Dans la mesure du possible, les modes des descripteurs sémantiques non représentés par la paire devaient être identiques pour chaque séquence afin de ne faire varier que le descripteur exprimé. Les caractéristiques techniques étaient toujours identiques entre les séquences d'une paire donnée. Comme réalisé dans l'expérimentation A, le volume sonore entre les séquences de test a été homogénéisé pour éviter la présence de disparités importantes entre les différentes séquences AV.

### 7.2.6. OBSERVABLES

En plus de l'évaluation des neufs descripteurs retenus pour cette phase (quatre de basniveau : modalité dominante, dynamique de contenu, luminosité, température de couleur et cinq de hautniveau : intérêt, plaisir, arousal, compréhension et quantité d'information), le questionnaire présentait également trois échelles dédiées à l'évaluation des qualités audiovisuelle, vidéo et audio.

Les échelles étaient identiques à celles utilisées lors de l'expérimentation A. Cela portait le nombre total d'observables à douze.

### 7.2.7. PROTOCOLE

Les participants visualisaient un total de vingt séquences audiovisuelles. Entre chaque visualisation, une période de deux minutes permettait l'évaluation des séquences sur la base des douze descripteurs proposés. Le questionnaire utilisé est présenté dans l'annexe 7-C. Au total, la passation du test durait environ quarante-cinq minutes.

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

### 7.2.8. HYPOTHESES

La présente expérimentation devait permettre de vérifier la pertinence d'un certain nombre de descripteurs : soit commun avec ceux utilisés par l'expert, soit en lien avec des influences plus individuelles. Deux types de résultats étaient attendus : une cohérence entre l'annotation experte et naïve (pour les descripteurs en commun) ; un effet de la séquence sur l'évaluation de
l'ensemble des descripteurs ainsi que sur l'évaluation de qualité. Ces hypothèses peuvent être
résumées de la manière suivante :

H0 : observation d'une cohérence entre l'annotation experte et naïve

H1 : effet de la séquence sur les descripteurs des catégories Hédonique, Sémantique, Technique ainsi que sur les notes de Qualité

7.2.9. RESULTATS

Les vidéos présentées ci-après présenteront un intervalle de confiance à 95%.

7.2.9.1. ANNOTATION EXPERTE . NAÏVE

Pour permettre la comparaison entre la caractérisation de l'expert et celle des naïfs, les séquences évaluées par les participants ont été recodées selon le mode obtenu pour chaque descripteur (modalité la plus fréquente, voir annexe 7-D). Un tableau de contingence a ainsi pu être réalisé pour chaque descripteur évalué en commun avec l'expert : *Modalité dominante, Dynamique de contenu, Température de couleur et Luminosité*. Les tableaux de contingence obtenus sont présentés dans le Tableau 7.3 ci-après.

Vidéo 7.3. Tableaux de contingence obtenus pour les annotations expertes et naïves (selon le mode) réalisées pour chacune des vingt séquences à partir des descripteurs Modalité, Dynamique, Couleur et Luminosité. Les colonnes correspondent à l'annotation experte tandis que les lignes correspondant au mode issu des réponses du panel de naïfs. Les effectifs ainsi que leurs traductions en pourcentage sont indiqués. *Modalité Dynamique*

Modes AV V A Total Modes Faible Modérée Forte Total AV 00% 2 100%
Faible 6 85,71% 1 14,29% 0 0% 7 100% V 2 20% 7 70%
Modérée 5 55,56% 4 44,44% 0 0% 9 100% A 0 0% 8 100%
Forte 0 0% 4 100%

Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Couleur Luminosité Modes Chaude Jour Froide Total Modes Faible Modérée Forte Total
Chaude 4 36,36% 3 27,27% 4 36,36% 11 100%, Faible 6 100% 0 0% 6 100% Jour 0 0% 5 100%
Modérée 6 75% 1 12,50% 1 12,50% 8 100% Froide 0 0% 4 100%

Une première hypothèse supposait l'observation d'une cohérence entre les annotations experte et naïve. Afin de tester cette concordance, un test de Kappa de Cohen a été réalisé. Les résultats sont présentés par la vidéo 7.4 ci-dessous. Ils ont indiqué un accord entre expert et naïfs pour les descripteurs *Modalité et Dynamique*. Comme l'indique les tableaux de contingences ci-dessus, les spectateurs ont majoritairement répondu de manière identique à l'expert pour l'annotation des
niveaux de luminosité « fort » ou « modéré », en revanche, les annotations concordent moins pour le niveau « faible ». Les séquences annotées par un niveau faible de luminosité par l'expert ont été caractérisées par un niveau faible ou modéré par les participants. Il semble que ce soit l'annotation du descripteur de température de couleur qui ait vraiment posé problème. En effet, une faible voire une absence de concordance peut être observée entre les annotations de l'expert et celles des naïfs pour les modalités « Jour » et « Froide ». Il semblerait que ces termes, réservés au monde de l'audiovisuel, prêtent à confusion et soit peu ou mal compris par un public non expert.

### 7.2.9.2. CARACTERISATION NAÏVE DES SEQUENCES

Les spectateurs ont caractérisé, à partir des neufs descripteurs (de haut et bas-niveau) hédoniques, sémantiques et techniques, les vingt séquences visualisées. L'hypothèse H1 supposait un effet de la séquence sur les différents descripteurs annotés. Une ANOVA considérant la variable indépendante « Séquence » et le facteur aléatoire « Participant » a donc été réalisée pour chacun des descripteurs évalués à l'exception des variables nominales « Couleur » et « Modalité » pour lesquelles un Khi-deux de Pearson a été conduit. L'ensemble des résultats obtenus est présenté dans l'annexe 7-E. Un effet systématique de la variable

## Chapitre VII – Expérimentation B : caractérisation et influence du contenu

« Participant » a été constaté avec *p* < 0,001. Les résultats ont par ailleurs permis de confirmer H1, en effet, une influence significative de la séquence a été observée pour la totalité des descripteurs. Il semble donc que les descripteurs proposés aient été suffisamment explicites pour les participants (pas de difficulté de compréhension).

### DESCRIPTEURS DE LA CATEGORIE TECHNIQUE

Les vidéos 7.3 et 7.4 ci-dessous présentent respectivement les résultats obtenus pour les descripteurs *Luminosité* (moyennes) et *Couleur* (répartition par effectif).

#### LUMINOSITÉ

Danse-1,Danse-2,Danse-3,Danse-4,Opéra-1,Opéra-2,Opéra-3,Opéra-4,Théâtre-1,Théâtre-2,Théâtre-3,Théâtre-4,Doc.-1,Doc.2,Doc.,3,Doc.,4,Sport,1,Sport-2,Sport-3,Sport-4, Faible Modérée Forte

**Vid. 7.3. Niveaux moyens obtenus pour le descripteur « Luminosité» de la catégorie Technique pour chaque séquence de test caractérisée par le panel naïf.**

**Vid. 7.4. Répartition des effectifs en fonction de la séquence pour l'annotation du descripteur « Couleur » de la catégorie Technique.**

L'observation des figures indique clairement que les séquences des contenus *Opéra* et *Sport* ont
été annotées comme les plus lumineuses du corpus. Par ailleurs, les séquences du contenu *Sport* ont été caractérisées par une température de couleur correspondant à « Jour »

## Chapitre VII – Expérimentation B : caractérisation et influence du contenu

(contenu tourné en extérieur) tandis que celles des contenus *Documentaire* et *Danse* ont principalement été définies respectivement par une couleur « Froide » et « Chaude ».

### DESCRIPTEURS DE LA CATEGORIE HEDONIQUE

La vidéo 7.5 ci-dessous présente les résultats obtenus (moyennes) pour les descripteurs *Intérêt*, *Valence* et *Arousal* de la catégorie Hédonique pour chaque séquence caractérisée par le panel naïf.

Pour permettre la comparaison entre les descripteurs hédoniques évalués à partir d'échelles présentant différents niveaux (3 niveaux pour Intérêt et 9 niveaux pour Plaisir et Arousal), les données ont été normalisées entre 0 et 1 où 1 représente un score moyen élevé (Intérêt « Fort » par exemple) et 0 un score moyen faible. Intérêt, Valence, Arousal, Danse-1, Danse-2

Vid. 7.5. Niveaux moyens obtenus pour les descripteurs « Intérêt », « Valence » et « Arousal » de la catégorie Hédonique pour chaque séquence de test caractérisée par le panel naïf où 1 représente un niveau élevé d'intérêt, de plaisir ou d'arousal et 0 un niveau faible d'intérêt, de plaisir ou d'arousal.

Un premier constat, suite à l'observation de la vidéo 7.5, a trait aux séquences du contenu *Opéra*.

Celles-ci se démarquent clairement du corpus de test par le faible niveau d'intérêt, de valence et d'arousal qu'elles ont suscité chez le participant. Ce constat tend à refléter une qualité d'expérience (envisagée sous l'angle de ces trois descripteurs) négative lors de la visualisation des séquences de ce contenu. A l'inverse, les séquences du contenu *Danse* ont reçu les notes les plus hautes pour ces mêmes descripteurs (excepté la séquence Danse-1).

Par ailleurs, les niveaux d'intérêt, de valence et d'arousal tendent à évoluer de manière similaire.

Ainsi, lorsque le niveau d'un des trois descripteurs diminue alors le niveau des deux autres diminue aussi. Ainsi, les participants ont été capables de distinguer les notions d'intérêt, de plaisir et d'arousal et de leur attribuer des notes sensiblement différentes pour une séquence donnée comme cela peut être observé pour les séquences Danse-3, Théâtre-1, Théâtre-3, Doc.-4, etc. Il semblerait que les descripteurs de la catégorie hédonique présentent une certaine complémentarité.
# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

## DESCRIPTEURS DE LA CATEGORIE SEMANTIQUE

Les figures ci-dessous présentent les niveaux moyens des descripteurs *Quantité d'information* (vid.7.6), *Compréhension* (vid.7.7), et *Dynamique de contenu* (vid.7.8), ainsi que la répartition des effectifs pour l'évaluation du descripteur *Modalité* (vid.7.9), obtenus pour chaque séquence.

### QUANTITÉ INFORMATION

Faible Modérée Forte

**Vid. 7.6. Niveaux moyens obtenus pour le descripteur « Quantité d'information » (Quant. info) de lacatégorie Sémantique pour chaque séquence de test caractérisée par le panel naïf.**

### COMPREHENSION

Danse-1,Danse-2,Danse-3,Danse-4,Opéra-1Opéra-2,Opéra-3Opéra-4,Théâtre-1,Théâtre-2,Théâtre-3,Théâtre-4,Doc.-1,Doc.-2,Doc.-3,Doc.-4,Sport,1,Sport-2,Sport-3,Sport-4

Faible Modérée Fort

**Vid. 7.8. Niveaux moyens obtenus pour le descripteur « Dynamique de contenu » de la catégorie Sémantique pour chaque séquence de test caractérisée par le panel naïf.**

**Vid. 7.9. Répartition des effectifs en fonction de la séquence pour l'annotation du descripteur « Modalité » de la catégorie Sémantique.**

La vidéo 7.9 indique que la totalité des séquences du contenu *Sport* et la majorité des séquences du contenu *Théâtre* ont été très largement considérées avec une dominance de la modalité vidéo.

A l'inverse, la totalité des séquences du contenu *Opéra* et la majorité des séquences du contenu *Documentaire* ont été caractérisées par une modalité dominante audio. Il est intéressant de noter que la plupart des séquences à dominance vidéo ou audiovisuelle était accompagnée par une dynamique principalement jugée modérée voire forte. A l'inverse, aucune des séquences à dominance audio (Opéra, Doc.-2, Doc.-3 et Doc.-4) ne correspondait à une dynamique jugée «forte». Cette relation entre *Dynamique* et *Modalité* est confirmée par un Khi-deux d'indépendance de Pearson indiquant une association significative entre les deux variables : $\chi^2$= 75,45, ddl=4, *p* < 0,01.

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

La vidéo de contingence associé se trouve dans l'annexe 7-F. Ainsi, la notion de « Dynamique » est réservée au contenu vidéo, du moins dans le corpus de test utilisé ici.

Par ailleurs, les Figures 7.6 et 7.7 indiquent que les niveaux moyens de *Quantité d'information* et de *Compréhension* rapportés tendent à évoluer de la même manière que les notes de dynamique et que l'évaluations de l'expérience hédonique notamment concernant les séquences des contenus
Danse et Opéra.

## EVALUATION DE QUALITE

Malgré l'absence de dégradations liées à la transmission et aux conditions de restitution du flux audiovisuel (présentation des séquences en qualité full HD, 1080p), les participants ont perçu des différences de qualité A, V et AV entre les séquences (voir fig. 7.10 ci-dessous, voir annexe 7-E pour les effets significatifs). Ces différences de qualité, pouvant aller jusqu'à 7 points d'écart pour un individu donné, peuvent être attribuées au fait que les participants ont essayé de distribuer leurs jugements sur l'ensemble de l'échelle proposée. Néanmoins, les scores de qualité pourraient exprimer des différences de qualité perçues, en lien avec des différences techniques, sémantiques et/ou hédoniques. Les analyses *post-hoc* ont été effectuées à l'aide de tests HSD de Tukey.

MOSAV

MOSV

MOSA

Danse-1,Danse-2,Danse-3,Danse-4,Opéra-1,Opéra-2,Opéra-3,Opéra-4Théâtre-1,Théâtre-2,Théâtre-3,Thé,,re-4

## Vid. 7.10. MOSAV, V et A obtenues pour chaque séquence de test.

Plus précisément, Danse-1 a été jugée comment étant de qualité (AV et V) significativement inférieure à la séquence Danse-4 (*p* <0,001 pour QAV et *p* <0,005 pour QV). De la même manière, Sport-4 a reçu des notes de QAV et QV significativement plus basses que Sport-2 (*p* <0,001 pour QAV et *p* <0,001 pour QV). Ces différences pourraient être expliquées par des différences notables des catégories techniques, sémantiques et/ou hédoniques au sein d'un même contenu.

## Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Le niveau de dynamique pourrait permettre d'expliquer les différences de qualité perçue constatées. En effet, Danse-1 comme Sport-4 se distinguaient des autres séquences de leur contenu d'appartenance par leurs niveaux de dynamique. Rappelons que les descripteurs techniques (*luminosité, couleur, dynamique caméra et détail*) ne variaient pas entre les séquences sélectionnées pour un contenu donné. Sport-4 correspondait à l'unique séquence, de l'ensemble du corpus de test, combinant un niveau élevé de *Dynamique caméra* (caractérisation experte) et de *Dynamique du contenu*. Cette séquence offrait donc au participant un contenu hautement dynamique, c'est-à-dire riche du point de vue informationnel (grand nombre d'informations
visuelles). Il est probable que le cumul des dynamiques (caméra et contenu) soit à l'origine d'une diminution de la qualité vidéo (considérée comme dominante pour ces séquences), l'audio ne présentant pas de différence significative avec les notes obtenues pour les autres séquences du contenu. Néanmoins, les évaluations des descripteurs hédoniques étaient élevées pour Sport-4. Cette séquence a en effet obtenu les moyennes les plus élevées, toutes séquences confondues, pour les descripteurs *Intérêt* (après la séquence Danse-2), *Valence* et *Arousal* traduisant une expérience hédonique pouvant être qualifiée de fortement positive. A l'inverse, Danse-1 a été caractérisé par une modalité vidéo et un niveau faible de dynamique de contenu. Elle a également été qualifiée par des niveaux faibles ou modérés pour l'ensemble des descripteurs de haut-niveau *Intérêt* (modéré), *Plaisir* (3), *Arousal* (5), *Quantité d'information* (faible) et *Compréhension* (faible). Danse-1 correspond donc à une séquence peu dynamique (notamment par rapport aux autres séquences du contenu, fortement dynamiques), pauvre en information tant auditive que visuelle et à l'origine d'une expérience spectateur plutôt négative. Il semblerait que plus la dynamique augmente, plus l'expérience hédonique soit positive et inversement. Le lien entre dynamique et expérience « hédonique » tend à être confirmé par les résultats obtenus pour l'ensemble des séquences du contenu *Opéra*. En effet, ces dernières ont toutes été caractérisées par un niveau faible de *Dynamique de contenu* (voir vid. 7.8 ci-dessus) et jugées par les participants avec un niveau faible d'intérêt, d'arousal et de valence (fig. 7.5). Ainsi, la perception du niveau de dynamique tend à expliquer les différences de qualité perçues entre les séquences du contenu *Danse* et du contenu *Sport*.

*Sport*. Dans le cas de Danse-1, l'absence de dynamique se traduirait par des notes de qualité moins bonnes. A l'inverse, une trop forte dynamique (cumul de dynamique caméra et contenu) comme c'est le cas pour Sport-4, diminuerait les niveaux de qualité vidéo et audiovisuelle tel que reflété par les notes de qualité.

Par ailleurs, un niveau faible de dynamique a été associé à des niveaux faibles d'intérêt, de plaisir et d'arousal (expérience hédonique négative). A l'inverse, une dynamique élevée a été à l'origine d'une expérience hédonique positive. Ainsi la notion de « Dynamique » participerait fortement à l'expérience « hédonique » du spectateur.

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu

## QUALITE D'EXPERIENCE
Les descripteurs des catégories Hédonique, Sémantique et Technique évalués dans cette étude constituent des facteurs potentiellement capables d'influencer la *qualité d'expérience* du participant. Afin d'étudier les descripteurs déterminant une expérience positive, une analyse de régression multiple simultanée a été conduite à partir de la caractérisation naïve obtenue (à savoir les moyennes obtenues pour chaque descripteur et chaque séquence) en considérant la variable dépendante « Valence » et les variables explicatives : « Intérêt», «Arousal», «Compréhension», «Dynamique», «Quantité d'information», « Luminosité » et « Qualité » (QAV, QV, QA) (les descripteurs « Modalité » et « Couleur » n'ont pu être intégrées en raison de leur nature nominale). L'analyse a révélé la participation de trois descripteurs : *Intérêt, Compréhension et Dynamique*. La valence de l'expérience peut être modélisée, dans le cadre de cette expérimentation, par l'équation suivante (R=0,99, R² = 0,98) : Valence de l'expérience = 1,37×Intérêt + 0,56×Compréhension + 0,40×Dynamique - 0,76 Ce résultat indique que l'augmentation des niveaux d'intérêt, de compréhension et d dynamique participe à la valence positive de l'expérience du spectateur. La *qualité d'expérience* du spectateur, envisagée sous l'angle de sa valence semble donc pouvoir être prédite par un sous-ensemble d'indicateurs.

### 7.2.9.3. CARACTERISATION FINALE DES SEQUENCES

Les précédents paragraphes ont présenté la caractérisation naïve des séquences (annexe 7- D). Cependant, la description des contenus à partir des descripteurs de bas-niveau sera toujours réalisée à partir de la caractérisation experte. Le Tableau 7.5 ci-dessous présente la description obtenue pour chacune des vingt séquences de l'expérimentation B1 à savoir les descripteurs de haut-niveau des catégories *Hédonique* et *Sémantique* (caractérisation naïve) et de bas-niveau des catégories *Sémantique* et *Technique* (caractérisation experte).

#### Chapitre VII – Expérimentation B : caractérisation et influence du contenu

Vidéo7.5. vidéo présentant la caractérisation des séquences réalisée par l'expert et par le panel de spectateur « naïfs ».

##### C. Expert C. Naïve

Séq. Mod R.AV EX.S Nb P D.Ct Lum Dét D.Cm Col Int Val Ar Info Comp

Danse-1 V In MuS F Fa Fa M Fa C M 3 5 Fa Fa

Danse-2 V In MuS F F Fa M Fa C F 7 7 M F

Danse-3 V In MuS F F Fa M Fa C F 7 6 M F

Danse-4 V In MuS M F Fa M Fa C F 7 7 M F
**Opéra-1** A In P F Fa M M Fa J Fa 3 2 Fa Fa

**Opéra-2** A In P F Fa M M Fa J Fa 4 4 M M

**Opéra-3** A In P F Fa M M Fa J Fa 3 3 Fa M

**Opéra-4** A In P Fa Fa M M Fa J Fa 4 3 Fa Fa

**Théâtre-1** A In P Fa Fa Fa M Fa F M 6 5 M M

**Théâtre-2** V In B Fa Fa Fa M Fa F M 5 5 M F

**Théâtre-3** V Off MuS M M Fa M Fa F M 5 3 Fa M

**Théâtre-4** A V In B M M Fa M Fa F M 5 5 M M

**Doc-1** V Off MuS Fa M Fa M Fa J M 3 5 Fa Fa

**Doc-2** A Off P Fa M Fa M Fa J M 5 3 M F

**Doc-3** A In P Fa Fa Fa M Fa J M 5 5 M F

**Doc-4** A Off P Fa Fa Fa M Fa J M 5 5 M F

**Sport-1** A V Off P F Fa F F F J F 7 5 F F

**Sport-2** A Off P F Fa F F F J F 7 6 M F

**Sport-3** V Off P F M F F F J F 6 5 F F **Sport-4**

Caractérisation des séquences (Séq.) réalisée par l'expert (C.Expert) à partir des descripteurs de bas-niveau Sémantique

Modéralité (Mod), Relation AV (R.AV), Expression Sonore (EX.S), Nombre de personnages (Nb P), Dynamique de Contenu (D.Ct) et Technique : Luminosité (Lum), Détail (Dét), Dynamique caméra (D.Cm) et Couleur (Col) ; selon les niveaux Faible (Fa), Modéré (M), Fort (F) ou Audio (A), Vidéo (V), AudioVisuel (AV) ou Chaude (C), Jour (J), Froide ou Musique (Mus), Parole (P), Bruit (B) et par le panel de spectateur « naïfs » (C.Naïve) selon le calcul du mode réalisé pour chaque séquences et chaque descripteur de haut-niveau des catégories Hédonique : Intérêt (Int) Valence (Val) et Arousal (Ar) et Sémantique : Quantité d'information (Info) et Compréhension (Comp).

## 7.3. CONCLUSIONS B1

Un des principaux objectifs de l'expérimentation B1 était de caractériser les contenus de tests dans l'intention de mieux comprendre la relation entre contenu et la qualité perçue. Cette caractérisation a été réalisée par un expert et a permis de disposer d'un ensemble de contenus pour lequel les caractéristiques techniques et sémantiques de bas-niveau sont connues. Dans les études suivantes, chaque séquence extraite d'un de ces cinq contenus pourra donc être définie sur la base de ces descripteurs.

Dans un second temps, la pertinence d'un sous-ensemble de descripteurs (considérés comme étant les plus subjectifs) utilisé par l'expert a été vérifiée auprès de participants naïfs.

# Chapitre VII – Expérimentation B : caractérisation et influence du contenu