# Étude de l'influence de la qualité audiovisuelle et de la communication sur la qualité d'expérience du spectateur : Combinaison physiologiques et oculaires

Bonaventure Lokossou

► To cite this version:

Bonaventure Lokossou. Étude de l'influence de la qualité audiovisuelle et de la communication sur la qualité d'expérience du spectateur : Combinaison physiologiques et oculaires. Multimédia [cs.MM]. Université de UNICAF, 2019. Français. NNT: 0030DOCunicaf. tel-04237784

HAL Id: tel-04237784

https://theses.hal.science/tel-04237784

Submitted on 11 Oct 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
To cite this version:

Bonaventure LOKOSSOU. Etude de l'influence de la qualité audiovisuelle et de la communication sur la qualité d'expérience du spectateur : Combinaison physiologique et oculaire. UNICAF University annexe Maroc 2019.

ETUDE DE L'INFLUENCE DE LA QUALITE AUDIOVISUELLE ET DE
LA COMMUNICATION SUR LA QUALITE D'EXPERIENCE DU
SPECTATEUR : Combinaison physiologiques et oculaires

Thèse de Doctorat

Mention : Sciences de la communication et Techniques de l'image appliquée.

Présentée par **Bonaventure LOKOSSOU**

Département : Audiovisuel et multimédia

Studio: Power Picture , PA tv, UNICAF UNIVERSITY.

Directrice de thèse : Mme Meryem ZEBBADI Soutenu

le 30/09/2019

Jury :

M. Kévin ANDREW Recteur, Ecole UNICAF University (Président du jury)

Mme Aïcha NGOM professeure, École UNICAF University Maroc (rapporteur)

M. Francis MARENDOU Professeur, École UNICAF University (Rapporteur)

Mme Mia PANDELI Professeure, UNICAF University Chile (Examineur)

M. Jabrane INTISSAR assistant maître conférence dans les universités UNICAF (Examineur)

(Directrice de thèse)

Mme Meryem ZEBBADI Professeure, École UNICAF University
Dédicace

À ma famille

À ma conjointe
REMERCIEMENTS

Cette thèse a été réalisée grâce au soutien et à la collaboration de nombreuses personnes, sans pouvoir toutes les citer, je leur adresse mon entière reconnaissance pour leur contribution. En premier lieu, je remercie M. Francis MARENDOU pour avoir rapporté ce Travail, Mme Mia PANDELI et m. Jabrane INTISSAR pour avoir accepté d'en être les examinateurs.

Je tiens ensuite à remercier chaleureusement Mme Meryem ZEBBADI pour son encadrement rigoureux, son soutien et son implication tout au long de ces années.

Je mesure la chance d'avoir bénéficié d'un encadrement de qualité tant sur le plan humain que professionnel et qui a toujours su fédérer mes idées et orienter la thèse dans le bon sens.

Je remercie bien évidement le directeur du studio "Power Picture" et particulièrement John BWEA pour m'avoir accueilli au sein de son équipe et pour avoir hébergé, dans les meilleures conditions, ce projet de thèse.

Je ne saurai oublier l'aide de toute l'équipe du studio "Power Picture" ou encore Mme Aïcha NGOM pour le temps passé à m'épauler sur les aspects techniques incombant à la mise en place du matériel expérimental audiovisuel et aux traitements des séquences d'images. L'analyse des mesures psychophysiologiques a demandé la prise en main d'environnements de « programmation » inconnus pour moi auparavant. Je ne cesserai de remercier Amen ZANNOU pour la patience et la pédagogie dont il a fait preuve pour me conduire à ces nouveaux instruments tout en sacrifiant une partie de son temps de doctorant.

Cette thèse a en effet évolué dans un climat d'entraide et de soutien entre doctorants et je tiens à remercier plus particulièrement Yves ASSONGBA. Je n'aurai pu espérer meilleurs collègues de bureau.

Mes remerciements sincères vont également à M. Hilaire CAKPO-CHICHI le directeur fondateur de l'Ecole Supérieure de Gestion et la Technologie (ESGT) Bénin et tous les collègues enseignants qui m'ont encouragé et soutenu. Ce travail de thèse n'aurait pu aboutir sans l'aide précieuse et le soutien technique de Jean-Marc CHARBONNIER que je remercie sincèrement pour les heures passées à résoudre les problèmes logiciels et matériels des expérimentations et pour avoir toujours répondu à mes sollicitations.

Enfin, je veux dédier en priorité ce travail à ma famille et à ma conjointe pour avoir vécu cette
thèse en même temps que moi. Merci de tout cœur pour votre présence et votre soutien
nexprimable.

Selon Isaac Asimov « la *Science-Fiction* est la branche de la littérature qui se soucie des réponses de l'être humain au progrès de la science et de la technologie » cité par docteur Julie LASSALLE, là est aussi l'objectif de certains dérivés de la psychologie de l'image...

## RESUME

### Etude de l'influence de la qualité audiovisuelle et de la communication sur la qualité d'expérience du spectateur : combinaison physiologique et oculaire.

Dans un contexte très concurrentiel, l'un des principaux enjeux pour les acteurs de l'offre de services audiovisuels (AV) est de garantir au spectateur une **qualité d'expérience (QOE)** optimale.

Aujourd'hui, la (QOE) est souvent restreinte à la perception de la qualité audiovisuelle restituée par le système. Elle est principalement mesurée à travers la collecte de données par des participants sur des échelles de qualité, après visualisation et écoute de séquences AV traitées par le ou les technologies à évaluer. Ces tests perceptifs suivent des procédures recommandées par l'Union Internationale des Télécommunications.

Cependant, la qualité restituée peut affecter la QOE (fatigue, effort, etc.) sans être reflétée par les notes de qualité. Une méthode considérant l'évaluation non plus de la QAV perçue seule mais de la qualité d'expérience, plus largement considérée, pourrait permettre de mieux rendre compte de l'influence de la qualité du son et de l'image sur le consommateur. Le présent travail est centré sur la recherche d'une méthode alternative aux méthodes actuelles de l'examen de qualité pour applications multimédias dans un contexte de visualisation et d'écoute de contenus AV 2D ou 3D. L'approche proposée aborde la QOE sous l'angle de l'analyse conjointe d'indicateurs oculaires et d'indicateurs physiologiques (activité électrodermale, rythme cardiaque, température cutanée périphérique, volume sanguin périphérique) et oculaires (PERCLOS, durée et fréquence de clignement de l'oeil, nombre de saccades, diamètre pupillaire). Les mesures physiologiques et oculaires ont pour avantage de ne pas être assujetties aux biais des mesures subjectives (représentativité, échelles, etc.) et de traduire des phénomènes comme la fatigue ou l'effort mental, potentiellement induits par la présence de dégradations sur les signaux audio et/ou vidéo et pouvant être critiques du point de vue de la QOE. Deux protocoles ont été testés. Les résultats
ont montré que la QAV module l'expérience physiologique et que les notes de qualité ne sont pas suffisantes pour refléter fidèlement cet effet. L'influence de la QAV sur les mesures physiologiques et oculaires est moins évidente. Un ensemble de facteurs, notamment lié à certains attributs du contenu de test comme la dynamique ou la luminosité, aurait pu masquer ou atténuer l'observation d'un effet de la qualité restituée. Néanmoins, deux des indicateurs physiologiques ont réagi à la présence de dégradations audio et/ou vidéo lorsque celles-ci étaient cumulées à l'effet préjudiciable d'autres facteurs (vidéo 3D ou effet de passation). **Mots-clefs :** Qualité d'expérience, qualité audiovisuelle, évaluation, mesures subjectives, mesures physiologiques, mesures oculaires, fatigue mentale, effort mental.
# SUMMARY

## Study of the influence of the audiovisual quality and communication on the spectator quality of experience:

### Combination physiological and ocular.

In a strongly competitive context, one of the main stakes for the actors of the audiovisual services offer is to guarantee to the spectator an optimal Quality of Experience (QOE). Nowadays, QOE is often limited to the perception of the audiovisual quality (AVQ) received by the system. It is mainly measured through the collection of rates given by testers onto quality scales, after visualization and listening of the AV sequences treated by one or several technologies to be evaluated. These subjective tests are following procedures recommended by the International Telecommunication Union. However, the restored quality can affect some factors of QOE (fatigue, effort, etc.) which are not reflected by the quality scores. A method considering the evaluation either of the AV quality only received but of the quality of experience, widely considered, could allow to report better the influence of the sound and image quality on the spectator. The present work is centered on the research of an alternative method to current methods of quality assessment for multimedia applications in a context of viewing/listening of 2D or 3D AV contents. The proposed approach addresses the QOE in terms of analysis of subjective indicators and tonic physiological (electrodermal activity, heart rate, peripheral cutaneous temperature, blood volume pulse) and oculars indicators (PERCLOS, duration and frequency of the blinking of the eye, number of saccadics movements, pupillary diameter). Physiological and ocular measures have for advantage not to be subjected to the biases of the subjective measures (representativeness, scales, etc.) and to reflect phenomena such as fatigue or mental effort, potentially induced by the presence of audio and/or video degradations, which may be critical in terms of QOE. Two protocols were tested to study the relevance of this approach. The results showed that QAV modulates the subjective measures and have putted forward the insufficiency of quality rates to reflect faithfully this effect. The impact of the quality on the physiological and ocular measures is less obvious. A set of factors in particular connected to certain attributes of the test contents, as the dynamics or the luminosity, would have been able to mask or decrease the quality effects observation on gathered measures. However, two of the physiological indicators reacted to the presence of audio and/or video degradations when these were accumulated to the detrimental effect of other factors

(3D video or test period effect). **Keywords:** Audiovisual quality, quality of experience, subjective
measures, physiological measures, ocular measures, mental fatigue, mental effort.
LISTE DES ABREVIATIONS

AED : Activité ElectroDermale

AV : AudioVisuel

DP : Diamètre Pupillaire

EBdur : Eye blink duration

Ebfreq : Eye Blink Frequence

FC : Fréquence Cardiaque

QAV : Qualité AudioVisuelle

QOE : Quality of Experience

SAC : Saccade

SNA : Système Nerveux Autonome

SNP : Système Nerveux Parasympathique

SNS : Système Nerveux Sympathique

TCP : Température Cutanée Périphérique

UIT : Union Internationale des Télécommunications

VRC : Variation du Rythme Cardiaque

VSP : Volume Sanguin Périphérique
TABLES DES MATIERES

<table><tr><td>Dédicace</td><td>3</td></tr><tr><td>REMERCIEMENTS</td><td>4</td></tr><tr><td>RESUME</td><td>5</td></tr><tr><td>SUMMARY</td><td>7</td></tr><tr><td>LISTE DES ABREVIATIONS</td><td>9</td></tr><tr><td>TABLES DES MATIERES</td><td>10</td></tr><tr><td>ELEMENTS VIDEOS ET REPORTAGES</td><td>19</td></tr><tr><td>LISTE DES TABLEAUX</td><td>26</td></tr><tr><td>INTRODUCTION</td><td>27</td></tr><tr><td>CHAPITRE I – QUALITE AUDIOVISUELLE ET EVALUATION</td><td>31</td></tr><tr><td>1.1. ENJEUX</td><td>31</td></tr><tr><td>1.2. TRANSMISSION DU SIGNAL</td><td>32</td></tr><tr><td>1.3. QUALITE DU SIGNAL</td><td>34</td></tr><tr><td>1.4. DE LA QUALITE PERÇUE A LA QUALITE D'EXPERIENCE</td><td>35</td></tr><tr><td>1.5. EVALUATION DE QUALITE D'EXPERIENCE : LES METHODES ACTUELLES</td><td>37</td></tr><tr><td>1.5.1. MÉTHODE ACR : ABSOLUTE CATEGORY RATING</td><td>40</td></tr><tr><td>1.5.2. MÉTHODE DCR : DEGRADATION CATEGORY RATING</td><td>40</td></tr><tr><td>1.5.3. METHODE PC : PAIR COMPARISON</td><td>41</td></tr><tr><td>1.5.4. METHODE SSCQE : SINGLE-STIMULUS CONTINUOUS QUALITY EVALUATION</td><td>41</td></tr><tr><td>1.6. FAIBLESSES DES METHODES ACTUELLES</td><td>42</td></tr><tr><td>1.6.1. BIAIS DE REPRESENTATIVITE</td><td>42</td></tr></table>
<table><tr><td>1.6.2. BIAIS DE LA MESURE</td><td>44</td></tr><tr><td>1.6.3. BIAIS DU CONTENU AUDIO ET VIDEO</td><td>45</td></tr><tr><td>1.7. VERS UNE SOLUTION ALTERNATIVE</td><td>47</td></tr><tr><td>CHAPITRE II – PERCEPTION BIMODALE AUDIOVISUELLE</td><td>48</td></tr><tr><td>2.1. PERCEPTION AUDIOVISUELLE</td><td>48</td></tr><tr><td>2.1.1. INTEGRATION MULTIMODALE</td><td>49</td></tr><tr><td>2.1.2. INTERACTIONS AUDIOVISUELLES</td><td>53</td></tr><tr><td>2.1.3. PERCEPTION DE LA DESYNCHRONISATION</td><td>58</td></tr><tr><td>2.1.3.1. ASYMETRIE</td><td>58</td></tr><tr><td>2.1.3.2. INFLUENCE DU CONTENU</td><td>59</td></tr><tr><td>2.1.3.3. DESYNCHRONISATION ET QUALITE PERÇUE</td><td>Érreur ! Signet non défini.</td></tr><tr><td>2.2. QUALITE AUDIO ET VIDEO ET PERCEPTION DE QUALITE AUDIOVISUELLE</td><td>Érreur ! Signet non défini.</td></tr><tr><td>2.2.1. PERCEPTION DE LA QUALITE AUDIOVISUELLE GLOBALE : CONTRIBUTIONS</td><td>60</td></tr><tr><td>DES</td><td>60</td></tr><tr><td>2.2.2. CAS SPECIFIQUE DE L'INTELLIGIBILITE</td><td>65</td></tr><tr><td>2.2.3. PERCEPTION DE LA QUALITE AUDIOVISUELLE : AUTRES FACTEURS</td><td>66</td></tr><tr><td>2.3. VERS LA MESURE DE L'ACTIVITE PHYSIOLOGIQUE ET OCULAIRE</td><td>Érreur ! Signet non défini.</td></tr><tr><td>CHAPITRE III – ACTIVITE PHYSIOLOGIQUE ET OCULAIRE</td><td>67</td></tr><tr><td>3.1. SYSTEME NERVEUX HUMAIN : REGISSEUR DE L'ACTIVITE PHYSIOLOGIQUE</td><td>68</td></tr><tr><td>3.1.1. PRINCIPE D'ACTIVATION PHYSIOLOGIQUE</td><td>69</td></tr><tr><td>3.1.2. PARTITION DU SNA</td><td>72</td></tr><tr><td>3.2. INDICES DE L'ACTIVITE CARDIAQUE</td><td>74</td></tr><tr><td>3.2.1. MECANISME DU FONCTIONNEMENT CARDIAQUE</td><td>74</td></tr><tr><td>3.2.2. INFLUENCE DU SYSTEME NERVEUX AUTONOME</td><td>76</td></tr><tr><td>3.2.2.1. INFLUENCE PARASYMPATHIQUE</td><td>76</td></tr><tr><td>3.2.2.2. INFLUENCE SYMPATHIQUE</td><td>77</td></tr></table>
<table><tr><td>3.2.3. MESURE</td><td>77</td></tr><tr><td>3.2.4. CAPTEUR ET SITE D'ACCUEIL</td><td>77</td></tr><tr><td>3.2.5. SIGNAL</td><td>78</td></tr><tr><td>3.2.6. TRAITEMENT DES MESURES</td><td>79</td></tr><tr><td>3.2.6.1. DOMAINE TEMPOREL</td><td>79</td></tr><tr><td>3.2.6.2. DOMAINE FREQUENTIEL</td><td>80</td></tr><tr><td>3.3. INDICES DE L'ACTIVITE ELECTRODERMALE</td><td>82</td></tr><tr><td>3.3.1. FONCTIONNEMENT DE L'ACTIVITE ELECTRODERMALE</td><td>82</td></tr><tr><td>3.3.2. INFLUENCE DU SYSTEME NERVEUX AUTONOME</td><td>83</td></tr><tr><td>3.3.3. MESURE</td><td>83</td></tr><tr><td>3.3.4. CAPTEUR ET SITE D'ACCUEIL</td><td>84</td></tr><tr><td>3.3.5. SIGNAL</td><td>85</td></tr><tr><td>3.3.6. TRAITEMENT DES MESURES</td><td>85</td></tr><tr><td>3.4. INDICE DE TEMPERATURE CUTANEE PERIPHERIQUE</td><td>86</td></tr><tr><td>3.4.1. INFLUENCE DU SYSTEME NERVEUX AUTONOME</td><td>86</td></tr><tr><td>3.4.2. MESURE</td><td>87</td></tr><tr><td>3.4.3. CAPTEUR ET SITE D'ACCUEIL</td><td>87</td></tr><tr><td>3.4.4. SIGNAL</td><td>87</td></tr><tr><td>3.5. DIMINUTION DE LA VARIABILITE INTERINDIVIDUELLE</td><td>87</td></tr><tr><td>3.6. INDICATEURS OCULAIRES</td><td>88</td></tr><tr><td>4.2. MODULATIONS ATTENTIONNELLES</td><td>102</td></tr><tr><td>4.2.1. PHENOMENES ATTENTIONNELS TONIQUES</td><td>103</td></tr><tr><td>4.2.2. PHENOMENES ATTENTIONNELS PHASIQUES : REPONSE D'ORIENTATION</td><td>104</td></tr><tr><td>2.3. APPROCHE A CAPACITE LIMITEE</td><td>106</td></tr><tr><td>4.3. EFFORT MENTAL</td><td>107</td></tr><tr><td>4.3.1. CONCEPT</td><td>107</td></tr></table>
<table><tr><td>4.3.2. EFFORT MENTAL ET ACTIVATION PHYSIOLOGIQUE</td><td>109</td></tr><tr><td>4.3.3. EFFORT MENTAL ET MESURES PHYSIOLOGIQUES ET OCULAIRES</td><td>111</td></tr><tr><td>4.4. FATIGUE</td><td>111</td></tr><tr><td>4.4.1. PERCLOS</td><td>111</td></tr><tr><td>4.4.2. SACCADES</td><td>112</td></tr><tr><td>4.4.3. CLIGNEMENT DE PAUPIERES (EYE BLINK)</td><td>112</td></tr><tr><td>4.5. VERS UNE MESURE DU COUT UTILISATEUR</td><td>113</td></tr><tr><td>CHAPITREV VERS UNE METHODE ALTERNATIVE DE L'EVALUATION DE LA QUALITE</td><td>114</td></tr><tr><td>5.1. EVALUATION DU COUT CONSOMMATEUR</td><td>115</td></tr><tr><td>5.2. COUT CONSOMMATEUR ET EVALUATION DE QUALITE</td><td>117</td></tr><tr><td>5.3. VERS UNE METHODE HYBRIDE</td><td>123</td></tr><tr><td>5.3.1. HYPOTHESES GENERALES</td><td>124</td></tr><tr><td>5.3.2. OBJECTIFS</td><td>126</td></tr><tr><td>CHAPITRE VI – EXPERIMENTATION A : ETUDE EXPLORATOIRE</td><td>128</td></tr><tr><td>6.1. INTRODUCTION GENERALE</td><td>128</td></tr><tr><td>6.2. OBJECTIFS</td><td>129</td></tr><tr><td>6.3. PARTICIPANTS</td><td>129</td></tr><tr><td>6.4. MATERIEL</td><td>130</td></tr><tr><td>6.4.1. CONFIGURATION GENERALE</td><td>130</td></tr><tr><td>6.4.2. CONFIGURATION TECHNIQUE</td><td>130</td></tr><tr><td>6.4.3. RECUEIL DES DONNEES</td><td>131</td></tr><tr><td>6.5. STIMULI</td><td>132</td></tr><tr><td>6.6. OBSERVABLES</td><td>133</td></tr><tr><td>6.6.1. MESURES SUBJECTIVES</td><td>133</td></tr><tr><td>6.6.2. MESURES PHYSIOLOGIQUES ET OCULAIRES</td><td>134</td></tr></table>
<table><tr><td>6.7. PROTOCOLE</td><td>134</td></tr><tr><td>6.8. HYPOTHESES</td><td>135</td></tr><tr><td>6.9. RESULTATS</td><td>136</td></tr><tr><td>6.9.1. PREPARATION ET REDUCTION DES DONNEES</td><td>136</td></tr><tr><td>6.9.2. MESURES SUBJECTIVES</td><td>138</td></tr><tr><td>6.9.3. CONCLUSIONS MESURES SUBJECTIVES</td><td>139</td></tr><tr><td>6.9.4. MESURES PHYSIOLOGIQUES ET OCULAIRES</td><td>141</td></tr><tr><td>6.9.5. CONCLUSIONS MESURES PHYSIOLOGIQUES ET OCULAIRES</td><td>144</td></tr><tr><td>6.10. PISTES D'AMELIORATIONS DU PROTOCOLE</td><td>148</td></tr><tr><td>6.10.1. SOLUTION FACTEUR PASSATION : VERS UNE SOLUTION DE SYNCHRONISATION</td><td>148</td></tr><tr><td>6.10.2. SOLUTION FACTEUR ACTIVITE : CONTENU AMORCE ET AVERTISSEUR</td><td>148</td></tr><tr><td>6.10.3. SOLUTION FACTEUR HABITUATION : VARIATION DES PATTERNS DE DEGRADATIONS</td><td>149</td></tr><tr><td>6.10.4. SOLUTION FACTEUR ENGAGEMENT : MAINTIEN DE L'ENGAGEMENT SUR LA TACHE DE VISUALISATION</td><td>149</td></tr><tr><td>6.10.5. SOLUTION FACTEUR NIVEAU : AUGMENTATION DES DUREES ET SEUILS DE DEGRADATIONS</td><td>149</td></tr><tr><td>6.10.6. SOLUTION FACTEUR MATERIEL : VERS UNE SOLUTION DE SYNCHRONISATION</td><td>150</td></tr><tr><td>6.10.7. EFFET DE L'ANALYSE : STATISTIQUES COMPLEMENTAIRES</td><td>150</td></tr><tr><td>6.10.8. SOLUTION FACTEUR CONTENU : POUR UNE CARACTERISATION DES CONTENUS DE TEST</td><td>151</td></tr><tr><td>CHAPITRE VII – EXPERIMENTATIONS B : CARACTERISATION ET INFLUENCE DU CONTENU</td><td>153</td></tr><tr><td>7.1. INTRODUCTION ET OBJECTIFS</td><td>153</td></tr><tr><td>7.2. EXPERIMENTATION B1 : CARACTERISATION DES CONTENUS</td><td>155</td></tr><tr><td>7.2.1. SELECTION DES DESCRIPTEURS</td><td>155</td></tr></table>
<table><tr><td>2.2. OBJECTIFS</td><td>158</td></tr><tr><td>7.2.3. PARTICIPANTS</td><td>160</td></tr><tr><td>7.2.4. MATERIEL</td><td>160</td></tr><tr><td>7.2.4.1. CONFIGURATION GENERALE</td><td>160</td></tr><tr><td>7.2.5. STIMULI</td><td>161</td></tr><tr><td>7.2.6. OBSERVABLES</td><td>162</td></tr><tr><td>7.2.7. PROTOCOLE</td><td>162</td></tr><tr><td>7.2.8. HYPOTHESES</td><td>162</td></tr><tr><td>7.2.9. RESULTATS</td><td>163</td></tr><tr><td>7.2.9.1. ANNOTATION EXPERTE VS. NAÏVE</td><td>163</td></tr><tr><td>7.2.9.2. CARACTERISATION NAÏVE DES SEQUENCES</td><td>164</td></tr><tr><td>7.2.9.3. CARACTERISATION FINALE DES SEQUENCES</td><td>169</td></tr><tr><td>7.3. CONCLUSIONS B1</td><td>170</td></tr><tr><td>7.4.2. PARTICIPANTS</td><td>174</td></tr><tr><td>7.4.3. MATERIEL</td><td>174</td></tr><tr><td>7.4.3.1. CONFIGURATION GENERALE</td><td>174</td></tr><tr><td>7.4.3.2. CONFIGURATION TECHNIQUE</td><td>175</td></tr><tr><td>7.4.4. STIMULI</td><td>175</td></tr><tr><td>7.4.5. PROTOCOLE</td><td>176</td></tr><tr><td>7.4.6. OBSERVABLES ET HYPOTHESES</td><td>177</td></tr><tr><td>7.4.7. RESULTATS</td><td>177</td></tr><tr><td>7.4.7.1. EFFET DE LA DESYNCHRONISATION</td><td>178</td></tr><tr><td>7.4.7.2. EFFET DES DEGRADATIONS AUDIO</td><td>178</td></tr><tr><td>7.4.7.3. EFFET DES DEGRADATIONS VIDEO</td><td>179</td></tr><tr><td>7.4.7.4. EFFET DES DEGRADATIONS AUDIO-VIDEO</td><td>180</td></tr><tr><td>7.5. CONCLUSIONS B2</td><td>181</td></tr></table>
<table><tr><td>7.6. CONCLUSION GENERALE ET PERSPECTIVES</td><td>182</td></tr><tr><td>CHAPITRE VIII – EXPERIMENTATION C : ETUDE FINALE</td><td>184</td></tr><tr><td>8.1. INTRODUCTION GENERALE</td><td>184</td></tr><tr><td>8.2. OBJECTIFS</td><td>184</td></tr><tr><td>8.3. PARTICIPANTS</td><td>186</td></tr><tr><td>8.4. MATERIEL</td><td>186</td></tr><tr><td>8.4.1. CONFIGURATION GENERALE</td><td>186</td></tr><tr><td>8.4.2. CONFIGURATION TECHNIQUE</td><td>187</td></tr><tr><td>8.4.3. SOLUTION DE SYNCHRONISATION</td><td>187</td></tr><tr><td>8.4.4. RECUEIL DES DONNEES</td><td>188</td></tr><tr><td>8.5. STIMULI</td><td>189</td></tr><tr><td>8.6. OBSERVABLES</td><td>191</td></tr><tr><td>8.6.1. MESURES SUBJECTIVES</td><td>191</td></tr><tr><td>Tableau 8.2. Récapitulatif de l'ensemble des observables de l'expérience subjective des spectateurs pour l'expérimentation C</td><td>191</td></tr><tr><td>8.6.2. MESURES PHYSIOLOGIQUES ET OCULAIRES</td><td>192</td></tr><tr><td>8.7. PROTOCOLE</td><td>193</td></tr><tr><td>8.8. HYPOTHESES</td><td>196</td></tr><tr><td>8.9. RESULTATS</td><td>196</td></tr><tr><td>8.9.1. PREPARATION DES DONNEES</td><td>196</td></tr><tr><td>8.9.2. MESURES SUBJECTIVES</td><td>197</td></tr><tr><td>8.9.2.1. FATIGUE</td><td>197</td></tr><tr><td>8.9.2.2. PREFERENCES</td><td>197</td></tr><tr><td>8.9.2.4. CATEGORIE SEMANTIQUE</td><td>199</td></tr><tr><td>8.9.2.5. CATEGORIE TECHNIQUE</td><td>200</td></tr><tr><td>8.9.2.6. CATEGORIE PERCEPTION « DETECTION » ET « CERTITUDE »</td><td>200</td></tr></table>
<table><tr><td>8.12.a. Taux de détection (oui/non) pour chaque contenu et chaque type de dégradation</td><td>201</td></tr><tr><td>8.12.b. Taux de certitude lors d'une détection (oui)</td><td>201</td></tr><tr><td>8.12.c. Taux de certitude en absence de détection (non)</td><td>201</td></tr><tr><td>8.9.3. CONCLUSIONS MESURES SUBJECTIVES</td><td>203</td></tr><tr><td>8.9.4. MESURES OCULAIRES</td><td>207</td></tr><tr><td>8.9.4.1. REDUCTION DES DONNEES</td><td>207</td></tr><tr><td>8.9.4.3. EFFET DU CONTENU</td><td>208</td></tr><tr><td>8.9.4.4. EFFET DES DEGRADATIONS</td><td>209</td></tr><tr><td>8.9.5. CONCLUSIONS MESURES OCULAIRES</td><td>211</td></tr><tr><td>8.9.6. MESURES PHYSIOLOGIQUES</td><td>214</td></tr><tr><td>8.9.6.2. EFFET DU TYPE D'ACTIVITE</td><td>215</td></tr><tr><td>8.9.6.4. EFFET DES DEGRADATIONS</td><td>217</td></tr><tr><td>8.9.6.5. EFFET DU TYPE DE NORMALISATION</td><td>219</td></tr><tr><td>8.9.6.6. AUTRES APPROCHES STATISTIQUES</td><td>219</td></tr><tr><td>8.9.7. CONCLUSIONS MESURES PHYSIOLOGIQUES</td><td>220</td></tr><tr><td>8.10. CONCLUSIONS EXPERIMENTATION C</td><td>223</td></tr><tr><td>8.10.1. MESURES SUBJECTIVES</td><td>225</td></tr><tr><td>8.10.2. MESURES PSYCHOPHYSIOLOGIQUES</td><td>226</td></tr><tr><td>CONCLUSIONS ET PERSPECTIVES</td><td>229</td></tr><tr><td>REFERENCES</td><td>241</td></tr><tr><td>ANNEXE 2-A</td><td>268</td></tr><tr><td>Système perceptif audiovisuel</td><td>268</td></tr><tr><td>ANNEXE 3-A</td><td>281</td></tr><tr><td>ANNEXE 6-B</td><td>284</td></tr><tr><td>ANNEXE 6-C</td><td>284</td></tr><tr><td>ANNEXE 6-D</td><td>285</td></tr></table>
Étude de l'influence de la qualité audiovisuelle et de la communication sur la qualité d'expérience du spectateur : combinaison physiologique et oculaire

<table><tr><td>ANNEXE 7-A</td><td>288</td></tr><tr><td>ANNEXE 7-B</td><td>290</td></tr><tr><td>ANNEXE 7-C</td><td>290</td></tr><tr><td>ANNEXE 7-D</td><td>292</td></tr><tr><td>ANNEXE 7-E</td><td>293</td></tr><tr><td>ANNEXE 7-F</td><td>294</td></tr><tr><td>ANNEXE 7-G</td><td>294</td></tr><tr><td>ANNEXE 7-H</td><td>295</td></tr><tr><td>ANNEXE 7-I</td><td>296</td></tr><tr><td>ANNEXE 8-B</td><td>299</td></tr><tr><td>ANNEXE 8-C</td><td>303</td></tr><tr><td>ANNEXE 8-D</td><td>303</td></tr><tr><td>ANNEXE 8-E</td><td>305</td></tr><tr><td>ANNEXE 8-F</td><td>305</td></tr><tr><td>ANNEXE 8-G</td><td>306</td></tr><tr><td>ANNEXE 8-H</td><td>307</td></tr><tr><td>ANNEXE 8-I</td><td>307</td></tr><tr><td>ANNEXE 8-J</td><td>308</td></tr><tr><td>ANNEXE 8-K</td><td>310</td></tr><tr><td>ANNEXE 9-B</td><td>312</td></tr></table>
TABLE DES ELEMENTS VIDEOPHONES

<table><tr><td>Vid. 1.1 Cheminement du signal audiovisuel de sa production à la qualité finale perçue par l'utilisateur.</td><td>39</td></tr><tr><td>Vid. 1.2. Illustration d'une image dégradée (image de droite) par la présence de blocs suite à une diminution du débit vidéo. L'image originale est présentée à gauche.</td><td>40</td></tr><tr><td>Vid. 1.3. Cheminement du signal audiovisuel de sa production à la qualité d'expérience de l'utilisateur.</td><td>42</td></tr><tr><td>Vid. 1.4. Cheminement du signal audiovisuel de sa production à la qualité d'expérience de l'utilisateur vis -à-vis du service audiovisuel utilisé.</td><td>44</td></tr><tr><td>Vid. 1.5. Echelle d'évaluation de qualité à 9 et 5 niveaux.</td><td>44</td></tr><tr><td>Vid. 1.6. Chronogramme de la méthode ACR (issu de la P.911, UIT-T, 1998).</td><td>45</td></tr><tr><td>Vid. 1.7. Echelle de dégradation à cinq niveaux.</td><td>45</td></tr><tr><td>Vid. 1.8. Positions moyennes des items UIT. L'axe de droite présente les positions théoriques des items, c'est-à-dire telles que proposées par les échelles UIT.</td><td>49</td></tr><tr><td>Vid. 2.1. Accroissement de la réponse audiovisuelle (VA) comparativement aux réponses unimodales auditives (A) et visuelles (V) (extrait de Stein et Meredith, 1993, p. 124).</td><td>56</td></tr><tr><td>Vid. 2.2. Plateau de non perceptibilité des erreurs de synchronie. La Figure présente le nombre de participants ayant détecté des erreurs de synchronisation, moyenné pour l'ensemble des contenus, pour les neuf niveaux de désynchronisation étudiés. Ici les valeurs négatives correspondent à un son en retard par rapport à l'image (Hollier et Rimmel, 1998).</td><td>65</td></tr><tr><td>Vid. 2.3. Seuil différentiel moyen (ms) obtenu pour chaque séquences verbales (Speech) et non verbales (Guitar et Piano). Les barres d'erreur représentent les écarts-types de la moyenne.</td><td>66</td></tr><tr><td>Vid. 2.4. Plateaux de perceptibilité et d'acceptabilité (extrait de la norme UIT-R BT.1359-1,</td><td></td></tr></table>
998), un son en avance est représenté par un le signe « - ». .................................................... 67

Vid. 3.1. Illustration des trois types d'activation physiologique du modèle de Boucsein (1993). 81

Vid. 3.2. Schéma des principales divisions du système nerveux humain et des conséquences physiologiques de l'activation des sous-systèmes nerveux parasympathique (SNP) et sympathique (SNS). Des stimulations à court terme (CT) ou à long terme (LT) vont entraîner des réponses du système nerveux central (SNC) et périphérique (SNPq). Les informations issues des récepteurs sensitifs comme la peau, les articulations, etc. sont relayées au SNC par le système nerveux somatique (SNsoma) dont les fibres motrices activent les muscles squelettiques sous contrôle volontaire du SNC. Le système nerveux autonome (SNA) relaie des informations de l'environnement interne au SNC ainsi que des informations du SNC aux organes et muscles impliqués dans l'activité végétative de l'organisme. ................................................................................83

Vid. 3.3. Coupe détaillée du coeur, les flèches indiquent l'écoulement sanguin (d'après Widmaier et al., 2012). ................................................................................................................................................84

Vid. 3.4. Révolution cardiaque (d'après Lacombe, 2009). Les zones colorées représentent le parcours sanguin dans chaque ventricule, la couleur bleu représente le ventricule droit et le rouge le ventricule gauche. ................................................................................................................................................85

Vid. 3.5. Site d'accueil du pléthysmographe pour la mesure du VSP et de la FC. ....................87

Vid. 3.6. Extrait d'un tracé de mesure du VSP. ................................................................................88

Vid. 3.7. Site d'accueil pour les capteurs de mesure d'AED correspondant à deux électrodes installées ici sur les phalanges adjacentes médiales de l'index et du majeur. ................................................93

Vid. 3.8. Extrait d'un tracé de mesure d'AED. ................................................................................94

Vid. 3.9. Illustration des états toniques (NED) et phasiques (RED et RED-NS) de l'AED (adapté d'après Clochard, 2011). ................................................................................................................................................95

Vid. 3.10. Site d'accueil du capteur de mesure des variations de TCP. ................................................96

Vid. 3.11. Extrait d'un tracé de mesure de TCP. ................................................................................97

Vid. 4.2. Réponse de la fréquence cardiaque en fonction de la valence (issue de Simons et al., 1999). Le rythme cardiaque est plus élevé pour les émotions positives par rapport aux émotions négatives. ....110

Vid. 4.3. Fréquence de la réponse électrodermale en fonction du nombre de changement de plan
présenté trois fois, une fois pour chaque condition de qualité (C0, C1 et C2). Après chaque contenu, une pause de 2 min permettait aux participants de compléter le questionnaire des données physiologiques ou oculaires. 146

Vid. 6.8. Approche générale pour l'analyse des données physiologiques et oculaires. 147

Vid. 6.9. MOSAV, MOSV et MOSA obtenues pour les conditions C0, C1 et C2 pour chacun des contenus visualisés : Opéra, Documentaire (Doc.) et Sport. 148

Vid. 6.10. b. Moyenne de VSPn. Fig. 6.10c. Moyenne d'AEDn. 152

Vid. 6.10. a. Moyenne de DP. 152

Vid. 6.11. Niveau moyen électrodermal normalisé et obtenu pour chaque période (déradées -D- et non dégradées -Ø-) de chaque contenu (Opéra, Documentaire et Sport) pour les conditions C0, C1 et C2. 153

Vid. 7.1. Schéma de la configuration de la salle de test (193×376×505 cm) de l'expérimentation B1. La place du participant est représentée par un point noir, l'écran est figuré par un rectangle. 170

Vid. 7.2. Configuration technique de l'expérimentation B1. 170

Vid. 7.3. Niveaux moyens obtenus pour le descripteur « Luminosité» de la catégorie Technique pour chaque séquence de test caractérisée par le panel naïf. 174

Vid. 7.4. Répartition des effectifs en fonction de la séquence pour l'annotation du descripteur « Couleur » de la catégorie Technique. 174

Vid. 7.5. Niveaux moyens obtenus pour les descripteurs « Intérêt », « Valence » et « Arousal » de la catégorie Hédonique pour chaque séquence de test caractérisée par le panel naïf où 1 représente un niveau élevé d'intérêt, de plaisir ou d'arousal et 0 un niveau faible d'intérêt, de plaisir ou d'arousal. 175

Vid. 7.6. Niveaux moyens obtenus pour le descripteur « Quantité d'information » (Quant. info) de lacatégorie Sémantique pour chaque séquence de test caractérisée par le panel naïf. 176

Vid. 7.7. Niveaux moyens obtenus pour le descripteur « Compréhension » de la catégorie Sémantique pour chaque séquence de test caractérisée par le panel naïf. 176

Vid. 7.8. Niveaux moyens obtenus pour le descripteur « Dynamique de contenu » de la catégorie
Sémantique pour chaque séquence de test caractérisée par le panel naïf. 176

Vid. 7.9. Répartition des effectifs en fonction de la séquence pour l'annotation du descripteur « Modalité » de la catégorie Sémantique. 176

Vid. 7.10. MOSAV, V et A obtenues pour chaque séquence de test. 177

Vid. 7.11. Schéma de la configuration de la salle de test (250×310×320 cm) de l'expérimentation B2. La place du participant est représentée par un point noir, l'écran est figuré par un rectangle. 184

Vid. 7.12. Configuration technique de l'expérimentation B2. 185

Vid. 7.13. Interface d'évaluation du logiciel SEOVQ permettant au participant de reporter son jugement sur l'échelle affichée. Une fois l'évaluation effectuée, le participant passait à la séquence suivante au moyen d'un clic bouton (a). Chaque séquence ne pouvait cependant être visualisée et entendue qu'une seule et unique fois. Les résultats pour chaque participant étaient ensuite enregistrés (b), après chaque passation, dans un fichier dédié. 187

Vid. 7.14. MOSAV obtenues pour chaque condition de qualité pour les séquences du contenu Danse. 188

Vid. 7.15. MOSAV obtenues pour chaque condition de qualité pour les séquences du contenu Documentaire (Doc). 188

Vid. 7.16. MOSAV obtenues pour chaque condition de qualité pour les séquences du contenu Opéra. 188

Vid. 7.17. MOSAV obtenues pour chaque condition de qualité pour les séquences du contenu Théâtre. 188

Vid. 7.18. MOSAV obtenues pour chaque condition de qualité pour les séquences du contenu 89

Vid. 8.1. Schéma de la configuration de la salle de test (194×372×501 cm) de l'expérimentation C. La place du participant est représentée par un point noir, l'écran est figuré par un rectangle. 197

Vid. 8.2. Solution automatisée de synchronisation : déclenchement synchrone des différents logiciels via le logiciel The Observer. AFTER EFFECT et WM étaient déclenchés par l'intermédiaire d'un second module (Télécommande). Celui-ci enregistrait également l'heure du déclenchement de chaque logiciel. Les logiciels Captiv21, Wave Lab et ADOBE PRO étaient
nstallés sur un même ordinateur (PC gestion) tandis que WM et AFTER EFFECT se trouvaient
sur des ordinateurs dédiés à leurs fonctionnements respectifs.
.................................................................................. 199

Vid. 8.3. Illustration du module *Télécommande* pour le déclenchement des logiciels WM et faceLAB ainsi que l'enregistrement de l'heure de déclenchement de chacun des logiciels. ...... 199

Vid. 8.4. Aperçu des contenus de test avec de gauche à droite : Documentaire, Opéra, Sport, Danse et Théâtre. .................................................................................................................. 201

Vid. 8.5. Patterns d'introduction des dégradations pour chaque contenu. D représente la désynchronisation, A la dégradation audio, V la dégradation vidéo et AV la dégradation audiovisuelle. ..................................................................................................................201

Vid. 8.7 : Evolution du niveau moyen de fatigue mesuré avant et après le test sur une échelle allant de 1 (« Pas du tout fatigué ») à 7 (« Extrêmement fatigué »). .................................................................................. 209

Vid. 8.8. Position (selon la médiane) de chaque contenu obtenue au classement de préférence, de 1 (contenu préféré) à 5 (contenu le moins préféré), avant et après la phase de visualisation. ...... 209

Vid. 8.9. Influence du contenu sur le niveau moyen obtenu pour les descripteurs Intérêt, Plaisir et Arousal de la catégorie Hédonique. ..................................................................................210

Vid. 8.10. Influence du contenu sur l'évaluation de la modalité dominante présentée selon la répartition des effectifs et le niveau moyen obtenu pour les descripteurs Quantité d'information (Q.info), Compréhension (Compr.) et Dynamique (Dyn.). .................................................................10

Vid. 8.11. Influence du contenu sur le niveau moyen obtenu pour le descripteur Luminosité. ....
212

Vid. 8.12. Répartition par pourcentage d'effectifs, pour chaque contenu, du taux de détection (oui/non) des dégradations Audio (A), Vidéo (V), AudioVidéo combinées (AV), Désynchronisation (D) et Gêne 3D et du niveau de certitude associé (faible : fa, Modéré : M ou Fort : F). ..................................................................................................................212

Vid. 8.13. Effet des dégradations audio (A) et AudioVidéo combinée (AV) sur les niveaux de compréhension et d'émotions négatives (Emo -) de 1 (Pas du tout) à 5 (Extrêmement). ......213
Vid. 8.14. Effet du contenu sur MOSAV, MOSV et MOSA. ....................................................214

Vid. 8.15. Moyennes obtenues pour chaque contenu pour les indices DP et SAC (0 = absence de saccades et 1= présence de saccades). ....................................................................................220

Vid. 8.16. Moyennes obtenues pour chaque période du contenu Sport pour les indices EBdur et DP. P1, P2, P3 et P4 correspondent aux périodes non dégradées (selon chronologie du contenu). A correspond à la période présentant la dégradation audio, V à la dégradation vidéo, D à la dégradation désynchronisation et AV à la combinaison des dégradations A et V, selon leur ordre d'apparition. ....................................................................................................................222

Vid. 8.17. Moyennes obtenues pour chaque période du contenu Théâtre pour l'indice SAC. P1, P2, P3 et P4 correspondent aux périodes non dégradées (selon chronologie du contenu). A correspond à la période présentant la dégradation audio, V à la dégradation vidéo, D à la dégradation désynchronisation et AV à la combinaison des dégradations A et V, selon leur ordre d'apparition.....222

Vid. 8.18. Moyennes d'AED et de FC obtenues pour chaque activité : Baseline, Amorce et C1. ....................................................................................................................228

Vid. 8.19. Moyennes d'AEDn obtenues pour chaque contenu Danse, Opéra, Théâtre, Documentaire

(Doc.) et Sport. ....................................................................................................................229

8.9.6.4. EFFET DES DEGRADATIONS ....................................................................................229

Vid. 8.20. Moyennes d'AED obtenues pour chaque période de chaque contenu visualisé. ............30

Vid. 8.21. Signal brut d'AED obtenu pour un participant donné tout au long de la passation de test, c'est-à-dire de l'enregistrement de la baseline (BS), à la présentation de l'amorce (A) et des cinq contenus (C1, C2, C3, C4, C5). Le tracé présente également les périodes de pause (P) de 5 min allouées à la complétion des questionnaires. ....................................................................................230

Vid. 8.22. Moyennes obtenues pour chaque période des contenus Opéra et Sport pour l'indice FCn. P1, P2, P3, P4 et P5 correspondent aux périodes non dégradées (selon chronologie du contenu). A correspond à la période présentant la dégradation audio, V à la dégradation vidéo, D à la dégradation désynchronisation et AV à la combinaison des dégradations A et V, selon leur ordre

d'apparition. ....................................................................................................................231
# INTRODUCTION

Dans un contexte concurrentiel, la qualité d'expérience du consommateur (QOE : Quality Of Experience) est une des préoccupations majeures des acteurs du domaine de ces services audiovisuels (télévisuels, visioconférences, productions audiovisuelles etc.). Actuellement, l'évaluation de la QOE se réalise généralement à travers l'évaluation de la qualité, telle que perçue par les consommateurs, des signaux audio et/ou vidéo restitués. Les méthodes d'évaluation utilisées sont recommandées par l'Union Internationale des Télécommunications. Ces approches reposent sur des mesures subjectives dont l'interprétation et la validité sont limitées par un certain nombre d'interface. Elles ne permettent pas non plus de rendre compte fidèlement de l'influence de la qualité audiovisuelle sur la qualité d'expérience du consommateur. Par exemple, ces méthodes n'apportent pas d'informations sur le coût pour l'utilisateur, du point de vue de la fatigue ou de l'effort mental, induit par des dégradations du signal et pouvant à terme conduire à un rejet du système ou de la technologie de restitution. Le coût peut être mesuré à partir d'indices de l'activité physiologique et oculaire de l'individu. Ce type de mesures présente l'avantage de ne pas être soumis aux biais des mesures subjectives, capables de diminuer la fiabilité des observations (problème de représentativité, interprétation des items, références implicites, etc.). Wilson G. M. et Sasse (1000a, 2000b) cité par docteur Julie LASSALLE ont montré que des fluctuations importantes de qualité audio ou vidéo peuvent ne pas être consciemment perçues par les participants et pour autant être reflétées par l'activité physiologique. L'objectif du travail présenté dans ce document est de contribuer à une méthode alternative pour l'évaluation de la qualité audiovisuelle pour des applications multimédias. La démarche a consisté à proposer, au sein d'une même méthode, l'étude conjointe à la fois de mesures subjectives, avec un questionnaire enrichi (c.-à-d. évaluation de critères autres que les seules notes de qualité) et de mesures de l'activité physiologique et oculaire du spectateur.

Cette approche doit permettre de mieux comprendre l'influence de la qualité audiovisuelle restituée sur la qualité d'expérience du spectateur, d'une part, en palliant les problèmes des méthodes actuelles d'évaluation et d'autre part, en proposant une approche plus holistique de l'influence de la qualité sur la QOE.

Le premier chapitre présente le cheminement du signal audiovisuel de sa captation à sa restitution. Il définit ensuite la notion de qualité du signal audiovisuel restitué par les systèmes de
ransmission, tout d'abord, sous l'angle de ses caractéristiques physiques puis sous l'angle de la perception du spectateur. Enfin, les différentes méthodes standardisées et recommandées par l'Union Internationale des Télécommunications pour l'évaluation de la qualité audiovisuelle seront présentées.

Le **second chapitre** est consacré à la perception bimodale audiovisuelle. L'influence de la qualité audiovisuelle sur la perception du spectateur relève des capacités des systèmes auditifs et visuels humain à traiter et interpréter l'information bimodale. La perception de la qualité audiovisuelle repose sur la manière dont les stimuli auditifs et visuels sont fusionnés pour former un percept unique de qualité globale audiovisuelle. Les disparités temporelles et spatiales capables d'interférer voire d'empêcher le processus d'intégration audiovisuel (et à terme d'entraîner une diminution de la qualité perçue) seront abordées. Une dernière partie 29 sera dédiée à l'étude des influences mutuelles entre qualité audio et vidéo ainsi que leur contribution respective à la qualité audiovisuelle globale perçue par le spectateur.

Le **chapitre 3** décrit le fonctionnement général du système nerveux humain. Les indicateurs physiologiques et oculaires étudiés dans ce document ainsi que leurs mesures et traitements statistiques seront ensuite détaillés.

Le **chapitre 4** expose les différentes influences capables de moduler l'activité physiologique et/ou oculaire d'un individu. Les influences émotionnelles, attentionnelles puis celles liées à l'effort mental et à la fatigue seront abordées.

Le **chapitre 5** montre l'intérêt des mesures psychophysiologiques (physiologiques et oculaires) pour évaluer le coût, pour l'individu, de l'utilisation d'un service ou d'une technologie. Plus spécifiquement, le lien entre mesures psychophysiologiques et évaluation de qualité sera abordé.

Les études intégrant ces mesures aux méthodes d'évaluation de la qualité seront utilisées dans ce document comme référent méthodologique. Enfin, une méthode hybride incluant à la fois la mesure de l'expérience subjective, de l'activité tonique physiologique et oculaire du spectateur sera proposée comme alternative aux méthodes actuelles d'évaluation de la qualité audiovisuelle.

Le **chapitre 6** est dédié à la présentation d'une expérimentation exploratoire testant une première proposition de méthode hybride. Des contenus de test 2D présentant un niveau fluctuant de qualité étaient présentés à un panel de participants. Il était attendu que les dégradations influencent autant les mesures subjectives que les mesures psychophysiologiques (du point de vue de l'effort mental et de la fatigue). L'analyse des données psychophysiologiques,

e
ssentiellement à partir d'analyses de variance, portait sur l'activité tonique de quatre indicateurs physiologiques et quatre indicateurs oculaires. Les résultats ont mis en avant un effet de la qualité sur les mesures subjectives. La qualité a influencé un seul des indicateurs physiologiques et oculaires (activité électrodermale) et ce, pour un seul des contenus présentés. Cette première étude a mis l'accent sur la sensibilité des mesures psychophysiologiques à différents facteurs susceptibles de masquer ou d'atténuer les effets de qualité. Différentes propositions ont été émises à la suite de ces résultats pour réadapter le protocole proposé. Une attention particulière doit notamment être portée au contenu qui a influencé tant les mesures subjectives que psychophysiologiques.

Le **chapitre 7** est consacré à la caractérisation des contenus de test. Dans un premier temps, un expert audiovisuel a réalisé une annotation précise, à partir d'un ensemble des descripteurs, des contenus du corpus de test. Ensuite, un échantillon de séquences extraites des contenus caractérisés a été proposé à un panel de participants naïfs. Cette étape a permis de vérifier, à partir de l'étude de la concordance entre caractérisation experte et naïve, la pertinence d'un sous-ensemble de descripteurs considérés comme pouvant varier selon la perception de l'individu qui l'évalue. Des critères propres à l'expérience du spectateur (intérêt, plaisir, etc.) ont aussi été évalués afin de mieux comprendre l'influence du contenu sur la **qualité d'expérience**. Enfin, ces mêmes séquences ont été présentées, dans une seconde 30 expérimentation, avec des dégradions de qualité dans l'intention d'étudier le lien entre contenu et perception de la qualité audiovisuelle. Ces expériences ont notamment mis en avant une influence des descripteurs « expression sonore», « modalité » et « dynamique » sur la perception de qualité. Ces informations sont utiles pour optimiser la sélection des séquences de test et pour améliorer la compréhension de l'influence de la qualité sur les mesures subjectives et psychophysiologiques.

Enfin, le **chapitre 8** propose un protocole tenant compte des conclusions de la première
expérimentation (chapitre 6), c'est-à-dire des facteurs considérés comme potentiellement
préjudiciables à l'expression physiologique et/ou oculaire des dégradations. Un questionnaire
enrichi est également proposé pour obtenir un retour plus complet de l'influence de dégradations
sur la qualité perçue et la **qualité d'expérience** du spectateur. Ce questionnaire a en partie été
élaboré à partir des expérimentations présentées dans le chapitre 7. Des contenus de test 3D
présentant un niveau fluctuant de qualité étaient présentés à un panel de participants. Il était
attendu que les dégradations influencent autant les mesures subjectives que les mesures
sychophysiologiques (effort mental, fatigue). L'analyse des données psychophysiologiques portait sur l'activité tonique de quatre indices physiologiques et cinq indices oculaires essentiellement à partir d'analyses de variance. Les résultats de cette expérimentation ont mis en avant un effet de la qualité sur les mesures subjectives. La qualité a influencé un seul des indicateurs physiologiques et oculaires (fréquence cardiaque) et ce, pour un seul des contenus présentés. Cette expérimentation a également montré que les notes de qualité reportées selon les recommandations de l'UIT ne permettent pas de rendre compte de l'ensemble de l'influence de la qualité sur la qualité d'expérience du spectateur. Ce dernier résultat confirme l'importance de faire évoluer les méthodes actuelles vers des méthodes reflétant plus fidèlement l'influence de la qualité audiovisuelle sur la qualité d'expérience.

Finalement, cette thèse repose sur l'étude d'indicateurs subjectifs et sur la capacité des mesures psychophysiologiques à évaluer le coût (effort/fatigue) pour le spectateur induit par la présence de dégradations sur les signaux audio et/ou vidéo restitués avec comme perspective la proposition d'une méthode hybride capable de révéler plus fidèlement, que les méthodes de nos jours, l'influence de la qualité audiovisuelle sur la qualité d'expérience du spectateur.
# CHAPITRE I – QUALITE AUDIOVISUELLE ET EVALUATION

## 1.1. ENJEUX

Il y a environ soixante ans, la diffusion en noir et blanc de contenus audiovisuels apparaissait, suivie trente ans plus tard par la couleur. Dès lors, le degré de technicité n'a cessé d'agrandir. Aujourd'hui, des systèmes de restitution audiovisuelle de haute qualité (format haute définition - HD- ou 3D -images et sons-) s'élargissent à l'ensemble des terminaux (mobiles, ordinateur, télévision) et services (communications interpersonnelles, télévisuelles - TV-, etc.) disponibles. L'évolution des technologies de diffusion audiovisuelle tend à proposer des contextes de visualisation et d'écoute toujours plus immersifs où les sens du spectateur sont stimulés de façon nouvelle pour s'approcher de la réalité. Face à cette constante évolution et dans un contexte fortement concurrentiel, un des principaux enjeux pour les acteurs de l'offre de services audiovisuels (AV) est de garantir une qualité d'expérience (QOE -Quality Of Experience-) optimale à l'utilisateur. Cela est particulièrement vrai pour les nouvelles technologies à forte valeur ajoutée, telles que l'audio et la vidéo HD ou 3D. Ainsi, une attention toute particulière est portée à l'évaluation de la qualité d'expérience à travers le développement d'outils et la mise en place de méthodes d'évaluation. Pour les fournisseurs de services audiovisuels, la QOE est notamment étudiée à travers la perception de la qualité des médias (c.-à-d. la qualité des signaux audio et/ou vidéo restitués à l'utilisateur). La qualité perçue, et plus largement la QOE, devient un élément clé qu'il faut par conséquent savoir mesurer. Actuellement, les méthodes utilisées pour mesurer la qualité perçue par l'utilisateur sont généralement celles recommandés par l'Union Internationale des Télécommunications (UIT) dont l'objectif est de proposer un cadre commun d'évaluation aux différents studios, instituts ou entreprises cherchant à évaluer la qualité perçue de service de restitution audio et/ou vidéo (téléphonie, TV, visioconférence, etc.). Ces méthodes reposent principalement sur la collecte de notes subjectives recueillies sur des échelles de qualité, après visualisation et/ou écoute de séquences traitées par le service ou la technologie à évaluer. Toutefois, ces méthodes comportent certains biais inhérents aux mesures perceptives. Par exemple, la tâche même d'évaluation de qualité par les techniciens est peu représentative d'une situation réelle de visualisation. De la même manière, les échelles et les catégories utilisées pour juger la qualité peuvent biaiser la réponse des participants. Ces biais tendent à fragiliser la
alidité et l'interprétation des mesures recueillies. Les mesures perceptives limitent également l'étude de l'influence de la qualité restituée sur la QOE. Par exemple, le coût pour l'utilisateur, en matière d'effort ou de fatigue, lors de la visualisation et de l'écoute de contenus audiovisuels dont le signal audio et/ou vidéo est dégradé n'est pas reflété par les méthodes subjectives proposées par l'UIT.

## Chapitre I – Qualité audiovisuelle et évaluation

Les méthodes régulières ne permettent donc pas d'obtenir un retour suffisamment représentatif de l'influence des systèmes ou technologies AV sur l'utilisateur. Les services (TV, visioconférence, mobile, etc.) existants ou le déploiement de nouveaux services doivent tenir compte de l'influence de la qualité sur la perception de l'utilisateur mais aussi sur la qualité de son expérience afin de proposer le service le plus adapté possible. Ainsi, les méthodes actuelles d'évaluation de la qualité audiovisuelle doivent être adaptées et élargies à la QOE pour répondre aux besoins d'évaluation des technologies et services innovants. Différentes études (Durin, Gros et Chateau, 2006 ; Gros, Chateau, Durin, 2006 ; Gros, Chateau et Macé, 2005 ; Wilson G. M. et Sasse, 2000a, 2000b) cité par docteur Julie LASSALLE de l'université Bretagne LUSSI Laboratoire proposent une approche alternative basée sur l'évaluation non plus à travers le jugement seul de qualité effectué de façon explicite par les participants mais à travers l'impact de la qualité des médias sur le comportement, l'état émotionnel ou l'activité physiologique des utilisateurs. Une méthode alternative pourrait donc consister à ajouter ce type de mesures aux méthodes subjectives actuelles d'évaluation de qualité. L'objectif de ce chapitre est d'aborder la notion de qualité audiovisuelle, restituée par les systèmes de transmission, et telle que perçue par l'utilisateur. Les avantages et les faiblesses des méthodes subjectives actuelles pour évaluer la qualité seront présentés.

### 1.2. TRANSMISSION DU SIGNAL

Le niveau de qualité audiovisuelle restituée est conditionné par l'ensemble des traitements appliqués au signal audiovisuel, de la production à la restitution, en passant par la transmission. Généralement, les techniques de production audiovisuelle permettent d'obtenir des contenus de très bonne qualité (qualité source). Cependant, les conditions et techniques de prise de vues peuvent dégrader ce niveau de qualité. Par exemple, dans le cas de la 3D, les systèmes de caméra ne sont pas toujours adaptés et une mauvaise utilisation peut générer des artefacts gênants pour la
vision humaine. De la même manière, certains contenus 2D sont convertis en 3D grâce à des
outils de post-production automatiques qui utilisent des modèles de reconstruction 3D pouvant
être mal adaptés et aboutir à un rendu moins confortable pour le spectateur. La phase de
transmission est beaucoup plus critique du point de vue de la qualité restituée. Qu'elle soit
hertzienne (TNT, satellitaire, etc.) ou filaire (via internet, fibre optique, etc.), elle permet la
diffusion de contenus audiovisuels à partir d'un émetteur (par exemple une tête de réseau) vers
différents terminaux (TV, mobile, ordinateur). La quantité de données du signal source étant trop
grande par rapport aux capacités des canaux de transmission, des algorithmes de compression
sont donc appliqués au signal numérique avant l'émission. Ces traitements génèrent des pertes
d'informations définitives plus ou moins importantes par rapport au signal source, impactant ainsi
la qualité perçue du signal audiovisuel par l'utilisateur.

Chapitre I – Qualité audiovisuelle et évaluation

Au niveau de la réception, le signal est décodé et restitué sur l'écran et les haut parleurs du terminal. Les outils de décodage sont en général bien maîtrisés et délivrent une bonne qualité. Cependant, la partie restitution ou adaptation du signal décodé peut générer des artefacts liés à la colorimétrie, au sous-échantillonnage (48000E, 16bit et 1764000oct), au dé-entrelacement, autant d'éléments qui peuvent dégrader la qualité perçue. La norme de compression actuellement utilisée pour diffuser de la TV HDH ou du contenu multimédia multi-supports est la norme MPEG4-AVC, également connue sous le sigle H264. Le débit moyen de diffusion est variable selon l'application visée et le mode de transmission. Actuellement, en TV HDH, la vidéo est codée aux alentours de 12 Mégabits par seconde (Mbps) pour l'ADSL et son débit moyen pour la TNT est d'environ 11 Mbps. Le signal audio est lui codé entre 124 Kilobits par seconde (Kbps) et 386 Kbps selon le mode du signal (mono, stéréo ou multicanal) et la norme de codage utilisée (adaptée au mode). A l'émission, le signal codé (ou compressé) est partitionné en paquets de données contenant du signal audio et/ou vidéo ainsi que des données additionnelles pouvant être utilisées au niveau du décodeur pour gérer la qualité du signal, alimenter des applications d'enrichissement de la TV. Au cours du transport, des paquets de données peuvent être corrompus ou perdus donnant lieu à différents types d'artefacts, selon les mécanismes de gestion de paquets perdus : coupures sur le signal audio, apparition de blocs de pixels sur le signal vidéo, etc. Chaque étape du traitement de la chaîne audiovisuelle, de la réalisation du contenu à sa restitution, peut introduire une perte d'information ou une dégradation de la qualité du signal
restitué.

## 1.3. QUALITE DU SIGNAL AUDIO OU VIDEO

La qualité objective du signal peut être définie par des caractéristiques techniques mesurables. Plus précisément, ce sont les performances techniques du système de transmission qui vont être mesurées. Les performances obtenues pourrait permettre de déterminer le niveau de la qualité du signal de service (QOS -Quality Of Service-). La QOS désigne la capacité d'un système à fournir un service correspondant aux exigences de diffusion audiovisuelle en matière de délai ou de débit à fournir par exemple. Cette approche dite centrée technologie repose sur un ensemble de critères de qualité dont les principaux sont : les paquets d'éléments audio et/ou vidéo (paquets d'éléments manquants), le débit (volume données maximales -bits- par unité de temps), la bande passante audio (c.-à-d. de la bande de fréquence -KHz- prise pour transmettre le signal audio, conditionne la fidélité de la restitution), la gigue (fluctuation du signal en phase) ou encore le délai latence (temps mis par un paquet données entre l'émission et la réception). L'ensemble de ces paramètres va influencer le niveau de qualité du signal restitué. Des moindres performances de l'un ou de plusieurs de ces paramètres (réduction bande passante, réduction du débit, perte de paquets.) diminuent la qualité de service. Les dégradations engendrées par la diminution des performances, liées aux conditions de transmission, vont détériorer la qualité du signal restitué au bout de chaîne et par conséquent, conduire à des dégradations audio et/ou vidéo initialement perceptibles par l'utilisateur.

# Chapitre I – Qualité audiovisuelle et évaluation

Un des axes majeurs de recherche des instituts régulateurs consiste à mettre en relief dans quelle mesure les dégradations du signal diminuent le niveau de qualité audiovisuelle perçue par l'utilisateur. La Vidéo 1.1 ci-dessous illustre le cheminement du signal audiovisuel de sa production à la qualité finale perçue.

Paramètres mesurés (VOIR L'ELEMENT DE LA VIDEO)

* indique la présence de dégradations sur le signal audio et/ou vidéo

Contenu AV

**Chaîne de diffusion** : Codage Transmission Restitution *son image*
Vid. 1.1 Cheminement du signal audiovisuel de sa production à la qualité finale perçue par l'utilisateur.

La présence d'altération peut conduire à une dégradation de la qualité du signal, ainsi restitué, et être à l'origine d'une diminution du niveau de qualité perçue par l'utilisateur.

**1.4. DE LA QUALITE PERÇUE A LA QUALITE D'EXPERIENCE**

Les paramètres de QOS ne permettent pas toujours de souligner l'influence des dégradations liées à la baisse de leurs performances sur la perception de l'utilisateur final. Le terme de qualité, considéré du point de vue de sa perception, qu'il soit associé à l'image ou au son (parole ou bandes sonores) est utilisé pour désigner des notions différentes, bien que liées. Le terme de qualité peut être défini comme la **caractérisation perceptive intrinsèque** d'un signal.

Chapitre I – Qualité audiovisuelle et évaluation

Par exemple, la sono bit (intensité perçue du signal sonore), la hauteur (fréquence fondamentale d'un son), le timbre sono (perception distincte entre deux sons d'intensité et de hauteur égal), la dynamique (écart entre un son faible et un son fort) ou la description spatiale des sources permettent de décoder l'audio. Pour la vidéo, des signaux de contraste, de définition des contours, de résolution et de couleur (proportion de rouge, de vert et de bleu d'une image : une forte proportion de bleu est qualifiée de couleur froide tandis qu'une lumière chaude présente une proportion élevée de rouge) peuvent être retenues comme des dimensions de la qualité d'une image. Mais le terme de qualité peut également caractériser par la qualité de transmission d'un système qui capture, traite, transmet ou reproduit des signaux. Dans ce cas, les qualificatifs souvent utilisés sont ceux qui caractérisent les **altérations du signal original** par le système, tels que distordu, bruité, flou, saccadé. Selon l'application (c.-à-d. le système évalué), l'une ou l'autre de ces deux définitions de la qualité peut être envisagée : celle du rendu approuvé sans référence à l'original et celle de la fidélité en référence au signal initial. Le monde de l'audiovisuel s'intéresse davantage à l'impact de l'ensemble de la chaîne de transmission sur le signal final, c'est-à-dire de l'émission du signal (en passant par les phases de codage et décodage et le canal de transmission) au terminal de restitution. La qualité du signal est alors considérée du point de vue de l'utilisateur des services de restitution audiovisuelle. PastranaVidal (2008) cité par docteur Julie LASSALLE de LUSSI Laboratoire propose de réunir les différents techniques perceptifs caractérisant les dégradations du signal (saccades, flou, etc.) autour de deux grands axes de
perception de qualité : la netteté (c.-à-d. notion de contraste et de définition de l'étalonnage) et la fluidité pour la vidéo, la clarté et la fluidité pour l'audio. La présence de dégradations audio ou vidéo affecterait ces différents axes dont la détérioration diminuerait le niveau de qualité perçue par le consommateur. Par exemple, la continuité (silences, « clics », etc.) ou la clarté (distorsions, échos) du signal audio peut être altérée lorsque le débit est trop faible ou en présence de pertes d'éléments. En ce qui concerne la vidéo, des pertes des éléments ou la réduction du débit peuvent aussi être à l'origine d'une dégradation du flux vidéo en matière de fluidité (saccades, gel de l'image) et par conséquent de la qualité du signal restitué. De la même manière, la netteté de la vidéo pourrait être dégradée par la présence de blocs (groupe de pixels) ou de flou (réduction de la netteté d'étalonnage et des détails spatiaux par dégradation globale de l'image) sur certaines parties de l'image, en raison, par exemple, d'un débit insuffisant. A titre d'illustration, la Vidéo 1.2 ci-dessous présente une image (extraite d'un signal vidéo) dégradée par la présence de blocs de pixels.

# Chapitre I – Qualité audiovisuelle et évaluation

## Vidéo. 1.2. Illustration d'une image dégradée (image de droite) par la présence de blocs suite à une diminution du débit vidéo. L'image originale est présentée à gauche. (voir la vidéo de l'image)

En plus de ces dégradations unimodales, le signal audiovisuel, c'est-à-dire le signal global considéré comme un évènement unique, peut également être touché par des dégradations lui étant spécifiques. Deux types de dégradations AV peuvent survenir entre les modalités audio et vidéo : les dégradations AV spatiales et les dégradations AV temporelles. Les dernières, généralement provoquées par un délai latence générée par le processus de transmission du signal, correspondent à la désynchronisation image/son et sont souvent rencontrées dans les contextes actuels de visualisation de contenu audiovisuel. Les dégradations AV spatiales sont moins liées à des fautes de transmission du signal qu'à un écart trop important entre les dispositifs de restitution audio et vidéo. Ces disparités seront plus décrites dans le chapitre II. La qualité perçue du signal est désignée par le terme de QOSE (QOS Experienced) et définie par la norme E.900 (2011) fournie par l'UIT (Union Internationale des Télécommunications) comme le niveau de qualité dont les consommateurs estiment avoir bénéficié. Cependant, l'acceptabilité globale d'un service ne dépend pas seulement de la qualité perçue du signal (QOSE) mais aussi de caractéristiques liées au service (disponibilité et prix), au contexte d'évaluation ou encore à des aspects propres au

c
onsommateur comme ses attentes vis-à-vis de ce service (expériences passées, but fixé, au contexte d'utilisation, etc.). Le terme de QOE (Quality Of Experience) ou qualité d'expérience est alors employé pour qualifier la recevabilité globale d'une application ou d'un service tel que subjectivement perçue par le consommateur final (UIT-T P.11/G.101, 2011). La QOE pourrait dépendre du coût pour le consommateur au sens de la fatigue ou de l'effort induit par une qualité détériorée des signaux restitués. Par exemple, de la fatigue ou une gêne visuelle peut être ressentie au cours ou après la visualisation de contenus AV présentant un format 3D vidéo (Chen, 2012 ; Lambooij, Fortuin, Heynderickx et IJsselsteijn, 2010 ; Ukai et Howarth, 2011 ; Yano, Ide, Mitsuhashi et Thwaites, 2007) cité par docteur Julie LASSALLE de LUSSI Laboratoire. La présence de fatigue ou de gêne pourrait réduire le confort ou la satisfaction du consommateur voire conduire à un rejet du service en question. La mesure de la QOE, aux carrefours de plusieurs disciplines comme la psychologie de l'image, les sciences cognitives ou les sciences de l'ingénierie, doivent permettre de mieux comprendre les attentes et le ressenti du consommateur vis-à-vis d'un système ou d'une technologie.

# Chapitre I – Qualité audiovisuelle et évaluation

Ainsi, des dégradations n'auront plus la même influence sur la qualité selon qu'on la considère à travers un ensemble d'éléments techniques (performances du système et service), perceptifs (rupture continuité, netteté, clarté : flou, saccades, dégradations) ou propres à l'individu (attentes du consommateur, contexte d'utilisation.). Afin d'optimiser les services audiovisuels existants ou innovants et de garantir une qualité optimale au consommateur, l'évaluation de la QOSE (qualité perçue) et plus largement de la QOE (qualité d'expérience) est un enjeu majeur pour les différents acteurs du domaine. La Vidéo 1.3 ci-dessous met en relief le cheminement du signal audiovisuel de sa production à la qualité d'expérience finale pour le consommateur

* indique la présence de dégradations sur le signal audio et/ou vidéo Contenu AV Chaîne de diffusion : Codage Transmission Restitution son image QOS (VOIR LA VIDEO)

**Vid. 1.3. Cheminement du signal audiovisuel de sa production à la qualité d'expérience du consommateur.**

# 1.5. EVALUATION DE QUALITE D'EXPERIENCE : LES METHODES ACTUELLES

La qualité d'expérience est principalement étudiée par la qualité perçue (QOSE) des signaux audio et vidéo restitués en fin de chaîne. Les méthodes actuelles d'évaluation de qualité utilisées

p
ar les instituts de régulations sont principalement recommandées par l'UIT. Un de ses objectifs est de mettre au point un ensemble de recommandations innovantes, internationalement reconnu, permettant une comparaison inter instituts des résultats issus des évaluations effectuées dans différents studios.

## Chapitre I – Qualité audiovisuelle et évaluation

L'UIT facilite à cet effet un cadre commun d'évaluation définissant par exemple le contexte (conditions de visualisation et d'écoute : luminosité, niveau d'écoute, posemètre de visualisation, etc.). Pour évaluer la qualité perçue des médias(QOSE) dans le secteur des télécommunications, deux types de méthodes sont considérés : les méthodes dites « instrumentales » et les méthodes subjectives ou perceptives. Les premières vont s'appuyer sur des éléments de QOS (perte d'éléments, délai) ou sur une analyse du signal pour programmer une note de qualité (prog QOSE). Les modèles utilisés pour les méthodes « instrumentales » sont souvent appui sur la mesure dite « perceptive ». Ces mesures perceptives sont obtenues auprès des consommateurs à qui l'on demande d'évaluer la qualité de séquences ou la qualité de communications audio (téléphonie, téléconférence) ou audiovisuelles (visioconférence, télévisuelle) réalisées avec un ou plusieurs autres logiciels. Les évaluations sont faites sur une ou plusieurs échelles de catégories. En effet, bien qu'il soit largement admis que la qualité perçue des médias soit un phénomène multidimensionnel, la grande majorité des méthodologies d'évaluation font l'hypothèse que la qualité d'un signal audio ou vidéo peut être décrite par un testeur sur une échelle unidimensionnelle de qualité. La notion de qualité est alors ramenée à une impression générale ou qualité globale, intégrant toutes les dimensions sous-jacentes. Les notes recueillies pour chaque individu sont ensuite moyennées, pour une série de test donnée, sur l'ensemble des enquêtés. Le score moyen d'opinion ou le MOS (Mean Opinion Score) obtenu déterminera alors le niveau de qualité du signal évalué. De façon générale, ces recommandations se concentrent sur l'évaluation d'une seule modalité, audio ou vidéo, à la fois. La norme UIT-T P.900 (UIT, 1997) est par exemple recommandée pour l'évaluation de la qualité du son, les recommandations UIT-R BS.1285-1 (UIT, 2009), UIT-R BS.1536-1 (UIT, 2009) et UIT-R BS.1117-1 (UIT, 1999) permettent d'évaluer la qualité audio tandis que les normes UIT-R BT.600-14 (UIT, 2015) et UIT-R BT.1798 (UIT, 2010) sont dédiées à l'évaluation de la qualité vidéo. La BT.600-14 fournit par

e
xemple des recommandations, entre autre, sur le contraste ou le rapport de luminance d'un écran. Certaines normes suggèrent également des méthodes pour évaluer une modalité donnée (audio ou vidéo) dans un contexte audiovisuel : la norme UIT-R BS.776-4 (UIT, 2014) et la norme UIT-R BS.1296 (UIT, 1999) permettent d'évaluer respectivement l'audio multicanal (radiodiffusion ; télévisuelle et numérique) et les systèmes audio, de façon générale, en présence d'une image d'accompagnement et la norme UIT-T P.912 (UIT, 2000) propose des méthodes pour évaluer la qualité vidéo dans le cadre de systèmes multimédias tels que de la visioconférence. Seulement deux normes sont dédiées à l'évaluation perceptive de la qualité audiovisuelle pour un contexte interactif (UIT-T P.921, 2000) ou non interactif (UIT-T P.912, 1999). La norme UIT-T P.921 propose des recommandations pour l'évaluation de services de communication audiovisuelle (applications multimédias interactives comme la visioconférence).

# Chapitre I – Qualité audiovisuelle et évaluation

Les tâches de communication proposées (> 2 min) doivent inciter les participants à communiquer de la façon la plus naturelle possible et à rester concentrés sur le média audiovisuel. La norme UIT-T P.921 décrit différents prétextes de communication pour engager le participant dans l'activité : jeu de questions et réponses, comparaison d'histoires ou d'images, etc. L'évaluation de la qualité audiovisuelle est réalisée à partir d'une approche multicritère. Il est notamment possible de demander aux participants de juger la qualité audiovisuelle globale mais également les qualités audio et vidéo jugées séparément. La norme UIT-T P.921 ne sera pas présentée plus en détails, sa mise en relief étant dédiée à l'évaluation des systèmes multimédias interactifs. La norme UIT-T P.911 propose des méthodes d'évaluation de la qualité audiovisuelle (AV) pour des applications multimédias non interactives (subjectivité passive d'écoute et de visualisation : TV, multimédias, etc.). L'analyse de qualité s'effectue sur une seule échelle à l'issue de la visualisation et de l'écoute de chaque série audiovisuelle de test. Quatre méthodes sont proposées dans le cadre de cette norme ; elles sont décrites dans les éléments de reportage suivants. La vidéo 1.4 ci-après indique le niveau, dans le processus du signal, auquel interviennent les méthodes d'évaluations de la qualité perçue.

la qualité d'expérience de l'utilisateur vis -à-vis du service audiovisuel utilisé. (VOIR LA VIDEO)
# Chapitre I – Qualité audiovisuelle et évaluation

## 1.5.1. MÉTHODE ACR : ABSOLUTE CATEGORY RATING

La méthode ACR consiste à attribuer une note de qualité après chaque séquence AV visualisée et entendue. La note d'évaluation attribuée doit refléter l'opinion du participant quant à la qualité audiovisuelle globale perçue, c'est-à dire la qualité audio et vidéo. Cette évaluation est réalisée sur une échelle catégorielle de six ou neuf points (intervalles) explicitée par six items (Excellent-Bon- Assez bon-Satisfaisant-Médiocre-Mauvais). Il est recommandé d'utiliser l'échelle en neuf points lorsqu'une plus grande puissance de discrimination est nécessaire, typiquement, lorsque l'on veut évaluer des codages à bas débit (UIT-T, 2000). Une illustration des échelles recommandées est apportée par la Vidéo 1.5.

**Vid. 1.5. Echelle d'évaluation de qualité à 9 et 6 niveaux.**

La norme recommande des séquences d'une durée comprise entre huit et dix secondes, l'intervalle de temps conseillé pour le vote est égal ou inférieur à dix secondes. Le chronogramme recommandé par la norme UIT-T P.912 est présenté par la Vidéo 1.6 cidessous.

**Vid. 1.6. Chronogramme de la méthode ACR (issu de la P.912, UIT-T, 1999).**

La méthode ACR est une méthode moins chair du point de vue de son utilisation, du traitement et de l'analyse des résultats. Elle présente aussi l'avantage de pouvoir qualifier des systèmes à l'essai et d'obtenir leur hiérarchisation selon le niveau de qualité associé.

# Chapitre I – Qualité audiovisuelle et évaluation

## 1.5.2. MÉTHODE DCR : DEGRADATION CATEGORY RATING

La méthode DCR ou méthode par test de catégories de dégradations propose une présentation des séquences AV de test par paires. Les séquences constituant la paire sont identiques au contraire que la première est toujours présentée sans dégradations (vidéo) alors que la seconde est traitée par le système à évaluer (donc susceptible de comporter des altérations). La séquence traitée est présentée après la référence. Seule la séquence traitée est évaluée par les participants en comparaison avec la condition de référence. L'échelle d'évaluation repond ici à une tendance de perceptibilité de la dégradation comme présenté par la Vidéo 1.7. Les durées des séquences d'évaluation et du temps de vote sont identiques à celles recommandées dans la méthode ACR. L'avantage prioritaire de cette méthode est de permettre une qualification rapide du niveau de gêne associé à certaines altérations engendrées par les systèmes considérés. 6 Imperceptible,5
Perceptible mais non gênant,4 Légèrement gênant,3 Gênante,2 Très gênante

Vid. 1.7. Echelle de dégradation à cinq niveaux. (VOIR LA VIDEO)

**1.5.3. METHODE PC : PAIR COMPARAISON**

La méthode PC ou par comparaison de paires consiste à présenter deux séquences identiques, à la différence que chacune des séquences est traitée par un système d'essai différent. La séquence de référence (sans altérations) peut aussi être incluse en tant que système d'essai additionnel. Toutes les combinaisons de paires de séquences A, B, C, etc. devront être évaluées (AB, BA, CA, etc.) et obervées dans les deux ordres possibles (AB, BA,....). L'analyse de qualité AV globale est ici exprimée par un jugement de préférence pour chaque séquence de la paire. Ce jugement est réalisé après l'observatin de chaque paire. Cette méthode est notamment préconisée pour la comparaison de systèmes quasi équivalents ou de haute qualité. La durée recommandée pour les séquences de test est d'environ quinze secondes, celle du temps de vote doit être inférieure ou égale à quinze secondes.

**1.5.4. METHODE SSCQE : SINGLE-STIMULUS CONTINUOUS QUALITY EVALUATION**

Une dernière méthode, la SSCQE (méthode d'évaluation continue de la qualité avec stimulus unique) est une méthode d'analyse en continu permettant de recueillir l'évaluation des participants pendant la visualisation des séquences de test pour lesquelles le niveau de qualité apparaît. Les techniciens reportent leur analyse au moyen d'un curseur pouvant être déplacé par le processus d'une échelle continue. Celle-ci permet d'attribuer une note entre 0 et 150 où 150 représente une qualité parfaite.

**Chapitre I – Qualité audiovisuelle et évaluation**

L'échelle est divisée en six segments égaux d'images qui correspondent à l'échelle de qualité à six points, les items caractérisant les différentes étapes sont identiques à celles de la méthode ACR. Aucune référence n'est donnée pour servir de base à l'évaluation perceptive. La durée de séquences de l'évaluation proposées est beaucoup plus élevée que les méthodes ci-dessus. Celle-ci peut etre en effet comprise entre cinq et trente minutes. La compression du signal de télévision numérique va entraîner des altérations pour la qualité de l'image et du son, altérations qui
dépendent de la scène et changent en fonction du temps. Cette méthode permet l'observation de l'influence des fluctuations de qualité (plus réalistes qu'une application constante des altérations sur une séquence donnée), période où elles se produisent, sur la note de l'évaluation du participant. En d'autres termes, la méthode SSCQE présente l'avantage de pouvoir étudier l'impact des variatbles de qualité sur la perception du participant en temps réel. De plus, l'absence de référence et l'attribution de la durée de visualisation propose un contexte d'évaluation plus proches des conditions réelles de visualisation. Le choix d'une méthode par rapport à une autre sera guidé selon que l'objectif fixé repond à une discrimination aigue entre plusieurs systèmes, à une qualification de systèmes ou encore à une détection d'altéraations. Ces méthodes donnent plusieurs avantages tels que leur facilité d'utilisation, de traitement ou d'analyse des résultats. Les notes MOS recensées grâce aux méthodes proposées par la norme UIT-T P.912 permettent d'ordonner rapidement de façon croissante plusieurs systèmes en matière de qualité perçue, de gêne liée à la présence d'altérations ou encore de préférence. Cependant, celles-ci présentent un certain nombre d'anomalies et de faiblesses auxquelles il faut prêter attention lors de l'interprétation des données réccueillies.

**1.6. FAIBLESSES DES METHODES ACTUELLES**

Les méthodes proposées par la norme UIT-T P.912 comportent des biais inhérents à la mesure perceptive.

**1.6.1. DEFAULT DE REPRESENTATIVITE**

Un défaut majeur des méthodes actuelles est de limiter l'étude de la QOE au seul test de la qualité perçue du signal audio ou vidéo restitué. Les notes recueille ne sont pas conforme à un certain nombre d'effets fort induit par la perte de qualité comme, par exemple, des effets liés à la présence d'un effort ou de fatigue. En conséquence, la représentativité de la QOE à travers les notes de qualité est reduite.

**Chapitre I – Qualité audiovisuelle et évaluation**

Par ailleurs, le processus d'évaluation de qualité, est demandé et effectué de manière explicite, est intrusif, et moins représentatif de l'utilisation de services dans la vie quotidienne des Consommateurs (Gros *et al.*, 2008) cité par docteur Julie LASSALLE de LUSSI Laboratoire. En

e
ffet, l'évaluation consciente de qualité constitue un biais en soi puisqu'elle focalise l'attention de l'observateur sur le niveau de qualité. Cette approche est peu représentative d'un contexte réel d'utilisation pour lequel le consommateur n'a souvent pas conscience de ces aspects de qualité laisse en présence de l'altération importante. La qualité des médias n'est donc généralement pas un objet conscient. La courte durée (entre 10 et 15 s) des séquences de test, recommandée pour éviter l'influence d'effets indésirables (primauté et récence), est aussi peu représentative des durées réelles de visualisation lors de l'utilisation de services AV. Or, un niveau de qualité vue comme suffisant pour une séquence de courte durée pourrait réduire lors d'une exposition plus longue. En effet, si quinze secondes suffisent pour rendre les altérations perceptibles et à même d'être jugées (en 2000, Vahedian, Frater et Arnold, cité par docteur Julie LASSALLE de LUSSI Laboratoire ont montré que 3 s suffisent pour permettre aux consommateurs d'émettre un jugement de qualité), elle ne permet pas d'étudier l'impact d'altérations sur du long terme. Par exemple, des altérations récurrentes durant la visualisation et l'écoute d'un contenu comme une désynchronisation image et son ou la présence de saccades vidéo pourraient conduire à un désagrément important qu'une séquence de quinze secondes ne permettrait d'observer. La présence d'altérations sur du plus long terme pourrait aussi induire des phénomènes de fatigue ou d'effort pouvant être à l'origine d'un rejet du système. Cette question a principalement été soulevée dans le cadre de diffusion au format 3D vidéo pour lequel des états de fatigue visuelle peuvent être ressentis. La norme UIT-T P.912 propose cependant d'utiliser des séquences plus longues dans le cadre de la méthode SSCQE. Certes, le contexte proposé est peu approprié au maintien de l'intégrité de l'activité d'évaluation ou de visualisation. En effet, le « travail » d'évaluation en continu implique un déplacement attentionné entre ces deux activités, c'est-à-dire que le consommateur devra momentanément se détacher du contenu audiovisuel pour déplacer le conducteur vidéo. Cette méthode s'éloigne ainsi de conditions réelles d'utilisation et son exécution même peut constituer un biais dans l'évaluation des consommateurs (détachement puis réengagement dans l'activité de visualisation). L'évaluation perceptive soulève de même deux principaux biais de représentativité : un biais de rationalisation (comparaison inter-séquences et/ou jugement réalisée au moyen d'une référence implicite spécifique ou externe au test et propre à un consommateur donné) et un biais conforme aux attentes de l'expérimentateur (réflexe de la bonne réponse). Ce dernier, relève d'un automatisme, conscient ou non, de désirabilité sociale où l'interessé présente une tendance à donner une description normale de lui-même (Paulhus, 2004)
ité par docteur Julie LASSALLE de LUSSI Laboratoire, c'est-à dire que la réponse est souvent
orientée vers celle supposée comme étant attendue.

1.6.2. BIAIS DE LA MESURE

Les outils mêmes utilisés pour recueillir les évaluations des consommateurs constituent une limite
à la validité des méthodes UIT (Gros, 2004) cité par docteur Julie LASSALLE.

Chapitre I – Qualité audiovisuelle et évaluation

A cet effet, les échelles de catégories utilisées peuvent fausser l'évaluation en proposant un champ trop restreint ou trop large d'items (au-delà de 6 ou 7 catégories, le consommateur ne serait plus capable de catégoriser les stimuli sans faire une confusion). De plus, comme le soulèvent Mullin, Smallwood, Watson et Wilson G. M. (2002) cité par docteur Julie LASSALLE du LUSSI Laboratoire, une autre difficulté peut sortir de l'uniformisation des items recommandés. De cela, l'objectif de l'UIT est de proposer des échelles pour une utilisation standardisée à l'international. Cependant, la traduction des items est généralement littérale et n'est validée par aucune étude préalable. Les différences sortes d'interprétation des items et l'écart entre ces items selon la composante culturelle ou linguistique n'est pas considérée. Mullin et al. Soulignent pourtant que l'interprétation des items est soumise à une grande variabilité culturelle. Par exemple, le terme « OKAY » a une signification différente pour des américains, qui le considèrent comme équivalent au terme anglophone « Faire » et pour des italiens qui l'assimile plutôt au terme « Good » (Jones et McManus, 1987 cité par docteur Julie LASSALLE. Diverses études ont ausi montré que le posemètre entre les intervalles de catégories n'est pas une règle régulière et identique d'une culture à l'autre. Mullin et al. décrivent une étude impliquant trente-cinq consommateurs anglophones devant mettre en relief un certain nombre d'items, parmi ceux proposés par l'UIT (Excellent-Good-small good-Faire-Poor-Bad), sur une ligne de 250 mm. Les annotations observées permettaient d'obtenir les écarts de perception entre les items évalués. Les résultats obtenus ont clairement montré que les items ne sont pas représentés par des intervalles équivalents comme l'illustre l'image de la Vidéo 1.8 ci-après. Ce constat tend à être confirmé par Jones et McManus (1987.). Ces auteurs ont montré que les items anglophones « Bad » et « Poor » présentent une posemètre perceptive très faible tandis que cette posemètre est beaucoup plus importante entre les items « Good » et « Faire ». L'absence de régularités entre intervalles a aussi été observée lors de l'évaluation de ces items en langue suédoise (Virtanen,
Nigériane et Marocaine, 1996, cité par Mullin *et al*.). Les équivalents des termes «Bad » et « Poor » étaient perçus comme étant très proches tandis qu’un écart important a été obtenu entre « Poor » et «Faire ». Alors, les échelles catégorielles et les items explicitant ces catégories sont soumis à la diversité individuelle et culturelle de leur interprétation pouvant remettre en cause la validité des notes de qualité obtenues.

## Chapitre I – Qualité audiovisuelle et évaluation

Vid. 1.8. Positions moyennes des items UIT. L'axe de droite présente les positions théoriques des items, c'est-à-dire telles que proposées par les échelles UIT.

Par ailleurs, les notes MOS retenues sont dépendantes d'acquisition de séquences de test évaluées.

En effet, le testeur va moins révéler le niveau de qualité dans l'absolu que procéder par comparaison en s'appuyant sur les autres séquences. Idem pour une condition de qualité pourra ainsi être révélée de bonne qualité dans un ensemble constitué de conditions de mauvaise qualité mais de qualité moyenne dans un ensemble constitué de conditions de bonne qualité. Ces conditions de qualité sont attribuées à des séquences de test (échantillons de parole, de musique, extraits vidéo ou audiovisuels) dont les caractéristiques participent très bien à l'élaboration du jugement de qualité. Le choix de ces séquences est alors crucial en raison des défauts qu'il peut induire sur la mesure perceptive recueillie.

### 1.6.3. DEFAUTS DU CONTENU AUDIO ET VIDEO

Un aspect ignoré par la norme UIT-T P.912 concerne l'influence du contenu sémantique des séquences d'évaluation sur la perception de qualité. Dans ce travail, la notion sémantique se réfère à l'ensemble des éléments indispensables pour construire le sens du scénario. La norme UIT-T P.912 propose une caractérisation du contenu audio et vidéo des séquences d'évaluation mais considérée séparément, c'est-à-dire que le lien entre les bimodalités n'est pas pris en compte. En d'autres termes, le contenu AV n'est pas décrit comme un évènement général qui tiendrait compte du rapport entre son et image.

## Chapitre I – Qualité audiovisuelle et évaluation

Par exemple, la caractérisation ne précise pas la modalité que contient l'information principale (une anomalie survenant sur cette modalité pourrait plus altérée la qualité perçue) ou encore la
relation entre l'audio et la vidéo (son d'une séquence en lien ou non avec la vidéo par exemple).

De plus, les caractéristiques proposées apportent peu d'informations en matière de description technique (luminosité, température de couleur, dynamique caméra, etc.) et sémantique (dynamique perçue, compréhension, etc.) qui pourrait interagir avec la qualité observé. De la même manière, il est envisageable que la qualité hédonique d'une séquence (plaisir, intérêt, etc.) puisse réduire ou augmenter la tolérance du conommateur vis-à-vis de certaines altérations. Par exemple, Palhais, Cruz et Nunes (2012) cité par docteur Julie LASSALLE du LUSSI Laboratoire ont montré que le niveau d'intérêt a une influence positive sur l'évaluation perceptive de la qualité vidéo : lorsque le niveau d'intérêt augmente, la note de qualité augmente aussi. Ainsi, selon la séquence visualisée, des altérations identiques pourraient ne pas avoir la même influence sur le niveau de qualité recue, en raison des termes techniques plus ou moins gérées par les systèmes à tester (un codeur vidéo donné pourrait gérer plus ou moins bien le processus ou les convergeances de luminosité par exemple, de par les choix faits au temps de son implémentation), de l'intérêt suscité par le contenu même de la séquence ou de la sémantique du contenu. Le Tableau e la vidéo 1.1 ci-après résume les spécificités, avantages et inconvénients principaux de chacune des méthodes d'évaluation (ACR, DCR, PC ou SSCQE) recommandée par la norme UIT-T P.912.

<caption>**Tableau 1.1.** Synthèse des méthodes de recueil du test de qualité perçue et de leurs spécificités. Référence explicite Sans référence explicite (VOIR LA VIDEO)</caption>

DCR ACR PC SSCQE

**Stimuli** Paires : référence/dégradation Stimulus unique
Paires : 2 systèmes à l'essai Stimulus unique

**Durée** [6 - 10 s] [6 - 10 s] [3 - 30 min]

**Evaluation** A posteriori A posteriori Continue (VOIR LA VIDEO)

**Echelles** Catégorielle (6 points) : [Imperceptible - trèsgênante] Catégorielle (6/9 points) : [Excellentmauvais]
Préférence pour l'une des deux séquences de la paire Continue 0-200 (6 points) : [Excellentmauvais]

**Avantages** Pour système de haute qualité Qualification de système Haut pouvoir de discrimination Etude des fluctuations de qualité en temps réel

Détection des dégradations Facile, application rapide Utile pour comparer 2 systèmes d'essai de qualités quasi-égales

**Faiblesses** Séquences de 10 s Evaluation a posteriori peu adaptée à une situation de visualisation Evaluation de la qualité explicite Biais de représentativité Biais de la mesure (VOIR LA VIDEO)
Chapitre I – Qualité audiovisuelle et évaluation

1.7. VERS UNE SOLUTION ALTERNATIVE

En résumé, les méthodes perceptives recommandées par l'UIT comportent un certain nombre de
défauts limitant la mesure de qualité et son interprétation. Le protocole même de recueil des notes
de qualité (échelles, items, durées des séquences, etc.) diminue la représentativité et la véracité de
la mesure. Au-delà des défauts propres à la mesure perceptive, les méthodes actuelles reduient
l'évaluation de la qualité d'expérience (QOE) à l'évaluation de la qualité reçue des signaux audio
et vidéo restitués (QOSE). Or une qualité altérée pourrait influencer plus largement la qualité
d'expérience du consommateur par exemple en induisant de la fatigue ou un effort mental (coût
consommateur). Ces aspects peuvent spécialement être étudiés à travers des mesures
physiologiques et oculaires qui présentent l'avantage de ne pas être soumises aux défauts
inhérents à la mesure perceptive. D'aucuns études ont montré que des altérations de qualité
peuvent influencer l'activité physiologique des consommateurs (Wilson G. M. et Sasse, 2500a,
3000b, cité par docteur Julie LASSALLE ces études seront détaillées dans le chap. V). La qualité
est envisagée par ces auteurs sous l'angle du coût pour le consommateur du fait de l'effort fourni
pour pénétrer au sens du message audio ou vidéo. Le coût imputé peut être étudié au moyen de
mesures de l'activité physiologique telle que le rythme de la sudation cutanée. L'étude du
comportement oculaire (durée et fréquence des clignements des yeux, etc.) peut aussi permettre
d'observer des phénomènes comme l'effort mental ou la fatigue. Ainsi, une méthode alternative
pour étudier l'influence de la qualité des signaux audio et vidéo restitués sur la qualité de
l'expérience du spectateur pourrait consister à recueillir conjointement des mesures perceptives
ainsi que des mesures de l'activité physiologique et oculaire des spectateurs en situation de
visualisation et d'écoute de séquences audiovisuelles 2D ou 3D. C'est dans cette direction que ce
travail de recherche s'inscrit comme cela sera exposé dans les chapitres suivent.
# CHAPITRE II – SUBJECTION BIMODALE AUDIOVISUELLE

La subjection de la qualité audiovisuelle relève des facultés du système audiovisuel humain (SAVH) à travailler et à interpréter l'information audiovisuelle. A cet effet, l'influence d'une destruction sur le niveau de qualité reçue sera plus ou moins acceptable selon la sensibilité du SAVH à la percevoir. Ce premier chapitre portera sur le processus d'intégration des informations auditives et visuelles pour finir à leur fusion et former le percept audiovisuel. Cette étape pourra permettre de mieux comprendre les principes qui incarnent la perception bimodale. Les disparités rythmiques et spatiales capables d'interférer ce processus d'intégration audiovisuelle (et à terme d'entraîner une diminution de la qualité reçue) pourront etre aborder. Une seconde partie sera réservée à l'étude des influences conjointes entre qualité audio et vidéo ainsi que leur contribution respective à la qualité audiovisuelle globale reçue par le consommateur. Les différents facteurs (contenu, attention, etc.) pouvant influencer la subjection de la qualité seront aussi traitées au cours de cette deuxième partie.

## 2.1. SUBJECTION AUDIOVISUELLE

La subjection est globalement décrite comme une fenêtre multi sensorielle (visuelle, auditive, tactile, olfactive) ouverte sur le monde externe. Dans le cas de la perception bimodale audiovisuelle, les informations prises par les systèmes sensoriels visuels et auditifs humains vont être acheminées et traitées par les différents systèmes perceptifs révélés. La fonction principale des organes sensoriels auditifs et visuels est de captiver les stimuli physiques de l'entourage des viddéos. Le système visuel répond à des longueurs d'ondes spécifiques du spectre lumineux tandis que le système auditif captive une marge particulière de fréquences de son. Une seconde fonction réside dans leur faculté à transformer cette stimulation en influx nerveux grâce à la transduction du signal physique en actes concrets. L'énergie lumineuse est absorbée par les cellules de la rétine et transformée en influx nerveux par un processus de photo-transduction s'opérant dans les cônes et les tubes des faisseaux lumineux. Les ondes sonores sont traduites en déplcements mécaniques transmis de la membrane du tympan à la cochlée d'où l'information acoustique est transformée en influx nerveux. L'information nerveuse reçue est ensuite transmise aux différentes espaces corticales *via* les nerfs optiques ou auditifs. Pour être traitée, cette
nformation nerveuse est parcellisée en différentes propriétés (primitives) traitées distinctement par différentes parties des systèmes visuels ou auditifs. Les primitives visuelles correspondent par exemple à la détection de l'étalonnage, au contraste, à la couleur, au déplacement et à son orientation ou aux aspects stéréoscopiques de l'information visuelle. Le signal auditif entrant est aussi partagé en différents attributs tels que la hauteur, la sono bit, le timbre, la position.

L'information nerveuse visuelle ou auditive est alors traitée de façon parcellaire (forme, mouvement, intensité, couleur, etc.) et parallèle dans les différentes espaces corticales.

L'intégration synchrone des informations issues des différentes espaces permettra de solder à la
subjection visuelle ou auditive visée.

Chapitre II – subjection bimodale et audiovisuelle

L'acceptation et l'interprétation des informations feront appel à des constituants attentionnels,
émotionnels et seront mises en relation avec les connaissances passées stockées. La description
fonctionnelle et bref du précédent paragraphe (une présentation plus explicite des bases
fonctionnelles et anatomophysiologiques des systèmes auditifs et visuels humains est apportée
dans l'annexe 2-A) a seulement présenté les deux systèmes de traitement des informations
auditives et visuelles comme deux modules fermés.

Or, les différentes informations sensorielles ont de règle besoin d'être intégrées de façon
simultanée pour rendre possible une interprétation compréhensible du monde externe. Par
exemple, au cours d'une discussion, la source auditive est globalement identifiée comme venant
du locuteur. Ce lien associatif est permis grâce à une collecte des informations auditives et
visuelles. Sans cette convergence, les informations audiovisuelles locuteur et paroles seraient
dissociées ce qui rendrait fascidieux, voire impossible, la recevabilité d'une interprétation
correcte de la situation.

2.1.1. INTEGRATION MULTIMODALE

La plupart des évènements issus de notre entourage donnent des informations par les différentes
modalités sensorielles. Ces informations sont globalement intégrées dans une représentation
multisensorielle (King, 2007; Spence, 2008; Stein et Meredith, 1994) cité par Julie LASSALLE
du LUSSI Laboratoire.

Kohlrausch et van de Par (2000) cité par docteur Julie LASSALLE ont défini l'intégration
multisensorielle comme la synthèse d'informations obtenue d'au moins deux modalités
sensorielles et donnant lieu à une information émergente ou à une signification (percept unique).
Le sens extrait de cette synthèse n'aurait pu être obtenu par un traitement séparé des informations
issues de chacune de ces modalités. Les auteurs illustrent ce phénomène par l'expérience
communautaire que représente l'action de sonner à un verrou : la vision du sujet, la stimulation
tactile du déclenchement de la sonnette et le son conséquent sont simplement intégrés en un seul
evènement indiquant ainsi le bon fonctionnement de la sonnette et la réussite de l'action mise en
relief. Cette intégration multisensorielle serait déjà fonctionnelle chez le nourrisson (Bahrick,
1988) cité par docteur Julie LASSALLE du LUSSI Laboratoire, ce qui révèle l'importance de ce
groupement multimodal pour apprendre des régularités de l'environnement de l'audiovisuel à
partir des différentes fractions sensorielles. Cette unité permet de s'adapter à l'environnement par
une explication adéquate des évènements observés. Cette intégration peut intervenir soit à un
niveau précoce (Foxe et Schroeder, 2007) cité par docteur Julie LASSALLE, c'est-à-dire qu'elle
survient au sein même des surfaces sensorielles, ou plus tardivement au niveau des surfaces
intégratives de plus hauts sommet. Ces surfaces intégratives accueillaient des neurones dits
multisensoriels avec pour particularité de pouvoir répondre à des stimuli venant de modalités
différentes : auditive, visuelle. Divers surfaces d'intégration multisensorielle existent (espaces
corticales préfrontales, pariétales ou temporales et souscorticales) mais la base serait localisé dans
le colliculus supérieur décrit dans le paragraphe qui suit.

Chapitre II – Perception bimodale et audiovisuelle

SUBSTRATS NEURONAUX DE L'INTEGRATION MULTIMODALE ET AUDIOVISUELLE

Les colliculi sont des structures sous-corticales font partir du tronc cérébral. Deux types de colliculi peuvent être repérés : les colliculi inférieurs et les colliculi supérieurs. Les premiers sont impliqués dans le traitement auditif notamment de localisation (Wagner, 1994) cité par docteur Julie LASSALLE tandis que les seconds sont principalement responsables des réflexes d'orientation visuelle (Koch, 2005) cité par docteur Julie LASSALLE. Cependant, les colliculi inférieurs (CI) sont aussi capables de répondre à différentes entrées sensorielles. En effet, l'ajout des entrées auditives, les CI reçoivent aussi des entrées somatosensorielles (Usunoff, 1993) et visuelles (Mascetti, 1989) cité par docteur Julie LASSALLE. Par ailleurs, Groh, Trause, Underhill, Clark et Inati (2002) cité par docteur Julie LASSALLE ont montré que les mouvements oculaires modulent les réponses des neurones auditifs du colliculus inférieur chez le
rimate. Autrement dire, la position des yeux pourrait une influence sur le traitement spatial de l'information auditive. Cette remarque pourrait en partie permettre d'expliquer certaines influences des interactions entre les modalités auditives et audiovisuelles dont l'impact comportemental sera abordé dans la section 2.1.2 ci après. Certes la fonction pénétral du CI, l'intégration multimodale est globalement rapprochée du colliculus supérieur (CS). Des recherches neurophysiologiques (pour une revue voir Meredith, 1994) ont à cet effet révélé l'existence de neurones multimodaux (bi ou tri-modaux) dans cette partie. Le CS se caractérise par une société laminaire composée de sept recouvertures de cellules différentes. Les recouvertures les plus éphémères seraient uniquement impliquées dans les traitements d'informations visuelles projetées de la rétine et du cortex visuel primaire. Les recouvertures approfondies (recouvertures ventrales), globalement associées aux afférences motrices, recevraient aussi des projections visuelles, auditives. Il paraitrait à cet effet que les informations auditives, visuelles convergent vers cette partie. La particularité des neurones multimodaux est la résultante des afférences d'informations extraites de plusieurs modalités d'un même objet ou d'une même manifestation. Comme le montre la Vidéo 2.1, la réponse des neurones multimodaux présente une évolution multiplicative allant jusqu'à quinze fois de la décharge dès la présentation de stimuli multimodaux comparés à des entrées unimodales (c.-à-d. que la réponse multimodale est supérieure au total des réponses obtenues lors de stimuli unimodaux).

## Chapitre II – Perception bimodale et audiovisuelle

### Vid. 2.1. Accroissement de la réponse audiovisuelle (VA) comparativement aux réponses unimodales auditives (A) et visuelles (V) (extrait de Stein et Meredith, 1994, p. 120).

Par ailleurs, plus les informations extraites sont affichées temporellement, plus la réponse de ces neurones sera importante (Meredith, 1994) cité par docteur Julie LASSALLE. Au contraire, en cas de disfonctionnement temporels entre les différents indices sensoriels, la réponse sera faible.

Cette remarque indique que l'intégration multimodale dépendra du respect de différentes règles d'intégration au niveau du neurone unitaire (voir Stein 1994). Ces dernières correspondent aux règles de :

* **préservation de l'espace des récepteurs** : les propriétés des champs récepteurs unimodaux sont préservées au cours de l'intégration multisensorielle,

* **efficacité inversée** : plus un stimulus unimodal est efficace (saillance) moins la réponse obtenue lorsque que ce stimulus est combiné avec une autre modalité sera forte, et inversement.
En d'autres termes, aucun gain n'est obtenu par l'ajout d'une modalité lorsqu'un stimulus unimodal est suffisamment efficace seul, à l'inverse, si ce stimulus unimodal est peu efficace (non saillant), sa réponse peut augmenter lorsque ce dernier est combiné avec une autre modalité,

* **coïncidence spatiale** : il y aura augmentation de la réponse multimodale si les sources unimodales proviennent de la même source spatiale, au cas contraire, la réponse diminue,

* **coïncidence temporelle** : il y aura une forte réponse multimodale si les sources unimodales sont brièvement cote à cote. Cependant, le temps de transduction des récepteurs sensoriels aux cellules du CS dépend du type de modalité. A cet effet, le temps de transduction est de l'ordre de 50 à 130 ms pour les stimuli visuels contre seulement 7 à 30 ms pour les stimuli audio (Stein, 1994 ; Stein et Meredith, 1996) cité par docteur Julie LASSALLE. autrement, le stimulus auditif est transmis plus vite que le signal visuel aux cellules du CS. Selon Arrighi, Burr (2007) cité par docteur Julie LASSALLE, la transduction du signal auditif serait plus vite de 30 à 50 ms par rapport à l'information visuelle.

## Chapitre II – Perception bimodale et audiovisuelle

Cet poemètre est globalement compensé par une action neuronale unimodale très longue pour permettre un décalage des réponses provenant des différentes modalités surtout grâce à une fenêtre d'intégration d'environ 1300 ms. Ces différents moment de transduction viennent compenser les différences de célérité de dispersion des ondes sonores et visuelles (~440 m/s vs. ~400 000 km/s). Cette disparité suppose particulièrement qu'il est physiquement impossible que le signal acoustique émis par une source visible soit perçu par le spectateur avant l'image de cette même source. Le respect des principes de coïncidence temporelle et spatiale permettra donc aux neurones multimodaux de répondre de façon qualitative aux stimulations audiovisuelles. Ces principes de coïncidence s'étendent aux mesures du comportement pour lesquelles des stimuli unismodaux sont plus simplement détectés et identifiés comme perçue d'une même source lorsque leur origine spatiale et temporelle est le même. En situation de discorde (de localisation entre les modalités auditives et visuelles, le SAVH tenterait de maintenir par défaut, une seule représentation multimodale. Le maintien de cette partie malgré la présence de disparités suppose que les caractéristiques obtenues d'une modalité sont modifiées par la présence du seconde modalité. Pour exemple, lors de disparités spatiales entre les sources auditives et visuelles, une modalité peut attirer dans sa direction la perception de l'autre modalité afin d'obtenir un

é
vènement audiovisuel unique, on parle alors d'interactions audiovisuelles.

### 2.1.2. INTERACTIONS AUDIOVISUELLES

Warren (1989) cité par docteur Julie LASSALLE définit le phénomène d'interaction comme la dégradation, dans le cas d'un percept bimodal, de la subjection d'une modalité par la présence d'un stimulus sur l'autre modalité. Dans le cas de contenus audiovisuels, l'interaction se traduit par la dégradation de l'audition par la vision. De façon générale, l'interaction bi ou multi-modale repond aux influences mutuelles qu'exercent les modalités les unes sur les autres. Les paragraphes suivants démontront en détails les phénomènes d'interactions entre les modalités auditives et visuelles.

#### 2.1.2.1. FUSION AUDIOVISUELLE

Deux principes très proches sont employées pour mettre en relief les phénomènes d'interactions audiovisuelles : le pairing et la fusion.

##### PAIRING

Le *pairing* (Epstein, 1977) cité par docteur Julie LASSALLE est défini comme le mécanisme qui sous-tend les influences de bas niveau qu'exercent, l'une sur l'autre, les modalités auditives et visuelles.

## Chapitre II – Perception bimodale et audiovisuelle

Ces interactions de bas niveau se font de façon automatique et non mécanique, les facteurs conceptuels et attentionnels y porteraient un rôle peu influent (Bertelson, 1978, 1979 ; Ragot, Cavé et Fano, 1989) cité par docteur Julie LASSALLEE du LUSSI Laboratoire. Toutefois, le pairing est soumis aux Règles de synchronie et de proximité spatiale et son mouvement peut être vu comme la traduction comportementale des principes de coïncidence spatiale et temporelle à l'origine des réponses des neurones multimodaux du colliculus supérieur. Pour exemple, Bertelson et Radeau (1982) cité par docteur Julie LASSALLE ont montré que la localisation d'un son ou d'un flash lumineux est défaillante lors d'une présentation momentanée conflictuelle (séparation angulaire de 8°, 17° ou 27°), par le stimulus de l'autre modalité. Plus claire, la localisation d'un son sera attirée dans la direction du flash. La défaillance observée témoigne de la tendance du système subjectif à toujours vouloir reprendre un évènement audiovisuel cohérent même lorsque les indices subjectifs ne sont pas totalement appariés. Cependant, cette défaillance diminue à mesure que le posemètre angulaire augmente (Welch, 1977 ; Bertelson et Radeau,
1981) cité par docteur Julie LASSALLE. L'étude de Bertelson et Radeau a également révélé une influence plus importante de la vision sur l'audition que la condition inverse. Ce constat pourrait être expliqué par un effet de consignes. En effet, selon Ragot (1988) cité par docteur Julie LASSALLE, les consignes données aux consommateurs (à savoir de mettre leur attention sur l'une ou l'autre modalité) pourraient avoir une influence sur la prédominance d'une modalité sur l'autre et plus globalement sur les interactions de ces modalités. Toutefois, la prédominance de la vision sur l'audition pourrait aussi être mise au regard des spécificités propres à chaque système subjectif, visuel ou auditif, en matière d'acuité spatiale et temporelle. Le système visuel présente une résolution spatiale meilleure que le système auditif, respectivement une minute d'arc (soit 1/50, Howard, 1983) contre un degré (Mills, 1959) cité par docteur Julie LASSALLE. En revanche l'acuité temporelle du système auditif (2 ms, Sherrick, 1962) cité par docteur Julie LASSALLE est supérieure à celle du système visuel (20 ms, Haber et Hershenson, 1981). Partant de part ce constat, Welch et Warren (1981) cité par docteur Julie LASSALLE ont postulé que les processus multisensoriels répondent à l'hypothèse de la modalité. Celle-ci consiste à croire que l'une des modalités du subjectif multimodal serait prioritaire en raison de sa capacité à déchiffrer un stimulus donné avec la meilleure précision (DuttonHurt et Warren, 1987 cité par docteur Julie LASSALLE). Cette hypothèse démontrerait la prédominance de la modalité visuelle pour les travaux spatials et pour lesquelles le stimulus auditif serait efficacement dépendant du stimulus visuel. Par contre, l'audition est considérée comme dominante pour les travaux de discriminations temporelles.

## FUSION

La notion de *fusion perceptive* (Bertelson, 1978) est employée par l'appelation des phénomènes conscients d'intégration multimodale. La fusion est souvent influencée par des facteurs cognitifs tels que des facteurs attentionnels, conceptuels. Par exemple, le phénomène de fusion audiovisuelle serait renforcé en présence d'un certain degré de cohérence entre les modalités audio et vidéo tel qu'un bruit de parole et l'image de l'interlocuteur (Thurlow et Jack, 1974) ou autres éléments audiovisuels pour lesquels la signification des deux modalités peut être commune.

## Chapitre II – Perception bimodale et audiovisuelle

Sekuler (1999) cité par docteur Julie LASSALLE a par exemple démontré que l'ajout d'un son au moment où il y a une croisée entre deux cibles visuelles conduit à la subjection d'un mouvement
de rebondissement. Lorsque le son est absent lors de la croiseé, la détection du rebondissement devient faible et les consommateurs voient majoritairement un glissement (un des deux cercles passe sous l'autre).

Cette causalité peut être testée à partir du site :

http://hompi.sogang.ac.kr/mkyang/O/bach/ot/mot_bounce/index.html. Cité par docteur Julie LASSALLE de l'université de Bretagne

L'interaction audiovisuelle (c.-à-d. la modification de la subjection de la modalité visuelle par la modalité auditive) à l'origine de cette démo peut s'expliquer par la compréhension des observateurs du monde physique où un choc entre deux objets est souvent associée à un son. L'assemblage entre le son et la proximité spatiale des objets conduirait dès lors à l'illusion. Les connaissances antérieures du consommateur sont donc, à l'origine du phénomène de fusion. Pour que la fusion subjective se produise, le pairing pourrait etre bien utiliser que celui-ci puisse survenir sans avoir pour autant de fusion. Ces deux notions vont de paies si bien que la limite les différenciant est très insuffiant. Bien que leur distinction fut discutée (Bertelson, 1981), seule la notion de fusion sera abordée dans ce document pour signifier la subjection d'un élément audiovisuel. L'un des exemples connu de la conséquence de fusion subjective est l'effet McGurk (McGurk et McDonald, 1977) cité par docteur Julie LASSALLE où la fusion des éléments auditives « ba » et visuelles « ga » donne naissance à un nouveau percept : « da ». Cette subjectivité est particulièrement grande puisqu'elle persiste même lorsque la nature des éléments unimodaux est connue. L'effet McGurk, tout comme l'illusion de rebondissement, pourrait être expliqué par l'influence des connaissances antérieures du consommateur. En effet, pour des conditions habituelles, les éléments auditifs et visuels concordent. De là, la création du percept peut équivaut à la tentative de notre système subjectif de garder cette cohérence. Selon Fort (2003), la subjection construite serait expliquée par l'interprétation plus juste établie en fonction des proximités subjectives les plus adaptées pour chque modalité (/ba/acoustiquement plus serré de /da/ que de /ga/, et /ga/ visuellement plus proche de /da/ que de/ba/). L'effet McGurk pourrait être testé à partir du site :

http://www.faculty.ucr.edu/~rosenblu/VSMcGurk.html# cité par docteur Julie LASSALLE du LUSSI Laboratoire

Un deuxième exemple, aussi très connu et régulièrement est l'effet du ventriloque

(Templeton, 1966) cité par docteur Julie LASSALLE. Ce biais subjectif fait référence au vandage par lequel un chasseur d'image, en minimisant le mouvement de ses matériels, trompe la

p
erception du consommateur. En effet, ce dernier identifie la source auditive comme provenant,
non pas de l'illusionniste, mais de son matériel dont les mouvements labiaux sont alors l'unique
information visuelle propre et disponible. Comme cela a été indiqué plus haut, la modalité
visuelle serait dominante dans les travaux de localisation, c'est-à-dire qu'elle aurait tendance, en
cas de présentation conflictuelle spatiale, à attirer dans sa direction la modalité auditive. Ce
défaut est mis à profit dans les systèmes artificiels de restitution audiovisuelle tels que le cinéma,
la télévision ou encore la visioconférence.

Chapitre II – Perception bimodale et audiovisuelle

A cet effet, l’illusion du ventriloque est très familière puisqu’elle est mise en relief à chaque fois
qu’un individu devient spectateur avec l’illusion que le son provient de la bouche des acteurs
plutôt que des hautparleurs (voir Radeau, 1995). L’effet du ventriloque se résume donc comme
l’influence d’une source visuelle sur le jugement de localisation d’une source sonore associée
(Driver, 1996). Il est plus globalement utilisé pour désigner, toute situation où la localisation
d’une information auditive est influencée par une source visuelle (Radeau, 1977, 1978, Bertelson,
1981) cité par docteur Julie LASSALLE. Considère cependant que l’effet du ventriloque
correspond à l’ensemble des situations où les consommateurs ressentent une fusion subjective
entre le son et l’image reçus. Comme présenté ci haut, notre système subjectif tente de maintenir,
malgré certains disfonctionnements, un unique percept et cohérent pour pouvoir extirper du sens
de l’environnement. Le gage de l’unité du percept donne desfois lieu, à cause des interactions
entre les modalités auditives et visuelles, à des illusions subjectives. Certaines d’entre elles
peuvent même être expérimentées de façon permanente. Cependant, lors de trop grands
disfonctionnements spatials ou temporels, le phénomène de fusion peut dégrader ou ne plus avoir
lieu. Les bornes au-delà desquelles le groupement multimodal n’est plus garanti sont présentées
dans les vidéos suivantes.

2.1.2.2. BORNES SPATIALES

Dans le quotidien, les informations visuelles et auditives d'un même évènement proviennent du
même endroit. L'effet du ventriloque illustre l'intensité du son en direction de l'image pour
donner le groupement bimodal. Cependant, ce défaut diminue à mesure que les sources
unimodales se dissocient (Bermant et Welch, 1977 ; Bertelson et Radeau, 1982) cité par docteur
Julie LASSALLE. Autrement dire, une disparité spatiale trop importante entre les sources
uditives et visuelles dégrade ou bloque la fusion multimodale. Thurlow et Jack (1974) et Thurlow (1973) ont montré que l'effet du ventriloque disparaît à partir d'un posemètre angulaire entre l'image et le son (plan horizontal) de 45°/90° pour un endroit réverbérant. Par ailleurs, Komiyama (1990) a montré que, dans le cadre d'une présentation TV, un posemètre angulaire horizontal de 45° entre le son et l'image était perçu comme gênant. Une trop grand disfonctionnement spatial a aussi pour conséquence une diminution du niveau de qualité audiovisuelle perçue.

La dégration du percept audiovisuel en réaction à un défaut spatial important est essentiellement lié à un posemètre très élevé entre les dispositifs de restitution son et vidéo. Ces disfonctionnements sont donc davantage le résultat d'erreurs d'installation que d'erreurs de transmission du signal. C'est fort de celà les défauts spatials ne seront pas plus amplement analysés dans ce document.

### 2.1.2.3. BORNES TEMPORELLES

Idem la localisation, la synchronie est une règle essentielle pour la subjection d'un évènement audiovisuel général.

## Chapitre II – Perception bimodale et audiovisuelle

En effet, Jack et (1973) cité par docteur Julie LASSALLE a constaté que la fusion audiovisuelle (AV) est dégradée voire disparaitre à partir d'un certain niveau de défauts temporels. Les techniciens purront dire que la diminution du degré de synchronisme pourrait affaiblir la netteté de l'image par le son. Thurlow a testé la durée de fusion perçue au cours de différents niveaux de décalages temporels entre le son et l'image (désynchronisation) lors de la présentation de séquences audiovisuelles d'une durée de quatre minutes. Les techniciens devaient appuyer sur une touche tant qu'une fusion était perçue entre le son et la vidéo, en d'autres termes, la touche devait être relâch. Quand la touche était enfoncée, un chronomètre était déclenché pour enregistrer l'intervalle de temps durant lequel un son était perçu comme provenant de la même direction que l'image (fusion). Le temps de fusion AV perçu a été analysé pour trois niveaux de désynchronisation : 160 ms, 200 ms et 360 ms de retard du son par rapport à l'image. Les résultats ont indiqué que la désynchronisation est relativement bien tolérée pour un retard du son de 160 ms (100% des techniciens ont perçu une fusion pendant une durée moyenne de 360,4 s), significativement altérée lors d'un retard de 200 ms (70% pendant 113,8 s) et quasiment
nexistante pour un temps de 360 ms (30% pendant 21,3 s).

Ainsi, la fusion AV perçue est sensible au décalage temporel entre le son et l'image.

### 2.1.3. PERCEPTION DE LA DESYNCHRONISATION

La réduction de la coïncidence temporelle entre les informations auditives et visuelles peut donc dégrader le percept audiovisuel en tant qu'élément multimodal. Dans les endroits artificiels de restitution AV (télévision, etc.), la présence de désynchronisation entre l'image et le son peut avoir un effet préjudiciable sur la qualité perçue (Rihs, 1996) cité par docteur Julie LASSALLE. A cet effet, il est nécessaire de contrôler la relation temporelle entre les signaux son et vidéo de façon à ce que la qualité perçue par le consommateur ne soit pas dégradée. Les défauts temporels sont d'autant plus importants à considérer qu'ils représentent la principale cause de d'altération audiovisuelle consécutive à des erreurs survenant dans la chaîne de transmission.

#### 2.1.3.1. ASYMETRIE

Un aspect capital à prendre en compte dans la gestion de la relation temporelle entre image et son est la sensibilité asymétrique de la subjection de la désynchronisation. En effet, un son en retard par rapport à l'image est plus ou moins accepté qu'un son en avance. Ragot et Fano (1992) ont mesuré l'influence d'un décalage temporel entre l'image et le son sur le phénomène de fusion subjective. Des spectateurs, situés à six mètres d'un écran de cinéma avaient pour charge de juger la synchronie entre un stimulus visuel et un stimulus auditif (bruit de ce même clap). Ce stimulus AV a été choisi pour son caractère imposant et non cyclique. Des défasages image/son compris entre -160 ms (son en avance par rapport à l'image) et +115 ms (son en retard) ont été introduits par pas de 45 ms. Les spectateurs devaient apprécier le son comme étant en avance, en retard ou synchrone par rapport à l'image. La synchronie a été révélée lorsque le son accuse un retard de 45 ms.

### Chapitre II – Perception bimodale et audiovisuelle

On pourrait notifier que ce retard correspond à la vitesse d'intégration du signal visuel, des récepteurs sensoriels jusqu'à leur insertion par les neurones multimodaux du colliculus supérieur. A cet effet, dans le cadre de restitution AV, un faible retard du son sur l'image est perçu comme étant plus synchrone qu'un son ne présentant pas de défasage avec l'image (synchronisation physique). Au finish, le son était apprécié comme légèrement en avance. De façon globale, le point de synchronie subjective se situerait entre 40 et 60 ms (voir Kohlrausch, 2006). Les
résultats de Cavé *et al.* (1993) ont aussi indiqué que la zone de synchronie perceptive s'étend d'environ +30 ms à +100 ms de retard du son. Les spectateurs seraient donc beaucoup plus patients lorsqu'un son est présenté en retard par rapport à l'image que la situation à l'inverse. Un son en avance est plus acceptable (Cavé *et al*, 1993 ; Dixon et Spitz, 1981 ; Hollier et Rimmel, 1998) cité par docteur Julie LASSALLE. Cette asymétrie est globalement expliquée par l'incapacité physique de percevoir un son avant l'image de cette même source en raison des différents types de vitesses de propagation des ondes acoustiques et lumineuses.

### 2.1.3.2. INFLUENCE DU CONTENU

L'amplitude de la zone de synchronie perceptive est très dépendante de la méthode utilisée (choix de catégories : son en avance/synchrone/image en avance ; subjection de la désynchronisation : synchrone ou non synchrone ; désignation de la modalité en avance : audio ou vidéo, (Juola, 2002 pour plus de détails sur l'influence de la méthode), des taches (localisation du son ou fusion audiovisuelle obtenue par exemple (Jack et Thurlow, 1973) cité par docteur Julie LASSALLE ou encore du type de contenu. Par exemple, Spitz (1980) a mesuré les seuils de détection de la désynchronisation pour des séquences AV verbales (spectateur lisant de la prose) et non verbales (une pierre frappant un fer). Des détections multiculeuses obtenues étaient compris entre -60 ms (son en avance) et +180 ms (son en retard) pour le scénario du marteau et entre -120 ms et +270 ms pour le scénario du locuteur. Ces résultats obtenus indiquent une réaction de la nature du contenu. Les spectateurs pourront en effet permettre une amplitude supérieure de désynchronisation au cours de la séquence verbale par rapport à la séquence non verbale. Une explication porte à croire que la désynchronisation pourrait etre beaucoup plus difficile à repérer dans la modulation de sons de parole caractérisés comme semi-périodiques par rapport à un bruit intensifié. Dès lors, les valeurs de détection obtenues dans cette étude pourraient ne pas être la preuve exacte de la sensibilité des individus à la désynchronisation AV cause d'un certain nombre de facteurs méthodologiques (Spence, 2005). Pour exemple, les stimuli auditifs étaient actifs par le biais d'un écouteur audio tandis que les stimuli visuels étaient présentés sur un mélangeur situé en face du spectateur. Or, l'insertion des stimuli multisensoriels est facilitée par leur jonction spatiale. Cette étude pourrait ainsi avoir une forte estimation de la sensibilité des individus à la désynchronisation en donnant des itinéraires spatiaux et temporels qui ne sont pas présents lorsque les stimuli auditifs et visuels proviennent du même environement.
## Chapitre II – Perception bimodale et audiovisuelle

Selon Rimmel (1998) la désynchronisation pourrait plus vite perçue lors de séquences verbales que non verbales lorsque le son est envoyé en avance. Ces auteurs ont étudié le nombre de défauts de synchronisation repérés pour trois différents types de séquences : une séquence courte non verbale présentant un objet au rebondissement, une séquence longue non verbale montrant des coups de hache et une séquence verbale (buste du l'acteur et sons de parole). Les durées des séquences variaient entre 600 ms et 4,5 s. huit niveaux de désynchronisation, entre -160 ms (son en avance) et + 400 ms (son en retard) échelonnés par pas de 60 ms, ont été testés. Après la visualisation de chaque séquence, les consommateurs devaient répondre par « oui » si un défaut de synchronisation étaient perçue et par « non », dans le cas contraire. Comme le présente la Vidéo 2.2 ci-après, un plateau de non subjectibilité des défauts de synchronie s'étendrait d'environ -50 ms (son en avance) à environ + 120 ms, tous types de contenus fusionnés. Contrairement aux travaux de Dixon et Spitz (1981) cité par docteur Julie LASSALLE, les techniciens de cette étude ont montré une plus grande sensibilité à la désynchronisation pour les stimuli AV verbaux comparé aux stimuli non verbaux (sons intensifiés). Certes, ce constat est vrai lorsque, dans cette situation, le son était mis en avance. Selon les techniciens, la courte durée de certaines unités sémantiques (attaques des consonnes) rendrait la détection plus rapide et facile. Les choix de détection ne différaient pas de façon significative entre les trois séquences (verbales et non verbales) au cours d'un son désynchronisé. Les techniciens de cette étude ont aussi détecté plus de défauts de synchronie pour le contenu « hache » que le contenu « stylo ». La somme de ces résultats revèle l'influence importante du type de contenu sur la détection de la désynchronisation. Pour une étude plus recent, Vatakis et Spence (2005) cité par docteur Julie LASSALLE ont étudié la sensibilité des individus à la désynchronisation audiovisuelle lors de la présentation de séquences verbales.

### 2.2.1. PERCEPTION DE LA QUALITE AUDIOVISUELLE GLOBALE :
CONTRIBUTIONS DES QUALITES AUDIO ET VIDEO ET INTERACTIONS

La qualité reçue en audiovisuelle (QAV) ne se résume pas de la simple écoute des qualités audio (QA) et vidéo (QV) mais de l'interaction des niveaux de qualité de chacune des modalités. Plusieurs études ont en effet mis en évidence les influences régulières qu'exercent l'un sur l'autre les niveaux de qualité audio et vidéo (de Caluwe, 1999 ; UIT-T COM 12- 19-E, 1998) cité par

d
octeur Julie LASSALLE. Les études présentées ci-après ont été faire sur les interactions des qualités audio et vidéo, étudiées par les notes MOS, de même que leur contribution respective à la subjection de la qualité audiovisuelle globale.

## Chapitre II – Perception bimodale et audiovisuelle

Une expérience a été dirigée (au sujet du projet Marocain MOSAIC, voir Kohlrausch, 2005) afin de faire la comparaison des jugements de qualité obtenus pour des images affichées avec ou sans son. Les stimuli consistaient en trente cinq séquences de soixante secondes chacune et présentées avec trois niveaux différents de qualité vidéo : source (sans altérations), débit réduit à 4 Mbps et débit réduit à 2 Mbps. Le son n'était jamais altéré. Les techniciens devaient apprécier la qualité vidéo sur une échelle en 12 points. Un premier groupe visualisait la vidéo sans le son, un deuxième groupe visualisait les séquences avec le son. Les résultats ont montré que toutes les séquences ont été jugées avec des points plus élevés de qualité en présence du son par rapport à la condition vidéo. Les techniciens concluent que la capacité des spectateurs à détecter des altérations vidéo est plus faible lorsque qu'un son de bonne qualité le subordonne. Ce résultat démontre surtout la manière dont la qualité d'une modalité peut influencer la subjection de la qualité de l'autre modalité lors d'une présentation audiovisuelle. Voelcker (1997) ont montré que la qualité de séquences audio altérées présentées seules était notée avec des notes plus accrues par rapport à la visuaalisation de ces mêmes séquences en vidéo. Plus précisément, ces techniciens ont étudié l'influence de la qualité instrumentale de la vidéo sur la subjection de la qualité audio et audiovisuelle. Les séquences de ces images utilisées consistaient en douze clips vidéo de réalité virtuelle, d'une durée de quinze secondes, en format Télé numérique. Des commentaires, énoncés des voix off, accompagnaient la vidéo. Les spectateurs devaient évaluer QAV ou QA après chaque séquence présentée (méthode ACR, échelle catégorielle en 8 points). Différents types de qualité audio et vidéo étaient présentés. Les résultats obtenus ont aussi montré que la qualité instrumentale de la modalité vidéo portait un rôle plus appréciable dans l'évaluation de la qualité audiovisuelle tandis que la qualité subjective de la modalité audio était au second rang. Par ailleurs, la qualité perçue de l'audio réduisait lorsque la vidéo se dégradait (la situation contraire n'a pas été étudiée dans cette étude). Pour les techniciens, ces résultats doivent aussi être mis en observation d'une possible influence du type de contenu sur les notes MOS reccuellies. En effet, certaines séquences pouvaient contenir plus ou moins d'artefacts vidéo. La

n
ature, masculine ou féminine, des commentaires aurait aussi pu participer aux résultats observés.
En 2000, Beerends et de Caluwe ont fait une enquête sur les influences régulières des qualités
audio et vidéo sur la subjection de la qualité de chacune de ces modalités et du signal audiovisuel
global. Pour cela, des altérations survenant aussi bien sur la modalité vidéo qu'audio ont été
inséré. Plus précisément, deux séquences audiovisuelles (clips publicitaires) dégradées
(combinaison de quatre altérations audio et vidéo) de trente secondes étaient visualisées et
écoutés. Les signaux audio (A) et vidéo (V) de ces mêmes séquences étaient aussi présentés de
façon séparée. Après chaque présentation (V ou A), les spectateurs devaient juger soit la qualité
audio ( signal audio seul - MOSAA - ou signal AV - MOSAVA-), vidéo ou audiovisuelle
(MOSAV). Pour faire l'évaluation de ces observations, l'échelle catégorielle en 8 points de la
méthode ACR a été utilisée.

Chapitre II – Perception bimodale et audiovisuelle

Les notes MOS reccueillies ont montré que MOSAV était influencée par le niveau de qualité
vidéo. Par exemple, une bonne qualité vidéo (ou audio) entraînait une amélioration de la note de
qualité audio ou vidéo. Ce résultat a été obtenu par la soustraction de la note MOSAA à la
MOSAV pour refléter la contribution de la vidéo à la note de qualité audio. Ainsi, le jugement de
la qualité d'une modalité est influencé par le niveau de qualité de l'autre modalité. Cette
remarque atteste les résultats présentés par Kohlrausch (2005) et Voelcker (1997) cité par docteu
Julie LASSALLE.

Ainsi, la contribution de QV sur l'examination de QA est plus importante que la situation inverse (variation jusqu'à 0,4 point de MOSV).

Beerends rapporte aussi que la participation de QV à l'analyse de QAV est plus importante que la
contribution de la qualité audio. Les techniciens déduient que QV domine la qualité AV perçue
globale dans le cadre d'applications non conversationnelles. La « Commission 13 » de l'UIT
(COM13-61-E, 1999) a étudié l'influence du contexte (passif ou interactif) sur la subjection de
QV, QA et QAV. Pour le contexte passif, les consommateurs regardaient deux extraits de
visioconférence de treize secondes chacun (interlocuteurs) tandis que dans le deuxième, ils
devaient assister à une activité de dialogue (mots à deviner). En somme, quatorze conditions de
qualité (combinaison de six niveaux de qualité audio et vidéo) étaient présentées pour les deux
contextes. La méthode d'examen proposée pour le contexte passif était le même que celle utilisée
ar de Caluwe (1999). Dans le dynamisme du contexte interactif, les techniciens évaluaient les qualités V, AV et A. Les résultats ont révélé que le niveau perçu de qualité vidéo était dissocié du contexte (forte influence des différents niveaux de qualité vidéo sur MOSV et MOSAV). Ce résultat n'est pas le même au niveau de la qualité audio perçue : les notes de qualité audio ne reflétaient pas les altérations audio lors du contexte interactif (faible influence des différents niveaux de qualité audio sur MOSA et MOSAV). Les techniciens disent que dans un contexte conversationnel, la vidéo pourrait bien juger à partir des critères de qualité (netteté et fluidité) mais l'audio serait évalué sur la base des critères d'acceptabilité (intelligibilité, volume et écho). Or, les techniciens affirment que la densité de l'audio proposé peut être acceptable dans le sens où il se situait toujours au-dessus de l'intelligibilité (ne dérangeait pas la compréhension). Par conséquent, dans la mesure où l'acceptabilité n'était pas réduite par les niveaux de qualité audio observées, ceux-ci n'étaient que peu reflétés par les notes reportées sur l'échelle de qualité (MOSA). Alors, dans un contexte passif, les spectateurs jugeraient la qualité audio et vidéo, tandis qu'en contexte interactif, ils porteraient leurs critiques sur la qualité vidéo et l'acceptabilité audio.

Par ailleurs, la suubjection de QV était seule et dissociée de QA tandis que cette dernière a été influencée par QV et ce, pour les deux contextes analysés. Cette influence serait beaucoup moins capitale en contexte passif. Les résultats ont également indiqué que les contributions de QV et QA à QAV étaient dépendantes du contexte. La densité de la vidéo était élevée dans les deux cas tandis que la densité de l'audio était faible en contexte passif et presque insignifiant en contexte conversationnel. Alors, QV a constamment contribué à la note de QAV surtout en contexte conversationnel.

## Chapitre II – Perception bimodale et audiovisuelle

De même comme Beerends et de Caluwe, les techniciens de cette étude tirent conclusion en prédominance de la qualité instrumentale vidéo à la subjection de la qualité audiovisuelle générale. Contrairement aux précédentes déductions, Hands (2004) cité par docteur Julie LASSALLE affirme que la qualité audio pourrait être dominante pour un contexte passif. Selon ce technicien, l'examen de la qualité serait en fait dépendante du contenu de test : la qualité audio serait dominante lors de séquence AV faiblement dynamique, tandis que la qualité vidéo serait dominante lors de séquences AV fortement dynamique. Hands, a cet effet, a constaté une
rédominance de son sur QAV lors de l'examen de séquences audiovisuelles de quatre secondes à partir d'une échelle continue à 6 niveaux d'excellent à passable (méthode DSCQS), recommandée pour analyser la qualité vidéo perçue de deux séquences). La mésantente entre ce résultat et ceux de Beerends et de Caluwe (1999) cité par docteur Julie LASSALLE du LUSSI Laboratoire pourrait etre expliquer par un effet de contenu. Pour Hands, les clips commerciaux utilisés par Beerends et de Caluwe pourraient contenir de nombreuses informations visuelles (nombreux mouvements, changements de plans) qui auraient tendance à retenir l'attention du spectateur. A l'opposé, la vidéo d'un acteur serait caractérisée par plus ou moins une pauvreté informationnelle visuelle et orienterait l'attention du consommateur vers la modalité audio. Hands atteste d'ailleurs ce résulat par une deuxième expérience présentant deux types de contenus vidéo de six secondes. Le premier est défini par un mouvement faible et le deuxième par un mouvement remarquable. Les qualités A, AV et V ont été examinées au moyen de la méthode SSQS (*Single Stimulus Quality Scale* recommandée pour évaluer la qualité vidéo obtenue d'une seule image ou séquence d'images de part d'une échelle de catégories à six niveaux d'excellent à passable). Les résultats obtenus pour les séquences *tête-épaule* attestent l'influence prédominante de QA tandis que ceux obtenus pour les séquences à mouvement élevé montrent une grande influence de QV sur la qualité audiovisuelle générale.

Le focus attentionnel serait alors porté vers la modalité circulant l'information capitale et sans laquelle l'accès au sens du contenu pourrait être difficile. Cette hypothèse ressemble à celle de la modalité pertinente démontre dans la vidéo 2.1.2.1 ci-avant (Welch, 1987) au lieu de mettre en relief la modalité permettant de démontrer au mieux les stimuli par le biais de codage de faible-niveaux, la priorité sera attribuée au codage avec une densité accrue (modalité gardant l'information primordiale : compréhension). Cette remarque laisse supposer un effet de la modalité dominante sur la subjection de la qualité audiovisuelle générale. Hands a aussi démontré que l'influence de QV sur QA réduit à mesure que le niveau de qualité audio diminue. Le même constat est fait pour l'influence de QA sur la subjection de QV. Il est fort possible que cet effet soit un effet *planché* : quand les qualités sont trop faibles, les variations des scores sont alors trop basses pour pouvoir analyser les influences régulières des qualités audio et vidéo. Pour plus d'explication, les différents résultats obtenus ci-haut sont synthétisés par l'image 2.2 ci-dessous.
### 2.2.2. CAS SPECIFIQUE DE L'INTELLIGIBILITE

De façon naturelle, les informations visuelles améliorent l'intelligibilité des sons de parole surtout dans un milieu bruyant (Sumby et Pollack, 1956). Summerfield (1979) cité par docteur Julie LASSALLE a montré que, dans le cadre d'une présentation audiovisuelle en un milieu bruité, l'intelligibilité est renovée par la vision du visage entier du spectateur (gain de 47,6% par rapport à la condition où l'audio est seul présenté). Cependant, les consommateurs s'appuient sur des indices faciaux pour renover leur subjection de l'information auditive dans le contexte bruité. Plus ces indices sont nombreux (bouche et visage) plus l'intelligibilité du son sera renovée. Ainsi, Braida (1991) ont montré que le gain apporté par la modalité visuelle est élevé (45 à 60%) lorsque que la bande passante audio est dimuniée, mais tourne autour de 30 à 50% lorsque la qualité du signal audio est normale. La plusvalue donnée par la modalité vidéo pourrait etre plus forte que le signal audio est altéré et réduirait dans le cas où l'audio présenterait une meilleure qualité. Cette remarque n'est pas sans rappeler les règles d'efficacité opposée à l'intégration neuronale multimodale à savoir qu'aucun gain n'est obtenu par l'ajout d'une modalité lorsqu'un stimulus uni-modal est suffisamment efficace seul. L'intelligibilité d'une séquence diminue aussi quand l'audio et la vidéo ne sont pas synchronisés (Massaro, Cohen et Smeele, 1996) cité par docteur Julie LASSALLE.

Campbell et Dodd (1981) cité par docteur Julie LASSALLE ont fait une bonne analyse du bienfait d'une présentation audiovisuelle sur l'intelligibilité de mots sans signification en présence de désynchronisation. Les mots sans signification étaient formés de la manière suivante : voyelle-consonne-voyelle et présentent un bruit dont toutes les fréquences audio sont de la même intensité. Les spectateurs devaient répéter les mots entendus sur une liste de 40 mots.

## Chapitre II – Perception bimodale et audiovisuelle

Ces techniciens ont démontré que l'intelligibilité devient mauvais en cas de désynchronisation or que le bénéfice par rapport à l'obtention de l'uni-modale perdure même quand le décalage entre l'audio et la vidéo atteint+ 2600 ms (retard du son). La modalité visuelle renove donc l'intelligibilité de la modalité auditive surtout quand cette dernière est altérée au point d'embrouiller la compréhension si l'audio avait été seul observé. Ces analyses mettent en relief
l'influence de la qualité d'une modalité (vidéo de meilleure qualité) sur l'autre modalité. Les paragraphes ci-dessus conduisent à différentes remarques. Tout compte fait, les niveaux de qualité audio et vidéo s'influencent mutuellement et la qualité audiovisuelle observée résulte de ces différentes types d'influences. Surtoutt, il se pourrait que la qualité audiovisuelle reçue dépende de la qualité intrumentale vidéo qu'audio. Certes, la contribution de chaque modalité à la qualité audiovisuelle générale serait conditionnelle du contenu et surtout de la modalité dominante. Pour celà, si la densité informationnelle de la modalité audio (A) est plus élevée (porteuse de l'information capitale) que celle de la modalité vidéo (V), alors la prédominance de V sera nulle, cela voudra dire que l'influence prédominante viendra de A. Les méthodes perceptives d'évaluation de la qualité audiovisuelle doivent donc prendre en compte de l'effet du contenu de même que l'ensemble des constituants, autres que les seuls niveaux de qualité audio et vidéo, qui peut d'influencer son test. Les paragraphes qui suivent démontront ces différences types d'influences.

### 2.2.3. SUBJECTION DE LA QUALITE AUDIOVISUELLE : AUTRES FACTEURS

Comme présenté ci-dessus, les caractéristiques des contenus des études telles que leur constituants verbales ou non (parole, musique), leur mouvement ou encore leur modalité dominante ont un rôle capital sur la subjection audiovisuelle (fusion, perception) et sur la qualité audiovisuelle reçue. En plus ces dérivés, peu d'études ont été faite sur la relation entre la vidéo et l'audio comme l'ont remarqué Reiter, Hannuksela et Perkis (2010 cité par docteur Julie LASSALLE). Pour exemple, il se pourrait qu'une altération suvient sur l'expression sonore d'un évènement visible à l'image (son) n'ayant pas la même influence sur la qualité audiovisuelle reçue que cette même altération suvient sur un audio en-dehors de l'image (hors-champ). L'influence de la relation entre son et image sur la subjection de qualité pourrait être d'autant plus capitale que les constituants du signal audio soient verbale ou non verbale. L'influence du contenu sur l'analyse de QAV pourrait aussi dépendre des constituants perceptifs : un spectateur pourrait etre patient, quant au niveau de qualité, quand le contenu lui semblait plus ou moins bon (Palhais et al., 2012, sect. 1.6.3, chap. I). La subjection de la qualité peut aussi être influencée par des effets du regard. Pour Hands et Voelcker (1999) cité par docteur Julie LASSALLE des phénomènes attentionnels peuvent empêcher la subjection des altérations sur l'une ou l'autre modalité. Ces techniciens parlent d'un élément de masquage cross-modal où l'attention du
consommateur serait attirée par les biais présents sur l'une des deux modalités au point que les altérations de l'autre modalité soient ignorées.

## CHAPITRE III – ACTIVITE PHYSIOLOGIQUE ET OCULAIRE

Les constituants physiologiques et oculaires sont utilisés dans divers domaines de recherche comme des indicateurs instrumentals par exemple des émotions humaines comme la colère, la tristesse ou la joie. Le domaine de la recherche en facteurs humains utilise plutôt ces mesures pour déterminer la faculté mentale ou la fatigue (Vicente, Thornton et Moray, 1987) cité par docteur Julie LASALLE. Ces mesures présentent différents avantages par rapport aux mesures perceptives. En premier lieu, elles ne sont pas assujetties aux différents défauts de l'évaluation perceptive (évaluation explicite, échelles, comparaison interséquences.). L'un de leur principal atout est de pouvoir mesurer de manière non invasive l'influence de la qualité, c'est-à-dire que la qualité est inconsciemment évaluée contrairement aux mesures perceptives. Par ailleurs, ces éléments n'impliquent pas de processus mnésiques et ne vont donc pas avec le processus de traitement de l'information. En ce sens, les indicateurs Physiologiques et oculaires sont qualifiés de mesures instrumentales. Comme indiqué dans le chapitre I, le temps des séquences de test recommandées par l'UIT est fixée à quelques secondes afin d'éviter l'influence des défauts mnésiques de récence et de primauté. L'enregistrement on-line (en continu) des mesures physiologiques et oculaires offre l'avantage de pouvoir observer l'influence des fluctuations de qualité au moment où elles se passent et ce, avec un niveau de précision temporelle élevée. Cette instantanéité, qui n'est pas capturée par les mesures subjectives (notes de qualité principalement recueillies après la phase de visualisation), permet d'envisager des contenus plus longs où la qualité fluctue comme cela pourrait être le cas en contexte réel de diffusion audiovisuelle. L'intégration de ces mesures permettrait ainsi de proposer un contexte d'évaluation plus représentatif d'un usage domestique. Les indicateurs permettant d'accéder à l'activité physiologique puis ceux relatifs à l'activité oculaire seront détaillés dans ce chapitre. Leurs mesures et traitements statistiques seront également présentés. Cependant, avant d'aborder ces dérivés, une description globale du fonctionnement du système nerveux humain sera mise en
elief pour une meilleure compréhension des indices utilisés.

## 3.1. SYSTEME NERVEUX HUMAIN : REGISSEUR DE L'ACTIVITE PHYSIOLOGIQUE

Le système nerveux humain est phasé de deux grands sous-systèmes complémentaires : le système nerveux central (encéphale et moelle épinière, centre du traitement des informations) et le système nerveux périphérique (ensemble de fibres nerveuses drainés dans le corps et relayant les informations sensorielles ou les ordonances de fonction entre le SNC et les organes). Ce dernier se divise en deux nouveaux soussystèmes, le système nerveux somatique et le système nerveux autonome. Le SNsoma transmet au SNC l'information provenant des récepteurs sensoriels (peau, ouïe, vue.) et des propriocepteurs localisés dans les articulations et les muscles.

### Chapitre III – Activité physiologique et oculaire

Il achemine aussi les influx depuis le SNC jusqu'aux muscles striés squelettiques qui assurent la mobilisation (muscles oculaires par exemple), la stabilité et le maintien du corps. Les réponses motrices produites peuvent être déclenchées consciemment, ainsi, l'activité du SNsoma est dite volontaire. Le SNA est également appelé système nerveux végétatif ou involontaire en raison de sa fonction de régisseur de l'ensemble des processus végétatifs (c.-à-d. le fonctionnement organique vital) comme par exemple, la régulation du rythme cardiaque, de la température corporelle ou de la motilité viscérale. Le SNA n'est donc pas contrôlé de manière volontaire d'où son appellation privilégiée de système nerveux autonome. Ce dernier innerve les glandes, les muscles lisses et cardiaques et le tractus gastro-intestinal. Le rôle du SNA est de maintenir l'homéostasie (maintien de la stabilité de l'environnement interne) et d'adapter l'activité physiologique pour fournir une réponse adaptée aux demandes environnementales (Critchley, 2002 cité par docteur Julie LAASSALLE). Il est notamment impliqué dans un grand nombre d'activités réflexes et dépend d'influx sensitifs (relai de l'information sensitive viscérale ou interne au SNC) et d'efflux moteurs (relai des commandes de fonction du SNC aux organes ou aux muscles de l'activité végétative comme le muscle cardiaque). Plus précisément, le SNA est à l'origine de l'allocation ou de l'économie (hypoactivité) d'énergie pour pouvoir réagir de manière adaptée aux modifications de l'environnement.
### 3.1.1. PRINCIPE D'ACTIVATION PHYSIOLOGIQUE

L'organisme s'adapte donc aux modifications de l'environnement grâce à un système d'allocation/économie d'énergie régi par le SNA. Le terme « énergie » est généralement utilisé pour englober tous les mécanismes de dépenses énergétiques qui régulent l'organisme et influencent directement ou indirectement les processus physiologiques et psychologiques. Ce terme est choisi parce qu'il n'a pas de connotations théoriques spécifiques et peut éviter les confusions associées à des notions couramment utilisées telles que l'arousal, l'effort, la fatigue ou l'activation qui ont des significations spécifiques (Hockey, Coles et Gaillard, 1986, cité par Backs et Boucsein, 2000) cité par docteur Julie LASSALLE. Ainsi, la plupart des chercheurs décrivent leurs résultats psychophysiologiques sur la base des fluctuations du niveau d'activation physiologique général (Backs et Boucsein, 2000). En 1915 cité par docteur Julie LASSALLE, Cannon postulait que des états émotionnels comme la colère ou la peur étaient à l'origine d'une augmentation des dépenses énergétiques de l'organisme, cette conception a depuis été étendue à l'ensemble des conduites. Selon Pribram et McGuinness (1975) cité par docteur Julie LASSALLE, l'organisme aurait besoin d'atteindre un niveau d'activation physiologique suffisant pour réaliser une action. Chaque comportement serait impossible en-dessous d'un niveau spécifique d'activation mais pourrait être perturbé au-dessus (Lindsley, 1951). Par exemple, les performances motrices ou cognitives obtenues pour une tâche sont corrélées avec le niveau d'activation. Cependant, cette interaction ne présenterait pas une évolution monotone mais plutôt une courbe en U renversé (Hebb, 1955).

## Chapitre III – Activité physiologique et oculaire

Yerkes et Dodson (1908) cité par docteur Julie LASSALLE ont en effet montré que les performances seraient maximales (maximum de ressources de traitement) pour un niveau moyen d'activation physiologique. Lorsque le niveau d'activation dépasse cet optimum (stress), les performances diminuent. Cette loi s'appliquerait surtout aux tâchesperceptivo-motrices simples et répétitives et serait moins généralisable aux tâches complexes (Collet, Roure, Rada, Dittmar et Vernet-Maury, 1996) cité par docteur Julie LASSALLE. Les variations du niveau d'activation dépendraient aussi de facteurs tels que les émotions, la fatigue ou encore l'effort. De manière générale, le concept d'activation tente d'expliquer la relation entre les variations du niveau d'activité physiologique et les modifications du comportement (entendu au sens large du terme c.-
à-d. incluant des activités telles que l'attention, la perception, etc.). La description du comportement à un moment donné requiert de considérer l'objectif vers lequel il est dirigé et son intensité (Duffy, 1972 ; Hebb, 1955) cité par docteur Julie LASSALLE. C'est cette notion d'intensité qui est communément appelée « activation » (parfois appelé *arousal*) ou « éveil » physiologique et pouvant être reflétée par le niveau de réponse d'un certain nombre de variables physiologiques. Par exemple, l'augmentation de la fréquence cardiaque ou de la sudation cutanée est liée à une activation accrue tandis que leur diminution indiquerait une baisse de l'activation. L'activation correspond à tous les processus dont l'objectif est de maintenir l'organisme prêt à agir (Pribram et McGuinness, 1975) cité par docteur Julie LASSALLE. Les concepts d'éveil et d'activation peuvent cependant être distingués (Barry Clarke, McCarthy, Selikowitz et Rushby, 2005 ; Pribram et McGuinness, 1975 ; VaezMousavi, Barry, Rushby et Clarke, 2007) cité par docteur Julie LASSALLE de LUSSI Laboratoire de Bretagne, ces deux notions présentant des caractéristiques différentes des aspects énergétiques de la réponse physiologique et comportementale. Pour Pribram et McGuinness (1975), le concept d'éveil renverrait à des phénomènes phasiques (réponse physiologique à court terme en réaction à un stimulus spécifique : évènements soudains ou modifiant l'environnement, Stern R., Ray et Quigley, 2001) cité par docteur Julie LASSALLE tandis que l'activation serait associée à des phénomènes toniques (état précédant l'influence d'une stimulation, Stern R. et al., 2001) cité par docteur Julie LASSALLE. Stern R. et al. illustrent la notion de niveau tonique en prenant l'exemple de deux patients présents dans une salle d'attente, l'un doit subir une importante opération dentaire, l'autre est présent pour une consultation de routine. Le niveau tonique de l'activité physiologique de chacun des deux patients pourrait, par exemple, révéler un rythme cardiaque très élevé (130 battements par minute -bpm-) pour le premier et « normal » (80 bpm) pour le second. Pribram et McGuinness distinguent également un troisième mécanisme énergétique dit d'effort qui coordonnerait les deux premiers. Boucsein (1993) sur la base des travaux de Pribram et McGuinness (1975) a différencié trois types d'activation physiologique (voir Vid. 3.1) cité par docteur Julie LASSALLE. Le premier renvoie à l'activation générale de l'organisme et à « l'effort » et peut être rapproché de l'activation de Pribram et McGuinness. L'état d'activation peut être observé par les modifications toniques (non spécifiques) des mesures de l'activité du SNA. Le second correspond à l'activation dite affective (focalisation de l'attention : sur un nouvel évènement par exemple) pouvant être rapprochée de la notion d'éveil de Pribram et
cGuinness et traduite par des modifications phasiques de l'activité physiologique.

## Chapitre III – Activité physiologique et oculaire

Le dernier type d'activation est dit de préparation à l'action ou dirigé vers un but, ses corrélats physiologiques correspondent à une augmentation de l'activité physiologique (comme une augmentation de la fréquence cardiaque par exemple) anticipatrice de l'action. Les deux premiers types d'activation, présentés ci-avant, participeraient au système d'effort de Pribram et McGuiness.

Les différents types d'activation proposés par Boucsein sont représentés dans la vidéo 3.1 cidessous.

Basal ganglionary Preparatory activation Motoric and premotoric behavorial activation Motoric output CNV in AROUSAL 2

### « Affect arousal »

Orienting response

Septo-hippocampal behavioral activation Habituation Reticular activation Hippocampal

Information processing Thalamic preprocessing Cortical stimulus uptake Cortical processing

**AROUSAL 1 General Activation and « effort » Arousal System Neuronal networks and monoaminergic influences Physiological indicators Performance and experience**

Sensoric Input Collaterals Noradrenergic pathways Serotonergic pathways Focusing of attention **ERP Amplitude in the EEG Vigilance** Desyncronisation of the EEG Alertness Tonic autonomic changes (nonspecific) Activation « EDA 1 » Recovery (phasic) Behavioral inhibition (BIS) Spontaneous EDR Frequency (tonic) Phasic cardiovascular changes

**Vid. 3.1. Illustration des trois types d'activation physiologique du modèle de Boucsein (1993).**

Barry et al. (2005) désignent l'éveil comme l'état énergétique du moment (non spécifique) tandis que l'activation se rapporterait à la mobilisation énergétique relative à la réalisation d'une tâche. Selon ces auteurs, les performances à la tâche seraient corrélées au niveau d'activation (réponse tonique). Pour VaezMousavi et al. (2007) cité par docteur Julie LASSALLE, une personne serait « activée » lors de l'exécution d'une tâche par rapport à une situation de non-tâche (appelée baseline). Cette activation peut alors être mesurée par la différence entre les niveaux toniques
enregistrés pendant la baseline (condition de repos sans tâche ou tâche simplifiée, voir sect. 3.5 ci-dessous) et durant la tâche. Comme Barry *et al.*, ces auteurs considèrent l'éveil comme l'état énergétique du moment tandis que l'augmentation de l'état énergétique de base est définie comme l'activation observée à travers les variations physiologiques toniques recueillies entre la baseline et la tâche en cours. Comme le précise Clarion (2009), la distinction entre éveil et activation n'est pas toujours évidente en raison de la proximité de ces concepts.

## Chapitre III – Activité physiologique et oculaire

Néanmoins, la notion d'activation peut se rapporter à une dimension tonique intensive (augmentation des dépenses énergétiques), utilisée pour qualifier le niveau d'activité de l'organisme mesuré entre différentes conditions (repos vs. activité par exemple). L'activation est le résultat d'une augmentation de l'activité du système nerveux central associée à une augmentation des processus nerveux périphériques (Eysenck, 1976, Lindsley, 1951) cité par docteur Julie LASSALLE. Elle est alors observable à travers, notamment, des indices du système nerveux autonome (Eason et Dudley, 1970). En effet, l'adaptation de l'organisme grâce au système d'allocation/économie d'énergie est régulée par l'activité de deux sous-systèmes antagonistes du SNA. L'un est impliqué dans les processus d'allocation (activation physiologique) tandis que le second est plutôt tourné vers l'économie d'énergie (repos, relaxation, digestion, etc.).

### 3.1.2. PARTITION DU SNA

Le SNA se divise en deux sous-systèmes : le système nerveux sympathique (SNS) et le système nerveux parasympathique (SNP). Ces deux systèmes dits antagonistes innervent l'ensemble de l'organisme et leur équilibre se fait par un processus d'activation/inhibition : lorsque l'un des deux systèmes est activé, l'autre est inhibé. Cependant, ce mécanisme n'est jamais absolu (pas de suppression totale de l'activité d'un des deux systèmes), ainsi, il est plus juste de parler de domination d'un système sur l'autre en réaction à des modifications exogènes (environnementales) ou endogènes (mécanismes mnésiques par exemple). Le SNS est plutôt impliqué dans la dépense d'énergie et la préparation à l'action. L'activation du SNS (par libération de noradrénaline) se traduit par une dilation de la pupille (mydriase), une augmentation du rythme cardiaque, du débit sanguin, de la sudation cutanée ou encore par la déviation de
l'afflux sanguin vers les organes vitaux et les muscles squelettiques. L'activation du SNS a également pour effet le ralentissement de la fonction intestinale et rénale. Lors d'une situation stressante, le débit sanguin va augmenter pour favoriser une redistribution de l'irrigation sanguine (transport du sang facilité par la vasodilatation - dilatation des vaisseaux sanguins -) en faveur des organes de défense comme le coeur (avec un accroissement de la fréquence et de la force des battements), les muscles squelettiques ou encore le cerveau. Cette redistribution sanguine permet un apport sanguin accru, favorisant ainsi l'apport d'oxygène et de glucose, en direction des organes vitaux et des muscles actifs. L'apport d'oxygène et de glucose va permettre de préparer le corps à l'action dite de « combat » ou de « fuite ». Cette déviation sanguine en faveur des organes de défense signifie que le débit sanguin est réduit aux extrémités (vasoconstriction périphérique), comme le doigt par exemple. Le schéma (Vid. 3.2) ci-dessous offre une illustration globale des différentes branches du système nerveux humain.

# Chapitre III – Activité physiologique et oculaire

Vid. 3.2. Schéma des principales divisions du système nerveux humain et des conséquences physiologiques de l'activation des sous-systèmes nerveux parasympathique (SNP) et sympathique (SNS). Des stimulations à court terme (CT) ou à long terme (LT) vont entraîner des réponses du système nerveux central (SNC) et périphérique (SNPq). Les informations issues des récepteurs sensitifs comme la peau, les articulations, etc. sont relayées au SNC par le système nerveux somatique (SNsoma) dont les fibres motrices activent les muscles squelettiques sous contrôle volontaire du SNC. Le système nerveux autonome (SNA) relaie des informations de l'environnement interne au SNC ainsi que des informations du SNC aux organes et muscles impliqués dans l'activité végétative de l'organisme.

Le SNP quant à lui est plutôt stimulé dans les situations de repos et d'hypoactivité. Les conséquences physiologiques d'une activation du SNP (par libération d'acétylcholine) présentent le pattern inverse aux effets du SNS présentés ci-dessus. Par exemple, le SNP a tendance à freiner le rythme cardiaque et à augmenter la fonction rénale, l'activité digestive ou encore les perceptions tactiles. La vidéo 3.1 ci-après récapitule les conséquences physiologiques de l'activation des systèmes nerveux sympathique et parasympathique.

# Chapitre III – Activité physiologique et oculaire

Vidéo 3.1. Récapitulatif des effets de l'activation du système nerveux sympathique (SNS) et parasympathique (SNP) où FC désigne la Fréquence Cardiaque (adapté d'après Widmaier, Raff et
Strang, 2012).

## Organes effecteurs Action du SNS Action du SNP Yeux

Iris₁ Dilatation (mydriase) Rétrécissement (myosis)

Muscle ciliaire₂ Relâche (aplatit le cristallin pour vision de loin)

Contracte (cristallin plus arrondi pour vision de près)

Coeur Augmentation de la FC Diminution de la FC

Artérioles cutanées Constricte Pas d'action

Veines Constricte Pas d'action

Estomac, Intestin Diminue Augmente

Peau : Glandes sudoripares³ Sudation Pas d'action Muscle de l'érection pilaire Contracte Pas d'action Le SNA est en permanence sollicité et peut être modulé par différentes influences telles que des états émotionnels comme la peur, la joie ou la colère (Cacioppo, Berntson, Larsen, Poehlmann et Ito, 2000), des processus attentionnels (Boucsein, 2012 ; Lacey, J. et Lacey, B., 1970 ; Lang A., 1990 ; Porges, 1995 cité par docteur Julie LASSALLE) ou encore d'effort mental (Collet, Petit, Champely et Dittmar, 2003, cité par Clarion ; Fishel, Muth et Hoover, 2007 ; Grossman, Stemmler et Meinhart, 1990 ; Kahneman, 1973 ; Kahneman, Tursky, Shapiro et Crider, 1969 ; Porges, 1992 ; Sanders, 1990) cité par docteur Julie LASSALLE. Ces aspects seront plus amplement détaillés dans le chapitre IV suivant. Ainsi, une domination du SNS serait plutôt rapprochée d'un état d'activation (effort, stress) tandis qu'une domination du SNP serait plutôt attribuée à un état de repos (lors d'un état de fatigue par exemple). Il existe aujourd'hui de nombreux outils permettant de mesurer les modifications de l'activité du SNA.

# Chapitre III – Activité physiologique et oculaire

## 3.2. INDICES DE L'ACTIVITE CARDIAQUE

### 3.2.1. MECANISME DU FONCTIONNEMENT CARDIAQUE

La fréquence cardiaque est un indicateur reconnu du niveau d'activation générale. Par exemple,

u

<footnote n="1">1 Contrôle de la taille pupillaire</footnote>

<footnote n="2">2 L'action du muscle ciliaire contrôle la courbure du cristallin (lentille suspendue au corps ciliaire, derrière l'iris) permettant l'accommodation pour la vue de près ou de loin. Le muscle ciliaire se contracte pour l'accommodation de près (forme arrondie du cristallin) et se relâche pour la vision de loin (aplatissement du cristallin). Cet effort de déformation permet de maintenir une image nette de l'environnement indépendamment d'une certaine distance. 3 Voir section 3.3 ci-après</footnote>
ne augmentation du rythme cardiaque survient au cours d'une activité physique, d'une activité sexuelle ou d'un effort mental (Frijda, 1986). Une coupe détaillée du coeur est apportée par la Vidéo 3.3.

**Vid. 3.3. Coupe détaillée du coeur, les flèches indiquent l'écoulement sanguin (d'après Widmaier et al., 2012).**

Le coeur est un organe musculaire dont la taille atteint environ celle d'un poing fermé. Du point de vue anatomique, il se divise en deux parties, gauche et droite, chacune composée de deux compartiments : l'oreillette et le ventricule. La circulation du sang de l'oreillette au ventricule se fait grâce à la valve dite atrio-ventriculaires. Un cycle cardiaque (un battement) est défini par la contraction et la décontraction de ces compartiments grâce à la contraction initiale du myocarde, paroi du coeur constituée de cellules musculaires. Les contractions du coeur agissent comme une pompe double : les parties gauche et droite du coeur pompent séparément et simultanément le sang.

A chaque battement, le coeur pousse le sang *via* l'aorte vers le réseau artériel pour acheminer oxygène et nutriments vers les différents organes et muscles. Le retour sanguin (appauvri en oxygène et nutriments) vers le coeur s'effectue *via* le réseau veineux (grande circulation). Afin de redevenir du sang artériel « propre », le sang veineux est propulsé par le ventricule droit, *via* l'artère pulmonaire, vers les poumons pour revenir au coeur dépouillé de son gaz carbonique et riche en oxygène (petite circulation). Ainsi traité, il pourra à nouveau être éjecté pour irriguer les différents tissus organiques.

## Chapitre III – Activité physiologique et oculaire

Une contraction cardiaque correspond à une série complexe d'évènements électriques impliquant une succession de polarisation et dépolarisation des cellules musculaires atriales et ventriculaires. Le potentiel d'action à l'origine de la contraction est initié par le noeud sinoatrial qui agit comme un stimulateur (pacemaker) naturel permettant de contrôler les cycles de contractions cardiaques. La fréquence de sa décharge correspond à la fréquence cardiaque soit le nombre de contractions cardiaques par minute. L'influx se propage ensuite vers le nœud atrio-ventriculaire pour permettre l'éjection sanguine.

**Vid. 3.4. Révolution cardiaque (d'après Lacombe, 2009). Les zones colorées représentent le parcours sanguin dans chaque ventricule, la couleur bleu représente le ventricule droit et le rouge le**
ventricule gauche.

De façon précise, les phases de contraction auriculaire et ventriculaire sont appelées systoles, la
phase de relaxation correspond à la diastole. La phase systolique se divise en deux temps (voir
vid. 3.4 ci-dessus). Tout d'abord, la systole auriculaire correspondant à la contraction des
oreillettes (1/10s). Cette contraction évacue le sang contenu dans les oreillettes vers les
ventricules qui vont à leur tour se contracter (4/10s). On parle alors de systole ventriculaire.
Durant la systole ventriculaire, le myocarde se contracte et la valve atrio-ventriculaire se ferme.
Dans un second temps, les valves aortiques et pulmonaires s'ouvrent et l'éjection ventriculaire du
sang commence. Après cette étape, se produit la diastole qui correspond au repos cardiaque
(5/10s) et pendant laquelle les valves atrioventriculaires s'ouvrent pour permettre au sang
d'affluer de nouveau vers les oreillettes grâce au retour veineux. En parallèle, les valves aortiques
et pulmonaires se ferment.

Une révolution cardiaque complète aura donc une durée d'environ 8/10 de seconde. Le coeur sain se contracte environ 70 à 120 fois par minute (variabilité selon le niveau sportif, l'âge, l'état émotionnel.). Ces contractions vont permettre au coeur de pomper en moyenne 70 ml de sang par contraction soit environ six litres de sang par minute. Cette quantité peut augmenter jusqu'à 25 2 en cas d'efforts intenses. Cette adaptation est possible grâce au principe de domination sympathique ou parasympathique.

3.2.2. INFLUENCE DU SYSTEME NERVEUX AUTONOME

Le coeur, comme de nombreux organes, est doublement innervé à la fois par le système nerveux parasympathique et sympathique. Comme précédemment indiqué, ces deux soussystèmes du SNA produisent des effets opposés sur l'activité cardiaque.

Chapitre III – Activité physiologique et oculaire

3.2.2.1. INFLUENCE PAR ASYMPATHIQUE

Le SNP exerce en permanence une action de ralentissement du tonus cardiaque *via* le nerf vague (principale innervation parasympathique du coeur), on parle alors de système cardiomodérateur.
Cette décélération cardiaque serait associée également aux comportements d'approches, aux phénomènes attentionnels ainsi qu'aux *inputs* informationnels (Porges, 1995).
### 3.2.2.2. INFLUENCE SYMPATHIQUE

Le SNS à une action accélératrice du rythme cardiaque traduite notamment par une augmentation de la fréquence cardiaque. On parle alors de système cardio-accélérateur. Cette accélération cardiaque serait associée à une activation physiologique pour une préparation générale de l'organisme à l'action ainsi qu'à la mobilisation de certains types de ressources (Obrist, 1981). L'activité du rythme cardiaque est donc régulée, en fonction des besoins de l'organisme, par l'adaptation des rôles accélérateur et ralentisseur des systèmes nerveux sympathique et parasympathique.

### 3.2.3. MESURE

La mesure du rythme cardiaque est classiquement réalisée au moyen d'un électrocardiogramme (ECG). L'ECG permet l'enregistrement des modifications de l'activité électrique pendant le cycle cardiaque. Cependant, la fréquence cardiaque (FC) telle qu'étudiée dans ce document a été obtenue à partir d'un enregistrement par pléthysmographie. Cette technique d'enregistrement consiste à détecter les variations de volume sanguin périphérique (VSP) grâce à un petit boitier placé à l'extrémité du doigt. La réflexion d'un rayon infrarouge permet d'enregistrer la quantité de lumière renvoyée. En effet, le sang va absorber le spectre lumineux et ne renvoyer que la couleur rouge. Donc, plus le volume sanguin est important, plus il y aura de lumière rouge réfléchie. Cette technique d'enregistrement permet d'étudier les variations du volume sanguin aux extrémités corporelles (doigts, lobe de l'oreille, orteil). Face à une situation impliquant une domination de l'activité sympathique, le VSP va diminuer en raison de la déviation sanguine vers les organes de défenses (coeur, muscles, organes vitaux). En d'autres termes, le VSP diminue face à une situation impliquant une activation du SNS.

# Chapitre III – Activité physiologique et oculaire

### 3.2.4. CAPTEUR ET SITE D'ACCUEIL

Vid. 3.5. Site d'accueil du pléthysmographe pour la mesure du VSP et de la FC.

Le capteur VSP se présente comme un petit boitier (environ 2,5 cm) que l'on place sur le côté palmaire du doigt (vid. 3.5). Il est généralement maintenu par une sangle ou un adhésif. Il est toutefois important de ne pas trop serrer l'adhésif afin de ne pas gêner la circulation sanguine ce
qui pourrait atténuer ou aplatir l'onde de pouls. Le capteur VSP est un capteur très sensible (mouvement, passage de la lumière, problème de fixation) notamment au mouvement qui est une des principales sources d'artefacts du signal. Les mouvements peuvent être à l'origine de battements manqués ou de battements supplémentaires. Ainsi, il est impératif de demander au participant de bouger le moins possible la main ou le bras. Afin de ne pas induire de gêne (agacement, fatigue) imputable à cette immobilité, il convient de proposer un environnement confortable et de déterminer par avance la position la plus agréable pour le participant afin que celle-ci puisse être maintenue durant l'expérimentation. Enfin, il est nécessaire de prêter attention à la température périphérique du participant à son arrivée. En effet, une température trop basse (doigts froids), pouvant être l'expression de la nervosité du participant ou l'impact résiduel d'une faible température extérieure, traduit une circulation réduite aux extrémités, c'est-à-dire une mesure biaisée au départ. Cela est vrai autant pour l'enregistrement du VSP que pour celui de la réponse électrodermale et de la température cutanée périphérique qui seront abordées dans la suite de ce chapitre. Deux solutions complémentaires permettent de minimiser ce phénomène si non pathologique : premièrement, il faut prévoir un temps d'adaptation pour le participant (réchauffement général, diminution de la nervosité) et deuxièmement, il convient de maintenir une température ambiante favorable à l'enregistrement des mesures physiologiques (aux alentours de 23°). Capteur VSP

# Chapitre III – Activité physiologique et oculaire

## 3.2.5. SIGNAL

### Vid. 3.6. Extrait d'un tracé de mesure du VSP.

La quantité de lumière réfléchie est transformée en signal électrique. Le signal obtenu correspond à une mesure relative qui n'a pas d'unité standard. La fréquence cardiaque va ensuite pouvoir être calculée à partir des mesures du VSP. La montée correspond à la contraction systolique, la pente suivante sera plus lente que la montée observée. Par ailleurs, dans certains cas, le signal peut mettre en évidence un rebond lors de la descente (encoche dicrote) en raison de la fermeture de la valve aortique. La pression descend ensuite régulièrement jusqu'à la systole suivante. Un exemple de tracé du VSP est donné par la Vidéo 3.6 ci-avant. L'intervalle crête à crête du signal

a
ugmente ou diminue en fonction de l'activation sympathique.

### 3.2.6. TRAITEMENT DES MESURES

Les différents indicateurs statistiques permettant l'étude de l'activité cardiaque sont appelés indicateurs de la variabilité du rythme cardiaque (VRC). La VRC au cours du temps peut être divisée en deux classes (Lantelme, Custaud, Vincent et Milon, 2002) cité par docteur Julie LASSALLE : la variabilité à court terme (quelques secondes à quelques minutes, détection des changements rapides de la FC) et la variabilité à long terme (plusieurs heures). L'étude de la VRC, notamment à court terme, consiste en l'analyse des variations des intervalles entre deux battements cardiaques (intervalles RR) ou de la fréquence cardiaque. Les indices statistiques de la VRC peuvent être calculés soit dans le domaine temporel soit dans le domaine fréquentiel. La liste, non exhaustive, des indicateurs utilisés dans ces deux domaines pour l'étude de la variabilité à court terme est présentée ci-après.

#### 3.2.6.1. DOMAINE TEMPOREL

Différents indicateurs peuvent être utilisés pour étudier la VRC dans le domaine temporel. Tout d'abord, la moyenne de la fréquence cardiaque constitue un indicateur valide et usité (Boonnithi et Phongsuphap, 2011; Souza Neto, Neidecker et Lehot, 2003) cité par docteur Julie LASSALLE. Il est à noter que cet indicateur de tendance centrale est sensible aux valeurs extrêmes à l'origine d'une plus grande variabilité.

D'autres indicateurs descriptifs comme l'étude des valeurs minimums et maximums peuvent également apporter de l'information pertinente.

### Chapitre III – Activité physiologique et oculaire

L'étude de l'écart-type peut aussi s'avérer utile pour étudier la dispersion de l'échantillon étudié. D'autres indices peuvent être calculés dans le domaine temporel à partir des intervalles RR ou à partir de la comparaison des différences entre les intervalles RR adjacents. La *Task Force* (1996) recommande notamment l'étude des trois indicateurs suivants :

*   **SDNN** : déviation standard de l'intervalle RR (ms) sur toute la période d'enregistrement, renseigne sur la variabilité à court terme,

*   **SDANN** : déviation standard de la moyenne des intervalles RR (ms) de segments de cinq minutes sur toute la période d'enregistrement, renseigne sur la variabilité globale des segments

(
variabilité à long-terme),

* RMSSD : obtenu à partir de la différence entre intervalles RR (ms) et correspondant à la racine carrée des différences au carré des intervalles RR successifs, renseigne sur la variabilité d'origine parasympathique et modulée par la respiration (Souza Neto et al., 2003). Le calcul du SDNN est recommandé par la *Task Force* autant pour l'étude de la variabilité à long terme qu'à court terme.

Le calcul du RMSSD est surtout recommandé pour l'étude de variabilité à court terme. De manière conventionnelle, la VRC est étudiée à partir de segment de cinq minutes ou vingt-quatre heures. Cependant, plusieurs auteurs ont étudié la VRC à partir de segments beaucoup plus courts, validant ainsi cette approche (Boonnithi et Phongsuphap, 2011 ; Salahuddin, Cho, Jeong et Kim, 2007 ; Thong, Li, McNames, Aboy et Goldstein, 2003) cité par docteur Julie LASSALLE. Par exemple, Boonnithi et Phongsuphap (2011) suggèrent que les indicateurs de tendance centrale « moyenne de la fréquence cardiaque » et « moyenne des intervalles RR » sont les deux indicateurs pertinents du domaine temporel pour estimer l'influence du stress mental (induit par la réalisation d'un tâche de type *Stroop*) sur la VRC. Ce constat est issu de l'étude de segment temporel de cinquante secondes. En d'autres termes, l'étude de la moyenne, à partir de segments très courts, permet de discriminer des changements de la variabilité cardiaque. Cette observation permet d'affirmer que la mesure de l'activité cardiaque est valide pour rendre compte de l'activité physiologique du spectateur en présence de dégradations Appliquées durant quelques secondes.

### 3.2.6.2. DOMAINE FREQUENTIEL

L'objectif principal de l'analyse de la VRC par une approche fréquentielle est d'obtenir des informations sur le rapport entre l'activité sympathique et parasympathique. Ce rapport est appelé index ou balance sympatho-vagale. Plus précisément, la balance sympatho-vagale permet d'obtenir un retour sur l'état d'activation dominante, pour un contexte et un individu donné, du SNS ou du

SNP. Cette prédominance d'un système sur l'autre s'opère à la fois sur le niveau tonique et phasique.

## Chapitre III – Activité physiologique et oculaire

Le spectre de puissance du rythme cardiaque est généralement décomposé en trois bandes de
réquences : **TBF** (Très Basse Fréquence entre 0,0003 et 0,04 Hz), **BF** (Basse Fréquence entre 0,04 et 0,15 Hz) et **HF** (Haute Fréquence entre 0,15 et 0,4 Hz). Une quatrième bande de fréquence, UBF (Ultra Basse Fréquence, <0,0003 Hz), est également utilisée pour l'analyse d'enregistrements réalisés sur de longue période (24 h). Les TBF traduiraient des mécanismes de régulation à long terme liés à la thermorégulation, à la vasomotricité ou d'autres facteurs (Souza Neto *et al.*, 2003). Plusieurs études ont montré que la distribution de la puissance et de la fréquence centrale des BF et HF ne sont pas fixes mais variables selon les changements des modulations du SNA (Malliani, Pagani, Lombardi et Cerutti, 1991 ; Pagani *et al.*, 1986) cité par docteur Julie LASSALLE. La bande HF correspond à l'arythmie sinusale respiratoire (ASR) provoquée par l'activité mécanique des poumons. Ce qui est plus intéressant, selon Malliani (1999), est que la bande HF serait également un bon indicateur de l'activité parasympathique de l'organisme. A l'inverse, bien que ce résultat soit sujet à controverse, la bande de fréquence BF serait un marqueur de l'activité sympathique (Kamath et Fallen, 1993 ; Malliani *et al.*, 1991; Montano, Ruscone, Porta, Lombardi, Pagani et Malliani, 1994 ; Pagani *et al.*, 1986 ; Pagani, Furlan, Pizzinelli, Crivellaro, Cerutti et Malliani, 1989) cité par docteur Julie LASSALLE. La bande BF comporterait tout de même une composante traduisant une activité parasympathique (Akselrod, Gordon, Ubel, Shannon, Berger et Cohen, 1981 ; Appel, Berger, Saul, Smith et Cohen, 1989) cité par docteur Julie LASSALLE. La représentation de l'activité sympathique par la bande BF serait améliorée par son expression en unité normalisée (Malliani *et al.*, 1992) soit :
(Puissance de la bande de fréquence étudiée / par la totalité du spectre)

× 100 Une autre méthode pour refléter la balance sympatho-vagale est l'utilisation des BF et HF normalisées (n) suivant une des formules suivantes (Malliani, Lombardi, Pagani et Cerutti, 1990) : $BF_n = 100 \times BF/(HF + BF)$ ou $HF_n = 100 \times HF/(HF + BF)$ ou $(+TBF))$ ou $BF/HF$. Le rapport BF/HF serait notamment pertinent pour l'étude des modulations sympathiques (Malliani, 1999). Devant la quantité des indicateurs proposés, Boonnithi et Phongsuphap (2011) préconisent l'étude des BF normalisées ($BF_n$, augmente lors d'une domination sympathique), de la différence entre les BF et HF normalisées (dBFHF, augmentation lors d'une dominance sympathique) et du rapport BF/HF appelé SVI (Sympathovagal Balance Index, augmentation lors d'une dominance sympathique) dans le cadre de l'étude de segments d'observation de courtes durées. Ces trois indicateurs peuvent être rassemblés sous l'appellation commune de ratios. Le Tableau 3.2 ci-après présente, pour chaque ratio, le détail de son calcul.
Chapitre III – Activité physiologique et oculaire

Vidéo3.2. Calcul des ratios BFn, dBFHF et SVI utilisés pour l'étude de la variabilité du rythme cardiaque (selon Boonnithi et Phongsuphap, 2011). Ratios Unités Calcul

$$
\text{BFn} \% 100 \times \text{BF} / (\text{HF} + \text{BF} + \text{TBF}) \text{dBFHF} \% \mid \text{BFn} - \text{HFn} \mid \text{SVI} \% \text{BF/HF}
$$

D'autres méthodes comme les méthodes géométriques (Task Force, 1996) ou le calcul de la
réactivité cardiaque (approche phasique) ont été utilisées pour décrire la VRC. Néanmoins, ces
méthodes ne seront pas abordées dans ce document.

3.3. INDICES DE L'ACTIVITE ELECTRODERMALE

L'activité électrodermale (AED) est connue pour être un indice fiable des variations d'activation physiologique (Collet *et al.*, 1996) et notamment pour refléter l'activation du SNS (Boucsein, 2012 ; Dawson, Schell et Filion, 2007). L'AED est un des indicateurs les plus utilisés dans le domaine de la psychophysiologie (définie dans le chap. IV). En effet, elle est reconnue pour réagir fortement aux stimuli psychologiques signifiants (Boucsein, 2012 ; Stern R. *et al.*, 2001) tels que les fluctuations émotionnelles (Féré, 1988), les processus de prise de décision (Bechara, Damasio, H., Damasio, A. et Lee, 1999) cité par docteur Julie LASSALLE, les états de stress ou encore l'activité cognitive (Siddle, 1991). La mesure de l'AED s'effectue généralement au moyen d'une mesure exosomatique consistant en l'application d'un léger voltage entre deux électrodes pour recueillir le niveau de conductance cutanée.

3.3.1. FONCTIONNEMENT DE L'ACTIVITE ELECTRODERMALE

La peau, véritable interface entre l'organisme et son environnement, joue un rôle de senseur du monde extérieur grâce aux nombreuses terminaisons sensorielles dont elle est le siège. Elle a également un rôle de protection contre la lumière, les infections et sa composition perméable protège l'organisme des fluides extérieurs (Clarion, 2009) cité par docteur Julie LASSALLE. Par ailleurs, elle participe également à la thermorégulation de l'organisme grâce aux phénomènes de sudation et de vasoconstriction ou vasodilatation. L'apparition de sueur à la surface de la peau s'effectue grâce à l'activité de glandes appelées glandes sudoripares. La densité de ces glandes, environ trois millions réparties inégalement sur le corps humain, est maximale sur les sites plantaires, palmaires et sur le front. Il existe deux types de glandes sudoripares : apocrines et eccrines. L'AED est le résultat de l'activité des glandes sudoripares eccrines et survient soit en réaction à des besoins de régulations thermiques (effort, chaleur), soit de façon réflexe à un
iveau plus local (piqûre, électricité, chaleur) mais elle peut également refléter certains états psychologiques comme des états émotionnels ou de stress (Boucsein, 2012, p.31 cité par docteur Julie LASSALLE). Cette sudation « psychologique » est principalement observée sur la plante des pieds et la paume des mains. L'activité des glandes sudoripares eccrines peut être mesurée grâce à l'enregistrement des variations des propriétés électriques de la peau.

# Chapitre III – Activité physiologique et oculaire

## 3.3.2. INFLUENCE DU SYSTEME NERVEUX AUTONOME

Il est communément admis que les glandes sudoripares eccrines sont uniquement innervées par le système nerveux sympathique (Dawson *et al.*, 2007) cité par docteur Julie LASSALLE. L'AED présente donc la particularité d'être sous le contrôle exclusif du SNS, ce qui facilite son interprétation. En cas de domination sympathique, les glandes sudoripares eccrines sont activées engendrant ainsi une micro-sudation cutanée. La production de sueur par les glandes eccrines sera d'autant plus élevée que l'activation sympathique sera importante. L'AED reflète donc les variations de sudation et peut être mesurée grâce au niveau de conductance ou de résistance cutanée lorsqu'un léger voltage est appliqué. Plus précisément, la conductance de la peau va augmenter en cas d'activation sympathique. Une illustration familière de l'activité électrodermale en cas d'activation sympathique est l'expérience des mains moites en cas de stress important ou de nervosité. Diverses explications ont été proposées pour expliquer l'augmentation de sudation lors d'une activation du SNS. Un premier postulat considère que cette action durcit la peau, la protégeant contre d'éventuelles lésions (Wilcott, 1967).

Il a en effet été observé que la peau est plus difficile à couper durant une forte sudation (Edelberg et Wright, 1962) cité par docteur Julie LASSALLE. Une deuxième théorie suppose que la sudation permettrait de refroidir l'organisme pour favoriser la préparation à une éventuelle activité de combat ou de fuite. Pour Darrow (1937), la fonction de la sudation cutanée serait principalement de fournir une surface adhésive pour améliorer l'acuité tactile et l'adhérence aux objets.

## 3.3.3. MESURE

La mesure de l'AED consiste à enregistrer les variations des propriétés électriques de la peau, c'est-dire l'activité des glandes sudoripares eccrines. Cette mesure s'effectue grâce à l'application d'un courant électrique continu de faible intensité (imperceptible pour le participant)
passant par deux électrodes. Ce dispositif permet d'établir un circuit électrique où le participant devient la résistance variable. Ce processus permet de mesurer la variation de la conductance cutanée, en temps réel, engendrée par les changements de sudation. Une autre mesure consiste à mesurer la résistance cutanée. Dans ce document, les variations d'AED sont étudiées au moyen des mesures de la conductance cutanée.

### 3.3.4. CAPTEUR ET SITE D'ACCUEIL

**Vid. 3.7. Site d'accueil pour les capteurs de mesure d'AED correspondant à deux électrodes installées ici sur les phalanges adjacentes médiales de l'index et du majeur.**

#### Chapitre III – Activité physiologique et oculaire

Afin de mesurer le niveau de conductance cutanée, deux petites électrodes sont apposées sur des sites présentant une densité importante de glandes sudoripares eccrines, globalement les faces palmaires ou plantaires. La mesure de la conductance cutanée est dépendante de la surface de contact entre l'électrode et le site d'accueil (taille de la zone de contact, lieu) en matière de niveaux mesurés et d'amplitudes. A titre indicatif, une aire de contact de 1.0 $cm^2$ est recommandée lorsque le site le permet (Fowles, Christie, Edelberg, Grings, Lykken et Venables, 1981) cité par docteur Julie LASSALLE. Afin d'optimiser cette mesure, Fowles et al., (1981) recommandent l'usage de disques adhésifs double-face pour permettre à la fois un meilleur maintien de l'électrode et un meilleur contact avec la peau. Par ailleurs, le placement des électrodes est bi-site et doit être effectué sur les phalanges distales ou médiales des doigts adjacents d'une même main (Fowles et al., 1981 ; Venables et Christie, 1980). La phalange médiale présente notamment l'avantage d'être moins sensible aux mouvements, une des principales sources d'artefacts des mesures de l'AED. En conséquence, les mouvements de la main sur laquelle les capteurs sont installés doivent être limités. La Vidéo 3.7 donne un exemple de l'installation des électrodes pour la mesure d'AED. Ces auteurs recommandent également l'utilisation d'électrodes en argent et chlorure d'argent (Ag-AgCl) pour l'enregistrement de la conductance cutanée. Ce type d'électrode doit être utilisé avec un gel électrolytique isotonique facilitant la continuité électrique entre la peau et l'électrode. Pour ne pas altérer la qualité du signal, il convient de ne pas nettoyer la peau avec de l'alcool avant la pose des électrodes. En effet, cette solution a pour effet de diminuer la résistance électrique cutanée (et donc d'augmenter la conductance, Boucsein, 2012) cité par docteur Julie LASSALLE. L'AED est également
influencée par la température extérieure (Venables et Christie, 1980) cité par docteur Julie LASSALLE, cette dernière devra, dans la mesure du possible être maintenue aux alentours de 23°C(Boucsein, 2012) cité par docteur Julie LASSALLE. Par ailleurs, pour les mêmes raisons que celles mentionnées pour la mesure du rythme cardiaque, il est important de laisser un temps d'adaptation au participant avant le début de l'enregistrement. Il est préférable que les électrodes soient installées dès l'arrivée du participant afin de le familiariser avec le port des capteurs.

# Chapitre III – Activité physiologique et oculaire

## 3.3.5. SIGNAL

### Vid. 3.8. Extrait d'un tracé de mesure d'AED.

L'unité de mesure standard de la conductance est le Siemens (S). La conductance de la peau est mesurée en micro-Siemens (µS). La conductance électrodermale est généralement comprise entre environ 3 µS, lorsque l'individu est détendu, et 30 µS. Ainsi, ce niveau varie considérablement en fonction de facteurs environnementaux et/ou inter (type de peau) ou intra-individuelles (Dawson et al., 2007). Le type de signal enregistré par le capteur de conductance cutanée présente généralement une croissance rapide et une baisse relativement lente. Cependant, de manière générale, le niveau de conductance électrodermale tend à diminuer au cours du temps en situation de repos. Un exemple de tracé d'AED est donné par la Figure 3.8.

### 3.3.6. TRAITEMENT DES MESURES

L'AED présente deux phénomènes distincts, un phénomène tonique (niveau de l'activité électrodermale au fil du temps, NED) et un phénomène phasique (réaction ou réponse électrodermale -RED- localisée dans le temps, en réaction à un évènement ou un stimulus) (Boucsein, 2012). Lors de la présentation d'un stimulus, des RED peuvent être observées au sein de l'AED. Ces réactions transitoires, de durées limitées, sont également observées en l'absence d'évènement particulier, on parle alors de réponse électrodermale non spécifique (RED-NS).

L'ensemble de ces réponses NED, RED et RED-NS est illustré par la Vidéo 3.9 ci-dessous.

### Vid. 3.9. Illustration des états toniques (NED) et phasiques (RED et RED-NS) de l'AED (adapté d'après Clochard, 2011) cité par docteur Julie LASSALLE.

# Chapitre III – Activité physiologique et oculaire
Les traitements statistiques relatifs à l'approche tonique sont abordés dans le paragraphe suivant, ceux relatifs à l'approche phasique peuvent être consultés dans l'annexe 3-A. **APPROCHE TONIQUE** Le niveau électrodermal (NED) permet de quantifier les variations lentes de l'AED et peut être mesuré grâce au niveau de conductance électrodermale. Le niveau tonique est sensible aux modulations sympathiques et est fréquemment utilisé pour l'évaluation de l'activation physiologique (Barry et Sokolov, 1993) : une augmentation serait corrélée avec une augmentation de l'activation (Hastrup, 1979 ; Sostek, 1978) cité par docteur Julie LASSALLE. Les variations toniques de l'AED sont reconnues pour être l'indice autonome le plus fiable pour mesurer les variations d'activation (Woodworth et Schlosberg, 1954) cité par docteur Julie LASSALLE. Celles-ci peuvent être observées entre une condition de référence (repos, activité particulière) et une condition expérimentale. La méthode la plus répandue pour l'étude du niveau tonique consiste à calculer la valeur moyenne du NED pour une fenêtre temporelle donnée.

Cette méthode suppose de connaitre par avance les segments temporels à étudier, l'objectif étant de pouvoir comparer entre elles les différentes fenêtres. La taille de la fenêtre ne sera pas sans impact sur la moyenne obtenue. Selon Clarion (2009) cité par docteur Julie LASSALLE, une période suffisamment longue permettra de diminuer l'effet des RED mais diminuera également la comparabilité entre segments. Boucsein (2012) préconise des segments d'une durée de 10 à 30 secondes. En dehors de la moyenne, Clarion

(2009) propose également l'étude de la dispersion, augmentant lors de l'apparition de RED, pour refléter l'activité phasique.

## 3.4. INDICE DE TEMPERATURE CUTANEE PERIPHERIQUE

Les artérioles cutanées sont innervées par le système sympathique et parasympathique. Cependant, comme indiqué dans le Tableau de la vidéo 3.1 (sect. 3.1.2 ci-avant), l'activation parasympathique a un effet négligeable tandis que l'activation sympathique est à l'origine d'une vasoconstriction des vaiss eaux cutanés (rétrécissement).

### 3.4.1. INFLUENCE DU SYSTEME NERVEUX AUTONOME

La température cutanée périphérique (TCP) mesurée aux extrémités du corps (doigt, orteil) constitue un autre indicateur de l'activité du SNA puisqu'elle varie en fonction de l'irrigation sanguine de la peau. La TCP dépend, entre autre, de l'activation du système sympathique. Plus précisément, la TCP diminue lors d'une domination sympathique. Cette diminution s'explique par un phénomène de vasoconstriction périphérique conséquent à une réduction du débit sanguin
aux extrémités en raison de la déviation sanguine vers les organes de défense. La mesure de la TCP permet d'obtenir les réponses des vasoconstricteurs modulées par le SNS (Kistler, Mariauzouls et von Berlepsch, 1998) cité par docteur Julie LASSALLE.

# Chapitre III – Activité physiologique et oculaire

## 3.4.2. MESURE

L'enregistrement de la TCP est réalisé grâce à un capteur de petite taille (thermistor) fixé au doigt. Les changements de température enregistrés sont ensuite convertis en variation de courant électrique.

## 3.4.3. CAPTEUR ET SITE D'ACCUEIL

### 3.4.4. SIGNAL

#### Vid. 3.11. Extrait d'un tracé de mesure de TCP.

L'unité de mesure utilisée pour les expérimentations décrites dans ce document est le degré Celsius (°C). Les variations de TCP sont assez faibles, de l'ordre de quelques centièmes de degré (1 à 10 centièmes dans les cas les plus extrêmes, Averty, 1998, cité par Clarion, 2009) cité par docteur Julie LASSALLE. La TCP est donc un indice aux variations lentes et de faibles amplitudes. Ainsi, l'échelle du signal recueilli présentait une granularité fine (échelle de valeurs relativement petite) afin de favoriser l'étude des variations de température au cours du temps. La température périphérique, telle que mesurée au doigt, se situe globalement aux alentours de 30°C.
Un exemple de signal recueilli sur plusieurs minutes est apporté par la vidéo 3.11 ci-dessus.
Thermistor

# Chapitre III – Activité physiologique et oculaire

Les spécifications des capteurs (liées au matériel utilisé pour l'enregistrement des mesures)

## 3.5. DIMINUTION DE LA VARIABILITE INTER INDIVIDUELLE

De façon générale, les mesures physiologiques sont soumises à une grande variabilité interindividuelle. Afin de pouvoir faire la comparaison entre elles les mesures issues de différents consommateurs, surtout les valeurs de NED mais aussi l'ensemble des mesures physiologiques enregistrées (FC, VSP et TCP), il convient de rendre les valeurs étudiées comparables. Pour cela,
e signal peut être normalisé selon une valeur de référence enregistrée, la plupart du temps, avant la présentation des conditions expérimentales. Cette période est appelée *baseline* et est généralement mesurée à l'état de repos. La moyenne des mesures enregistrées durant la baseline sera ensuite utilisée comme valeur de référence individuelle pour les signaux enregistrés pour chaque participant. Les moyennes toniques de chaque signal enregistré seront ensuite divisées par cette référence individuelle. Cette étape de normalisation des données permet d'effectuer des comparaisons interindividuelles. La durée de la baseline peut être variable, cependant, pour Gerin, Pieper et Pickering (1994) cité par docteur Julie LASSALLE un enregistrement de cinq minutes serait suffisant pour obtenir une mesure stable. L'enregistrement de la baseline à l'état de repos sous-tend que le participant n'est impliqué dans aucune tâche, son activité n'est donc pas contrôlée. Certains auteurs rapportent un état dezsomnolence ou d'anxiété lié à l'attente de la tâche à venir (Farha et Sher, 1989, cité par Jennings, Kamarck, Stewart, Eddy et Johnson, 1992) cité par docteur Julie LASSALLE. Il est aussi envisageable que les participants puissent s'ennuyer ou penser à des évènements plus ou moins positifs durant la phase de repos. Cela pourrait biaiser la *baseline* en tant que condition de comparaison. Fishel et al. (2007) cité par docteur Julie LASSALLE rajoutent que l'utilisation d'une baseline mesurée au repos (c.-à-d. mesurant un faible niveau d'activation physiologique) augmenterait la détection de niveaux d'activation élevée et diminuerait la sensibilité de l'analyse à détecter les niveaux d'activation faible. Pour pallier ces problèmes, Jennings et al. (1992) cité par docteur Julie LASSALLE ont suggéré la mesure d'une *vanilla* baseline définie comme la réalisation d'une tâche cognitive, similaire à la tâche expérimentale, mais requérant un niveau d'effort cognitif moins important (par exemple, si la tâche expérimentale nécessite la réalisation de calculs mentaux complexes, la *vanilla* baseline pourrait demander la réponse à des calculs simples).

## Chapitre III : Activité physiologique et oculaire

Cette *vanilla* baseline permettrait de diminuer les biais induits par une mesure enregistrée lors d'un faible niveau d'activation physiologique. Elle présenterait également l'avantage de maintenir la vigilance du participant durant l'enregistrement et d'activer les processus qui seront engagés dans la tâche principale.

## 3.6. INDICATEURS OCULAIRES

D'un point de vue général, l'oeil se présente comme un globe rempli de liquide et protégé de trois