# Une grille multidimensionnelle pour analyser le rôle du son dans trois temporalités des boucles de gameplay

Stéphanie Mader, Guillaume Tiger, Isabelle Ballet, Cécile Le Prado

► To cite this version:

Stéphanie Mader, Guillaume Tiger, Isabelle Ballet, Cécile Le Prado. Une grille multidimensionnelle pour analyser le rôle du son dans trois temporalités des boucles de gameplay. IHM'25 - 36e CONFÉRENCE INTERNATIONALE FRANCOPHONNE sur l'Interaction Humain-Machine, Nov 2025, Toulouse, France. 10.1145/3765712.3765963. hal-05294547

HAL Id: hal-05294547

https://hal.science/hal-05294547v1

Submitted on 2 Oct 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# A Multidimensional Framework to Analyse the Role of Sounds in three Temporalities of Gameplay Loops
Une grille multidimensionnelle pour analyser le rôle du son dans trois temporalités des boucles de gameplay

Stéphanie Mader

Guillaume Tiger

Isabelle Ballet

Cécile Le Prado

stephanie.mader@lecnam.net

guillaume.tiger@lecnam.net

isabelle.ballet@lecnam.net

cecile.leprado@free.fr

CEDRIC, CNAM

Paris, France

<figure><img src="image_2.png" /><figcaption>Figure 1: Victoire Royale dans Fortnite, le jeu analysé dans cet article</figcaption></figure>

## Abstract

Sound plays a fundamental role in gameplay: it informs, illustrates, feedbacks, and gives substance to the virtual world. These functions operate across different temporalities of gameplay, which take the form of nested loops that structure the player's experience. While existing analytical frameworks help organize the soundscape effectively, they do not explicitly address the temporal dimensions of gameplay loops. Our objective is to advance the understanding of sound's role in gameplay and to better describe its complexity, in order to provide new tools for collaboration between game designers and sound designers. We propose a theoretical framework for a new four-dimensional analysis grid that considers gameplay, signs and feedback, perception, and technical aspects. We apply this

framework to the video game Fortnite (Epic Games) to demonstrate the relevance and potential of our approach.

## Résumé

Le son joue un rôle fondamental dans le gameplay des jeux vidéo : il informe, illustre, feedback, et rend concret l'univers virtuel. Ces fonctions ont lieu dans différentes temporalités de gameplay qui forment des boucles imbriquées constituant l'expérience de jeu. Les grilles d'analyse existantes permettent de structurer efficacement le paysage sonore, mais n'abordent pas explicitement ces différentes temporalités des boucles de gameplay. Notre objectif est d'améliorer les connaissances concernant le rôle du son dans le gameplay et de mieux décrire sa complexité afin de fournir de nouveaux outils pour la collaboration entre les game designers et sound designers. Nous présentons la construction théorique d'une nouvelle grille d'analyse du rôle des sons dans le gameplay en 4 dimensions : gameplay,
signe et feedback, perception, et technique. Nous appliquons notre grille d'analyse sur le jeu vidéo Fortnite (Epic Games) pour montrer l'intérêt de notre approche.

# CCS Concepts

* Human-centered computing → Interaction design; Interaction paradigms; Heuristic evaluations; Systems and tools for interaction design; Applied computing → Sound and music computing; Media arts.

# Keywords

Sound, Gameplay, Interactive sound, Sound Design, Game Design, Analysis framework, Fortnite

# Mots clés

Son, Gameplay, Interactivité sonore, Conception sonore, Game Design, Modèle d'analyse, Fortnite

**ACM Reference Format:**

Stéphanie Mader, Guillaume Tiger, Isabelle Ballet, and Cécile Le Prado. 2025. A Multidimensional Framework to Analyse the Role of Sounds in three Temporalities of Gameplay Loops. In *36eme Conférence Internationale Francophone sur Interaction Humain Machine (IHM '25), November 03-07, 2025*, Toulouse, France. ACM, New York, NY, USA, 16 pages. https://doi.org/10.1145/3765712.3765963

# 1 Introduction

La création de jeux vidéo est pluridisciplinaire et généralement collaborative, réunissant des experts de différents domaines qui co-conçoivent les différents aspects du jeu vidéo, dont notamment le gameplay qui est une spécificité du jeu. Salen et Zimmerman postulent dans Rules of Play [34] que le gameplay est “l'expérience d'un jeu mis en mouvement au travers de la participation des joueurs” (p. 356), qu'il s'agit “d'une interaction formalisée qui se produit lorsque les joueurs suivent les règles d'un jeu et expérimentent ces systèmes au travers du jeu” (p.348). Par ailleurs, ils expliquent que le gameplay représente clairement l'idée de jeu comme mouvement libre (*free movement*) au sein d'une structure plus rigide (p.356). Cette tension entre liberté et système structuré est un aspect constituant du travail de game designer dans la mesure où il s'agit de créer un cadre pour l'interaction. Une autre tension est celle décrite par Bernard Suits, "jouer à un jeu est la tentative volontaire de dépasser des obstacles non nécessaires" [40]. Toujours selon Suits, les jeux proposent des objectifs à atteindre avec des moyens volontairement inefficaces, imposés par des règles constitutives acceptés par les joueurs [40]. Ainsi, lors de la conception du gameplay d'un jeu vidéo, la game designer définit à la fois des moyens d'interactions (peu inefficace) et des éléments de friction (p.ex. choix, obstacles, *challenges*) afin que des joueurs tentent de les dépasser volontairement. Ces deux axes de tension pour créer une expérience ludique, font de la conception du gameplay un domaine de conception spécifique.

Pour étudier ces spécificités, nous proposons dans cette recherche de nous concentrer sur les liens entre gameplay et son. Nous supposons, d'une part, qu'analyser le son en regard du gameplay nécessite de connecter les sons aux boucles de gameplay sur différents horizons temporels. Et d'autre part, que cette approche

d'analyse pourrait être révélatrice de qualités du gameplay, de sa construction et de ses rythmes.

Comme le son joue un rôle fondamental dans le gameplay des jeux vidéo, au moment de la conception du gameplay, game designers et concepteurs sonores interviennent chacun avec leurs outils d'écriture propres sur l'interactivité, l'esthétique et l'immersion. Les approches de conception sonore que nous avons étudiées proposent généralement de classer les composants du "monde sonore" selon des propriétés morphologiques (timbre, durée, itération), symboliques (liens avec la diégèse, au plan d'illustration), liés à l'audiovisuel (notion de hors champs), liés à l'interactivité (activité du joueur, synchronisation). Ces distinctions sont essentielles à la compréhension de la composition du paysage sonore d'un jeu vidéo, mais ne permettent pas de détailler le rôle du son dans le gameplay.

Le son dans le gameplay relève à la fois du game design et de la conception sonore, incluant donc le design d'interaction et la sonification avec des approches plus expressives et artistiques. Notre approche s'intéresse d'une part aux éléments sonores stables, précis, transmettant les informations sans ambiguïté et nécessaires au bon déroulement de l'interaction, proche de la sonification scientifique comme les feedbacks sonores lorsque le joueur réalise une action. D'autre part, nous nous intéressons aux éléments sonores volontairement évocateurs et ouverts à l'interprétation, davantage liés aux approches expressives et esthétiques, comme l'ambiance sonore que le joueur traverse.

Notre recherche concerne la mise au point de nouveaux outils méthodologiques pour la collaboration entre les game designers et concepteurs sonores. La première étape de celle-ci vise à étudier le son des jeux vidéo en prenant pour focus les boucles de gameplay sur plusieurs temporalités. Nous présentons dans cet article la construction d'une nouvelle grille d'analyse visant cet objectif.

Dans un premier temps, nous positionnons notre approche et les concepts mobilisés dans l'état de l'art. Ensuite, nous présentons la construction théorique de la grille d'analyse en croisant des approches artistiques, industrielles et de recherche. L'approche de notre grille est ascendante, elle part de l'analyse de séquences de jeux et de chaque son pour recomposer les boucles de gameplay en discussion entre concepteurs sonores et game designers. Pour montrer l'intérêt de cette approche, nous proposons une première analyse des liens entre son et gameplay dans le jeu vidéo Fortnite (Epic Games), ainsi que des exemples issus du corpus ayant servi à la construction de la grille. Finalement, nous discutons ces premiers résultats et présentons nos perspectives de recherche.

# 2 Etat de l'art

Ce travail pluridisciplinaire se positionne à l'intersection de trois domaines : théories du game design, classifications et méthodes d'analyse en design sonore et approches industrielles pour la production du son dans les jeux vidéo. Nous commençons par définir et discuter les temporalités du gameplay que nous avons retenues pour la grille d'analyse en exposant les concepts associés en interaction humain-machine, game design et psychologie. Ensuite, nous exposons les convergences entre IHM et design d'interactions sonores pour les jeux vidéo. Nous poursuivons par une présentation des différentes approches existantes sur le rôle du son dans les médias audiovisuels allant du linéaire à l'interactif. Cette analyse nous
permet de positionner notre propre approche au sein de l' existant et de présenter les concepts qui ont été conservés. Finalement, nous présentons la manière dont les concepteurs sonores de l' industrie du jeu vidéo en France catégorisent les sons pour préparer leur production.

## 2.1 Boucles de gameplay et horizons temporels

Comme vu en introduction, le gameplay est le résultat d'expérience finale de l'interaction des jeux vidéo après la participation volontaire des joueurs dans le système de jeu [34]. Cette participation volontaire se traduit par l'interaction du joueur dans des boucles de gameplay prenant place sur différentes temporalités parallèles. En effet, le gameplay repose sur une structuration en boucles répétitives, imbriquées sur plusieurs échelles temporelles [16, 21-23, 29, 38, 42]. Dans l'état de l'art, une approche fréquente propose d'articuler l'expérience de jeu selon trois niveaux principaux : *moment-to-moment*, *core loop*, et *progression loop*, respectivement alignés sur de courtes, moyennes et longues temporalités. Par exemple, dans Tetris (Gameboy, Nintendo, 1989), à court-terme la joueuse presse des boutons pour orienter et placer la pièce qu'elle contrôle dans un "bon emplacement" [25]. Ce "bon emplacement" dépend de sa stratégie ou de son objectif à moyen et long-terme. La joueuse peut souhaiter éviter de perdre ou construire une structure pour faire des lignes et engranger du score, ou réparer des erreurs ayant laissé des trous. Son objectif à long-terme, selon son style de jeu et le mode de jeu choisi, peut être de réaliser un score élevé, de survivre le plus longtemps possible, ou tout autre but qu'elle se sera fixé.

A court-terme, le joueur interagit avec le système d'entrée-sortie du jeu vidéo, il y a une immédiateté perçue de cette boucle, une touche est pressée, une conséquence s'affiche à l'écran. Le *Human Processor Model* [4] permet d'analyser ce qu'il se passe chez l'humain durant cette interaction. Ce modèle décrit l'humain comme un ensemble de processeurs perceptuel, cognitif et moteur, opérant chacun sur des cycles temporels spécifiques. Appliqué au gameplay, ce modèle éclaire la manière dont le joueur perçoit, interprète et agit en temps réel dans un environnement vidéoludique. Les signaux visuels et auditifs constituent des stimuli fondamentaux du processeur perceptuel, qui alimente ensuite le processeur cognitif chargé d'interpréter la situation et de sélectionner une réponse adaptée. Le processeur moteur transforme cette décision en action, bouclant le cycle par la mise à jour de l'état du jeu. Ce cycle permet d'analyser les boucles d'action-rétroaction qui structurent l'expérience et conditionnent la fluidité de l'interaction. Ainsi, ce premier niveau d'analyse correspond aux interactions immédiates entre le joueur et le système. Klimmt parle d'un cycle d'entrée-sortie, captant l'attention du joueur et générant une expérience d'effectance – c'est-à-dire la sensation de produire un effet concret sur le monde du jeu [21]. Ces cycles constituent la base de la motivation à très court-terme du joueur et sont soutenues par une stabilité des feedbacks. Le modèle du *game feel*, proposé par Steve Swink, est composé de 6 métriques destinées à aider les game designers à créer des interactions fluides. Sur ce cycle, en prenant le point de vue du système de jeu, le game feel propose trois composantes : les entrées (actions du joueur), les réponses (effets produits dans le jeu) et le *polish* (feedback sensoriel visuel et sonore qui rend l'action

concrète). En game design, l'ensemble des *Inputs* et *Responses* constitue ce qu'on appelle le *moveset*, c'est-à-dire l'ensemble des actions possibles pour le joueur, incluant donc parfois des combinaisons de touches pour déclencher une action ou des séquences d'actions précises à réaliser. Parallèlement, les signes et feedbacks guident l'attention, allègent la charge cognitive et renforcent la synchronisation perception-action. Par exemple, un signal auditif peut orienter vers une action (tirer, esquiver) ou confirmer une exécution, participant directement au cycle d'action-rétroaction modélisée dans le *Human Processor Model*.

Ce cycle d'interaction est ensuite mis en application dans un contexte ludique grâce à des règles de jeu structurant l'expérience et donnant des objectifs au joueur. Swink explique que même si le cycle d'interaction est très satisfaisant, trois autres composantes sont mobilisables par les designers pour motiver le joueur à interagir pendant plus de quelques minutes : règles, contexte et esthétique [42]. Les règles sont les objectifs et tout autres relations abstraites entre des éléments (par exemple, collector un cœur apporte des points de vie). Le contexte concerne l'environnement virtuel liés au gameplay, par exemple les plateformes dans un jeu où il faut franchir des niveaux en sautant, ou des montagnes dans un jeu où il faut explorer. L'esthétique concerne le type de lieu virtuel et le style graphique qui peut donner envie d'explorer ce monde virtuel. Ces aspects facilitent l'engagement et la motivation du joueur en inscrivant les interactions dans des boucles gameplay à moyen-terme (franchir un mur, battre un ennemi, découvrir le secret d'un personnage) et à long-terme (missions, progression, chapitre). La structure ludique opère donc comme une architecture temporelle : elle articule les cycles d'action-rétroaction immédiats avec des trajectoires de jeu plus longues, assurant cohérence, continuité et sentiment de progression. Ces boucles non immédiates peuvent être découpées en boucle à moyen-terme et à long-terme, permettant de distinguer des boucles de quelques minutes de jeux et d'autres nécessitant jusqu'à plusieurs heures de participation pour être terminées. La séparation exacte entre ces deux temporalités est généralement très dépendantes des intentions d'expériences d'un jeu vidéo et présente donc toujours un caractère arbitraire.

A moyen-terme, le gameplay s'articule en séquence de jeu nécessitant plusieurs cycles d'interaction pour être résolus ou surmontés. En effet, Linderoth, en mobilisant la théorie des affordances de Gibson, considère que le gameplay repose sur la perception et l'exploitation d'opportunités d'action [22]. Cette vision met l'accent sur l'apprentissage progressif du joueur, qui perçoit de mieux en mieux les interactions possibles et ajuste son comportement. Dans ce contexte, les signes d'opportunité d'action ou de menace sont particulièrement importants. Ceci renvoi à la notion de stimuli évoquées précédemment, certains stimulis prennent sources dans la cycle d'interaction à court-terme, et d'autres proviennent d'éléments constitutifs des règles du jeu et affordances du monde virtuel.

Certaines de ces séquences à moyen-terme constituent la *core gameplay loop* et seront répétées des centaines de fois [16], ces boucles doivent donc permettre suffisamment de variations pour rester intéressante pendant toute la durée du jeu. D'autres séquences seront répétées moins régulièrement tout en étant des constituantes du gameplay. Ces séquences prennent place dans la structure de règles du jeu, il peut s'agir de séquences de challenges comme combattre un ennemi, d'exploration et déplacement pour
<figure><img src="image_3.png" /><figcaption>**Figure 2: Proposition de schématisation du découpage des temporalités gameplay sur une séquence fictive d'un jeu vidéo d'escalade**</figcaption></figure>

découvrir un nouveau lieu, de choix de dialogues pour avancer dans une histoire. Dans cette logique, le *moveset* du personnage constitue l'ensemble des moyens à la disposition du joueur pour avancer dans la séquence.

Le dernier horizon temporel concerne les boucles qui organisent l'ensemble des sessions de jeu. Ces boucles à long-terme structurent la trajectoire et la progression du joueur à travers des boucles de niveaux, chapitres, missions, ou arcs narratifs. La motivation devient ici narrative, exploratoire ou expressive : le joueur cherche à voir l'issue d'une histoire, à développer son avatar, à vivre une expérience alternative cohérente au sein d'un *game world*, à montrer qu'il parvient à dépasser tous les challenges [2]. Ce niveau requiert une dramaturgie capable d'intégrer les boucles précédentes tout en soutenant une cohérence thématique et émotionnelle. À ce niveau, le gameplay a le potentiel d'être un vecteur expressif. Si les boucles immédiates et moyennes permettent l'avancement dans cette temporalité longue, cette temporalité affecte en retour les deux niveaux imbriqués : en étendant ou modifiant le *moveset* à la disposition du joueur et en variant les situations (types d'ennemis, configuration de situation, nouveaux personnages avec qui discuter, nouveaux lieux à explorer, etc...) au fur et à mesure de la progression.

La figure (fig 2) est un schéma que nous avons réalisé pour présenter un exemple de visualisation d'une séquence imaginaire d'un jeu d'escalade fictif suivant ce modèle de trois temporalités du gameplay. En haut se trouve le *moveset*, donc la liste des actions que le joueur peut effectuer dans le monde du jeu en pressant des touches, à droite est indiquée leur utilisation durant la séquence. Chaque trait est une boucle du cycle d'interaction entre le joueur et le système du jeu. En-dessous, les boucles à moyen-terme sont indiquées, elles se répètent plusieurs fois et possèdent des étapes récurrentes. Par exemple pour escalader, des étapes pourraient être de regarder la paroi pour planifier sa route, puis commencer à escalader, et finalement se hisser sur un replat. Escalader est ici le *core gameplay* du jeu et a la plus haute fréquence et durée dans

notre exemple. Enfin tout en bas, les missions sont le découpage à long-terme et elles contiennent plusieurs séquences à moyen-terme. Le schéma proposé est une simplification d'un jeu très linéaire. En général, plusieurs objectifs moyen et long-terme peuvent être poursuivis en parallèle.

L'imbrication et la parallélisation des boucles de gameplay créent la complexité de l'expérience de jeu, et permettent de proposer des objectifs sur plusieurs temporalités au joueur. A chaque horizon temporel, un espace du "jeu libre" différent existe et permet au joueur de se fixer ses propres objectifs ou de détourner ceux proposés par les règles du jeu vidéo. Par exemple, dans Tetris, à court-terme la joueuse pourrait faire tourner la pièce sur elle-même pour s'amuser du son et à long-terme elle peut décider de dessiner un chien sur le terrain. A moyen-terme, les règles du jeu ont beaucoup de poids, donc ce qui s'exprime le plus est le style de jeu. Dans Tetris, il peut s'agir de jouer "joliment et efficacement" en pressant un minimum de touche, ou très rapidement quitte à faire des d'erreurs de placement [24]. S'il s'agit pour ce travail d'analyser les boucles de gameplay supposément "prévues" par les designers, questionner et analyser les boucles de gameplay "détournées" est une perspective de recherche de ce projet.

Ce cadre théorique est utilisé par certains game designers pour penser leur conception. Dans ce cas, des traces sont visibles dans la structuration des objectifs de jeu. Au-delà de la question de l'agencement de ces temporalités et de leurs spécificités dans l'interaction, et en particulier dans le design sonore, on peut questionner des mises en lien avec d'autres cadres théoriques comme la "fausse-croyance de l'immersion" proposé par Salen et Zimmerman qui postule que le joueur sait toujours sa présence dans le "réel" et dans le jeu vidéo en même temps [34]. Ceci signifie que le jeu est à la fois immersif (via le contrôle de l' avatar notamment lorsqu'il est immédiat), mais communique aussi directement avec le joueur (via certaine interface non diégétique) concernant sa progression
notamment. Nous traiterons ces deux questions dans notre analyse des sons du jeu vidéo Fortnite.

Ce découpage en trois temporalités, comme tout outil de conception de game design, est arbitraire et non universel. Il présente ici l'intérêt de pouvoir s'appliquer à la plupart des genres de jeux vidéo, mais aussi de dissocier ce qui relève du cycle court d'interaction, des objectifs fixés par les règles de jeu, et de la progression long-terme du joueur qu'elle soit narrative ou ludique. Ces distinctions nous apparaissent pertinentes au vue de nos objectifs d'analyse, mais aussi des éléments révélés par l'état de l'art concernant le design sonore présenté dans les sections suivantes.

## 2.2 Design sonore pour les jeux vidéo et sonification

Un sujet de convergence fréquent entre design sonore des jeux vidéo et IHM est la sonification. En effet, la conception d'IHM répond à des règles précises d'accessibilité et de perception, règles contraignantes pour la création des sons [41]. La conception sonore pour le jeu vidéo, même si elle invite à une expérience explicitement ludique, esthétique et narrative [31] repose sur des critères rigoureux de systématisation et de régularité des signaux sonores pour structurer des affordances sonores, précisément pour soutenir l'expérience du joueur. Cela passe le plus souvent par la recherche d'analogies entre l'action à sonifier et les informations considérées comme déjà connues de l'utilisateur grâce à son expérience dans le monde réel et éventuellement ses acquis culturels. Il apparaît en effet que le recours a des métaphores est autant un moyen de parler (de façon experte ou non) du sonore que de conceptualiser les caractéristiques sensorielles d'un son à produire [32]. Pratiquement, la mise en place d'un champ sémantique partagé entre le designer sonore et son client devient un des supports de travail pour la production et la validation des sons du projet. Steve Swink appuie dans le game feel l'importance de cette notion de champ perceptuel, qui modifie la manière dont chacun capture et priorise l'information dans l'environnement [42].

Ainsi la stratégie de la conception sonore est de s'inspirer de signes et règles déjà connus pour fournir des informations que le joueur pourra facilement intégrer. Les difficultés qui se posent ensuite au concepteur sonore travaillant pour un jeu vidéo sont relatives à la quantité et la qualité des informations dispensées au joueur : il faut suffisamment de signes et feedbacks pour produire un ensemble riche et satisfaisant (contraintes esthétiques) et en même temps que ces informations soient suffisamment audibles pour ne pas produire de frustration (la sensation que "quelque chose ne fonctionne pas"). On peut alors anticiper que les choix de design auront un impact direct sur la quantité d'informations qu'il est possible de présenter à l'utilisateur relativement à leur intelligibilité. Notons enfin que le contenu d'un jeu (scénario, personnages, objets, environnements, mais aussi contenu du gameplay) peut connaître des changements, parfois significatifs, jusque tardivement dans le calendrier de production. Le design sonore doit alors s'adapter pour répondre à l'évolution du cahier des charges.

Ces problématiques de stratégie de création sonore pour les jeux vidéo trouvent un écho dans des travaux de sonification en IHM pour des domaines non-ludiques. En effet, les convergences entre les domaines des IHM et du design sonore des jeux vidéo tendent

à augmenter par la numérisation croissante de nos cadres de vie qui fait émerger des terrains où leurs enjeux se rejoignent plus fréquemment. Un des exemples les plus documentés [30] est celui de l'automotive, c'est-à-dire l'habillage sonore des véhicules, et majoritairement des voitures électriques.

Le travail de design sonore pour les voitures électriques distingue l'intérieur et l'extérieur du véhicule. La sonification extérieure répond à des enjeux de sécurité (principalement à l'attention des piétons [8]) mais aussi, dans la continuité des moteurs thermiques, à une recherche de signature sonore propre à la marque du véhicule [1]. Le design sonore de l'intérieur de l'habitacle du véhicule adresse le confort de l'expérience utilisateur, avec deux principaux axes d'application : les traitements acoustiques actif et augmenté (par masquage fréquentiel) des potentielles nuisances dans l'habitacle [12] et la diffusion de sons signalétiques synthétiques ou naturels spatialisés [11]. Notre comparaison porte ici sur la création de signalétiques à l'intérieur du véhicule car, comme pour les médias interactifs, il s'agit de feedbacks accompagnant les actions de l'utilisateur.

Le cahier des charges de la sonification de l'intérieur de l'habitacle couvre à la fois le besoin de créer une signalétique claire et efficace, mais aussi le soutien d'une esthétique correspondant à l'identité sonore d'une marque, par exemple de véhicules sportifs [30]. Signe d'une certaine porosité, des technologies issues de l'industrie du jeu vidéo sont également mobilisées en automotive, notamment pour leur capacité à exécuter en temps réel des tâches complexes. C'est le cas par exemple du logiciel Wwise<fnref n="1" />. La question plus large du rapprochement entre jeux vidéo et interfaces est posée depuis un moment maintenant [5] et peut-être sera-t-elle encore plus pertinente avec l'émergence des réalités mixtes, augmentées.

## 2.3 Conception sonore : typologie et classification

Dans leur article "IEZA, un cadre pour l'audio des jeux", Richard Van Tol et Sander Huiberts soulignent le lien étroit entre le son des jeux et celui des films [17]. Ainsi, nous abordons dans cette partie différentes approches existantes concernant la typologie, la classification, les grilles d'analyse et le rôle du son dans les médias allant du linéaire comme le film à une situation d'interaction comme celle du jeu vidéo.

Le mixeur d'Apocalypse Now, Walter Murch, propose la catégorisation suivante : le premier plan, destiné à être écouté, le plan médian et l'arrière-plan, destinés à être entendus [28]. Le second plan apporte un contexte tandis que le dernier "plante" le décor. Cette référence cinématographique ouvre la possibilité de concevoir des niveaux d'attention dans l'audio du jeu, avec deux aspects :

* Suivre l'intérêt du joueur et donner dynamiquement la priorité aux informations importantes, en utilisant le mixage dynamique

* Etre conscient de la clarté, la lisibilité et la cohérence de la bande son.

Par ailleurs, Michel Chion se place du côté de l'écouteant et propose trois niveaux d'attention complémentaires face à une information sonore perçue : l'écoute causale, l'écoute sémantique et l'écoute

<footnote n="1">¹Site internet de Wwise sur l'automotive : https://www.audiokinetic.com/en/solutions/automotive/</footnote>
réduite [6]. La première se focalise sur l'identification de la cause du son perçu, autrement dit l'identification de la source et par le fait même de sa localisation dans l'espace. La seconde s'attache à décoder et comprendre le message transmis et enfin, l'écoute réduite consiste à écouter le son pour lui-même, dans sa forme temporelle et ses composantes fréquentielles, sa texture, reprenant ainsi des éléments de la classification du "Traité des objets musicaux" de Pierre Schaeffer [36].

La typologie la plus courante est dérivée du flux de production audio des films : la parole, le son et la musique. Le compositeur de musique de jeu Troels Folmann étend cette classification en distinguant la vocalisation, les effets sonores, les effets d'ambiance et la musique [13]. Johnny Friberg et Dan Gardenfors proposent une autre approche typologique : une catégorisation selon l'organisation des ressources sonores dans le code du jeu : sons des avatars, sons des objets, sons des personnages (non-joueurs), sons ornementaux et sons instructions [14].

Axel Stockburger reprend les différentes propositions précédentes et y ajoute la signature spatiale [39]. Il se base sur une des notions abordée par Michel Chion dans l'analyse audiovisuelle filmique [7], l'écoute acousmatique, autrement dit un son produit sans la visualisation de sa source. Chaque zone implique une certaine "couleur acoustique" à tout objet à l'intérieur de cette zone. L'écoute d'un son, sans la visualisation, donne l'information du lieu dans lequel se situe sa source et la position spatiale d'où il est émis. C'est ce que l'on appelle la signature spatiale. Elle comprend, entre autres, l'effet de réverbération qui sera commun à tout objet sonore se situant dans le même espace et donc en permettra l'identification.

Marc Grimshaw dans son chapitre sur l'espace acoustique, parlera alors d'espace résonnant lorsque l'on peut en mesurer les dimensions et de « paraspace » lorsque le joueur s'appuyant sur ses connaissances socioculturelles va pouvoir identifier, qualifier cette zone [15]. Revenons aux rapports entre image et son et plus particulièrement à la manière dont ils sont synchronisés. Michel Chion sépare les sons synchrones, un dialogue par exemple, des sons asynchrones comme l'ambiance particulière attribuée à une zone. Dans le cas d'un jeu, cette congruence est complétée par celle avec l'interaction, nommée *kinesonic congruence* par Karen Collins [7, 9]. Can Uzer souligne que cette synchrèse, association mentale que le joueur effectue, peut accroître la crédibilité d'une scène et donc l'immersion du joueur [43]. Nous retrouverons cette notion dans les différents degrés d'intégration proposés dans le modèle SISA de Can Uzer.

Richard Van Tol et Sander Huiberts considèrent l'audio du jeu comme une interface dynamique et narrative [17]. Leur modèle IEZA propose, à partir des classifications, typologies et catégorisations citées précédemment, une organisation en deux dimensions : l'axe vertical sépare les catégories appartenant au monde du jeu donc diégétiques avec celles qui sont non diégétiques, tandis que l'axe horizontal sépare les informations sur l'activité du jeu de celles concernant le cadre du jeu. Nous devons préciser ce qu'est le cadre du jeu pour les auteurs. Il s'agit du contexte géographique par exemple pour la catégorie zone et par ailleurs du contexte émotionnel pour la catégorie affect. Nous retrouvons dans les catégories, la terminologie employée dans les précédents articles : effets, interface, zone et une autre appellation pour la musique prenant en compte la fonction de ce type de son : l'affect. Les zones sont liées à

l'environnement dans lequel le jeu est joué et représentent le monde du jeu avec une ambiance globale de sons censés représenter cette réalité. Ils contribuent à la crédibilité de la scène et à l'immersion du joueur. L'effet, lui, est synchronisé avec l'activité du joueur ou les événements du jeu. Il contribue aussi au réalisme et à la crédibilité du monde du jeu. Par ailleurs, il fournit un feedback à l'activité du joueur. De la même manière, le son d'interface traduit l'activité du joueur, mais le plus souvent extérieur au monde du jeu et il peut avoir une synchronization importante avec l'action du joueur.

Il est intéressant de citer les pistes d'exploration mentionnées par les auteurs :

> "Effet et Zone partagent par essence un espace acoustique (avec des propriétés et un comportement similaires), contrairement à Interface et Affect, qui partagent un espace acoustique différent... Dans de nombreux jeux multijoueurs, seul l'espace acoustique de l'Effet et de la Zone est partagé en temps réel par les joueurs. [...] le côté droit (Interface et Effet) est plus adapté pour transmettre des informations de jeu spécifiques telles que des données et des statistiques, tandis que le côté gauche (Zone et Affect) est plus adapté pour transmettre des informations de jeu telles que la sensation du jeu."

Karen Collins propose une classification des sons selon le type d'activité dynamique en lien avec la diégèse et le joueur. Un son est dit linéaire si le joueur n'est pas en mesure de l'affecter de quelque manière que ce soit (sauf en quittant le jeu ou en sautant la séquence), comme l'audio d'une scène de coupure ou une ambiance de fond statique [9]. L'interactivité se réfère au type d'activité où l'entrée du joueur affecte directement le son : tirer avec une arme à feu, appuyer sur l'accélérateur ou marcher (bruits de pas). Les sons adaptatifs sont susceptibles d'être modifiés par l'activité indirecte du joueur ; les événements qui se produisent dans le jeu (éventuellement pilotés par le joueur) affectent la manière dont les sons sont émis et le type de sons qui sont joués.

Les notions de sons diégétiques et non diégétiques dans un jeu ont été discutées par de nombreux auteurs dont Richard Van Tol, Sander Huiberts et Karen Collins. Marc Grimshaw propose la notion de sons idéo-diégétiques et de sons télédiégétiques. Les premiers désignent tous les sons présents dans l'espace de résonance du joueur et qu'il va pouvoir entendre, comme ses propres sons, sons proprioceptifs ou ceux provenant d'autres sources autour de lui, sons extéroceptifs. Les sons télédiégétiques s'appliquent à une situation multijoueur ou certains sons perçus par un joueur, et faisant réagir ce dernier, auront des conséquences sur un autre joueur qui lui ne les aura pas entendus. Par ailleurs, et dans ce cas de jeu multijoueur, il propose de séparer les sons résultant d'une action haptique du joueur, sons kinéodiégétiques, de ceux qu'il nomme exodiégétiques, sons entendus, mais sans interaction. Pour lui, un son diégétique doit provenir de personnages ou objets du jeu et dans le moment et le monde du jeu, qu'il soit idéo-diégétique ou télédiégétique. Seuls ces sons diégétiques contribuent selon lui à l'écologie acoustique du jeu.

> "Je propose donc que le son diégétique dans un jeu numérique soit défini comme le son qui émane de l'environnement de jeu, des objets et des personnages
et qui est défini par cet environnement, ces objets et ces personnages [...] en revanche, le son non diégétique désigne tous les événements sonores avant et après le jeu ; cela inclut divers sons d'interface entendus lorsque l'utilisateur interagit avec le jeu ou les menus de configuration des niveaux, ainsi que toute partition musicale." - Grimshaw [15]

Kristine Jørgensen cherchant également une alternative à la notion de diégèse, propose de penser le son comme une interface avec différents degrés d'intégration des sons au sein du jeu, intégration qu'elle définit comme spatiale [18].

Reconfigurant les différentes taxonomies vues précédemment, Can Uzer propose son modèle SISA (Fig 3) autour de deux axes principaux de réflexion : d'une part, considérer l'audio du jeu en tant qu'interface narrative dynamique, d'autre part, explorer le type et la quantité d'informations, transmis par le son [43]. Quatre dimensions lui permettent d'aborder de manière complémentaire le son dans le jeu.

"Chacune des quatre dimensions de SISA se compose de trois attributs [...] La ligne extérieure du diagramme représente des éléments plus abstraits, externes et linéaires du paysage sonore. Plus on se rapproche du centre, plus les éléments s'intègrent étroitement à la sphère narrative et deviennent finalement des parties internes et entièrement dynamiques de l'univers de jeu au niveau de la couche centrale." - Uzer [43]

* L'intégration : le degré d'intégration narrative d'un son dans l'univers du jeu, une approche similaire à l'intégration spatiale de Kristine Jørgensen et faisant référence à la notion de diégèse

* L'activité : les interactions dynamiques entre les sons, les actions du joueur et les événements du jeu. Trois stades d'activité dynamique, inspirée des travaux de Karen Collins

* La signification : ce que le son décrit par mimétisme ou suggère symboliquement, information et émotion véhiculée, notion cognitive empruntée à Walter Murch

* La synchronisation : lien temporel, congruence entre les éléments auditifs, visuels et haptiques reprenant les écrits de Michel Chion et de Karen Collins

La notion d'écologie acoustique telle reprise par Uzer, en se basant sur des travaux précédents de Grimshaw [15] et Murray Schafer [37], nous semble particulièrement pertinente pour notre démarche :

"[...] comprendre et exploiter les fonctions, les caractéristiques et le contexte des composants sonores individuels par rapport à la conception globale, est une relation que j'appelle l'écologie multimodale du son [...] Si l'écologie est définie comme la relation entre l'environnement et les êtres vivants qui interagissent avec lui, l'écologie acoustique est la relation entre le paysage sonore et l'auditeur (Grimshaw). Un paysage sonore, qui est la combinaison de toutes les sources sonores et de tous les événements sonores dans un environnement donné, peut être considéré comme analogue à un paysage (Murray Schafer). En ce sens, l'écologie acoustique du son du jeu est le résultat

<figure><img src="image_4.png" /><figcaption>Figure 3: Le schéma du modèle SISA de Can Uzer : 4 dimensions</figcaption></figure>

de la relation entre le paysage sonore du jeu (environnement sonore) et le joueur (source d'interaction). En d'autres termes, l'interaction du joueur avec le paysage sonore intrinsèquement statique crée un cadre sonore dynamique, qui peut être défini comme l'écologie acoustique." - Uzer ([43])

## 2.4 Les pratiques dans l'industrie du jeu vidéo

Les considérations exposées ici se basent sur une expérience de dix huit ans de direction audio dans un studio important (Ubisoft France), ainsi que sur de nombreux échanges avec des directeurs et concepteurs sonores en exercice dans des studios de différentes tailles et de divers pays. Il est à noter que l'industrie du jeu vidéo utilise énormément d'anglicismes, que nous traduisons ici, tout en les citant, par référence aux termes couramment employés.

Pour le développement d'un jeu, catégoriser le son est un besoin lié au mode de production de la bande son et de réalisation du jeu. Dans un jeu le son n'est pas linéaire comme il l'est dans le cinéma. Il n'est pas dépendant d'une chronologie fixe. Dans un film, un évènement intervenant à 3 min 30 sec après le début du film, interviendra toujours à 3 min 30 sec. L'ingénieur du son s'appuie sur le temps du film pour synchroniser le son à l'image. Ce n'est pas le cas dans un jeu où les événements sont dépendants des actions du joueur et donc dans la chronologie personnelle d'exécution de ce dernier. Un concepteur sonore de jeu va donc considérer la bande son non pas par rapport à une chronologie fixe, mais par rapport aux actions que le joueur devra accomplir dans le jeu.

C'est pour cette raison que les sons constituant la bande son d'un jeu sont envisagés par les concepteurs sonores, d'une part au regard du gameplay (les actions que le joueur doit exécuter et ce qu'il doit comprendre pour agir selon ce que les game designers ont prévu).
<table><caption>Table 1: Catégorisation des fonctions du son par rapport au gameplay dans l'industrie</caption><thead><tr><td>Types de sons</td><td>Fonctions</td><td>Indications techniques</td></tr></thead><tbody><tr><td>Ambiances</td><td>Caractériser l'environnement : Permettre au joueur de se situer (géographiquement, historiquement, dans le réel ou non) P.ex : des passages de véhicules au loin permettent de se situer dans une zone urbaine</td><td>Boucle 2D ou 3D sur une zone de l'environnement</td></tr><tr><td>SFX d'ambiance</td><td>Caractériser l'environnement = Donner des repères environnementaux, dans l'espace du joueur, in et hors champs. P.ex : tel animal identifiable se situe au loin derrière un arbre)</td><td>Sfx boucle ou impulsif, aléatoire, 3d généralement rattaché à un objet/acteur</td></tr><tr><td>SFX interactions avec l'environnement</td><td>Favoriser l'immersion : le joueur agit sur son environnement, et l'environnement réagit. P.ex: le joueur ouvre une porte</td><td>Sfx impulsif ou boucle, déclenché par un élément de jeu généralement 3d</td></tr><tr><td>SFX interactions gameplay liées à l'environnement</td><td>Être dans l'immersion ludique, le joueur agit sur l'objectif du jeu et le son indique sa progression : le joueur joue, interagit positivement avec l'expérience proposée. P.ex. dans un puzzle, le joueur active un levier qui déclenche un mécanisme; dans un jeu de tir, le joueur tire sur un ennemi, et l'ennemi crie</td><td>Sfx impulsif ou boucle, déclenché par un élément de jeu</td></tr><tr><td>SFX interaction gameplay hors environnement</td><td>Être dans l'immersion ludique. Information sonore donnée au joueur sur l'impact de son interaction dans le cadre des règles du jeu. P ex : le joueur arrive dans une zone avec des nombreux ennemis et un son est émis pour l'informer de son approche d'une zone gameplay.</td><td>Sfx impulsif ou boucle, déclenché par un trigger ou appel via un acteur</td></tr><tr><td>Musique interaction gameplay</td><td>Être dans l'immersion ludique. Information sonore donnée au joueur sur l'impact de son interaction dans le cadre des règles du jeu et immersion ambiance = changement d'état, atmosphère. P.ex. une musique est lancé quand le joueur réussit plusieurs tir à la suite.</td><td>Boucles ou couches (layers) sur une zone ou déclenchées par un objet</td></tr><tr><td>Musique d'ambiance</td><td>Favoriser l'immersion et caractérisation de l'environnement, de la situation au niveau narratif : environnement rassurant / inquiétant / dangereux...</td><td>Boucles ou couches (layers), sur une zone ou déclenchées</td></tr><tr><td>SFX interface utilisateur (UI)</td><td>Favoriser l'immersion/progression : le joueur agit sur l'interface, et le jeu lui renvoie l'information de la prise en compte de son action</td><td>Sfx impulsif, 2D, généralement rattaché à un objet</td></tr><tr><td>Voix</td><td>Donner de l'information</td><td>Dialogue, impulsif, déclenché par un trigger</td></tr></tbody></table>

Et d'autre part, des environnements dans lesquels le joueur évolue, des personnages avec lesquels le joueur va éventuellement interagir et des émotions que l'expérience doit communiquer au joueur. Ainsi les sons sont catégorisés en fonction des types d'éléments du jeu auxquels on peut les associer : les ambiances aux environnements, les effets sonores (SFX) aux actions, les voix aux personnages et les musiques aux émotions à véhiculer.

D'autres paramètres viennent affiner ces catégories. Le premier de ces paramètres est le caractère « persistant » ou « impulsif » d'un son. Dans le cas où le joueur doit ouvrir une porte, on a besoin du son impulsif de l'ouverture de la porte, c'est-à-dire d'un son qui a un début et une fin précise et qui ne se déroule qu'une seule fois. Si cette porte s'ouvre sur l'extérieur, on aura besoin de l'ambiance de l'environnement extérieur auquel le joueur vient d'avoir accès ; et cette ambiance a un caractère persistant, elle doit pouvoir être entendue sur le temps que le joueur va choisir de

passer dans cet environnement : une minute comme une heure ou plus. Si on imagine le cas où cet environnement est une forêt : on pourra y entendre un fond de vent dans les arbres mais également des chants d'oiseaux, qui eux peuvent être considérés comme des sons impulsifs et dans ce cas, pour cet environnement de forêt, nous avons deux sons d'ambiances avec chacun un caractère différenciant : impulsif ou one shot pour les oiseaux et persistant ou loop, pour le vent.

Ces classifications permettent au concepteur sonore d'optimiser sa production de sons et surtout de faciliter l'intégration technique des sons dans le jeu. La caractérisation des sons permet de définir leurs comportements (par exemple : déclenchement par trigger et durée d'exécution) en fonction des actions du joueur ou de sa présence dans un certain espace. Ce sont ces comportements que le concepteur sonore paramètre dans le moteur de jeu.
En conséquence, pour la production de la bande son d'un jeu, le concepteur sonore considère généralement les catégories de fonctions des sons suivantes (non exhaustif) : Ambiances, SFX ambiance, SFX interactions avec l'environnement, SFX interaction gameplay liées à l'environnement, SFX interaction gameplay hors environnement, musique interaction gameplay, musique d'ambiance, SFX interface utilisateur, et Voix. Le tableau (cf. tableau 1) précise ces catégories et les techniques employées.

Cette étape de cadrage des sons et de leurs fonctions intervient
au début du processus de fabrication, après des discussions avec
les game designers concernant les besoins du gameplay. Ensuite,
les sons sont produits et intégrés dans le moteur de jeu. Dans le
même temps, les autres corps de métiers impliqués (game design-
ers, artistes visuels, animateurs, programmeurs, ...) réalisent leurs
propres intégrations. Ensuite, les tests sont menés conjointement
avec l'ensemble de l'équipe de développement et parfois avec des
tester aguerris. Il peut y avoir autant d'itérations de production,
intégration, et paramétrage des comportements des sons que néces-
saire, jusqu'à l'assurance que les sons et l'ensemble des éléments de
la séquence remplissent les fonctions demandées par l'expérience
de jeu.

## 2.5 Synthèse de l'état de l'art

L'état de l'art tend à démontrer des similarités entre gameplay
et cadre sonore dynamique, nommé écologie acoustique par Uzer
[43]. En effet, tous deux sont l'expression de l'interaction entre
le joueur et l'environnement du jeu. L'approche industrielle mon-
tre l'importance de l'intégration technique et des besoins liés à
l'expérience de jeu dans la manière de catégoriser les sons en pré-
paration de leur production. Nous notons que le vocabulaire est
divers selon les approches. Notre grille reflète cette diversité de
points de vue (game designer, concepteur sonore) et d'approches
(industrielle, de recherche). Cet état de l'art nous apporte de nom-
breux éléments structurants essentiels pour préciser notre propre
approche comme les 3 horizons de temporalité du gameplay, le
paysage sonore, la diégèse, et les affordances. Dans notre état de
l'art, nous constatons que le lien entre les sons et les différentes
temporalités des boucles de gameplay ne sont pas explicitement
analysés ou connectés, apporter cette mise en regard est l'enjeu
principal de notre travail.

# 3 Approche et grille pour l'analyse du rôle du son dans le gameplay

## 3.1 Objectifs et construction de la grille

L'objectif général de cette grille est de poser des balises larges et observer les éventuelles corrélations émergeant entre les différentes temporalités de la boucle de gameplay et les retours sonores qui lui sont associés.

La principale difficulté de la construction de cette grille est de lui
donner une base épistémologique stable : nous concentrer sur un
seul champ de recherche ou une seule méthodologie de l'étude au-
diovisuelle nous semble difficilement à même de couvrir la complex-
ité et multiplicité des champs mobilisés par le jeu vidéo. Une partie
de l'élaboration de cette grille est donc empirique et l'ensemble est
issu de divers champs. En étudiant plusieurs gameplay différents
(Fortnite, Rayman Origin, Forza, Limbo, Last of Us 2), nous avons

affiné les entrées présentées dans les paragraphes suivants. Cette
grille a pour vocation de décrire à la fois les sons individuels et de
déduire des tendances dans les choix de sonification d'un gameplay.
Par la suite, nous souhaitons extraire les valeurs pour comparer
différents gameplay.

Pour élaborer la grille d'analyse, nous croisons, d'un côté, la théorie de l'objet sonore de Pierre Schaeffer [36] (modalités de la perception sonore, morphologie et typologie des objets sonores) qui, même si elle est critiquée sur un plan philosophique [20], reste un cadre pratique utilisé tant dans l'analyse [19] que la production sonore [41] ; et de l'autre les pratiques du game design et du design sonore pour les jeux vidéo.

Nous envisageons ici la bande-son du jeu comme une continu-
ité d'objets sonores analysée selon la granularité de la boucle de
gameplay en extrayant du paysage sonore du jeu ses éléments plus
dynamiques.

Nous proposons de nous focaliser sur les principales étapes des
boucles de gameplay et les sons les accompagnant, plus que sur les
sons composant l'intégralité du paysage sonore du jeu ([35] vers
une analyse holistique). De ce point de vue, nous reprenons un peu
la distinction proposée par Susini entre sons "non intentionnels" et
"intentionnel" [41], mais en plaçant l'intention du côté du game de-
sign : faire entendre intentionnellement quelque chose pour inciter
le joueur à adapter ou poursuivre son interaction.

## 3.2 Présentation de notre approche : une grille d'analyse entre gameplay et son

L'analyse de jeu vidéo répose sur un support linéaire, le plus généralement un enregistrement vidéo, alors que les mécaniques du jeu sont majoritairement conçues comme une intrication de boucles d'action. C'est cette intrication que nous souhaitons faire émerger ensuite par une représentation non linéaire des relations entre son et gameplay.

Dans notre approche, l'analyse commence sur une séquence :
ébauche de découpage des boucles de gameplay, écoute des sons
qui forment les boucles, puis affinage et précision du découpage en
boucles. En complément, il est nécessaire d'effectuer des écoutes
sur d'autres vidéos et de faire des sessions de jeux pour s'assurer
de la justesse des analyses techniques et percutives des sons sur
les éléments complexes comme les choix de spatialisation et le
positionnement du point d'écoute.

Nous proposons une grille d'analyse organisée en quatre sec-
tions intitulées "Gameplay", "Signe et feedback", "Perception" et
"Technique". Chaque section porte sur l'écoute et l'analyse des
evénements de jeu selon un angle spécifique.

La section Gameplay est confiée à l'attention du game designer
qui identifie ici les évènements de jeu et détermine la granularité
de l'analyse. Nous basons la délimitation de la boucle de gameplay
selon l'expérience de jeu, c'est-à-dire la sensation d'avoir complété
une action, ou une série d'actions, avant la répétition de celle-ci.
Pour chaque étape de jeu, le game designer attribue la fonction
d'un son qui lui serait associé. La récurrence des sons de signes et
feedbacks (identiques ou appartenant à une même catégorie) sera
ensuite croisée avec cette première segmentation.

La section suivante décrit les signes et feedbacks associés à
l'action de jeu introduite dans la section précédente. L'analyse
se fait du point de vue du joueur en expliquant factuellement ce qui est perçu à l'écran et à l'écoute. Cette section reprend des éléments de l'analyse audiovisuelle proposée par Murch et Chion [6, 7, 28].

La section suivante a pour objectif de caractériser la perception de l'objet sonore associé à l'événement de jeu. En nous appuyant sur Linderoth, nous privilégions une écoute subjective (sans outils d'analyses statistiques du son) visant à comprendre comment sont perçues les affordances sonores [22]. Nous mobilisons également des concepts issus de l'analyse audiovisuelle afin de caractériser le timbre perçu [7] et la relation du son à l'espace [39]. Nous mettons pour le moment de côté la question d'éventuels impacts sur la perception sonore en cas de redondance avec un signe visuel.

La dernière section, Technique, est à l'attention du concepteur sonore, en croisant l'écoute et les méthodes de production sonore et de programmation dans l'industrie du jeu vidéo (cf. catégorisation du son en production industrielle, section 2.4). Il s'agit ici d'associer le son à une catégorie identifiée de l'industrie et de "reconstituer" sa méthode d'implémentation dans le moteur de jeu. Il s'agit donc de reconstituer les choix techniques mis en œuvre pour élaborer la perception décrite dans la section précédente.

Nous détaillons à présent les éléments de chaque partie de la grille avant de présenter notre analyse du jeu vidéo Fortnite. Pour chaque élément, nous détaillons la question associée et les modalités de réponses (oui/non pour les questions fermées, liste à choix, texte libre), le(s) contexte(s) théorique, pratique, technique qui entourent cette question.

### 3.2.1 Gameplay.

**Boucle de gameplay.** Quelle(s) boucle(s) de gameplay sont en cours ? Idéalement, elles sont décrites chacune par un verbe d'action.

**Etape de gameplay : numéro, nom et description.** Quel étape de boucle de gameplay est en cours ? Les deux premiers éléments de la grille mentionnent chronologiquement l'étape de gameplay identifiée par un numéro dans l'analyse, puis un nom et une description factuelle des actions de jeu associées sont ajoutés.

**Type de son perçu.** Quel est le type de son perçu en rapport à cet étape de la gameplay ? En nous basant sur la catégorisation des principaux éléments de gameplay, nous distinguons les signes (événements sonores qui ne sont pas produits par le joueur) et feedbacks (retour sur une action produite par le joueur). La typologie que nous utilisons s'appuie notamment sur les métriques du *gamefeel* [42], et la catégorisation du son en production industrielle (sous-section 2.4). Elle correspond aux principales informations de jeu allant vers le joueur et à partir desquelles il peut choisir d'adapter ou non ses actions. Il est d'ailleurs possible qu'aucun son ne soit associé à cet étape de la boucle.

### 3.2.2 Signe et feedback.

**Information visuelle.** L'étape de gameplay est-elle accompagnée d'un retour visuel ? Il peut s'agir d'un changement d'état d'éléments déjà présents dans la scène (par exemple l'animation d'un personnage) ou de l'apparition de nouveaux éléments (meshes, sprites, SFX, lumières dynamiques, etc.). Notre référence au visuel ici a pour objectif de déterminer si certains feedbacks peuvent n'être que sonores, inversement quels retours visuels ne sont pas doublés

par le son et enfin dans quelle mesure il y a redondance entre les retours visuels et sonores.

**Description du visuel.** Dans quel espace se situe le retour visuel, s'il existe ? Nous proposons deux choix : le monde ("in game") ou l'interface ("UI"). Cette distinction peut être utilisée pour mesurer une corrélation entre la position de l'éventuel feedback sonore associé au feedback visuel et les choix de spatialisation appliqués, ainsi que sur la possibilité de la partie visuelle du feedback d'être hors champ et donc parfois non visible.

**Information sonore.** Un feedback sonore est-il associé à l'action de jeu ? Même, si une étape de gameplay est silencieuse, elle fait partie de l'analyse.

**Description du son.** C'est une question ouverte visant à décrire, en un mot, à quoi correspond le son entendu (bruits de pas, voix, tir, moteur, son d'interface, etc.). C'est une description figurative, équivalente de l'écoute causale décrite par Chion visant à identifier l'objet sonifié de la scène [6].

**Utilité relative au gameplay.** Ce son est-il nécessaire pour comprendre le gameplay ? Dans le cas présent, la situation de jeu est-elle compréhensible sans le son ? Par exemple pour les actions de jeu se déroulant en hors-champ du joueur ou qui seraient loin et peu visibles.

### 3.2.3 Perception.

**Volume sonore.** Relativement aux autres sons entendus dans le jeu, celui-ci semble-t-il plus fort ("sur-mixé"), moins fort ("sous-mixé"), ou à un volume moyen ("mixé") ? Deux règles de conception se croisent : plus un son est répété, moins on le met fort, mais plus il est significatif pour le gameplay, plus il est fort. Il y a donc une recherche de dynamique sonore sur l'ensemble de l'expérience pour en illustrer le contenu narratif et faire ressentir au joueur une hiérarchie dans les évènements de jeu.

**Spatialisation.** Est-ce que le son est spacialisé ? Si oui, dans quel espace ? Nous identifions trois positionnements pour le son joué : "non" (absence de spatialisation, le volume sonore est équivalent entre tous les canaux de diffusion), "2D" (le son est positionné relativement à la largeur de l'écran à gauche ou à droite), "3D" (le son est positionné relativement à un point d'écoute virtuel situé dans la scène du jeu, il tient compte d'un positionnement droite/gauche et de la distance séparant la source du point d'écoute, et parfois du haut et du bas). Comme argumenté par Stockburger [39], la signature spatiale des objets sonores aide le joueur à comprendre les évènements de la scène sonore se déroulant autour de lui. Le concepteur sonore utilise la mise en espace pour différencier les sons (un son spacialisé se distingue d'un autre qui ne l'est pas, et deux sons spatisialisés occupent des positions différentes dans l'image stéréo) et créer une scène immersive autour du joueur [17].

**Champ/hors-champ.** Est-ce que la source du son est visible à l'écran ? Nous distinguons ici les sons dont la source est visible (ou implicitement dans l'espace visible à l'écran) et ceux dont l'origine est hors du cadre de l'écran. Si le son est hors-champ, deux interprétations sont possibles : a) c'est une information pour orienter
le joueur vers un évènement reconnaissable requérant son atten-
tion, b) c'est une information nouvelle volontairement placée en
hors-champ pour créer la surprise.

**Diégèse.** Est-ce que le son perçu donne l'impression d'appartenir au monde du jeu ? Le plus couramment dans un jeu vidéo, comme argumenté par Marre et al. [27], les sons diégétiques sont ceux il-lustrant l'univers de l'action du jeu et les sons non diégétiques cou-vrent l'interface et, comme pour les médias linéaires, les musiques illustratives [27].

*Timbre.* Le son entendu est-il perçu comme concret ou abstrait, c'est-à-dire évoque-t-il un son acoustique ou à rapprocher d'une esthétique synthétique ?

*Ressenti comme musical.* Est-il possible de décrire le son perçu comme musical ? Certains retours sonores sont des phrases musicales ou mettent en avant une note et un choix de timbre évoquant un instrument de musique. La distinction entre un son musical et non musical (hauteur définie et hauteur complexe [36]) aide à séparer les illustrations sonores des actions et les sons d'interface il-lustrant par exemple le résultat de ces dernières. Il est ainsi possible de présenter plusieurs signaux sonores en simultané, la différence de timbre étant suffisante pour qu'ils soient à la fois distincts (perçus comme deux sons séparés) et complémentaires (le retour musical venant caractériser le retour non musical).

*Durée.* Quelle est la durée du son ? Nous reprenons ici la typologie de l'objet sonore proposée par Pierre Schaeffer et distinguant trois durées mesurables : impulsion, itération et tenue (selon Couprie [10]). Les concepteurs sonores pour le jeu vidéo tendent à distinguer son impulsif et persistant (cf. pratiques en studio sous-section 2.4), une itération au sens “schaefferien” étant alors une répétition à intervalles rapprochés de sons impulsifs [36]. Cette question est complémentaire du volume sonore, car plus que de caractériser les sons individuellement, cette question donne une image d'ensemble de la bande-son du jeu en montrant si celle-ci pose davantage sur des strates sonores continues ou des séquences de sons rapides.

*Transitoire.* Le son a-t-il une attaque franche, lui permettant notamment de ressortir plus facilement dans le mixage ? Implicitement, les sons présentant une attaque marquée peuvent être associés à des actions courtes et répétées.

*Impact sur l'ambiance.* Est-ce que le son est un changement sur les ambiances du jeu ? La musique et les ambiances sont les parties de la bande-son le plus souvent liée aux temporalités moyennes et longues du gameplay (section du niveau, progression dans la narration). Ces strates sonores constituent les plans médians et arrière-plan du paysage sonore du jeu (selon l'analyse audiovisuelle linéaire proposée par Murch [28] et Chion [6]). Leur rôle est donc le plus souvent de maintenir une unité de lieu et d'action.

*Itération.* Relativement aux autres sons, est-il perçu comme plus fréquent, aussi fréquent ou plus rare ? Cet indice de rareté est en lien direct avec ce que le joueur décide de faire ou de ne pas faire lors de sa séquence de jeu, mais il serait utile pour identifier quels sont les sons fréquents ou rares à l'intérieur d'une boucle de gameplay, et à quels moments ils interviennent. Cette rareté serait également

à corréler avec le volume perçu dans la perspective d'extraire des
patterns.

3.2.4 Technique.

*Modalité de lecture.* Comment est-ce que le son est joué ? Nous distinguons ici les sons lus en impulsion unique et en boucle. Pré-cisons également qu’un feedback sonore peut être constitué de plusieurs boucles entrecroisées selon différentes stratégies (par exemple : différents régimes moteur, afin de produire l’illusion d’une accélération ou décélération, plusieurs boucles de durées différentes de sons de nature pour reconstituer un paysage complexe en réduisant la sensation de répétition).

*Point d'écoute.* Quel est le point d'écoute du son ? Dans notre grille, nous proposons d'identifier depuis quelle position de la scène le son est entendu. En effet, pour des raisons techniques, narratives et esthétiques, une scène sonore est souvent la combinaison de plusieurs écoutes [7, 39]. Si ce constat peut sembler contre-intuitif au premier abord, il s'agit pourtant d'une pratique essentielle à la structuration des médias audiovisuels contemporains. En écho au point précédent sur la diégèse des sons, la variété des modalités d'écoute combinées aide tant à la compréhension (pour le joueur) qu'à l'organisation (pour le concepteur) de la scène sonore. Si nous ne ressentons pas cette pluralité comme une complexification des informations sonores c'est parce qu'elle assure des positions soit stables, soit relatives, aux composantes de la scène sonore. En est dérivé un jeu de règles implicites qui reposent sur les acquis culturels et les besoins en écriture sonore spécifiques au jeu écouté. Nous identifions trois points. Premièrement, il peut s'agir de la caméra contrôlée par le joueur (et suivant son avatar), c'est-à-dire une écoute à la première personne (nous entendons comme si nous étions subjectivement à sa place dans le monde virtuel), ce qui implique une spatialisation des sons (atténuation du volume avec la distance, placement relatif dans l'espace stéréo). Deuxièmement, il peut s'agir de l'écran pour une écoute objective de sons s'adressant directement au joueur avec des finalités différentes comme l'interface utilisateur (l'écran devient un espace distinct de celui du jeu), ou le besoin de faire entendre un retour sonore en priorité sur les sons spatialisés (l'absence de spatialisation assurant ici un volume sonore et une position fixe pour que le son soit plus facile à identifier). Et troisièmement d'un point d'écoute délié, c'est-à-dire que l'environnement est entendu, le plus souvent momentanément, depuis une subjectivité qui n'est ni celle de l' avatar, ni celle de la caméra.

4 Démonstration

Pour évaluer l'utilisabilité et l'intérêt de notre grille, nous avons
analysé le jeu vidéo Fortnite. Nous avons sélectionné une séquence
d'une durée d'une minute et quarante secondes comportant une cin-
quantaine d'événements gameplay. La séquence est caractéristique
du jeu commençant par une phase d'exploration, suivie d'une phase
de combat (ici victorieuse) puis d'une phase de collecte. Nous avons
complété cette première écoute par d'autres écoutes en jeux pour
vérifier certains aspects complexes de spatialisation notamment,
mais aussi nous assurer de la bonne compréhension des éléments
de gameplay en échangeant entre experts en son et game design.
<figure><img src="image_5.png" /><figcaption>Figure 4: Capture écran d'une session d'analyse montrant la séquence vidéo du jeu analysé ainsi qu'un spectrogramme de la bande-son associée (dans le logiciel *Reaper*). Les principales séquences de jeu sont identifiées par des régions (en haut de la capture, en jaune, bleu et magenta) et les évènements de jeu sont signalés par des marqueurs (traits verticaux rouges). Le spectrogramme est privilégié à la forme d'onde car celui-ci permet d'identifier plus aisément les feedbacks redondants ainsi que les variations de dynamique dans le spectre.</figcaption></figure>

## 4.1 Objet d'analyse : *Fortnite*

Pour cette étude, nous nous sommes concentrés sur le jeu vidéo *Fortnite*. Il s'agit d'un jeu très populaire, il est parmi les jeux vidéo les plus joués depuis plus de 5 ans. Ensuite, la richesse et la complexité de ses boucles de gameplay en font un objet d'analyse pertinent pour valider notre hypothèse sur l'intérêt d'analyser le son vis-à-vis du gameplay pour interroger les temporalités du gameplay. Enfin, son design sonore fait l'objet d'un travail approfondi et sensible qui va nous aider à démontrer l'utilité des 4 domaines choisis pour notre grille d'analyse.

Pour résumer très brièvement, *Fortnite* est un jeu d'action dont le mode principal est une battle royale : 100 joueurs sont parachutés sur une île, dans laquelle une tempête mortelle encercle les joueurs et se resserre au fur et à mesure du temps, rapetissant l'espace dans lequel les joueurs peuvent évoluer, les forçant ainsi à se rencontrer. L'objectif est d'être le dernier survivant en solo ou en équipe. *Fortnite* est un jeu en 3D à la troisième personne, les mécaniques principales sont le déplacement (à pied et avec des véhicules), le tir avec diverses armes à feu, la collecte de ressources dans l'environnement,

la construction de structure pour se déplacer, se protéger ou attaquer. Une partie s'arrête quand tous les membres du groupe sont morts, et dure donc de quelques secondes à une vingtaine de minutes. A chaque début de partie, personne n'a d'équipement, ni de ressources. Les joueurs progressent donc dans leurs possibilités (*moveset*) durant chaque partie en collectant des équipements et matériaux. Les rares progressions à long terme permettant de débloquer des cosmétiques pour habiller son personnage ou de réaliser des quêtes pour accumuler des points d'expérience (XP) et débloquer d'autres cosmétiques. Si cette boucle peut changer les décisions en jeu (p.ex. de se rendre à tel endroit pour réaliser telle action et compléter ainsi une quête), la récompense de la boucle n'affecte pas le gameplay ensuite. Le seul aspect long terme qui a un impact immédiat sur le gameplay est l'or, qui est une ressource que l'on peut accumuler entre les parties et dépenser pour acheter des armes auprès de vendeurs pendant une partie.

## 4.2 Résultats : Analyse de *Fortnite*

Dans le cas de *Fortnite*, certains sons spécifiques sont nécessaires (section Gameplay) pour comprendre des événements de jeu se
déroulant hors du champ de vision du joueur. Ainsi, les sons de tirs et de déplacement des autres joueurs sont particulièrement mis en avant. Leur utilisation de la spatialisation (section Perception) aide à localiser la source dans l'espace 3D.

La spatialisation des sources est relative à la caméra, cette dernière est le point d'écoute de la scène (section Technique) pour les évènements de jeu. Les sons n'utilisant pas la spatialisation sont ici également non diégétiques : il s'agit, dans la version de Fortnite que nous avons analysée, de retours sonores sur certains feedbacks de réussite (toucher un ennemi par un tir réussi, briser le bouclier d'un ennemi par un tir réussi). Ainsi le joueur reçoit cette information de réussite quelque soit sa distance à l'antagoniste visé. Notons qu'il s'agit de sons très courts utilisant des transitoires marquées (section Perception), ce qui permet de les identifier dans un paysage sonore chargé.

Dans le cas de Fortnite, dans une séquence de jeu classique (cf. fig 4), très peu de sons tenus sont utilisés, au profit d'impulsions et d'itérations, soulignant l'action soutenue du jeu. Le concepteur ayant pour contrainte de construire une scène sonore informative, l'utilisation de sons courts (impulsifs) est une stratégie pour combiner densité et clarté. Les séquences de combat utilisent beaucoup de sons courts (impulsions) avec une transitoire marquée : ces sons s'enchaînent rapidement au cours du combat et leur morphologie permet de rendre plus lisible la scène complexe. L'essentiel des sons de combat étant spatialisés relativement à la caméra, la gestion du volume des sons est (à l'exception des feedbacks de réussite) relative à la distance entre la source sonore et la caméra. Il y a deux conséquences à cela : 1) les informations sonores entendues par le joueur sont directement liées à ses choix de navigation et d'orientation dans le monde et 2) les sons produits par l' avatar du joueur sont mis en avant et bien détachés des autres sources (spatialisés devant le point d'écoute, et en même temps au plus proche de celui-ci). Ce deuxième point crée une situation particulière : l' avatar étant entendu comme un objet sonore dans la scène, il est détaché du joueur tout en étant plus intégré au paysage sonore du jeu alors que dans le même temps, le joueur a le contrôle direct sur cet avatar. Ceci peut faire penser à la manipulation d'une marionnette.

L'accent de la bande-son du jeu est nettement mis sur l'action et aucun des retours sonores analysés ne semble avoir d'impact sur les ambiances (section Technique) du jeu qui restent discrètes et uniformes. D'ailleurs, la catégorie "SFX interaction gameplay lié à l'environnement" est la plus représentée dans le type de son de la classification industrielle. Structurellement, la bande-son du jeu fait une boucle entre des ambiances calmes accompagnant la phase d'exploration, une séquence de combat mobilisant des impulsions sonores spatialisées et un retour à une phase d'exploration où la spatialisation sert à orienter le joueur vers des ressources à collecter. À l'intérieur de la phase de combat, des boucles apparaissent formées par les tirs émis par le joueur et un antagoniste et conclues par un son informant que l'antagoniste est mis hors-jeu.

Nous observons également que les sons abstraits sont utilisés pour accompagner les interfaces et se distinguent ainsi des événements de jeu. Ces sons d'interface n'utilisent presque pas la spatialisation. Ces deux constats sont attendus [27] mais il est à noter que Fortnite semble utiliser au minimum les interfaces au profit d'objets disposés dans la scène. En particulier pour des sons qui relèvent habituellement de l'interface comme la disparition de l' avatar d'un

joueur antagoniste. Il faut noter que la diégèse de Fortnite est celle d'un monde virtuel, ce qui explique l'intervention de ces éléments directement dans le monde du jeu, car celui-ci est composé de "deux niveaux de réalité" formant une métadiégèse [33].

La question du ressenti musical (section Perception) est ici complexe : considérés individuellement, peu des sons mobilisés ont un caractère ouvertement musical, en dehors des principaux retours d'interface qui s'articulent comme de courtes séquences musicales. Cependant, l'enchaînement en séquence rapide des sons de combat prend un caractère musical : la répétition des séquences et la différence de brillance dans le timbre des sons rend lisible une séquence comme une phrase musicale plus ou moins longue, avec une conclusion qu'il est possible d'interpréter dans un sens (succès du joueur) ou un autre (échec du joueur).

## 5 Discussions et perspectives

Si ce premier travail nous permet d'exposer théoriquement l'intérêt de notre approche d'analyse, celle-ci reste de l'ordre de la démonstration et mériterait d'être étendue sur 3 axes pour se solidifier. Tout d'abord, le protocole d'analyse pourrait se compléter et se clarifier sur les types d'écoutes à effectuer et les itérations entre son et gameplay. En particulier, par la nature du gameplay, les boucles long-terme se produisent moins fréquemment, tandis que celles en temporalités courtes et moyennes se répètent de nombreuses fois, et leur quantité dans un gameplay complexe comme celui de Fortnite dépend aussi des choix stratégiques du joueur. Notre analyse des sons de Fortnite reflète ces déséquilibres. Il serait donc pertinent d'effectuer d'autres types d'écoute spécifique pour mieux percevoir le phénomène d'itérations en général, mais aussi pour s'assurer d'avoir entendu plusieurs fois tous les sons des boucles à long-terme. Ensuite, conceptuellement, nous avons présenté ici une grille simplifiée sur certains aspects pour nous concentrer sur la démonstration de l'intérêt d'analyser le son en lien avec les temporalités des boucles de gameplay. En effet, nous avons consciemment exclu ce qui relève de la musique, des sons dont l'émission est "délocalisée" (par exemple, par les manettes de jeu), des échanges vocaux ou de manière générale traduits en sons dans les jeux multijoueurs. Ces dimensions devront être intégrées dans des travaux ultérieurs. Finalement, nous pourrons appliquer notre approche et notre grille sur un échantillon de jeux plus étendu afin également d'effectuer des comparaisons intra et inter-jeux. Basée sur l'expérience professionnelle de l'un de nos auteurs, la catégorisation des sons en production professionnelle est située dans un grand studio français, ayant des studios dans plusieurs dizaines de pays. Avant de travailler à nos outils de collaboration entre game designer et concepteur sonore, nous pourrons confirmer par une étude dans plusieurs pays et des studios de différentes tailles que le processus de production évoqué et la catégorisation restent similaires.

Notre analyse de Fortnite a confirmé l'importance de plusieurs questionnements. Premièrement, nous avons constaté que la nature imbriquée des boucles font que certains types de feedbacks appartiennent conceptuellement à deux temporalités, par exemple un feedback de réussite de tir sur un ennemi intervient immédiatement, mais il n'existe en rapport aux règles du jeu et des challenges, donc appartiennent à la boucle moyen-terme tout en étant une information importante du cycle d'interaction court-terme. Si déterminer
l'appartenance de ce type de son à une temporalité ou l'autre est un vaste débat auquel nous n'avons pas de réponse à apporter dans le cadre de cette recherche, nous pouvons constater que dans Fortnite par exemple, ces sons sont traités différemment puisqu'ils ne sont pas spatialisés dans l'espace de jeu.

Lors de nos itérations de construction sur la grille, nous avons mobilisé parfois la notion d'immersion, souvent dans sa définition de l'industrie qui consiste à captiver l'attention du joueur. Pour approfondir cet aspect, il sera possible de convoquer d'autres théorisations, notamment en game design qui postulent que le joueur est à la fois immergé et conscient d'être hors du monde virtuel [34], ainsi que les différents types d'implications du joueur de Gordon Calleja [3]. Nous pensons qu'il s'agit d'un approfondissement important à venir à la fois sur la technique de mise en espace du son et de perception. En effet, les joueurs semblent accepter la présence de musique non diégétique ainsi que des sons dont la spatialisation ne prend pas l' avatar comme point d'écoute. Ces questionnements se reflètent aussi à nos premiers éléments d'analyse concernant les sons non diégétiques et non spatialisés de progression qui pourraient s'adresser au joueur hors du cadre immersif du gameplay immédiat.

Un dernier concept soulevé dans notre analyse est celui du marquage rythmique de certaines actions de jeu (cadence de tir, tempo du saut, etc.) pour déterminer l'existence ou non de signature rythmique spécifique à leurs boucles de gameplay, possiblement à mettre en lien avec la musicalité, mais aussi lavec les affordances. Sur ce sujet, une automatisation de l'analyse des spectrogrammes audio, comme dans les travaux de Marczak, Schott et Hanna [26], pourraient être particulièrement pertinent pour la suite de nos travaux.

Concernant l'applicabilité de la grille à d'autres genres vidéoludiques, si Fortnite est un jeu de tir à la troisième personne tourné vers l'action, le combat et l'exploration, nous avons conçu la grille d'analyse indépendamment d'un style de jeu en particulier. Pour construire la grille, nous avons analysé des séquences de jeux de type différents tels que Tetris 99 (puzzle action), Forza Horizon (course automobile), Rayman Legends (platforme), The Last of Us 2 (action/aventure à la troisième personne) ou encore Limbo (aventure/puzzle). Les premières observations de ces autres analyses à travers la grille révèlent des stratégies très différentes de sonification des actions du joueur et de l'environnement. Par exemple, dans Limbo, contrairement à Fortnite, la spatialisation est très peu utilisée pour signifier des dangers, c'est la particularité des timbres qui permet de caractériser ces sons. Autre observation, The Last of Us 2, utilise une plus grande proportion de sons concrets (par rapport aux sons abstraits) que Fortnite (jeu dont il est très proche dans sa présentation puisqu'il s'agit d'exploration et tir à la troisième personne), soulignant une volonté de mettre le moins de distance possible entre le joueur et l'environnement de l'action. Nous pensons donc que la grille peut s'appliquer à des genres de jeux différents, tout en permettant d'identifier des stratégies d'écriture sonore variées à l'intérieur d'un genre en particulier. Nos prochaines analyses viseront à mettre en avant ces comparatifs.

Tous ces questionnements démontrent l'intérêt de cette approche d'analyse ascendante des sons vis-à-vis du gameplay. La suite de nos travaux explorera comment y apporter réponses. Nous utiliserons

une approche mêlant analyses comparatives avec la grille et analyses automatisées de spectrogramme. L'objectif de notre recherche étant la mise au point de nouveaux outils en conception sonore et en game design. Outre les apports théoriques et méthodologiques immédiats de notre recherche (par exemple : grille d'analyse, connaissances sur les jeux analysés ou identification de stratégies d'écriture sonore), nous supposons qu'un autre outil pertinent concernerait la visualisation des liens entre son et temporalités de gameplay, par exemple au travers d'une visualisation schématique proposant différents niveaux de zoom.

## 6 Conclusion : Le rôle structurant du son dans le gameplay

Dans ce travail, nous sommes partis de l'hypothèse que l'analyse approfondie des liens entre le son et les boucles de gameplay permettrait de révéler des qualités de chacun. Nous avons proposé la construction d'une grille d'analyse des sons des jeux vidéo en lien avec trois temporalités des boucles de gameplay (courte, moyenne et longue) comportant 4 dimensions : gameplay, signes et feedbacks, perception et technique, avec un total de 22 éléments d'analyse distincts.

A la suite de la construction théorique de la grille et de l'analyse du son dans les boucles de gameplay de Fortnite, nous constatons que le son intervient dans les 3 niveaux de temporalité du gameplay et y joue un rôle transversal. À court-terme, le son garantit la validité technique de l'interaction (feedback), et il contribue au gamefeel par son expressivité sensorielle. À moyen-terme, il en cadre les challenges et objectifs à moyen-terme : il participe à la typification des situations (types d'ennemis, de dangers, de succès), à la construction des signes et des affordances sonores (anticipation de mouvements, reconnaissance de patterns). À long-terme, le son contribue à l'ancrage diégétique, à la cohérence de l'univers ludique, et à l'évolution dramaturgique de l'expérience (variation des améliances, motifs sonores récurrents, transitions musicales). Dans cette perspective systémique, le son soutient donc la constance des boucles (fiabilité des réponses) tout en participant à la variation (différenciation des situations), éléments essentiels à la fois au confort d'interaction, à la dynamique ludique et à l'apprentissage de nouvelles affordances, tout en accompagnant la progression ludique et narrative (montée en niveau, nouvelle zone géographique) du joueur.

Dans notre analyse de Fortnite, lier des éléments concernant le gameplay, les signes et feedbacks, la perception et la technique a permis de donner une vue d'ensemble et de dégager des types de liens existants entre gameplay et boucle de gameplay : l'implication (ou le détachement) du son dans le gameplay, les niveaux sur lesquels le son est impliqué (feedback, immersion, ...) ; ainsi que la manière dont le son est impliqué (au niveau technique) et le rendu du son (perception). Par exemple, dans Fortnite sur la temporalité court-terme du gameplay, les sons accompagnant les feedbacks de réussite sont perçus sur-mixés par rapport aux autres sons. Ces sons sont également centrés dans l'espace sonore (absence de spatialisation), sans doute pour bien les séparer des sources sonores mobiles autour du joueur (particulièrement les ennemis) et nécessitant particulièrement son attention active pour les localiser et réagir. Ainsi certains
événements ayant bien une position dans l'espace 3D du jeu ne sont pas spatialisés.

Cette approche d'analyse a aussi été productive sur certains questionnements conceptuels entre gameplay et son. Nous les avons cadré dans l'état de l'art de cet article, mais ces questions ont été soulevées grâce à l'analyse des sons de Fortnite : présence de sons qui appartiennent conceptuellement à plusieurs temporalités de gameplay, présence de sons qui semblent s'adresser directement au joueur, et signature rythmique des actions de jeu. Nous les avons discuté dans la section précédente et prévoyons de continuer nos travaux de recherche pour approfondir ces questions.

Ce premier travail nous a permis de justifier théoriquement l'organisation et une partie des éléments de la grille. Nous avons ensuite démontré son utilité en analysant le jeu vidéo Fortnite. Il reste à présent à étendre ce travail sur d'autres dimensions du son et d'autres jeux vidéo en effectuant des analyses comparatives pour établir l'existence ou non de normes dans la conception sonore vis-à-vis du gameplay. Nous pensons que ce travail permettra à la fois d'apporter des concepts importants pour les game designers et concepteurs sonores, ainsi que des outils de formalisation concernant les boucles de gameplay et le rôle du son dans celles-ci.

Finalement, nous espérons que ce travail encouragera les game designers à considérer le son dans toute son étendue, non seulement comme un outil de soutien, mais aussi comme un point de départ pour penser et structurer le gameplay. Un peu à la manière dont David Lynch explique avoir évolué dans son rapport au son pour le cinéma :

> J'avais l'habitude de dire que l'image dicte le son, mais parfois c'est l'inverse. Le son évoque l'image, et c'est lui qui vient en premier. Mais je pense que tout réalisateur comprend que le son représente 50 % de l'image. Quoi qu'il en soit, pour moi, c'est le cas, et le faire se fondre dans l'image est le secret. Ce n'est pas juste un effet sonore pour un effet sonore, c'est un univers, il se fond dans l'image, et il faut travailler, travailler, travailler jusqu'à obtenir ce résultat.” - David Lynch<fnref n="2" />

## Remerciements

Les auteurs tiennent à remercier Mehmet Can Uzer pour son autorisation d'utilisation de son schéma du modèle SISA et Stéphane Natkin pour la version en français utilisée dans cet article.

## References

[1] Asbjøern Andersen. 2018. The Future Sound of Cars with Richard Devine: How Jaguar's I-PACE is Redefining the Engine Sound. https://www.asoundeffect.com/the-future-sound-of-cars/

[2] Richard Bartle. 1996. Hearts, clubs, diamonds, spades: Players who suit MUDs. *Journal of MUD research* 1, 1 (1996), 19.

[3] Gordon Calleja. 2011. *In-game: From immersion to incorporation*. mit Press.

[4] Stuart K Card, Thomas P MORAN, and Allen Newell. 1986. The model human processor- An engineering model of human performance. *Handbook of perception and human performance*. 2, 45-1 (1986), 1-35.

[5] Loïc Caroux, Ludovic Le Bigot, and Nicolas Vibert. 2010. Vers une utilisabilité spécifique des jeux vidéo ? In *Annexes des actes d'IHM'10, 22e Conférence Francophone sur l'Interaction Homme - Machine (Annexes des actes d'IHM'10, 22e Conférence Francophone sur l'Interaction Homme - Machine)*. Luxembourg, Luxembourg, 5-8. https://inria.hal.science/hal-01018231

[6] Michel Chion. 2012. The three listening modes. *The sound studies reader* 1 (2012).

[7] Michel Chion. 2021. *L'audio-vision-5e éd: Son et image au cinéma*. Armand Colin.

[8] Elizabeth A. Clendenning. 2018. Driving future sounds: imagination, identity and safety in electric vehicle noise design. *Sound Studies* 4, 1 (2018), 61-76. doi:10.1080/20551940.2018.1467664 arXiv:https://doi.org/10.1080/20551940.2018.1467664

[9] Karen Collins. 2008. *Game sound: an introduction to the history, theory, and practice of video game music and sound design*. Mit Press.

[10] Pierre Couprie. 2001. Le vocabulaire de l'objet sonore. *Du sonore au musical* (2001), pp.24.

[11] Théophile Dupré, Sébastien Denjean, Mitsuko Aramaki, and Richard Kronland-Martinet. 2021. Spatial Sound Design in a Car Cockpit: Challenges and Perspectives. In *2021 Immersive and 3D Audio: from Architecture to Automotive (I3DA)*. 1-5. doi:10.1109/I3DA48870.2021.9610910

[12] Matthieu Duroyon. 2025. *De l'étude du confort sonore de l'habitat du véhicule électrique à son amélioration par l'acoustique augmentée*. PhD Thesis. Unité de recherche en Mécanique - Laboratoire Roberval. http://www.theses.fr/2025COMP2868/document

[13] Troels Folmann. 2004. Dimensions of Game Audio. http://troelsfolmann.blogspot.com/2004/11/. Accessed: 20240423.

[14] Johnny Friberg and Dan Gärdenfors. 2004. Audio games: new perspectives on game audio. In *Proceedings of the 2004 ACM SIGCHI International Conference on Advances in computer entertainment technology*. 148-154.

[15] Mark Nicholas Grimshaw. 2007. *The acoustic ecology of the first-person shooter*. Ph. D. Dissertation. The University of Waikato.

[16] Emmanuel Guardiola. 2016. The gameplay loop: a player activity model for game design and analysis. In *Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology*. 1-7.

[17] Sander Huiberts and Richard Van Tol. 2008. IEZA: A framework for game audio. *Gamasutra*. The Art & Business of Making Games (2008).

[18] Kristine Jørgensen. 2011. Time for new terminology?: Diegetic and non-diegetic sounds in computer games revisited. In *Game sound technology and player interaction: Concepts and developments*. IGI Global Scientific Publishing, 78-97.

[19] Kristine Jørgensen. 2017. Left in the dark: playing computer games with the sound turned off. In *From Pac-Man to Pop Music* (1 ed.), Karen Collins (Ed.). Routledge, 163-176. doi:10.4324/9781351217743-12

[20] Brian Kane. 2007. *L'Objet Sonore Maintenant : Pierre Schaeffer, sound objects and the phenomenological reduction*. *Organised Sound* 12, 1 (April 2007), 15-24.

[21] Christoph Klimmt. 2003. Dimensions and determinants of the enjoyment of playing digital games: A three-level model. In *Level up: Digital games research conference*. 246-257.

[22] Jonas Linderoth. 2013. Beyond the digital divide: An ecological approach to gameplay. *Transactions of the Digital Games Research Association* 1, 1 (2013).

[23] Stéphanie Mader. 2015. *Le" game design" de jeux thérapeutiques: Modèles et méthodes pour la conception du gameplay*. Ph. D. Dissertation. Conservatoire national des arts et metiers-CNAM.

[24] Stéphanie Mader, Vinciane Zabban, Leticia Andlauer, Sophie Bemelmans, and Fanny Georges. 2023. Processus de conscientisation par rhétorique procédurale dans des variations de Tetris : se heurter aux habitudes et styles de jeu. *Sciences du jeu* 19 (June 2023). doi:10.4000/sdj.5291

[25] Stéphanie Mader, Vinciane Zabban, Leticia Andlauer, Sophie Bemelmans, and Fanny Georges. 2023. Processus de conscientisation par rhétorique procédurale dans des variations de Tetris: se heurter aux habitudes et styles de jeu. *Sciences du jeu* 19 (2023).

[26] Raphaël Marczak, Gareth Schott, and Pierre Hanna. 2016. Sound similarity as a tool for understanding player experience: Applying similarity matrix to gameplay performance segmentation. *Transactions of the Digital Games Research Association* 2, 3 (2016).

[27] Quentin Marre, Loïc Caroux, and Jean-Christophe Sakdavong. 2021. Video Game Interfaces and Diegesis: The Impact on Experts and Novices' Performance and Experience in Virtual Reality. *International Journal of Human-Computer Interaction* 37, 12 (2021), 1089-1103.

[28] Walter Murch. 2005. Dense clarity-clear density. *The transom review* 5, 1 (2005), 7-23.

[29] Stephane Natkin. 2018. En quoi les jeux vidéos sont-ils différents.... ? *Convocarte. Revista de Ciências da Arte* 7 (Dec. 2018). https://cnam.hal.science/hal-02471781

[30] B Le Nindre. 2005. Typage sonore identitaire : le cas du véhicule sportif. *Acoustique & Technique* 41 (2005).

[31] Frank Pecquet. 2021. Design sonore et création (Réflexion). *Revue musicale OICRM* 8, 2 (2021), 132. http://id.erudit.org/iderudit/1084972ar

[32] Victor Rosi. 2022. *The Metaphors of Sound: from Semantics to Acoustics. A Study of Brightness, Warmth, Roundness, and Roughness*. Theses. Sorbonne Université. https://theses.hal.science/tel-03994903

[33] Paul Rudy. 2007. Three requiems and a dream: The language of electroacoustic sound in film. *EMS7 The languages of electroacoustic music* (2007).

[34] Katie Salen and Eric Zimmerman. 2003. *Rules of Play: Game Design Fundamentals*. The MIT Press.

[35] Alex Sallade. 2024. *A Taxonomy for Immersive Audio Techniques in Video Game Sound Design*. Ph. D. Dissertation.

<footnote n="2">²David Lynch on Alan Splet - Interview par The Paris Review, 13 Mai 2014, https://www.youtube.com/watch?v=nSkyGRyUIEM (8:56-9:40)</footnote>
[36] Pierre Schaeffer. 1998. Traité des objets musicaux: essay interdisciplines (1966). *New edition*. Paris: Éditions du Seuil (1998).

[37] R Murray Schafer. 1994. The Soundscape: Our Sonic Environment and the Tuning of the World. 1977. Rochester, VT: Destiny Books 12 (1994).

[38] Miguel Sicart. 2008. Defining game mechanics. *Game studies* 8, 2 (2008), 1–14.

[39] Axel Stockburger. 2003. The game environment from an auditive perspective. *Level Up* (2003), 4–6.

[40] Bernard Suits. 1978. *The Grasshopper: Games, Life and Utopia*. University of Toronto Press.

[41] Patrick Susini. 2021. Design sonore d'objet. (July 2021). https://hal.science/hal-03277750 working paper or preprint.

[42] Steve Swink. 2008. *Game feel: a game designer's guide to virtual sensation*. CRC press.

[43] Mehmet Can Uzer. 2016. *Conceptual Design Methods for Game Sound*. Master's thesis. Aalto University, School of Arts, Design and Architecture, Media Lab Helsinki.