# Pour une approche de l'écoute incarnée. Corps, technologies et perception

Andrea Giomi

<figure><img src="image_1.png" /></figure>

OpenEdition
Journals

## Édition électronique

URL : https://journals.openedition.org/hybrid/574
DOI : 10.4000/hybrid.574
ISSN : 2276-3538

## Traduction(s) :

The case for an embodied approach to listening. Bodies, technologies and perception - URL : https://journals.openedition.org/hybrid/581 [en]

## Éditeur

Presses universitaires de Vincennes

## Référence électronique

Andrea Giomi, « Pour une approche de l'écoute incarnée. Corps, technologies et perception », *Hybrid* [En ligne], 6 | 2019, mis en ligne le 20 juillet 2020, consulté le 26 septembre 2023. URL : http://journals.openedition.org/hybrid/574 ; DOI : https://doi.org/10.4000/hybrid.574

Ce document a été généré automatiquement le 26 septembre 2023.

<figure><img src="image_2.png" /></figure>

Creative Commons - Attribution - Partage dans les Mêmes Conditions 4.0 International - CC BY-SA 4.0
https://creativecommons.org/licenses/by-sa/4.0/
# Pour une approche de l'écoute incarnée. Corps, technologies et perception

Andrea Giomi

## Introduction

<footnote n="1">1. Ces dernières années, un nombre croissant d'études ont porté sur la manière dont la perception musicale peut être interprétée en tant que phénomène essentiellement incarné. Ces théories, qui sont souvent regroupées sous le nom de *cognition musicale incarnée*¹, présupposent implicitement une approche écologique de l'écoute. Elles se fondent sur l'idée que l'expérience du monde est déterminée par l'interaction mutuelle entre les capacités sensori-motrices d'un organisme et l'environnement dans lequel il opère. Cette relation mutuelle et réciproque est à l'origine d'une forme de connaissance énactive². Dans cet article, nous souhaitons exposer les éléments principaux de ces théories en nous intéressant, tout particulièrement, aux implications épistémologiques et ontologiques pour l'écoute.</footnote>

<footnote n="2">2. Même si une approche cognitiviste et désincarnée reste dominante dans la description des processus auditifs, de nouvelles théories, basées sur une perspective incarnée, semblent émerger suite à un renouvellement épistémologique majeur. La convergence entre la tradition phénoménologique, les approches écologiques au sein de la psychologie, les notions d'énaction ou d'autopoïèse en biologie, les théories de la perception/action en philosophie, ainsi que la découverte des neurones miroirs dans les neurosciences, permettent aujourd'hui de repenser de manière radicale la façon dont on perçoit la réalité. Ces différentes approches scientifiques tendent vers une lecture incarnée de l'écoute, dans laquelle la cognition est définie comme un phénomène énactif, non-dualiste, inscrit dans une corporéité et situé dans un environnement³. Selon cette perspective, les anciennes catégories de corps et d'esprit sont intégrées dans une vision holistique qui entrelace fonctions cognitives,</footnote>
mouvement corporel et multisensorialité. Au cours des dix dernières années, un tel paradigme a également été appliqué à l'étude de la perception sonore. Dans ce cadre, l'écoute est davantage interprétée comme un phénomène multimodal, orienté vers l'action et, en dernière analyse, incarné.

## Le rôle de la médiation technologique

3. La médiation technologique a joué un rôle majeur dans l'adoption d'un tel paradigme. La généralisation des technologies interactives (systèmes de motion capture, techniques de physical computing, algorithmes de machine learning appliqués à l'étude du mouvement, utilisation de biofeedback, etc.) a notamment permis d'approfondir de manière inédite le rapport entre corps et musique. Cet apport peut être décliné selon deux aspects : d'un côté, les technologies d'analyse du mouvement ont montré expérimentalement la connexion biunivoque entre phénomène acoustique et système sensori-moteur ; de l'autre, le développement de nouvelles interfaces musicales⁴ a permis de concevoir des nouveaux modèles d'étude du mouvement corporel et du geste en relation avec les processus auditifs.

## La cognition musicale incarnée

4. Au lieu d'interpréter l'écoute selon un modèle purement computationnel⁵, la perspective incarnée considère l'auditeur comme étant impliqué dans une « boucle interactive » avec l'environnement sonore. Selon ce paradigme, le couplage action/prédiction – c'est-à-dire le rapport entre l'action musicale (le geste du musicien, le mouvement dansé sur la musique, ou la réaction physique et spontanée de l'auditeur) et les patterns cognitifs de représentation de l'action, canalisés par l'écoute – est codéterminé par les contraintes de l'environnement sonore et du corps de l'organisme vivant. La musique est pourtant un phénomène avec lequel l'être humain interagit par le biais de ses capacités sensori-motrices, cognitives et émotives afin d'optimiser cette interaction⁶. Une telle perspective constitue le terrain de ce que on appelle, depuis Marc Leman, une « cognition musicale incarnée »⁷. En accordant une attention particulière aux interactions sensori-motrices et à la perception, cette théorie conçoit la cognition comme un ensemble de processus situés au croisement entre l'environnement et la corporéité de l'auditeur. Une telle approche fournit un modèle pour étudier la cognition qui va au-delà de la dichotomie traditionnelle entre une vision purement neurophysiologique et une vision purement psychologique de l'écoute.

## Le geste comme médiateur des processus auditifs

5. Selon le paradigme cognitiviste et désincarné, il faut considérer l'écoute comme un processus unidirectionnel, au sein duquel la perception et l'action sont séparées : l'action est le produit du traitement cognitif des informations obtenues grâce à la perception⁸. En d'autres termes, lorsque nous réalisons une action, nous sommes en train de traiter continuellement des données provenant du système sensoriel.

6. En revanche, à partir d'une perspective incarnée, les activités liées à la musique découlent de l'interaction mutuelle entre la perception et l'action. Les mécanismes
sensori-moteurs activés par la musique jouent alors un rôle direct dans la facilitation de la perception sonore. Le système nerveux central n'a pas besoin de « traiter les informations » pour établir un lien entre les sensations et les actions - il lui suffit de trouver dans l'environnement les signaux appropriés qui doivent être associés à la bonne réponse motrice. Les théories de la cognition incarnée soutiennent l'idée qu'il n'y a pas de séparation réelle entre les processus mentaux et le corps, en décrivant la cognition en termes de dynamique entre agent et environnement plutôt qu'en termes de calcul de l'information. Dans cette perspective, la perception et l'action deviennent interdépendantes et se déroulent conjointement dans l'activité sensori-motrice.

7 Le mouvement corporel devient le véritable médiateur entre l'expérience subjective de la musique véhiculée par l'écoute (la représentation mentale ou la sensation interne produite par le son) et le milieu sonore (tantôt comme environnement physique, tantôt comme système de médiation de comportements culturels)⁹. Selon ce que Leman appelle une « ontologie orientée vers l'action », le geste est alors non seulement un moyen expressif mais, plus globalement, un médiateur pour la formation de la signification musicale¹⁰.

## Intrasensorialité et intersensorialité de l'écoute incarnée

8 Cette notion de geste-médiateur se structure autour de deux points clés. Le premier aspect concerne la nature à la fois active et passive de l'audition : si dans la tradition désincarnée la perception sonore est conçue comme une activité purement passive au sein de l'écoute (la réception des signaux acoustiques par la membrane auditive), les approches incarnées soulignent plutôt le fait que l'écoute engendre toujours une activité au niveau gravitaire-musculaire ainsi que l'activation de processus de sélection et d'inhibition au niveau du système sensoriel. Cette réciprocité renvoie d'ailleurs à ce qui a été défini en phénoménologie comme l'intrasensorialité ou premier chiasme de la perception¹¹.

9 La deuxième question repose sur le fait que l'écoute ne se compose pas seulement de sensations auditives. Elle implique également des stimuli visuels, des sensations proprioceptives, des perceptions tactiles/haptiques et, bien évidemment, une réponse kinesthétique. L'interaction entre ces différents éléments sensoriels renvoie à la dimension intersensorielle de l'écoute. Les informations acoustiques s'entrelacent dans une panoplie de stimuli multimodaux extéroceptifs (le geste observé du musicien, la sensation tactile produite par les vibrations sonores, etc.) et proprioceptifs (la variation interne du tonus musculaire en réaction à la musique, l'articulation kinesthétique et posturale, etc.) qui se combinent en résonant l'un dans l'autre.
La théorie mimétique

10 Si donc, au niveau purement perceptif, l'écoute s'incarne spontanément dans le geste, même au niveau de l'intentionnalité de l'interaction musicale, le lien avec l'environnement sonore s'établit par imitation des informations physiques détectées à travers les articulations corporelles. En d'autres termes, il s'agit de supposer que le geste intervient également dans le processus d'appréhension et de signification sonore¹².

11 Rolf Godøy propose d'interpréter un tel niveau d'interaction à partir de ce qu'il appelle une « théorie de l'imitation motrice »¹³. La prémisse d'une telle théorie part d'une constatation empirique assez évidente : la musique « bouge » littéralement les gens, et, dans la mesure où ils se sentent immergés, ils résonnent corporellement avec l'énergie sonore. L'hypothèse principale consiste à affirmer que les personnes répondent souvent à la musique en faisant des mouvements corporels qui reflètent des aspects structuraux du son ou en reproduisant les gestes de production sonore vus ou imaginés. Leman parle à ce propos de « modèles moteurs de l'expressivité musicale¹⁴ ». Arnie Cox emploie, quant à lui, l'expression d'« imaginaire mimétique-moteur¹⁵ ». Ces hypothèses théoriques sont soutenues par des études empiriques montrant qu'il existe des analogies fondamentales entre les mouvements intentionnels des auditeurs et ceux des musiciens¹⁶. Ces analogies sont confirmées par le fait que les mouvements des interprètes contribuent de manière significative à la perception de l'intention expressive¹⁷. D'autres études montrent que certaines des caractéristiques principales de la musique occidentale, telles que la mélodie, l'harmonie, le timbre et le rythme sont interprétées de manière pertinente à partir de l'incorporation d'éléments morphologiques¹⁸. Dans cette perspective, Godøy a exploré la relation entre incorporation et *objet sonore* en essayant de promouvoir une synthèse entre l'approche incarnée et la typo-morphologie de Pierre Schaeffer¹⁹. Dans ce cadre, des expériences ont été réalisées : il était demandé aux participants de se déplacer en suivant les caractéristiques perceptives des objets sonores. Les données acquises par le biais d'un système de *motion capture* ont été analysées et ont montré qu'il existait une corrélation morphologique avec un ensemble de paramètres sonores quantitatifs et qualitatifs²⁰.

12 En agissant comme médiateur, le corps va dès lors construire un répertoire idiomatique de gestes et de gestes-actions, qui fonctionnent comme des patterns permettant d'une part de coder l'intentionnalité expressive contenue dans la musique, et de l'autre de représenter de manière cohérente la morphologie des objets sonores. Ce répertoire peut être considéré comme une collection de mouvements réalisés pour atteindre un objectif particulier, lié aux expériences et aux sensations résultant de ces actions. Le couplage entre action et écoute forme donc un moteur qui guide notre compréhension de la musique. Grâce à ce mécanisme, l'écoute de la musique permet d'évoquer une connaissance incarnée des mouvements corporels associés à une certaine expression sonore. Ce processus continu et bidirectionnel permet à l'auditeur non seulement d'attribuer des intentions et des sentiments à la musique, mais aussi de prédire les résultats des actions et de les projeter sur la musique²¹.
## Énaction et perspective écologique

Les théories présentées jusqu'ici modélisent une approche écologique de l'écoute. Elles se fondent en effet sur l'idée que l'expérience du monde est déterminée par l'interaction mutuelle entre les capacités sensori-motrices d'un organisme et l'environnement dans lequel il opère. Cette relation mutuelle et réciproque est à l'origine d'une forme de connaissance énactive. Selon le paradigme de l'énaction, les organismes vivants participent activement à la génération de sens par le biais de leur engagement corporel ainsi qu'à travers des interactions transformatrices avec l'environnement²². Les processus mentaux sont donc toujours incarnés, intégrés dans l'environnement, référés à l'action. Le cœur de ces approches tient dans le fait que l'organisme vivant est « autonome », c'est-à-dire capable d'une autotransformation à partir de l'interaction avec l'environnement. Si une telle approche est issue des travaux philosophiques de Merleau-Ponty, et des recherches en biologie de Maturana et de Varela, la perspective écologique se réfère plutôt aux travaux fondateurs de James J. Gibson. L'aspect central de cette perspective est d'affirmer la nature directe de l'acte perceptif, en refusant l'idée de la médiation par des représentation mentales. L'environnement acquiert donc un rôle premier dans la structuration de la perception humaine. Les approches énactives et écologiques se distinguent de façon substantielle par le fait que la première valorise le processus auto-génératif de l'organisme en interaction avec l'environnement, tandis que la seconde donne une importance majeure à la fonction de l'environnement.

Selon l'approche énactive de la musique²³, on peut alors entendre tantôt la boucle action/perception tantôt le phénomène emphatique en termes de *résonance* réciproque entre l'environnement sonore et l'auditeur. Les approches écologiques ajoutent l'idée que la musique est directement expérimentée, sans représentations mentales intermédiaires, se révélant elle-même à travers des modes d'action et de perception sensoriels – idée qui diffère évidemment des approches cognitistes pures qui considèrent le mouvement du corps simplement comme le sous-produit de processus internes impliquant un système de représentation symbolique. Selon l'approche écologique, en repérant des informations dans l'environnement dont ils font partie, les organismes extraient des significations perceptives immédiates. En cela, le monde n'est pas perçu comme un ensemble de qualités objectives, mais comme un réseau de significations pertinentes.

Au sein d'une telle perspective, la notion d'affordance a un rôle central. Cette notion dénote les « possibilités d'action » offertes aux organismes par les objets présents dans l'environnement²⁴. Ces possibilités d'action sont spécifiées de façon relationnelle, c'est-à-dire à la fois par les caractéristiques structurelles particulières de l'environnement et par le répertoire des capacités sensori-motrices que l'organisme emploie pour détecter et répondre à ces caractéristiques structurelles. Ce concept a été intégré dans les théories sur la cognition musicale²⁵, en mettant en évidence le fait que les actions déclenchées par les affordances sont le produit d'une médiation culturelle et pas seulement de propriétés structurelles de l'objet. Gødoy, par exemple, note que les instruments traditionnels possèdent un répertoire de gestes musicaux spécifiques liés au langage idiomatique de chaque instrument²⁶. Les instruments présentent en effet des propriétés assez explicites et connues, basées tantôt sur l'ergonomie de l'instrument, tantôt sur des codes culturels, qui d'une part délimitent les possibilités
d'action entre l'instrument et le musicien, et de l'autre informent les attentes des auditeurs. De plus, l'évocation, pendant l'écoute de la musique, des éléments kinesthésiques liés à la production sonore ne fait que confirmer l'essence multimodale de la perception.

Comme nous l'avons brièvement montré, la perception peut donc être décrite comme un réticule de sensations connectées dans lequel une information sensorielle évoque une sensation dans une autre modalité. Certaines preuves empiriques confirment cette hypothèse, tout en la nuançant : si les gestes de l'instrumentiste peuvent modifier la sensation du son chez l'auditeur, les sons écoutés s'accompagnement de sensations et de représentations kinesthésiques²⁷.

## De la cognition incarnée à la performance technologique

Ces dernières années, les avancées théoriques et expérimentales au sein des approches énactive et incarnées semblent informer également la conception des interfaces sonores ainsi que la création artistique. En particulier, certaines études suggèrent des pistes pour intégrer les aspects conceptuels de la cognition musicale incarnée dans l'élaboration de stratégies de mapping²⁸ aussi bien que dans le développement de systèmes interactifs pour supporter la pratique musicale et l'apprentissage sensorimoteur²⁹.

En lien étroit avec ce qui précède, je présenterai maintenant brièvement un travail de recherche-création que j'ai réalisé entre 2017 et 2019. Feedback Loop Driver est une performance musicale recourant fortement à l'improvisation, qui utilise à la fois les technologies de captation de mouvement et de biosignaux. Toutes les manipulations sonores sont générées en temps réel par le comportement physique de l'interprète sur scène. Le système interactif, réalisé avec le logiciel MaxMsp, permet de détecter trois principaux descripteurs corporels : l'activité électrique des muscles, les qualités du geste et la position dans l'espace. La métaphore centrale de ce travail est la notion de feed-back.

D'une part, le feed-back est considéré comme un retour auditif en réponse aux gestes codifiés par la machine. D'autre part, des feed-back influencent également la manière dont mes comportements physiques (posture, gestes, mouvements dans l'espace) s'adaptent à l'environnement sonore. La relation biunivoque entre ces deux types de geste, et le feedback loop qui les accompagne, guident l'évolution interne de l'improvisation. Du point de vue du design sonore, j'ai ainsi travaillé sur l'exploration de qualités sonores capables d'induire chez moi une sensation d'effort. J'ai exploré l'analogie métaphorique entre accumulation d'énergie physique (en référence à la grande énergie physique exercée pendant la contraction du muscle) et accumulation d'énergie sonore (saturation et distorsion). Ces deux éléments sont liés à un niveau très sensoriel : si l'effort corporel génère la distorsion audio, la tension physique exprimée par l'interprète reflète l'incorporation de l'environnement sonore. Une telle approche du design sonore interactif permet de connecter la perception interne du mouvement aux sensations produites par le feed-back sonore.

La sensation d'effort est en effet expérimentée sur deux niveaux. D'une part, l'effort physique (lié à la contraction des muscles) nécessaire pour générer du son ; d'autre
part, le « retour d'effort » secondaire provoqué par l'accumulation dynamique et spectrale de l'énergie sonore et qui résonne avec la sensation primaire provoquée par la contraction des muscles. Les tensions exprimées par le son sont ainsi incorporées en devenant l'objet d'une gestualité figurative qui s'enracine dans la sensation d'effort éprouvée aussi bien que dans la valorisation imaginative de la matière sonore. Une intégration multimodale des différents stimuli sensoriels se produit en renforçant la précision dans l'exécution des gestes sonores ainsi que l'expressivité de la présence physique. L'écoute permet ici d'interpréter l'environnement sonore tantôt en relation avec les processus de composition musicaux envisagés, tantôt en relation avec les changements d'état du corps expérimentés. Ce faisant, les dispositifs technologiques deviennent une partie du corps sensible en stimulant un degré élevé de résilience et de connaissance énactive.

## Conclusion

21 Concevoir l'écoute en tant que phénomène *énactif*, multimodal et incarné est une étape essentielle vers un repositionnement philosophique permettant de dépasser le dualisme épistémologique qui persiste dans l'étude de la musique et de l'expérience sonore.

22 Les études récentes s'inspirant d'une perspective incarnée proposent de replacer l'écoute dans sa dimension corporelle, où notre système sensori-moteur a une pertinence centrale. Diverses études expérimentales ont par exemple démontré comment les mouvements spontanés du corps, en réponse à la musique, peuvent être liés aux descriptions métaphoriques utilisées pour évoquer les qualités expressives de la musique. De la même manière, les approches écologiques et énactives suggèrent une définition située et incarnée de l'écoute dans laquelle sont intégrés les différents acteurs (auditeurs, musiciens, musique). Dans ce cadre, les activités liées à la musique et la formation du sens musical émergent de l'interaction mutuelle entre perception et action musicale. En écoutant attentivement la musique, l'auditeur récree continuellement des simulations mentales de gestes de production sonore, en ajoutant des éléments kinesthésiques cohérents. Dans le même temps, le geste corporel du musicien semble avoir une influence directe sur la manière dont on perçoit la matière sonore, tout en soulignant la nature multimodale de l'écoute.

23 Plusieurs études intègrent les technologies de capture du mouvement non seulement pour enregistrer et analyser le rapport entre geste et écoute, mais aussi pour développer des nouvelles stratégies de conception des interfaces sonores et des systèmes interactifs musicaux. Le mécanisme central dans lequel les technologies interactives peuvent intervenir est la boucle couplée action/perception. Plusieurs études ont en effet porté l'attention sur la manière dont l'utilisation de feed-back sonores en temps réel permet de renforcer l'engagement émotif et l'implication corporelle des interacteurs dans une multitude d'activités musicales, telles que la performance, l'écoute et la danse.

24 La fonction positive du feed-back sonore s'avère être déterminante sous deux aspects. D'une part, le système auditif est capable de reconnaître les variations temporelles d'une manière plus fine par rapport à d'autres canaux perceptifs en sollicitant ainsi une prise de conscience majeure des nuances à la base de la composition du geste. D'autre part, en accord avec les principes d'intégration multimodale et la théorie de la
motricité mimétique, la cohérence perceptive entre son et mouvement renforce la capacité d'accomplir une tâche motrice et gestuelle tout en favorisant la participation active aux phénomènes musicaux. Dans ce cadre, l'utilisation de la médiation technologique semble supporter, de manière de plus en plus efficace, une approche incarnée de l'écoute et de l'expérience sonore.

BIBLIOGRAPHIE

bader, Rolf (dir.), *Springer Handbook of Systematic Musicology*, Cham (Suisse), Springer-Verlag, 2018.

bernard, Michel, *De la création chorégraphique*, Pantin, CND, 2001.

Bregman, Albert S., *Auditory Scene Analysis: The Perceptual Organization of Sound*, Cambridge (Mass.), MIT Press, 1990.

clarke, Eric F., *Ways of Listening: An Ecological Approach to the Perception of Musical Meaning*, New York, Oxford University Press, 2005.

cox, Arnie, « Embodying Music: Principles of the Mimetic Hypothesis », *Music Theory Online*, n° 17.2, 2011, p. 1-24. [En ligne] http://www.mtosmt.org/issues/mto.11.17.2/mto.11.17.2.cox.html [consulté le 3 septembre 2019].

gibson, James J., « The Theory of Affordances », in Shaw, Robert et Bransford, John (dir), *Perceiving, Acting, and Knowing: Toward an Ecological Psychology*, Lawrence Erlbaum Associates, New Jersey, 1977, p. 67-82.

godøy, Rolf I., « Motor-Mimetic Music Cognition », *Leonardo*, n° 36.4, 2003, p. 317-319.

gødoy, Rolf I. et Leman, Marc (dir.), *Musical Gestures: Sound, Movement and Meaning*, Londres/New York, Routledge, 2010.

Jackendoff, Ray, *Languages of the Mind: Essays on Mental Representation*, Cambridge (Mass.), MIT Press, 1992.

nymoen, Kristian, Jensenius, Alexander R., Tørresen, Jim, Glette, Kyrre H., skogstad, Ståle A., « Searching for Cross-individual Relationships between Sound and Movement Features Using an SVM Classifier », *NIME*, n° 10, 2010, p. 259-262.

Leman, Marc, *Embodied Music Cognition and Mediation Technology*, Cambridge (Mass.), MIT Press, 2008.

Leman, Marc, Desmet, Frank, Styns, Frederik, van Noorden, Leon, Moelants, Dirk, « Sharing Musical Expression through Embodied Listening: A Case Study Based on Chinese Guqin Music », *Music Perception*, n° 26.3, 2009, p. 263-278.

Leman, Marc et Maes, Pietr-Jan, « The Role of Embodiment in the Perception of Music », *Empirical Musicology Review*, n° 9.3-4, 2015, p. 236-246.

Lesaffre, Micheline, Maes, Pieter-Jan et Leman Marc (dir.), *The Routledge Companion to Embodied Music Interaction*, New York, Routledge, 2017.
Matyja, Jakub R. et schiavio, Andrea, « Enactive Music Cognition: Background and Research Themes », *Constructivist Foundations*, n° 8.3, 2013, p. 351-357.

Maes, Pieter-Jan, van Dyck, Edith, Lesaffre, Micheline, Leman, Marc, Kroonenberg, Pieter M., « The Coupling of Action and Perception in Musical Meaning Formation », *Music Perception*, n° 32.1, 2014, p. 67-84.

Maes, Pietr-Jan, Leman, Marc, Palmer, Caroline et wanderley, Marcelo M., « Action-Based Effects on Music Perception », *Frontiers in Psychology*, n° 4, 2014.

Menary, Richard, « Introduction to the Special Issue on 4E Cognition », *Phenomenology and the Cognitive Sciences*, n° 9.4, 2010, p. 459-463.

Merleau-Ponty, Maurice, *Le Visible et l'invisible*, Paris, Gallimard, 1961.

Miranda, Eduardo R. et wanderley, Marcelo M., *New Digital Musical Instruments: control and interaction beyond the keyboard*, Middleton (Wisconsin), A-R Editions, 2006.

Nymoen, Kristian, Godøy, Rolf I., Jensenius, Alexander R. et Tørresen, Jim, « Analyzing Correspondence between Sound Objects and Body Motion », *ACM Transactions on Applied Perception*, n° 10.2, 2013, p. 1-22.

schaeffer, Pierre, *Traité des objets musicaux*, Paris, Seuil, 1977.

schutz, Michael et Lipscomb, Scott, « Hearing Gestures, Seeing Music: Vision Influences Perceived Tone Duration », *Perception*, n° 36.6, 2007, p. 888-897.

sloboda, John A., *Exploring the Musical Mind: Cognition, Emotion, Ability, Function*, Oxford, Oxford University Press, 2005.

Thompson, Evan et stapleton, Mog, « Making Sense of Sense-making: Reflections on Enactive and Extended Mind Theories », *Topoi*, n° 28.1, 2009, p. 23-30.

Varela, Francisco, Thompson, Evan et Rosch, Eleanor, *The Embodied Mind: Cognitive Science and Human Experience*, Cambridge (Mass.), MIT Press, 1991.

visi, Federico, schramm, Rodrigo et Miranda, Eduardo R., « Gesture in Performance with Traditional Musical Instruments and Electronics: Use of Embodied Music Cognition and Multimodal Motion Capture to Design Gestural Mapping Strategies », actes du colloque de Paris (juin 2014), *MOCO 14: Proceedings of the International Workshop on Movement and Computing*, New York, Association for Computing Machinery, 2014.

vuoskoski, Jonna K., Thompson, Marc R., clarke, Eric F. et Spence, Charles, « Crossmodal Interactions in the Perception of Expressivity in Musical Performance », *Attention, Perception, & Psychophysics*, n° 76.2, 2014, p. 591-604.

## NOTES

<footnote n="1">1. Cf. Marc Leman et al., « What Is Embodied Music Cognition ? » in Rolf Bader (dir.), *Springer Handbook of Systematic Musicology*, Cham (Suisse), Springer-Verlag, 2018, p. 747-760.</footnote>

<footnote n="2">2. La notion d'« énaction » a été introduite par le biologiste et philosophe chilien Francisco Varela au début des années 1990 pour définir une façon de concevoir la cognition à partir de l'interaction dynamique entre l'organisme vivant et son environnement. Voir Francisco Varela, Evan Thompson et Eleanor Rosch, *The Embodied Mind: Cognitive Science and Human Experience*, Cambridge (Mass.), MIT Press, 1991.</footnote>
3. Ces caractères sont autrement regroupés sous le label « *4E cognition* » (*embodied, embedded, extended, enactive*). Voir Richard Menary, « Introduction to the special issue on 4E cognition », *Phenomenology and the Cognitive Sciences*, n° 9, vol. 4, 2010, p. 459-463.

4. Voir Eduardo R. Miranda et Marcelo M. Wanderley, *New digital musical instruments: control and interaction beyond the keyboard*, Middleton (Wisconsin), A-R Editions, 2006.

5. Selon les approches computationnelles ou cognitivistes, la perception sonore est souvent relayée par les operations purement mentales ayant lieu dans le cerveau. En insistant sur la seule dimension cognitive, l'écoute est ainsi réduite soit à des structures symboliques préalables – voir John A. Sloboda, *Exploring the Musical Mind: Cognition, Emotion, Ability, Function*, Oxford, Oxford University Press, 2005 – soit aux processus cognitifs de haut niveau comme le langage – voir Ray Jackendoff, *Languages of the Mind: Essays on Mental Representation*, Cambridge (Mass.), MIT Press, 1992. Je me réfère tout particulièrement à la théorie générative de la musique – soit aux seules réactions mécaniques de la physiologie humaine – voir, parmi d'autres, Albert S. Bregman, *Auditory Scene Analysis: The Perceptual Organization of Sound*, Cambridge (Mass.), MIT Press, 1990.

6. Voir Micheline Lesaffre, Pieter-Jan Maes et Marc Leman (dir.), *The Routledge Companion to Embodied Music Interaction*, New York, Routledge, 2017, p. 1-10.

7. Marc Leman, *Embodied Music Cognition and Mediation Technology*, Cambridge (Mass.), MIT Press, 2008.

8. Selon Jackendoff, par exemple, la perception et le traitement cognitif de la musique et du langage sont régis par des fonctionnements similaires se basant sur une grammaire spécifique : les deux catégories de stimuli impliquaient la construction de structures abstraites à partir d'événements purement auditifs. Ainsi, une grammaire musicale englobe certaines règles qui définissent les structures musicales qui sont accessibles à l'auditeur et relie ces structures à leur équivalent acoustique : voir Ray Jackendoff, *Languages of the Mind: Essays on Mental Representation*, Cambridge (Mass.), MIT Press, 1992, p. 125-156.

9. Marc Leman, *Embodied Music Cognition and Mediation Technology*, Cambridge (Mass.), MIT Press, 2008, p. 13, 43-45 et 137-138.

10. Pieter-Jan Maes et al., « The Coupling of Action and Perception in Musical Meaning Formation », *Music Perception*, n° 32.1, 2014, p. 67-84.

11. Voir Michel Bernard, *De la création chorégraphique*, Pantin, CND, 2001, p. 90-93, et Maurice Merleau-Ponty, *Le Visible et l'invisible*, Paris, Gallimard, 1961, p. 170-201.

12. Marc Leman et Pieter-Jan Maes, « The Role of Embodiment in the Perception of Music », *Empirical Musicology Review*, n° 9.3-4, 2015, p. 236-246.

13. Rolf I. Godøy, « Motor-Mimetic Music Cognition », *Leonardo*, n° 36. 4, 2003, p. 317-319.

14. Marc Leman, *Embodied Music Cognition and Mediation Technology*, Cambridge (Mass.), MIT Press, 2008, p. 95-97.

15. Arnie Cox, « Embodying Music: Principles of the Mimetic Hypothesis », *Music Theory Online*, n° 17.2, 2011, p. 1-24. [En ligne] http://www.mtosmt.org/issues/mto.11.17.2/mto.11.17.2.cox.html [consulté le 4 novembre 2018].

16. Voir Marc Leman et al., « Sharing Musical Expression through Embodied Listening: A Case Study Based on Chinese Guqin Music », *Music Perception*, n° 26. 3, 2009, p. 263-278.

17. Voir, parmi d'autres, Jonna K. Vuoskoski et al., « Crossmodal Interactions in the Perception of Expressivity in Musical Performance », *Attention, Perception, & Psychophysics*, n° 76.2, 2014, p. 591-604.

18. Kristian Nymoen et al., « Searching for Cross-Individual Relationships between Sound and Movement Features using an SVM Classifier », *NIME*, n° 10, 2010, p. 259-262.

19. Pierre Schaeffer, *Traité des objets musicaux* [1966], Seuil, Paris, 1977.

20. Kristian Nymoen et al., « Analyzing Correspondence between Sound Objects and Body Motion », *ACM Transactions on Applied Perception*, n° 10. 2, 2013, p. 1-22.
21. Pietr-Jan Maes et al., « Action-Based Effects on Music Perception », *Frontiers in Psychology*, n° 4, 2014.

22. Evan Thompson et Mog Stapleton, « Making Sense of Sense-making: Reflections on Enactive and Extended Mind Theories », *Topoi*, n° 28. 1, 2009, p. 23-30.

23. Jakub R. Matyja et Andrea Schiavio, « Enactive Music Cognition: Background and Research Themes », *Constructivist Foundations*, n° 8.3, 2013, p. 351-357.

24. James J. Gibson, « The Theory of Affordances », in Robert Shaw et John Bransford (dir), *Perceiving, Acting, and Knowing: Toward an Ecological Psychology*, New Jersey, Lawrence Erlbaum Associates, 1977, p. 67-82.

25. Eric F. Clarke, *Ways of Listening: An Ecological Approach to the Perception of Musical Meaning*, New York, Oxford University Press, 2005.

26. Rolf I. Gødoy, « Gestural Affordances of Musical Sound », in Rolf I. Gødoy et Marc Leman (dir.), *Musical Gestures: Sound, Movement and Meaning*, Londres/New York, Routledge, 2010, p. 103-125.

27. Michael Schutz et Scott Lipscomb, « Hearing Gestures, Seeing Music: Vision Influences Perceived Tone Duration », *Perception*, n° 36.6, 2007, p. 888-897.

28. Federico Visi et al., « Gesture in Performance with Traditional Musical Instruments and Electronics: Use of Embodied Music Cognition and Multimodal Motion Capture to Design Gestural Mapping Strategies », actes du colloque de Paris (juin 2014), *MOCO 14: Proceedings of the International Workshop on Movement and Computing*, New York, Association for Computing Machinery, 2014.

29. Pieter-Jan Maes et al., « A Conceptual Framework for Music-based Interaction Systems » in Rolf Bader (dir.), *Springer Handbook of Systematic Musicology*, Cham (Suisse), Springer-Verlag, 2018, p. 793-804.

## RÉSUMÉS

Depuis l'antiquité, la pensée philosophique et scientifique occidentale a conçu l'audition comme un processus subordonné à la connaissance rationnelle et, plus récemment, aux mécanismes cognitifs de haut niveau. Dans le sillage de cette tradition, le sonore et l'écoute ont été représentés comme des phénomènes essentiellement *désincarnés*. Cependant, dans les années récentes, l'émergence d'une perspective incarnée au sein de l'étude de la musique a permis de repenser l'écoute en relation au mouvement corporel. En s'appuyant sur un ensemble d'approches incarnées – tels que la théorie mimétique-motrice, la cognition musicale incarnée, l'étude du geste musical et les théories écologiques – cet article essaie de présenter un cadre épistémologique général permettant de repositionner le processus auditif dans sa dimension proprement corporelle, énactive et multimodale.

## INDEX

**Mots-clés** : cognition musicale incarnée, technologies de mouvement, corps sonore, multimodalité, action, perception
# AUTEUR

ANDREA GIOMI

Andrea Giomi est artiste sonore, performeur et chercheur. Il est actuellement postdoctorant au Performance Laboratory de l'Université Grenoble-Alpes où il développe une recherche sur la sonification du mouvement. Titulaire d'un doctorat en musique et en arts de la scène à l'Université Côté d'Azur de Nice et à l'Université Alma Mater de Bologne. Ses recherches s'orientent sur la cognition musicale incarnée, l'interaction homme-machine, les technologies de captation du mouvement, l'esthétique des arts numériques, la phénoménologie et la théorie de la perception. Il est également performeur et producteur de musique électronique. Comme artiste, ses intérêts portent sur les relations émergentes entre corps, son et environnements technologiques.