# Allers-retours vers le sonore : remarques sur la sonification comme interprétation

Christophe Robert

► To cite this version:

Christophe Robert. Allers-retours vers le sonore: remarques sur la sonification comme interprétation. Presses Universitaires de Bordeaux. L'art d'interpréter l'art - Les Cahiers d'Artes n°18, Presses Universitaires de Bordeaux, pp. 117-138, 2023, Les Cahiers d'Artes, 979-10-300-0865-4. hal-04572678

HAL Id: hal-04572678

https://hal.science/hal-04572678

Submitted on 11 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Allers-retours vers le sonore: remarques sur la sonification comme interprétation

Christophe Robert

► To cite this version:

Christophe Robert. Allers-retours vers le sonore: remarques sur la sonification comme interprétation. Presses Universitaires de Bordeaux. L'art d'interpréter l'art - Les Cahiers d'Artes n°18, Presses Universitaires de Bordeaux, pp. 117-138, 2023, Les Cahiers d'Artes, 979-10-300-0865-4. hal-04572678

HAL Id: hal-04572678

https://hal.science/hal-04572678v1

Submitted on 11 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Christophe ROBERT

Doctorant recherche/création, Université Côte d'Azur : CTEL (Centre Transdisciplinaire d'Épistémologie de la Littérature et des arts), Conservatoire de Nice.

## Allers-retours vers le sonore : remarques sur la sonification comme interprétation

> « Mon âme, en toute occasion,
> Développe le vrai caché sous l'apparence ;
> Je ne suis point d'intelligence
> Avecque mes regards peut-être un peu trop prompts,
> Ni mon oreille, lente à m'apporter les sons »

Jean de La Fontaine, *Un animal dans la lune*.

La sonification, procédé théorisé au début des années 1990¹, consiste à produire des formes et morphologies sonores à partir de données qui, le plus souvent, échappent à la perception, de données pour ainsi dire abstraites ; à ce titre, on pourrait la définir simplement comme le pendant sonore de la visualisation graphique des données. Originellement à usage scientifique et technique, elle a très tôt été détournée à des fins artistiques. L'installation de Natacha Nisic *Indice Nikkei* (2003) invite ainsi le spectateur à prendre place dans un fauteuil pour écouter la soprano Donatienne Michel-Dansac interpréter sous forme de vocalises les courbes de la bourse, en une sorte de karaoké conceptuel.

C'est ici, plus spécifiquement, de sonification d'images qu'il s'agira – sujet plus intrinsèquement problématique, les œuvres en question ne reposant pas sur des données abstraites, mais sur des contenus déjà pleinement perceptibles, autonomes et incarnés : des images. Aussi de telles œuvres portent-elles d'emblée un paradoxe : chercher à rendre perceptible ce qui l'est déjà. Quels enjeux peuvent motiver un chemin en apparence si détourné ?

Du même coup, s' invite la question de l' interprétation : sonifier des données abstraites, c'est rendre perceptible, tandis que sonifier des images (ou des textes, ou quelconque objet appartenant déjà au domaine du sensible) pour les restituer dans un autre médium artistique, c'est déjà interpréter.

Nous revisiterons un corpus volontiers hétérogène, constitué tant d'œuvres musicales que d'œuvres représentatives de ce que l'on qu'on nomme parfois – appellation discutable comme la schize à laquelle elle renvoie – « art sonore ». Or de ce point de vue, un premier constat s'impose, celui d'une dissymétrie du regard porté sur la sonification, au sens large, par l'art contemporain et

<footnote n="1">1 Gregory Kramer, *Auditory Display: Sonification, Audification, and Auditory Interfaces*. Reading, Addison-Wesley, 1994.</footnote>
Christophe ROBERT

Doctorant recherche/création, Université Côte d'Azur : CTEL (Centre Transdisciplinaire d'Épistémologie de la Littérature et des arts), Conservatoire de Nice.

Allers-retours vers le sonore : remarques sur la sonification comme interprétation

« Mon âme, en toute occasion,
Développe le vrai caché sous l'apparence ;
Je ne suis point d'intelligence
Avecque mes regards peut-être un peu trop prompts,
Ni mon oreille, lente à m'apporter les sons »

Jean de La Fontaine, *Un animal dans la lune*.

La sonification, procédé théorisé au début des années 1990¹, consiste à produire des formes et
morphologies sonores à partir de données qui, le plus souvent, échappent à la perception, de
données pour ainsi dire abstraites ; à ce titre, on pourrait la définir simplement comme le pendant
sonore de la visualisation graphique des données. Originellement à usage scientifique et technique,
elle a très tôt été détournée à des fins artistiques. L'installation de Natacha Nisic *Indice Nikkei*
(2003) invite ainsi le spectateur à prendre place dans un fauteuil pour écouter la soprano Donatienne
Michel-Dansac interpréter sous forme de vocalises les courbes de la bourse, en une sorte de karaoké
conceptuel.

C'est ici, plus spécifiquement, de sonification d'images qu'il s'agira – sujet plus
intrinsèquement problématique, les œuvres en question ne reposant pas sur des données abstraites,
mais sur des contenus déjà pleinement perceptibles, autonomes et incarnés : des images. Aussi de
telles œuvres portent-elles d'emblée un paradoxe : chercher à rendre perceptible ce qui l'est déjà.
Quels enjeux peuvent motiver un chemin en apparence si détourné ?

Du même coup, s’ invite la question de l’ interprétation : sonifier des données abstraites, c’est
rendre perceptible, tandis que sonifier des images (ou des textes, ou quelconque objet appartenant
déjà au domaine du sensible) pour les restituer dans un autre médium artistique, c’est déjà
interpréter.

Nous revisiterons un corpus volontiers hétérogène, constitué tant d'œuvres musicales que d'œuvres représentatives de ce que l'on qu'on nomme parfois – appellation discutable comme la schize à laquelle elle renvoie – « art sonore ». Or de ce point de vue, un premier constat s'impose, celui d'une dissymétrie du regard porté sur la sonification, au sens large, par l'art contemporain et

<footnote n="1">1 Gregory Kramer, *Auditory Display: Sonification, Audification, and Auditory Interfaces*. Reading, Addison-Wesley, 1994.</footnote>
par la musique contemporaine : jugée suspecte par beaucoup de compositeurs, alors qu'elle est relativement répandue chez les artistes qui se préoccupent de son (au point d'être presque un poncif dans les arts sonores) :

> Since the data typically used for data sonification has little of any inherent musical logic, the normalized output from sonification generally has little musical use. However, composers can utilize sonification for short passages of music within larger sections or movements, where random or irrelevant sounding music seems appropriate<fnref n="2" />.

Chez le musicien, cela trahit sans doute, confusément, une défiance vis-à-vis de toutes références formelles extra-musicales, réserve exprimée dans une phrase bien connue de Pierre Boulez : « La transcription directe d'un univers dans un autre ne peut être que décevante, parce qu'elle ne tient pas compte des lois propres à chaque univers. »<fnref n="3" /> Il y a probablement, à l'intérieur de chaque musicien, un petit Boulez essentialiste qui reste convaincu qu'on ne trouve la quintessence de l'art que dans l'autonomie, voire l'autarcie, du médium choisi... Ce quasi-fétichisme de l'art pur, d'une certaine *autotélie* du musical, est peut-être l'un des ultimes points de divergence entre la musique contemporaine et l'art contemporain, qui de son côté a fait son deuil depuis longtemps de la pureté des médiums. Cette intervention part donc également de ma propre réticence de compositeur, et nourrit le dessein de repenser mon insatisfaction face à ces techniques.

Les œuvres évoquées donneront un aperçu des différentes manières dont les artistes s'approprient la technique de la sonification d'images, en s'articulant autour de trois modèles de représentation du sonore, de trois conventions qui rendent possibles ces mises en correspondance du visuel et du sonore, de l'espace et de la durée :

1. Le modèle de la partition

2. Le modèle du spectrogramme

3. Le modèle de l'encodage

Une hypothèse nous guidera, et nous aidera peut-être à penser ces créations aux partis pris si problématiques : la sonification est une interprétation dans la triple acception du mot, son sens performatif, propre au monde des arts vivants, son sens de traduction et son sens herméneutique.

## Le modèle de la partition

Il est toujours scabeux de prétendre désigner un “premier” en histoire de l’art, mais s’agissant de la sonification, l’un des antécédents probables serait sans doute le compositeur brésilien Heitor Villa-Lobos (1887 - 1959), par sa pièce *New York Sky-Line Melody* pour piano (1939), plus tard orchestrée par le compositeur.

La pièce repose sur la technique de la “millimétrisation”<fnref n="4" />, inventée et enseignée par Joseph Schillinger (1895-1943), musicien et pédagogue ukrainien exilé à New York qui formera entre autres George Gershwin ou Glenn Miller avec sa méthode, faisant une large place à la mathématisation des techniques et des formes musicales. La “millimétrisation” consistait à choisir une image, de préférence un paysage, et de la transférer sur du papier millimétré en vue de générer

<footnote n="2">2 David Cope (préfacier), *The OM composer's book. Volume two*, Paris, Delatour, 2008, p. XI.</footnote>

<footnote n="3">3 « Le geste du compositeur », in Pierre Boulez, *Jalons (pour une décennie) : dix ans d'enseignement au Collège de France, 1978-1988*, Paris, Christian Bourgois, 1989.</footnote>

<footnote n="4">4 Carlos Kater, « Villa-Lobos e a "Melodia das montanhas": Contribuição à revisão crítica da pedagogia musical brasileira », *Latin American Music Review / Revista de Música Latinoamericana*, Vol. 5, N°1, pp. 102-105.</footnote>
par la musique contemporaine : jugée suspecte par beaucoup de compositeurs, alors qu'elle est relativement répandue chez les artistes qui se préoccupent de son (au point d'être presque un poncif dans les arts sonores) :

> Since the data typically used for data sonification has little of any inherent musical logic, the normalized output from sonification generally has little musical use. However, composers can utilize sonification for short passages of music within larger sections or movements, where random or irrelevant sounding music seems appropriate<fnref n="2" />.

Chez le musicien, cela trahit sans doute, confusément, une défiance vis-à-vis de toutes références formelles extra-musicales, réserve exprimée dans une phrase bien connue de Pierre Boulez : « La transcription directe d'un univers dans un autre ne peut être que décevante, parce qu'elle ne tient pas compte des lois propres à chaque univers. »<fnref n="3" /> Il y a probablement, à l'intérieur de chaque musicien, un petit Boulez essentialiste qui reste convaincu qu'on ne trouve la quintessence de l'art que dans l'autonomie, voire l'autarcie, du médium choisi... Ce quasi-fétichisme de l'art pur, d'une certaine *autotélie* du musical, est peut-être l'un des ultimes points de divergence entre la musique contemporaine et l'art contemporain, qui de son côté a fait son deuil depuis longtemps de la pureté des médiums. Cette intervention part donc également de ma propre réticence de compositeur, et nourrit le dessein de repenser mon insatisfaction face à ces techniques.

Les œuvres évoquées donneront un aperçu des différentes manières dont les artistes s'approprient la technique de la sonification d'images, en s'articulant autour de trois modèles de représentation du sonore, de trois conventions qui rendent possibles ces mises en correspondance du visuel et du sonore, de l'espace et de la durée :

1. Le modèle de la partition

2. Le modèle du spectrogramme

3. Le modèle de l'encodage

Une hypothèse nous guidera, et nous aidera peut-être à penser ces créations aux partis pris si problématiques : la sonification est une interprétation dans la triple acception du mot, son sens performatif, propre au monde des arts vivants, son sens de traduction et son sens herméneutique.

## Le modèle de la partition

Il est toujours scabeux de prétendre désigner un “premier” en histoire de l’art, mais s’agissant de la sonification, l’un des antécédents probables serait sans doute le compositeur brésilien Heitor Villa-Lobos (1887 - 1959), par sa pièce *New York Sky-Line Melody* pour piano (1939), plus tard orchestrée par le compositeur.

La pièce repose sur la technique de la “millimétrisation”<fnref n="4" />, inventée et enseignée par Joseph Schillinger (1895-1943), musicien et pédagogue ukrainien exilé à New York qui formera entre autres George Gershwin ou Glenn Miller avec sa méthode, faisant une large place à la mathématisation des techniques et des formes musicales. La “millimétrisation” consistait à choisir une image, de préférence un paysage, et de la transférer sur du papier millimétré en vue de générer

<footnote n="2">2 David Cope (préfacier), *The OM composer's book. Volume two*, Paris, Delatour, 2008, p. XI.</footnote>

<footnote n="3">3 « Le geste du compositeur », in Pierre Boulez, *Jalons (pour une décennie) : dix ans d'enseignement au Collège de France, 1978-1988*, Paris, Christian Bourgois, 1989.</footnote>

<footnote n="4">4 Carlos Kater, « Villa-Lobos e a "Melodia das montanhas": Contribuição à revisão crítica da pedagogia musical brasileira », *Latin American Music Review / Revista de Música Latinoamericana*, Vol. 5, N°1, pp. 102-105.</footnote>
des phrases musicales, le vertical se faisant intervalle (du plus grave, en bas de l'image, au plus aigu, en haut) et l'horizontal se faisant durée<fnref n="5" />. Elle est principalement connue par l'usage qu'en fait Villa-Lobos dans *New York Sky-Line Melody*, ainsi que dans sa 6ᵉ symphonie (1944), sous-titrée "Sur le contour des montagnes du Brésil"⁶, dont le thème principal est dérivé d'une image des montagnes entourant la ville de Belo Horizonte.

<figure><img src="image_2.png" /><figcaption>Fig.1. Reconstitution du schéma “millimétrisé” de *New York Sky-Line Melody*.</figcaption></figure>

Ouvrons ici une première incise sur l'interprétation. Le premier sens du mot auquel on songe dans le contexte qui est le nôtre est naturellement celui qui décrit l'action de passer de la partition, langage symbolique, à sa réalisation acoustique. Quoi de plus légitime alors que les formes premières de la sonification aient consisté à décalquer virtuellement sur l'image – sur le monde – une partition imaginaire ?

Dès lors, de même qu'à l'interprète s'offre d'infinies alternatives face au texte musical (comment le *découper*, le *phraser...*), le compositeur doit, pour rendre “expressive” la ligne

<footnote n="5">5 « one needs a photograph of a mountain, landscape or a hill, whose contours are transferred onto graph paper. One then writes vertically in the margin, working upward through 85 tones in chromatic order (i.e., of the tempered scale) from C to C. » Eero Tarasti, *Heitor Villa-Lobos: The Life and Works, 1887-1959*, Jefferson, McFarland, 1995, p. 376.
6 *Symphonie n°6, Sobre a linha das montanhas do Brasil*.</footnote>
des phrases musicales, le vertical se faisant intervalle (du plus grave, en bas de l'image, au plus aigu, en haut) et l'horizontal se faisant durée<fnref n="5" />. Elle est principalement connue par l'usage qu'en fait Villa-Lobos dans *New York Sky-Line Melody*, ainsi que dans sa 6ᵉ symphonie (1944), sous-titrée "Sur le contour des montagnes du Brésil"⁶, dont le thème principal est dérivé d'une image des montagnes entourant la ville de Belo Horizonte.

<figure><img src="image_2.png" /><figcaption>Fig.1. Reconstitution du schéma “millimétrisé” de *New York Sky-Line Melody*.</figcaption></figure>

Ouvrons ici une première incise sur l'interprétation. Le premier sens du mot auquel on songe dans le contexte qui est le nôtre est naturellement celui qui décrit l'action de passer de la partition, langage symbolique, à sa réalisation acoustique. Quoi de plus légitime alors que les formes premières de la sonification aient consisté à décalquer virtuellement sur l'image – sur le monde – une partition imaginaire ?

Dès lors, de même qu'à l'interprète s'offre d'infinies alternatives face au texte musical (comment le *découper*, le *phraser...*), le compositeur doit, pour rendre “expressive” la ligne

<footnote n="5">5 « one needs a photograph of a mountain, landscape or a hill, whose contours are transferred onto graph paper. One then writes vertically in the margin, working upward through 85 tones in chromatic order (i.e., of the tempered scale) from C to C. » Eero Tarasti, *Heitor Villa-Lobos: The Life and Works, 1887-1959*, Jefferson, McFarland, 1995, p. 376.
6 *Symphonie n°6, Sobre a linha das montanhas do Brasil*.</footnote>
géométrique brute, mettre en œuvre tout un arsenal d'outils musicaux dont le choix ne relève pas directement du schéma générateur, mais qui contribueront à lui donner un sens dans ce nouveau contexte. Ainsi, seul le domaine des hauteurs sera ici contrôlé par le dessin irrégulier des gratte-ciel new-yorkais, et encore, avec une certaine licence ("monnayage" de certaines tenues en notes répétées, accords ponctuant certaines articulations...). Les autres dimensions (phrasé, nuances dynamiques...) sont déterminées par le compositeur indépendamment de l'image originelle.

Citer le nom de Villa-Lobos est non seulement une occasion de donner une épaisseur historique à notre propos, mais aussi de révéler que le procédé, loin d'être l'apanage des avant-gardes les plus expérimentales, peut être envisagé comme pure heuristique, pleinement compatible avec des principes esthétiques pré-établis, et en l'occurrence s'inscrire dans un langage tonal. De fait, le style de *New York Sky-line Melody* ne diffère guère des autres pièces du compositeur, qui prend soin notamment, pour assurer l'assise tonale du langage, de conserver à la "ligne" de basse (le mot n'a jamais été aussi bien choisi) le rôle fonctionnel qui lui est ordinairement dévolu dans la construction du discours harmonique.

La méthode de Schillinger passe par un processus de schématisation de l'image originale, de modélisation en une épure qui réduit le monde à un contour, à une simple dimension *linéaire*<fnref n="7" />. Ici nous "percevons" l'image, sans volume ni profondeur, depuis un trou de serrure : le point, la ligne. Un peu à la manière des étranges entités imaginées par Edwin Abbott Abbott dans son roman allégorique *Flatland*, qui évoluent dans un monde en deux dimensions. Mais tout comme le protagoniste principal du texte d'Abbott, nous pouvons soupçonner que quelque chose nous échappe, qu'une réalité plus vaste, appartenant à une dimension supérieure, est présente sans que nous puissions entièrement en prendre connaissance.

Paysage de gratte-ciel et relief montagneux, dès lors, s'actualisent dans une même *indicialité* : *Panorama*, œuvre pour trombone et piano composée par Alvin Lucier en 1993, prend ainsi pour point de départ une représentation des Alpes suisses<fnref n="8" /> sous la forme, elle-même schématique (et thématisée dans le titre) d'un panorama. Comme Villa-Lobos, Lucier superpose virtuellement à l'image les lignes horizontales du papier à musique. Les hauteurs des montagnes, exprimées en mètres, sont divisées par 8 afin de produire des fréquences en Hertz, et la distance qui sépare les sommets sur le dessin, mesurée en millimètres, est transposée en secondes, ce qui conduit à une durée totale de 16 minutes.

À la différence de Villa-Lobos, Lucier laisse le processus à nu, sans l'adultérer ni recourir à des partis pris esthétiques externes. Seule compte la transposition de la rythmicité propre, et supposément harmonieuse en soi, du paysage contemplé.

<footnote n="7">7 Toute naïve qu'elle soit, cette technique montre que le compositeur s'intéresse à une image (les lignes des gratte-ciels) qui se présente d'emblée par plans superposés, par lignes simultanées. Le paysage est pour ainsi dire en lui-même polyphonique, contrapuntique.</footnote>

<footnote n="8">8 D'autres montagnes, suisses également, se cachent dans une œuvre où on ne les attendrait pas : *Gruppen* (1955 - 1957) de Karlheinz Stockhausen, à propos de laquelle le compositeur révèle, 20 ans après la création, que les enveloppes des différentes sections sont une transposition du panorama de montagnes vu depuis sa fenêtre à Paspels en Suisse. Avatar du programme caché où le compositeur cache un morceau d'autobiographie dans sa composition, grande tradition de la musique romantique allemande s'il en fut... À ce titre, la dimension autobiographique des paysages convoqués par Villa-Lobos (la ville de New York, les montagnes de son Brésil natal) n'est sans doute pas plus étrangère aux visées du compositeur, comme une façon d'inscrire en filigrane quelque chose de l'ordre de l'intime, un paysage emblématique, comme un petit précipité d'existence.</footnote>
géométrique brute, mettre en œuvre tout un arsenal d'outils musicaux dont le choix ne relève pas directement du schéma générateur, mais qui contribueront à lui donner un sens dans ce nouveau contexte. Ainsi, seul le domaine des hauteurs sera ici contrôlé par le dessin irrégulier des gratte-ciel new-yorkais, et encore, avec une certaine licence ("monnayage" de certaines tenues en notes répétées, accords ponctuant certaines articulations...). Les autres dimensions (phrasé, nuances dynamiques...) sont déterminées par le compositeur indépendamment de l'image originelle.

Citer le nom de Villa-Lobos est non seulement une occasion de donner une épaisseur historique à notre propos, mais aussi de révéler que le procédé, loin d'être l'apanage des avant-gardes les plus expérimentales, peut être envisagé comme pure heuristique, pleinement compatible avec des principes esthétiques pré-établis, et en l'occurrence s'inscrire dans un langage tonal. De fait, le style de *New York Sky-line Melody* ne diffère guère des autres pièces du compositeur, qui prend soin notamment, pour assurer l'assise tonale du langage, de conserver à la "ligne" de basse (le mot n'a jamais été aussi bien choisi) le rôle fonctionnel qui lui est ordinairement dévolu dans la construction du discours harmonique.

La méthode de Schillinger passe par un processus de schématisation de l'image originale, de modélisation en une épure qui réduit le monde à un contour, à une simple dimension *linéaire*<fnref n="7" />. Ici nous "percevons" l'image, sans volume ni profondeur, depuis un trou de serrure : le point, la ligne. Un peu à la manière des étranges entités imaginées par Edwin Abbott Abbott dans son roman allégorique *Flatland*, qui évoluent dans un monde en deux dimensions. Mais tout comme le protagoniste principal du texte d'Abbott, nous pouvons soupçonner que quelque chose nous échappe, qu'une réalité plus vaste, appartenant à une dimension supérieure, est présente sans que nous puissions entièrement en prendre connaissance.

Paysage de gratte-ciel et relief montagneux, dès lors, s'actualisent dans une même *indicialité* : *Panorama*, œuvre pour trombone et piano composée par Alvin Lucier en 1993, prend ainsi pour point de départ une représentation des Alpes suisses<fnref n="8" /> sous la forme, elle-même schématique (et thématisée dans le titre) d'un panorama. Comme Villa-Lobos, Lucier superpose virtuellement à l'image les lignes horizontales du papier à musique. Les hauteurs des montagnes, exprimées en mètres, sont divisées par 8 afin de produire des fréquences en Hertz, et la distance qui sépare les sommets sur le dessin, mesurée en millimètres, est transposée en secondes, ce qui conduit à une durée totale de 16 minutes.

À la différence de Villa-Lobos, Lucier laisse le processus à nu, sans l'adultérer ni recourir à des partis pris esthétiques externes. Seule compte la transposition de la rythmicité propre, et supposément harmonieuse en soi, du paysage contemplé.

<footnote n="7">7 Toute naïve qu'elle soit, cette technique montre que le compositeur s'intéresse à une image (les lignes des gratte-ciels) qui se présente d'emblée par plans superposés, par lignes simultanées. Le paysage est pour ainsi dire en lui-même polyphonique, contrapuntique.</footnote>

<footnote n="8">8 D'autres montagnes, suisses également, se cachent dans une œuvre où on ne les attendrait pas : *Gruppen* (1955 - 1957) de Karlheinz Stockhausen, à propos de laquelle le compositeur révèle, 20 ans après la création, que les enveloppes des différentes sections sont une transposition du panorama de montagnes vu depuis sa fenêtre à Paspels en Suisse. Avatar du programme caché où le compositeur cache un morceau d'autobiographie dans sa composition, grande tradition de la musique romantique allemande s'il en fut... À ce titre, la dimension autobiographique des paysages convoqués par Villa-Lobos (la ville de New York, les montagnes de son Brésil natal) n'est sans doute pas plus étrangère aux visées du compositeur, comme une façon d'inscrire en filigrane quelque chose de l'ordre de l'intime, un paysage emblématique, comme un petit précipité d'existence.</footnote>
La méthode de sonification par partition projette l'auditeur dans l'image, transformant de facto toute image sonifiée, quelle qu'elle soit, en un paysage à visiter, à arpenter, avec ses dénivelés, ses plaines<fnref n="9" />, nous procurant par la temporalisation un sentiment de rapprochement, de proximité lilliputienne avec l'image. Je dis "quelle qu'elle soit", car bien sûr, les œuvres choisies ici le sont dans un souci d'homogénéité et d'efficacité de la démonstration, et l'on pourrait citer d'autres instances où l'image sonifiée est un portrait, une silhouette, un ciel étoilé, une carte routière... pour citer des exemples empruntés à l'œuvre de John Cage<fnref n="10" />, particulièrement riche en sonifications.

## Le modèle du spectrogramme

Une deuxième stratégie repose sur la représentation du son en spectrogramme (ou sonagramme). Ce mode de représentation est tridimensionnel : le temps figuré en abscisse, les fréquences en ordonnée, et l'intensité de chaque fréquence par la graduation de couleur, tentant ainsi de rendre visible le contenu spectral du son. En d'autres termes, lire une image comme s'il s'agissait d'un spectrogramme revient à interpréter les pixels situés en bas de l'image comme les basses fréquences, ceux situés en haut comme les aigus, et à appliquer une dynamique plus ou moins grande aux sons selon que la partie de l'image sera plus ou moins sombre, via des techniques de synthèse additive.

Si la première méthode permettait de sonifier un dessin, un tracé linéaire, celle-ci se prête à la photographie, mais uniquement en noir et blanc.

Aujourd'hui, les logiciels les plus utilisés pour la sonification d'image sont sans doute *MetaSynth* et *Photosounder*. Des librairies sont également disponibles dans des environnements de création plus généralistes tels que Max/MSP ou OpenMusic<fnref n="11" />. Il existe même, à l'attention des non-musiciens, des applications pour smartphones telles que *The vOICe*, qui promet à ses utilisateurs non-voyants (ou voyants) de "voir avec les oreilles"<fnref n="12" />. Toutes ces technologies fonctionnent sur le modèle de la re-synthèse par spectrogramme.

À l'écoute, l'image n'est pourtant pas plus intelligible en tant que telle qu'avec la première méthode, peut-être même moins. Si vous vous livrez à l'expérience d'écouter des sonifications par sonagrammes de formes simples, il n'est pas sûr que vous soyez spontanément capables de

<footnote n="9">9 « Quand vous écoutez, sans le savoir, vous voyagez toujours avec les sons. Autrement, vous ne pourriez pas les suivre. C'est comme un véhicule, comme un avion. Vous écoutez un son, le son monte, vous êtes obligé de monter avec lui, autrement vous ne pourriez plus le suivre. » Karlheinz Stockhausen, conférence lors des Rencontres internationales d'art contemporain de la Rochelle, diffusée la première fois le 27 août 1974 sur France Culture.</footnote>

<footnote n="10">10 John Cage, dans son souci d'accueillir la vie, le *non-musical* dans son travail, développe une conception de la partition comme d'un instrument de transformation d'à peu près tout en musique. Avec du paysager aussi : du plan d'un jardin zen de Kyoto, dans *Ryoanji*, au ciel étoilé dans *Atlas Eclipticalis*, mais pas seulement : sonification d'un portrait de Henry David Thoreau (*Solo for voice 5*) ou du profil de Duchamp (*Solo for voice 65*), et une route sur une carte de Concorde (*Solo for voice 3*).</footnote>

<footnote n="11">11 Librairie Pixels, http://repmus.ircam.fr/openmusic/libraries</footnote>

<footnote n="12">12 « Voir avec vos oreilles! The vOICe pour Android projette des vues prises en direct par une caméra en paysages sonores, offrant une réalité augmentée pour les aveugles par substitution sensorielle et vision informatique. [...] Les utilisateurs voyants peuvent tout simplement s'amuser à jouer le jeu de voir-sans-la vue. »
https://play.google.com/store/apps/details?id=vOICe.vOICe&hl=fr</footnote>
La méthode de sonification par partition projette l'auditeur dans l'image, transformant de facto toute image sonifiée, quelle qu'elle soit, en un paysage à visiter, à arpenter, avec ses dénivelés, ses plaines<fnref n="9" />, nous procurant par la temporalisation un sentiment de rapprochement, de proximité lilliputienne avec l'image. Je dis "quelle qu'elle soit", car bien sûr, les œuvres choisies ici le sont dans un souci d'homogénéité et d'efficacité de la démonstration, et l'on pourrait citer d'autres instances où l'image sonifiée est un portrait, une silhouette, un ciel étoilé, une carte routière... pour citer des exemples empruntés à l'œuvre de John Cage<fnref n="10" />, particulièrement riche en sonifications.

## Le modèle du spectrogramme

Une deuxième stratégie repose sur la représentation du son en spectrogramme (ou sonagramme). Ce mode de représentation est tridimensionnel : le temps figuré en abscisse, les fréquences en ordonnée, et l'intensité de chaque fréquence par la graduation de couleur, tentant ainsi de rendre visible le contenu spectral du son. En d'autres termes, lire une image comme s'il s'agissait d'un spectrogramme revient à interpréter les pixels situés en bas de l'image comme les basses fréquences, ceux situés en haut comme les aigus, et à appliquer une dynamique plus ou moins grande aux sons selon que la partie de l'image sera plus ou moins sombre, via des techniques de synthèse additive.

Si la première méthode permettait de sonifier un dessin, un tracé linéaire, celle-ci se prête à la photographie, mais uniquement en noir et blanc.

Aujourd'hui, les logiciels les plus utilisés pour la sonification d'image sont sans doute *MetaSynth* et *Photosounder*. Des librairies sont également disponibles dans des environnements de création plus généralistes tels que Max/MSP ou OpenMusic<fnref n="11" />. Il existe même, à l'attention des non-musiciens, des applications pour smartphones telles que *The vOICe*, qui promet à ses utilisateurs non-voyants (ou voyants) de "voir avec les oreilles"<fnref n="12" />. Toutes ces technologies fonctionnent sur le modèle de la re-synthèse par spectrogramme.

À l'écoute, l'image n'est pourtant pas plus intelligible en tant que telle qu'avec la première méthode, peut-être même moins. Si vous vous livrez à l'expérience d'écouter des sonifications par sonagrammes de formes simples, il n'est pas sûr que vous soyez spontanément capables de

<footnote n="9">9 « Quand vous écoutez, sans le savoir, vous voyagez toujours avec les sons. Autrement, vous ne pourriez pas les suivre. C'est comme un véhicule, comme un avion. Vous écoutez un son, le son monte, vous êtes obligé de monter avec lui, autrement vous ne pourriez plus le suivre. » Karlheinz Stockhausen, conférence lors des Rencontres internationales d'art contemporain de la Rochelle, diffusée la première fois le 27 août 1974 sur France Culture.</footnote>

<footnote n="10">10 John Cage, dans son souci d'accueillir la vie, le *non-musical* dans son travail, développe une conception de la partition comme d'un instrument de transformation d'à peu près tout en musique. Avec du paysager aussi : du plan d'un jardin zen de Kyoto, dans *Ryoanji*, au ciel étoilé dans *Atlas Eclipticalis*, mais pas seulement : sonification d'un portrait de Henry David Thoreau (*Solo for voice 5*) ou du profil de Duchamp (*Solo for voice 65*), et une route sur une carte de Concorde (*Solo for voice 3*).</footnote>

<footnote n="11">11 Librairie Pixels, http://repmus.ircam.fr/openmusic/libraries</footnote>

<footnote n="12">12 « Voir avec vos oreilles! The vOICe pour Android projette des vues prises en direct par une caméra en paysages sonores, offrant une réalité augmentée pour les aveugles par substitution sensorielle et vision informatique. [...] Les utilisateurs voyants peuvent tout simplement s'amuser à jouer le jeu de voir-sans-la vue. »
https://play.google.com/store/apps/details?id=vOICe.vOICe&hl=fr</footnote>
distinguer des formes très élémentaires, comme un cercle d'une ellipse, ou la lettre A de la lettre B.

Et cette dimension cryptique devient volontiers le ressort même de ce processus de sonification. L'image, en quelque sorte *cachée*, invite l'auditeur à une sorte de jeu, engage avec lui un rapport d'initiés, une forme de complicité.

Le musicien britannique Richard David James, principalement connu par son identité Aphex Twin, cache ainsi une image dans la deuxième piste de *Windowlicker* (1999), parfois appelée "Equation" en raison de l'interminable formule mathématique qui lui tient lieu de titre. Comme une signature, l'analyse au spectrogramme du morceau révèle la "Aphex face", ce visage au sourire dérangeant qui est l'une des signatures visuelles de l'artiste.

La presse musicale a pour habitude d'appeler précisément *easter eggs* ces informations dissimulées dans un morceau de musique et destinées aux fans les plus zélés. Et parler ici de "cacher", ne relève pas du sophisme ou d'une abstraction indue, car les textures sonores issues de cette méthode ont vite tendance à être très repérables, engendrant des couleurs sonores très caractéristiques (effets *d'aliasing*, sons de synthèse un peu creux, glissandi parallèles...). Le talent de Richard D. James est de parvenir à *presque* faire oublier cet insert. Presque, car trop bien cacher, ce ne serait pas cacher vraiment ; dans un jeu, cacher implique toujours de dévoiler quelque peu : la surface doit laisser soupçonner que quelque chose d'autre vous échappe<fnref n="13" />.

L'œuvre d'Atau Tanaka, 9 min 14 Over Vietnam<fnref n="14" /> (1998) illustre également la sonification par spectrogramme. Il pourrait sembler surprenant de rencontrer sur un tel sujet la figure d'Atau Tanaka, principalement connu pour son travail sur le contrôle du son par le corps (BioMuse), son regard sur la sensorialité de l'articulation homme-machine, et *a priori* éloigné d'une approche du phénomène musical que l'on pourrait qualifier de conceptuelle ou logocentrique <fnref n="15" />.

Ici, plus question de "cacher" à proprement parler, puisque la référence est explicitée dès le titre, mais il y a bien quelque chose de l'ordre de l'in-montrable : une image impossible à regarder, une image insoutenable, en l'occurrence la célèbre photographie de Nick Ut prise pendant la Guerre du Vietnam, dite "La petite fille brûlée au napalm" (1972), représentant une fillette courant nue, les bras en croix, entourée de quatre autres enfants vietnamiens fuyant une attaque au napalm, entourés de soldats américains.

Dans cette œuvre, Tanaka superpose deux interprétations sonores de l'image de Nick Ut, par deux méthodes de sonification différentes : l'une déroule linéairement une transposition par

<footnote n="13">13 « Dans plusieurs espèces de secrets, quelque chose apparaît, il y a une apparence. Cette apparence se mêle aux autres pour qui ne “sait” pas (...). Pour qui sait, ou saurait, cette apparence recouvre l’être, il s’en couvre ou s’en protège ; elle est “son” apparence, qui ne dit pas “ce” qu’il est ; mais elle ne le pourrait protéger sans une ressemblance, une surface de contact, une implication en lui qui permet aussi qu’ayant “pris ses plus”, connu ses mesures, elle l’enveloppe à son tour. En ce sens, l’être se montre en ce qui le cache, le visage transparaît dans le masque, selon diverses règles du jeu de l’apparence » Pierre Boutang, *Ontologie du secret*, Paris, Presses universitaires de France, 1973, p. 49.</footnote>

<footnote n="14">14 http://www.ataut.net/site/9m14s-Over-Vietnam,62</footnote>

<footnote n="15">15 L'approche d'Atau Tanaka se veut si intuitive qu'il prétend être en mesure de percevoir les sons qu'une image pourra produire, aussi bien qu'un compositeur est capable d'imaginer le résultat d'une orchestration avant de l'avoir effectivement entendue : « *I had a sense for the kinds of sounds an image, and characteristics of an image, might give. This was a composer's instinct, not dissimilar to knowing how a certain instrumental combination or orchestration might sound without needing to hear it directly. In this case, [...] the combination of curves of heads and shoulders, striking diagonal lines of rope, and the patterns of the kimono fabric lent to, in my mind's ear, varying orchestrations of smooth glissandi, transient percussive sounds, and intricate timbral detail.* » Atau Tanaka, « The sound of photographic image », AI & Soc (2012) 27:315–318, Springer, 2011.</footnote>
distinguer des formes très élémentaires, comme un cercle d'une ellipse, ou la lettre A de la lettre B.

Et cette dimension cryptique devient volontiers le ressort même de ce processus de sonification. L'image, en quelque sorte *cachée*, invite l'auditeur à une sorte de jeu, engage avec lui un rapport d'initiés, une forme de complicité.

Le musicien britannique Richard David James, principalement connu par son identité Aphex Twin, cache ainsi une image dans la deuxième piste de *Windowlicker* (1999), parfois appelée "Equation" en raison de l'interminable formule mathématique qui lui tient lieu de titre. Comme une signature, l'analyse au spectrogramme du morceau révèle la "Aphex face", ce visage au sourire dérangeant qui est l'une des signatures visuelles de l'artiste.

La presse musicale a pour habitude d'appeler précisément *easter eggs* ces informations dissimulées dans un morceau de musique et destinées aux fans les plus zélés. Et parler ici de "cacher", ne relève pas du sophisme ou d'une abstraction indue, car les textures sonores issues de cette méthode ont vite tendance à être très repérables, engendrant des couleurs sonores très caractéristiques (effets *d'aliasing*, sons de synthèse un peu creux, glissandi parallèles...). Le talent de Richard D. James est de parvenir à *presque* faire oublier cet insert. Presque, car trop bien cacher, ce ne serait pas cacher vraiment ; dans un jeu, cacher implique toujours de dévoiler quelque peu : la surface doit laisser soupçonner que quelque chose d'autre vous échappe<fnref n="13" />.

L'œuvre d'Atau Tanaka, 9 min 14 Over Vietnam<fnref n="14" /> (1998) illustre également la sonification par spectrogramme. Il pourrait sembler surprenant de rencontrer sur un tel sujet la figure d'Atau Tanaka, principalement connu pour son travail sur le contrôle du son par le corps (BioMuse), son regard sur la sensorialité de l'articulation homme-machine, et *a priori* éloigné d'une approche du phénomène musical que l'on pourrait qualifier de conceptuelle ou logocentrique <fnref n="15" />.

Ici, plus question de "cacher" à proprement parler, puisque la référence est explicitée dès le titre, mais il y a bien quelque chose de l'ordre de l'in-montrable : une image impossible à regarder, une image insoutenable, en l'occurrence la célèbre photographie de Nick Ut prise pendant la Guerre du Vietnam, dite "La petite fille brûlée au napalm" (1972), représentant une fillette courant nue, les bras en croix, entourée de quatre autres enfants vietnamiens fuyant une attaque au napalm, entourés de soldats américains.

Dans cette œuvre, Tanaka superpose deux interprétations sonores de l'image de Nick Ut, par deux méthodes de sonification différentes : l'une déroule linéairement une transposition par

<footnote n="13">13 « Dans plusieurs espèces de secrets, quelque chose apparaît, il y a une apparence. Cette apparence se mêle aux autres pour qui ne “sait” pas (...). Pour qui sait, ou saurait, cette apparence recouvre l’être, il s’en couvre ou s’en protège ; elle est “son” apparence, qui ne dit pas “ce” qu’il est ; mais elle ne le pourrait protéger sans une ressemblance, une surface de contact, une implication en lui qui permet aussi qu’ayant “pris ses plus”, connu ses mesures, elle l’enveloppe à son tour. En ce sens, l’être se montre en ce qui le cache, le visage transparaît dans le masque, selon diverses règles du jeu de l’apparence » Pierre Boutang, *Ontologie du secret*, Paris, Presses universitaires de France, 1973, p. 49.</footnote>

<footnote n="14">14 http://www.ataut.net/site/9m14s-Over-Vietnam,62</footnote>

<footnote n="15">15 L'approche d'Atau Tanaka se veut si intuitive qu'il prétend être en mesure de percevoir les sons qu'une image pourra produire, aussi bien qu'un compositeur est capable d'imaginer le résultat d'une orchestration avant de l'avoir effectivement entendue : « *I had a sense for the kinds of sounds an image, and characteristics of an image, might give. This was a composer's instinct, not dissimilar to knowing how a certain instrumental combination or orchestration might sound without needing to hear it directly. In this case, [...] the combination of curves of heads and shoulders, striking diagonal lines of rope, and the patterns of the kimono fabric lent to, in my mind's ear, varying orchestrations of smooth glissandi, transient percussive sounds, and intricate timbral detail.* » Atau Tanaka, « The sound of photographic image », AI & Soc (2012) 27:315–318, Springer, 2011.</footnote>
spectrogramme du négatif de l'image, du début à la fin de la composition. La durée indiquée dans le titre, 9'14", résulte d'ailleurs de ce mapping strict à un ratio de 44100 Hz par secondes (le taux d'échantillonnage standard du disque compact). L'autre technique s'apparente au "databending" dont nous reparlerons plus loin, consistant à lire le fichier numérique de l'image comme s'il s'agissait d'un fichier son. Il résulte de cette seconde méthode un bloc de sons stridents, proche du bruit blanc, matériau qui est ensuite réagencé par Tanaka, par des techniques de boucles, de superpositions (layering), qui s'ajoutent, en la parasitant, à la première sonification.

Malgré ce travail de composition qui pourrait tendre à brouiller la lecture de l'image originale, Tanaka tient à conserver la lisibilité de certains aspects "structurels" de l'image, notamment l'axe symétrique autour de la petite fille, qui correspond au centre de la pièce, à un moment très proche du silence, avec des sons de synthèse très purs (inversée, l'image est alors la plus claire, donc la moins riche spectralement) – et sans doute, le fait que la part la plus insoutenable de l'image soit figurée par quelque chose qui se rapproche du silence n'est-il pas totalement fortuit.

L'objectif de Tanaka n'était pas de produire une musique destinée à accompagner l'image, dans une logique immersive, comme il l'a fait dans d'autres pièces : la photographie de Nick Ut, selon lui, est assez connue pour rester invisible<fnref n="16" />. D'une certaine manière, il incombe donc bien à l'œuvre sonore de la transmettre, de la restituer<fnref n="17" />. Le son donne à "voir" la photographie *in absentia*, et cette ambivalence (entre absence et présence) constitue une part du pouvoir poétique de l'œuvre de Tanaka.

<figure><img src="image_3.png" /><figcaption>Fig.2. Atau Tanaka, schéma explicatif pour 9 min 14 Over Vietnam.</figcaption></figure>

Les techniques de sonification appliquent une temporalité linéaire à l'image ; là où le regard (humain) prend connaissance d'une image de façon parcellaire, dans un temps certes rapide, mais en discriminant les éléments jugés signifiants par le cerveau, en quelques millisecondes, ces méthodes algorithmiques mettent tout le contenu sémantique de l'image à plat, sans hiérarchie,

<footnote n="16">16 « I felt that it was a strong enough and well known enough image that the original did not need to be explicitly displayed. » (Ibid.)</footnote>

<footnote n="17">17 « So, while listening to 9m14s Over Vietnam taking place in the absence of the image, the composition of the work took place confronting the image in a prolonged and profound way. It is through the intensity of this interaction that I hoped to convey the power of the image. » (Ibid.)</footnote>
spectrogramme du négatif de l'image, du début à la fin de la composition. La durée indiquée dans le titre, 9'14", résulte d'ailleurs de ce mapping strict à un ratio de 44100 Hz par secondes (le taux d'échantillonnage standard du disque compact). L'autre technique s'apparente au "databending" dont nous reparlerons plus loin, consistant à lire le fichier numérique de l'image comme s'il s'agissait d'un fichier son. Il résulte de cette seconde méthode un bloc de sons stridents, proche du bruit blanc, matériau qui est ensuite réagencé par Tanaka, par des techniques de boucles, de superpositions (layering), qui s'ajoutent, en la parasitant, à la première sonification.

Malgré ce travail de composition qui pourrait tendre à brouiller la lecture de l'image originale, Tanaka tient à conserver la lisibilité de certains aspects "structurels" de l'image, notamment l'axe symétrique autour de la petite fille, qui correspond au centre de la pièce, à un moment très proche du silence, avec des sons de synthèse très purs (inversée, l'image est alors la plus claire, donc la moins riche spectralement) – et sans doute, le fait que la part la plus insoutenable de l'image soit figurée par quelque chose qui se rapproche du silence n'est-il pas totalement fortuit.

L'objectif de Tanaka n'était pas de produire une musique destinée à accompagner l'image, dans une logique immersive, comme il l'a fait dans d'autres pièces : la photographie de Nick Ut, selon lui, est assez connue pour rester invisible<fnref n="16" />. D'une certaine manière, il incombe donc bien à l'œuvre sonore de la transmettre, de la restituer<fnref n="17" />. Le son donne à "voir" la photographie *in absentia*, et cette ambivalence (entre absence et présence) constitue une part du pouvoir poétique de l'œuvre de Tanaka.

<figure><img src="image_3.png" /><figcaption>Fig.2. Atau Tanaka, schéma explicatif pour 9 min 14 Over Vietnam.</figcaption></figure>

Les techniques de sonification appliquent une temporalité linéaire à l'image ; là où le regard (humain) prend connaissance d'une image de façon parcellaire, dans un temps certes rapide, mais en discriminant les éléments jugés signifiants par le cerveau, en quelques millisecondes, ces méthodes algorithmiques mettent tout le contenu sémantique de l'image à plat, sans hiérarchie,

<footnote n="16">16 « I felt that it was a strong enough and well known enough image that the original did not need to be explicitly displayed. » (Ibid.)</footnote>

<footnote n="17">17 « So, while listening to 9m14s Over Vietnam taking place in the absence of the image, the composition of the work took place confronting the image in a prolonged and profound way. It is through the intensity of this interaction that I hoped to convey the power of the image. » (Ibid.)</footnote>
ayant de l'image une vision pour ainsi dire aveugle, comme d'une simple suite de pixels où tout se vaut. Ce grand écart objectivant est poussé jusqu'à son maximum dans l'œuvre d'Atau Tanaka : face à l'horreur indicible de l'image de Nick Ut, le parti pris semble de la transmettre, de l'interpréter, par une technique totalement distanciée.

Et pourtant, du rendu sonore ainsi généré, dysphorique jusqu'à évoquer certains gestes expressionnistes (Thrène pour les victimes d'Hiroshima de Penderecki n'est pas très loin), on peut dire qu'il inflige un démenti cinglant au geste objectivant. Quelque chose de l'aura¹⁸ de l'image est capté plus encore que son contenu formel.

Tout se passe comme si l'image originale ne pouvait plus être vue, soit parce que son caractère iconique aurait érodé une part de sa charge émotionnelle, soit car elle demeure insoutenable dans son statut de témoignage. Pour cette raison, Tanaka substitue le latent au patent¹⁹. Son dispositif peut ainsi être interprété comme une manière de rendre étrange l'image, de la faire échapper à la banalisation autant qu'à l'obscénité, s'apparentant à un procédé de défamiliarisation, d'ostranénie.

Il n'est pas fortuit que cette technique implique de recourir à l'image en négatif (encore une manière de donner à voir sans montrer), ce qui engage aussi toute une symbolique autour de la révélation, au sens photographique. Tanaka est d'autant plus conscient de cette dimension qu'il va la mettre en jeu dans une autre œuvre, ajoutant celle-ci une dimension plastique au travail de sonification, Bondage (2001)²⁰, où une photographie érotique de Nobuyoshi Araki se donne à voir en négatif et ne peut être aperçue en positif, partiellement, que dans l'ombre projetée par le spectateur lui-même.

La volonté de cacher un message dans une musique a connu bien des antécédents, parfois très anciens : de la tradition du “Soggetto cavato” des polyphonistes franco-flamands²¹ à l’alphabet sonore imaginé par Olivier Messiaen²², ces techniques diverses participent d’une conception langagière du musical. Et d’une certaine façon, c’est bien sous le régime du message que la

18 « La trace est l’apparition d’une proximité, quelque lointain que puisse être ce qui l’a laissée. L’aura est l’apparition d’un lointain, quelque proche que puisse être ce qui l’évoque. Avec la trace, nous nous emparons de la chose ; avec l’aura, c’est elle qui se rend maîtresse de nous. » Walter Benjamin, Paris, capitale du XIXe siècle : Le Livre des passages, Paris, Cerf, 1997, p. 464. Une lecture un peu cavalière pourrait associer la première méthode de sonification, celle qui joue sur la proximité et l’intégration de l’auditeur dans l’image, à la trace, et cette méthode, plus lointaine, à l’aura.

19 « La sonification des données révèle des ombres, pas des faits. La sonification peut être davantage une représentation audible ou une médiation de l'invisible qu'une forme d'analyse des données. [...] Avant la conversion en son, les données sont objectives et ont le potentiel d'être analysées. Les connaissances qui en résultent peuvent être décrites, testées et reproduites. Lorsque les données sont transformées en expérience et que leurs origines objectives sont implicites mais déguisées, elles sont niées. Elles passent dans le domaine apophatique et deviennent un mantra. » Kristina Wolfe, « Sonification and the Mysticism of Negation », Organised Sound 19, n° 3 (décembre 2014).

20 Dans cette œuvre, la photographie d'Araki, rétroprojetée sur des panneaux inspirés des paravents japonais, est confrontée à sa sonification, elle-même éventuellement perturbée par le passage des spectateurs. http://www.ataut.net/site/Bondage

21 Nous songeons, parmi bien d'autres exemples, au motet Illibata Dei Virgo nutrix de Josquin des Prés, où le motif obsessionnel la-mi-la figure le nom “Maria”. Qu’il y ait aussi une forme de prière laïque ou d’incantation dans la pièce de Tanaka n’est pas improbable, l’image s’y déclinant comme un message articulé sans passer par la compréhension, s’en remettant à un pouvoir magique du medium musical, à une efficace du son en soi.

22 notamment dans les Méditations sur le Mystère de la Sainte Trinité (1969).
ayant de l'image une vision pour ainsi dire aveugle, comme d'une simple suite de pixels où tout se vaut. Ce grand écart objectivant est poussé jusqu'à son maximum dans l'œuvre d'Atau Tanaka : face à l'horreur indicible de l'image de Nick Ut, le parti pris semble de la transmettre, de l'interpréter, par une technique totalement distanciée.

Et pourtant, du rendu sonore ainsi généré, dysphorique jusqu'à évoquer certains gestes expressionnistes (Thrène pour les victimes d'Hiroshima de Penderecki n'est pas très loin), on peut dire qu'il inflige un démenti cinglant au geste objectivant. Quelque chose de l'aura¹⁸ de l'image est capté plus encore que son contenu formel.

Tout se passe comme si l'image originale ne pouvait plus être vue, soit parce que son caractère iconique aurait érodé une part de sa charge émotionnelle, soit car elle demeure insoutenable dans son statut de témoignage. Pour cette raison, Tanaka substitue le latent au patent¹⁹. Son dispositif peut ainsi être interprété comme une manière de rendre étrange l'image, de la faire échapper à la banalisation autant qu'à l'obscénité, s'apparentant à un procédé de défamiliarisation, d'ostranénie.

Il n'est pas fortuit que cette technique implique de recourir à l'image en négatif (encore une manière de donner à voir sans montrer), ce qui engage aussi toute une symbolique autour de la révélation, au sens photographique. Tanaka est d'autant plus conscient de cette dimension qu'il va la mettre en jeu dans une autre œuvre, ajoutant celle-ci une dimension plastique au travail de sonification, Bondage (2001)²⁰, où une photographie érotique de Nobuyoshi Araki se donne à voir en négatif et ne peut être aperçue en positif, partiellement, que dans l'ombre projetée par le spectateur lui-même.

La volonté de cacher un message dans une musique a connu bien des antécédents, parfois très anciens : de la tradition du “Soggetto cavato” des polyphonistes franco-flamands²¹ à l’alphabet sonore imaginé par Olivier Messiaen²², ces techniques diverses participent d’une conception langagière du musical. Et d’une certaine façon, c’est bien sous le régime du message que la

18 « La trace est l’apparition d’une proximité, quelque lointain que puisse être ce qui l’a laissée. L’aura est l’apparition d’un lointain, quelque proche que puisse être ce qui l’évoque. Avec la trace, nous nous emparons de la chose ; avec l’aura, c’est elle qui se rend maîtresse de nous. » Walter Benjamin, Paris, capitale du XIXe siècle : Le Livre des passages, Paris, Cerf, 1997, p. 464. Une lecture un peu cavalière pourrait associer la première méthode de sonification, celle qui joue sur la proximité et l’intégration de l’auditeur dans l’image, à la trace, et cette méthode, plus lointaine, à l’aura.

19 « La sonification des données révèle des ombres, pas des faits. La sonification peut être davantage une représentation audible ou une médiation de l'invisible qu'une forme d'analyse des données. [...] Avant la conversion en son, les données sont objectives et ont le potentiel d'être analysées. Les connaissances qui en résultent peuvent être décrites, testées et reproduites. Lorsque les données sont transformées en expérience et que leurs origines objectives sont implicites mais déguisées, elles sont niées. Elles passent dans le domaine apophatique et deviennent un mantra. » Kristina Wolfe, « Sonification and the Mysticism of Negation », Organised Sound 19, n° 3 (décembre 2014).

20 Dans cette œuvre, la photographie d'Araki, rétroprojetée sur des panneaux inspirés des paravents japonais, est confrontée à sa sonification, elle-même éventuellement perturbée par le passage des spectateurs.
http://www.ataut.net/site/Bondage

21 Nous songeons, parmi bien d'autres exemples, au motet Illibata Dei Virgo nutrix de Josquin des Prés, où le motif obsessionnel la-mi-la figure le nom “Maria”. Qu’il y ait aussi une forme de prière laïque ou d’incantation dans la pièce de Tanaka n’est pas improbable, l’image s’y déclinant comme un message articulé sans passer par la compréhension, s’en remettant à un pouvoir magique du medium musical, à une efficace du son en soi.

22 notamment dans les Méditations sur le Mystère de la Sainte Trinité (1969).
sonification par spectrogramme traite l'image. Alors qu'Aphex Twin signe son œuvre, un peu comme Bach le faisait des notes sib-la-do-si, Tanaka convoque deux irreprésentables : la mort (9 min 14 Over Vietnam) et la sexualité (Bondage). Ce qui compte ici, c'est que l'image, même si elle n'est pas perceptible en tant que telle, soit présente en filigrane, ne s'adressant plus tant à notre capacité à reconstituer des formes par l'oreille qu'à notre affect.

## Le modèle de l'encodage

Un troisième modèle de sonification consiste à rechercher le dénominateur commun entre images et sons dans le langage informatique même des fichiers numériques, à sonifier le fichier source : image et son sont alors considérés comme de pures données, comme une série d'informations normées.

Alors que les modèles précédents étaient encore tributaires de logiques analogiques, ce modèle s'ancre dans l'écosystème numérique. Et tandis que les deux précédents modèles jouaient sur le plan de la représentation, nous basculons ici résolument du côté du signe. Plus rien de figurable par l'écoute : l'auditeur perd tout rapport, même métaphorique et stylisé, au contenu de l'image. On perd jusqu'à la notion même de médium, l'information sonifiée par cette méthode pouvant être aussi bien image que film, texte, logiciel, etc.

Cette technique est le ressort de l'œuvre de l'artiste québécois Jocelyn Robert, *L'origine des espèces*²³ (2006). Dans cette œuvre, Jocelyn Robert sonifie le code source du fichier d'une photographie numérique représentant une machine à écrire de la marque LC Smith. Le dispositif, sous forme d'installation, propose une reproduction en grand format de la photographie originale et la diffusion de sa sonification par 48 petits haut-parleurs, dont le nombre et la disposition font métaphoriquement écho aux touches de la machine à écrire. Une telle installation, où l'image originelle se décline ainsi sous plusieurs états (l'image, la métaphore, l'interprétation), dans un geste tautologique qui n'est pas sans rappeler Joseph Kosuth, met l'accent sur cet état de fait : plus rien à l'écoute ne permettra de reconnaître ni même de soupçonner l'image originale, si le dispositif n'était pas là pour la mettre en scène explicitement, la mimer, la signaler.
sonification par spectrogramme traite l'image. Alors qu'Aphex Twin signe son œuvre, un peu comme Bach le faisait des notes sib-la-do-si, Tanaka convoque deux irreprésentables : la mort (9 min 14 Over Vietnam) et la sexualité (Bondage). Ce qui compte ici, c'est que l'image, même si elle n'est pas perceptible en tant que telle, soit présente en filigrane, ne s'adressant plus tant à notre capacité à reconstituer des formes par l'oreille qu'à notre affect.

## Le modèle de l'encodage

Un troisième modèle de sonification consiste à rechercher le dénominateur commun entre images et sons dans le langage informatique même des fichiers numériques, à sonifier le fichier source : image et son sont alors considérés comme de pures données, comme une série d'informations normées.

Alors que les modèles précédents étaient encore tributaires de logiques analogiques, ce modèle s'ancre dans l'écosystème numérique. Et tandis que les deux précédents modèles jouaient sur le plan de la représentation, nous basculons ici résolument du côté du signe. Plus rien de figurable par l'écoute : l'auditeur perd tout rapport, même métaphorique et stylisé, au contenu de l'image. On perd jusqu'à la notion même de médium, l'information sonifiée par cette méthode pouvant être aussi bien image que film, texte, logiciel, etc.

Cette technique est le ressort de l'œuvre de l'artiste québécois Jocelyn Robert, *L'origine des espèces*²³ (2006). Dans cette œuvre, Jocelyn Robert sonifie le code source du fichier d'une photographie numérique représentant une machine à écrire de la marque LC Smith. Le dispositif, sous forme d'installation, propose une reproduction en grand format de la photographie originale et la diffusion de sa sonification par 48 petits haut-parleurs, dont le nombre et la disposition font métaphoriquement écho aux touches de la machine à écrire. Une telle installation, où l'image originelle se décline ainsi sous plusieurs états (l'image, la métaphore, l'interprétation), dans un geste tautologique qui n'est pas sans rappeler Joseph Kosuth, met l'accent sur cet état de fait : plus rien à l'écoute ne permettra de reconnaître ni même de soupçonner l'image originale, si le dispositif n'était pas là pour la mettre en scène explicitement, la mimer, la signaler.
<figure><img src="image_4.png" /></figure>

Fig. 3. Jocelyn Robert, *L'origine des espèces, 2006*. Impression jet d'encre, haut-parleurs, amplificateur, pieds en bois et métal, filage, trame sonore. 500 x 250 x 200 cm.

Dans sa note d'intention, Jocelyn Robert rappelle que, dans un appareil photo numérique, aucune image n'est produite : seulement de l'information, la description codée d'une distribution lumineuse. Il faut une deuxième opération – un deuxième code²⁴ – pour en faire une image, rendre possible l'affichage sur un écran ou par une imprimante (par mimétisme au procédé de "développement" de la photographie analogique). Ici, se substitue à cette deuxième opération une "impression" dans le domaine sonore, placée sur le même plan que l'image – qui n'est en somme qu'une autre interprétation du fichier généré par l'appareil photo numérique. L'artiste rend audible l'état habituellement invisible de captation de l'image, donne corps à cet état implicite d'entre-deux, nous confrontant, par l'écoute, au code destiné à la machine.

L'œuvre de Jocelyn Robert reprend certains codes de cette mouvance du Glitch Art que l'on nomme *databending*²⁵. La technique de base de cette pratique consiste à manipuler un fichier d'un certain format en utilisant un ou plusieurs logiciels destinés à un autre format. Comme le suggère le mot "bending", il s'agit de fausser mais pas de rompre, de tordre sans briser, de pervertir un processus tout en garantissant sa fonctionnalité²⁶.

24 dans le domaine informatique, on parle d'ailleurs "d'interpréteur" pour désigner la partie du code chargée de l'exécution du langage informatique

25 Elle ne relève pas pour autant de databending au sens strict : l'artiste applique un système de correspondance entre le fichier numérique et le sonore, tandis que le databending délègue à un logiciel la sonification proprement dite, avec ce que cela suppose d'imprévisible et d'incontrôlable.

26 « un dysfonctionnement mineur [...], dysfonctionnement, puisqu'il se confond avec un *output* qui n'est pas celui attendu et/ou voulu, [...] mineur, parce que le système ne s'interrompt pas complètement, mais se voit ralenti et perturbé
<figure><img src="image_4.png" /><figcaption>Fig. 3. Jocelyn Robert, *L'origine des espèces, 2006*. Impression jet d'encre, haut-parleurs, amplificateur, pieds en bois et métal, filage, trame sonore. 500 x 250 x 200 cm.</figcaption></figure>

Dans sa note d'intention, Jocelyn Robert rappelle que, dans un appareil photo numérique, aucune image n'est produite : seulement de l'information, la description codée d'une distribution lumineuse. Il faut une deuxième opération – un deuxième code<sup>24</sup> – pour en faire une image, rendre possible l'affichage sur un écran ou par une imprimante (par mimétisme au procédé de "développement" de la photographie analogique). Ici, se substitue à cette deuxième opération une "impression" dans le domaine sonore, placée sur le même plan que l'image – qui n'est en somme qu'une autre interprétation du fichier généré par l'appareil photo numérique. L'artiste rend audible l'état habituellement invisible de captation de l'image, donne corps à cet état implicite d'entre-deux, nous confrontant, par l'écoute, au code destiné à la machine.

L'œuvre de Jocelyn Robert reprend certains codes de cette mouvance du Glitch Art que l'on nomme *databending*<sup>25</sup>. La technique de base de cette pratique consiste à manipuler un fichier d'un certain format en utilisant un ou plusieurs logiciels destinés à un autre format. Comme le suggère le mot "bending", il s'agit de fausser mais pas de rompre, de tordre sans briser, de pervertir un processus tout en garantissant sa fonctionnalité<sup>26</sup>.

24 dans le domaine informatique, on parle d'ailleurs "d'interpréteur" pour désigner la partie du code chargée de l'exécution du langage informatique

25 Elle ne relève pas pour autant de databending au sens strict : l'artiste applique un système de correspondance entre le fichier numérique et le sonore, tandis que le databending délègue à un logiciel la sonification proprement dite, avec ce que cela suppose d'imprévisible et d'incontrôlable.

26 « un dysfonctionnement mineur [...], dysfonctionnement, puisqu'il se confond avec un *output* qui n'est pas celui attendu et/ou voulu, [...] mineur, parce que le système ne s'interrompt pas complètement, mais se voit ralenti et perturbé
Le databending se préoccupe précisément de rendre tangible, par le détraquement, cet état intermédiaire destiné à la machine, d'*externaliser* le code, de rendre visible en la subvertissant la normativité du “format”, par une *sub-version* – une version cachée, au sens étymologique.

Mais au-delà de la mise en évidence de cet état d'entre-deux, de cet *impensé numérique*, il s'agit aussi d'introduire une altération dans le processus. On peut distinguer plusieurs techniques relevant du databending : la conversion, sans autre opération, d'un fichier en un format étranger ; la manipulation d'un fichier dans un logiciel destiné à un autre format (par exemple en appliquant à une image des effets habituellement dévolus au sonore, comme le *delay*, la *reverb*, divers filtrages...) et enfin la modification d'un fichier en altérant le code (par suppressions, déplacements, inserts...), de façon manuelle et hasardeuse (*datamoshing*). Non seulement il s'agit, comme dans les techniques déjà vues, d'un processus potentiellement bidirectionnel, mais le databending tire toute sa richesse des contaminations survenues dans les allers-retours entre les deux médias.

De ce point de vue, le titre de l'œuvre de Jocelyn Robert, *L'origine des espèces*, se prête à plusieurs interprétations. La confrontation des technologies numériques avec un objet iconique et presque mythologique de l'ère analogique (la machine à écrire des années 30), suggère en premier lieu une généalogie évolutive et comme darwinienne des technologies. On devine aussi qu'il s'agit ici de mettre en exergue les accidents de parcours pouvant intervenir dans le processus de transcodage qui est celui de la capture numérique d'un fragment de réel. Comme le jeu du vivant se compose des mutations qui surviennent dans la recopie du matériel génétique d'une génération à la suivante, des altérations interviennent sur l'objet numérique lors de son transfert (on sait que la copie est l'essence du numérique), altérations qui non seulement le modifient, mais en le transformant le réactivent, garantissent sa survie.

## En guise de conclusion : de la déformance

Le projet de la sonification est de rendre la musique, au sens strict, *figurative* : lui donner un référent, elle qui s'en passe pourtant, théoriquement, si bien. Il y a d'ailleurs un ironique retournement de l'histoire à voir des œuvres musicales d'aujourd'hui, fussent-elles marginales, se donner une ambition de cette nature, alors même que ce fut précisément, à l'orée du XXe siècle, par affinité avec le pouvoir d'abstraction de la musique, dans une fascination avouée pour son caractère autoréférentiel, que des peintres comme Kandinsky, Klee ou Kupka franchirent le pas de l'abstraction. Comme si le son, plus abstrait qu'il ne l'a jamais été dans l'histoire de la musique, libre désormais des contingences du gestuel et de l'instrumental par les grâces de l'électroacoustique, en venait à se chercher de nouvelles façons de se relier à l'univers visuel...

S'il existe une relation “naturelle” entre image et son, elle est certainement d'ordre cognitif. “L'imagination sonore” (on notera que l'expression est en soi paradoxale), n'est, comme le suggère le musicologue Peter Szendy, jamais pure, mêlant toujours d'éléments visuels ou haptiques l'idée sonore (Szendy nous rappelle ainsi que dans un rêve, jamais une musique ne se fait entendre sans être reliée à quelque chose de visuel).

Mais si légitime qu'elle puisse ainsi paraître, cette articulation demeure du domaine de
dans son rendu » Olivier Quintyn, « L'ère du glitch : utopie et réification », *Audimat* n°4, 2015.
Le databending se préoccupe précisément de rendre tangible, par le détraquement, cet état intermédiaire destiné à la machine, d'*externaliser* le code, de rendre visible en la subvertissant la normativité du “format”, par une *sub-version* – une version cachée, au sens étymologique.

Mais au-delà de la mise en évidence de cet état d'entre-deux, de cet *impensé numérique*, il s'agit aussi d'introduire une altération dans le processus. On peut distinguer plusieurs techniques relevant du databending : la conversion, sans autre opération, d'un fichier en un format étranger ; la manipulation d'un fichier dans un logiciel destiné à un autre format (par exemple en appliquant à une image des effets habituellement dévolus au sonore, comme le *delay*, la *reverb*, divers filtrages...) et enfin la modification d'un fichier en altérant le code (par suppressions, déplacements, inserts...), de façon manuelle et hasardeuse (*datamoshing*). Non seulement il s'agit, comme dans les techniques déjà vues, d'un processus potentiellement bidirectionnel, mais le databending tire toute sa richesse des contaminations survenues dans les allers-retours entre les deux médias.

De ce point de vue, le titre de l'œuvre de Jocelyn Robert, *L'origine des espèces*, se prête à plusieurs interprétations. La confrontation des technologies numériques avec un objet iconique et presque mythologique de l'ère analogique (la machine à écrire des années 30), suggère en premier lieu une généalogie évolutive et comme darwinienne des technologies. On devine aussi qu'il s'agit ici de mettre en exergue les accidents de parcours pouvant intervenir dans le processus de transcodage qui est celui de la capture numérique d'un fragment de réel. Comme le jeu du vivant se compose des mutations qui surviennent dans la recopie du matériel génétique d'une génération à la suivante, des altérations interviennent sur l'objet numérique lors de son transfert (on sait que la copie est l'essence du numérique), altérations qui non seulement le modifient, mais en le transformant le réactivent, garantissent sa survie.

## En guise de conclusion : de la déformance

Le projet de la sonification est de rendre la musique, au sens strict, *figurative* : lui donner un référent, elle qui s'en passe pourtant, théoriquement, si bien. Il y a d'ailleurs un ironique retournement de l'histoire à voir des œuvres musicales d'aujourd'hui, fussent-elles marginales, se donner une ambition de cette nature, alors même que ce fut précisément, à l'orée du XXe siècle, par affinité avec le pouvoir d'abstraction de la musique, dans une fascination avouée pour son caractère autoréférentiel, que des peintres comme Kandinsky, Klee ou Kupka franchirent le pas de l'abstraction. Comme si le son, plus abstrait qu'il ne l'a jamais été dans l'histoire de la musique, libre désormais des contingences du gestuel et de l'instrumental par les grâces de l'électroacoustique, en venait à se chercher de nouvelles façons de se relier à l'univers visuel...

S'il existe une relation “naturelle” entre image et son, elle est certainement d'ordre cognitif. “L'imagination sonore” (on notera que l'expression est en soi paradoxale), n'est, comme le suggère le musicologue Peter Szendy, jamais pure, mêlant toujours d'éléments visuels ou haptiques l'idée sonore (Szendy nous rappelle ainsi que dans un rêve, jamais une musique ne se fait entendre sans être reliée à quelque chose de visuel).

Mais si légitime qu'elle puisse ainsi paraître, cette articulation demeure du domaine de dans son rendu » Olivier Quintyn, « L'ère du glitch : utopie et réification », *Audimat* n°4, 2015.
l'arbitraire. Les arts « se font les uns contre les autres », pour reprendre la formule de Jean-Luc Nancy<fnref n="27" />, jouant sur la double polysémie, du verbe « se faire » (se réaliser, se consolider) comme de la préposition « contre » (contiguïté, adversité). Au sens physique, son et image appartiennent à deux dimensions radicalement divergentes, l'un variation de pression de l'air, l'autre du spectre lumineux ; leur seule association advient dans la perception humaine. Aucune équivalence ne préexiste entre les deux, et la relation qui unit l'image à son miroir sonifié est, en dernière instance, équivalente à celle d'un mot avec l'une de ses possibles représentations sous forme de rébus.

Et si le concept d'interprétation permettait de dépasser cet apparent arbitraire ?

Si j'ai fait ici l'hypothèse que la sonification peut être considérée comme une interprétation, c'est d'abord en prenant ce mot dans son acception musicale, l'image devenant partition qu'il s'agit d'interpréter. La sonification, comme l'interprétation du pianiste, feint d'être objective (et nous n'avons d'autres choix que de la considérer telle pour pouvoir l'écouter), alors que chacun sait que la version d'un instrumentiste de chair et d'os n'a rien de commun avec la version d'une partition telle qu'elle serait produite par une machine, un programme MIDI par exemple, qui jouerait pourtant plus fidèlement encore tout ce que le compositeur a inscrit sur la partition. En prétendant la rendre en toute transparence, "l'interprète" humain y ajoute, la transforme, inévitablement la transgresse. De même que l'interprétation d'un instrumentiste n'est pas un déchiffrement, n'est pas la révélation de quelque essence de nature absolue, la sonification s'engage dans un processus toujours imparfait, toujours lacunaire, qui aspire plus à une justesse qu'à une vérité.

Comme l'interprète-traducteur, il s'agit de faire œuvre de médiation entre deux instances qui s'expriment dans des langues différentes. Rien ne se superpose dans cette confrontation. La traduction prend acte des inadéquations, des impasses et du caractère impossible de son projet, et se fonde en partie sur ce constat. Ce qui permet de dessiner une opposition entre deux systèmes utopiques : l'un, vertical, et en quelque sorte transcendantal, qui serait celui des "synesthésies", volontiers mystique chez certaines figures pionnières<fnref n="28" />, basé sur l'idée de déchiffrement d'un domaine qui outrepasserait les perceptions humaines et dont les différents médiums ne seraient que des aperçus, et l'autre, plus horizontal, plus immanent, celui des "correspondances" qui font communiquer les sens entre eux, dans une direction ou dans l'autre. Au premier se rattacheraient les œuvres authentiquement mixtes et poly-artistique<fnref n="29" />, cherchant à construire un continuum entre les deux dimensions, à la recherche d'une grammaire commune, d'un idiome commun, d'un espéranto, qui dépasse et évacue le problème des traductions, avec ce que tout espéranto suppose d'utopique, mais d'une utopie tout autre que celle de la traduction, dont relèverait davantage la sonification.

En outre, l'opposition classique entre une traduction privilégiant le naturel et les idiomatismes de la langue traduisante<fnref n="30" />, et une traduction qui se risque, au prix de frictions, d'écarts, à transposer certains tours de la langue d'origine, suggère une ligne de partage entre une sonification coulée au moule d'un langage musical (*New York Sky-line Melody*) et une sonification qui se donne d'emblée comme insuffisante, par l'étrangeté même du rendu sonore, invitant à un travail de décryptage et

<footnote n="27">27 Jean-Luc Nancy, « Les arts se font les uns contre les autres », in *Art, regard, écoute : la perception à l'œuvre*, Paris, Presses universitaires de Vincennes, 2000.</footnote>

<footnote n="28">28 que l'on songe par exemple au clavier lumineux imaginé par Scriabine pour son *Prométhée ou le Poème du feu* (1910).</footnote>

<footnote n="29">29 Parmi les pratiques plus contemporaines, citons le *live-coding*, où l'algorithmique sert de base commune à la prestation musicale et visuelle.</footnote>

<footnote n="30">30 Antoine Berman, *La traduction et la lettre ou L'auberge du lointain*, Paris, Seuil, 1999.</footnote>
l'arbitraire. Les arts « se font les uns contre les autres », pour reprendre la formule de Jean-Luc Nancy<fnref n="27" />, jouant sur la double polysémie, du verbe « se faire» (se réaliser, se consolider) comme de la préposition "contre" (contiguïté, adversité). Au sens physique, son et image appartiennent à deux dimensions radicalement divergentes, l'un variation de pression de l'air, l'autre du spectre lumineux ; leur seule association advient dans la perception humaine. Aucune équivalence ne préexiste entre les deux, et la relation qui unit l'image à son miroir sonifié est, en dernière instance, équivalente à celle d'un mot avec l'une de ses possibles représentations sous forme de rébus.

Et si le concept d'interprétation permettait de dépasser cet apparent arbitraire ?

Si j'ai fait ici l'hypothèse que la sonification peut être considérée comme une *interprétation*, c'est d'abord en prenant ce mot dans son acception musicale, l'image devenant partition qu'il s'agit d'*interpréter*. La sonification, comme l'interprétation du pianiste, feint d'être objective (et nous n'avons d'autres choix que de la considérer telle pour pouvoir l'écouter), alors que chacun sait que la version d'un instrumentiste de chair et d'os n'a rien de commun avec la version d'une partition telle qu'elle serait produite par une machine, un programme MIDI par exemple, qui jouerait pourtant plus fidèlement encore tout ce que le compositeur a inscrit sur la partition. En prétendant la rendre en toute transparence, "l'interprète" humain y ajoute, la transforme, inévitablement la transgresse. De même que l'interprétation d'un instrumentiste n'est pas un *déchiffrement*, n'est pas la révélation de quelque essence de nature absolue, la sonification s'engage dans un processus toujours imparfait, toujours lacunaire, qui aspire plus à une justesse qu'à une vérité.

Comme l'interprète-traducteur, il s'agit de faire œuvre de médiation entre deux instances qui s'expriment dans des langues différentes. Rien ne se superpose dans cette confrontation. La traduction prend acte des inadéquations, des impasses et du caractère impossible de son projet, et se fonde en partie sur ce constat. Ce qui permet de dessiner une opposition entre deux systèmes utopiques : l'un, vertical, et en quelque sorte transcendantal, qui serait celui des "synesthésies", volontiers mystique chez certaines figures pionnières<fnref n="28" />, basé sur l'idée de déchiffrement d'un domaine qui outrepasserait les perceptions humaines et dont les différents médiums ne seraient que des aperçus, et l'autre, plus horizontal, plus immanent, celui des "correspondances" qui font communiquer les sens entre eux, dans une direction ou dans l'autre. Au premier se rattacheraient les œuvres authentiquement mixtes et poly-artistique<fnref n="29" />, cherchant à construire un continuum entre les deux dimensions, à la recherche d'une grammaire commune, d'un idiome commun, d'un espéranto, qui dépasse et évacue le problème des traductions, avec ce que tout espéranto suppose d'utopique, mais d'une utopie tout autre que celle de la traduction, dont relèverait davantage la sonification.

En outre, l'opposition classique entre une traduction privilégiant le naturel et les idiomatismes de la langue traduisante<fnref n="30" />, et une traduction qui se risque, au prix de frictions, d'écarts, à transposer certains tours de la langue d'origine, suggère une ligne de partage entre une sonification coulée au moule d'un langage musical (*New York Sky-line Melody*) et une sonification qui se donne d'emblée comme insuffisante, par l'étrangeté même du rendu sonore, invitant à un travail de décryptage et

<footnote n="27">27 Jean-Luc Nancy, « Les arts se font les uns contre les autres », in *Art, regard, écoute : la perception à l'œuvre*, Paris, Presses universitaires de Vincennes, 2000.</footnote>

<footnote n="28">28 que l'on songe par exemple au clavier lumineux imaginé par Scriabine pour son *Prométhée ou le Poème du feu* (1910).</footnote>

<footnote n="29">29 Parmi les pratiques plus contemporaines, citons le *live-coding*, où l'algorithmique sert de base commune à la prestation musicale et visuelle.</footnote>

<footnote n="30">30 Antoine Berman, *La traduction et la lettre ou L'auberge du lointain*, Paris, Seuil, 1999.</footnote>
d'élaboration imaginaire (9 min *Over Vietnam*).

C'est enfin car la sonification, comme l'interprétation dans son sens herméneutique, est à la fois reformulation<fnref n="31" /> et *discours sur*, manifestation d'une signification latente, signe d'une relation critique. On ne saurait nier cependant ce que cette hypothèse peut avoir de contre-intuitif, davantage que les acceptations vues jusqu'à présent : l'interprétation, qui se veut mise en lumière, élucidation, explicitation, peut-elle provenir d'un biais aussi détourné ?

C'est une vision de l'interprétation comme mise en mouvement de la pensée, refus d'une vérité figée au profit d'une tension continue vers la compréhension, qui est ici défendue : dans un certain imaginaire, le voir a toujours partie liée avec la preuve, avec la saisie ; l'entendre, au contraire, avec le fugace et l'insaisissable<fnref n="32" />. À ce titre, on peut formuler l'hypothèse que visualiser, c'est fixer ; tandis que sonifier, c'est fluidifier et rendre révocable. Alors que visualiser semble toujours une manière d'*ob-jectiver* par l'extériorité, la sonification semble un moyen de saisie plus fragile, plus précaire, mais offrant une porte d'entrée plus intime, plus mystérieuse, immersive et contradictoire à une information.

On peut même postuler que la sonification nous aide parfois à penser l'image, en interrogeant les limites de l'expérience visuelle, voire peut agir comme un remède à la difficulté de voir : ainsi face à l'image qui échappe au regard, qui est invisible à force d'être vue, face à l'image insoutenable. Ainsi quand l'image se dérobe, s'évanouit, par émoussement ou démission du regard.

Dans ce contexte, il échoit donc à la sonification une fonction de démystification impliquant une altérité : point de vue étranger, étrange. Interprétation donc, mais inquiète, tangente, résolument placée sous le signe d'une inadéquation heureuse et féconde.

J'aimerais mobiliser ici un concept emprunté à l'article « Déformance et interprétation »<fnref n="33" /> de Lisa Samuels et Jerry McGann. La “déformance”, mot-valise combinant *performance* et *deformity*, désigne une interprétation ou un dispositif de lecture délibérément aberrant et transgressif qui aboutit, non pas à renouveler la perspective de lecture d'un texte ou d'un corpus, mais à générer un nouvel artefact. Cette stratégie revient à lire sciemment *de travers* un texte, à le lire *à rebours* (le premier exemple donné par Samuels et McGann est d'ailleurs un extrait de la correspondance d'Emily Dickinson où celle-ci suggère de lire un de ses poèmes à l'envers, du dernier mot jusqu'au premier, afin de court-circuiter, d'inhiber partiellement la capacité d'analyse du lecteur<fnref n="34" />). À ce titre, on pourrait sans peine ajouter la sonification à l'inventaire des techniques répertoriées par les auteurs de l'article.

Proscrire toute littéralité, accueillir et radicaliser toute équivocité. Là où la lecture par

<footnote n="31">31 C'est sans doute cette *ré-effectuation* qui distingue profondément ces œuvres de toutes les musiques – si nombreuses – inspirées par des peintures, et qui ne nous semblent pas pouvoir être vues par le prisme de l'interprétation.</footnote>

<footnote n="32">32 « La vision se produit toujours dans une méta-position, loin du vu, même si elle en est proche. Et cette distance permet un détachement et une objectivité qui se présente comme une vérité. Voir, c'est croire. Le "fossé" visuel nourrit l'idée de certitude structurelle et l'idée que nous pouvons vraiment comprendre les choses, leur donner un nom et nous définir par rapport à ces noms comme des sujets stables, comme des identités. [...] En revanche, l'audition est pleine de doutes : doute phénoménologique de l'auditeur sur l'entendu et sur lui-même qui l'entend. L'audition n'offre pas de méta-position ; il n'y a pas d'endroit où je ne sois pas en même temps que l'entendu. » (traduction personnelle). Salomé Voegelin, *Listening to Noise and Silence: Towards A Philosophy Of Sound Art*, London, Bloomsbury, 2013.</footnote>

<footnote n="33">33 Lisa Samuels and Jerome McGann, « Deformance and Interpretation », *New Literary History*, Vol. 30, N°1, (Winter, 1999), pp. 25-56.</footnote>

<footnote n="34">34 « *A Something overtakes the Mind.* » (Ibid.)</footnote>
d'élaboration imaginaire (9 min *Over Vietnam*).

C'est enfin car la sonification, comme l'interprétation dans son sens herméneutique, est à la fois reformulation<fnref n="31" /> et *discours sur*, manifestation d'une signification latente, signe d'une relation critique. On ne saurait nier cependant ce que cette hypothèse peut avoir de contre-intuitif, davantage que les acceptations vues jusqu'à présent : l'interprétation, qui se veut mise en lumière, élucidation, explicitation, peut-elle provenir d'un biais aussi détourné ?

C'est une vision de l'interprétation comme mise en mouvement de la pensée, refus d'une vérité figée au profit d'une tension continue vers la compréhension, qui est ici défendue : dans un certain imaginaire, le voir a toujours partie liée avec la preuve, avec la saisie ; l'entendre, au contraire, avec le fugace et l'insaisissable<fnref n="32" />. À ce titre, on peut formuler l'hypothèse que visualiser, c'est fixer ; tandis que sonifier, c'est fluidifier et rendre révocable. Alors que visualiser semble toujours une manière d'*ob-jectiver* par l'extériorité, la sonification semble un moyen de saisie plus fragile, plus précaire, mais offrant une porte d'entrée plus intime, plus mystérieuse, immersive et contradictoire à une information.

On peut même postuler que la sonification nous aide parfois à penser l'image, en interrogeant les limites de l'expérience visuelle, voire peut agir comme un remède à la difficulté de voir : ainsi face à l'image qui échappe au regard, qui est invisible à force d'être vue, face à l'image insoutenable. Ainsi quand l'image se dérobe, s'évanouit, par émoussement ou démission du regard.

Dans ce contexte, il échoit donc à la sonification une fonction de démystification impliquant une altérité : point de vue étranger, étrange. Interprétation donc, mais inquiète, tangente, résolument placée sous le signe d'une inadéquation heureuse et féconde.

J'aimerais mobiliser ici un concept emprunté à l'article « Déformance et interprétation »<fnref n="33" /> de Lisa Samuels et Jerry McGann. La “déformance”, mot-valise combinant *performance* et *deformity*, désigne une interprétation ou un dispositif de lecture délibérément aberrant et transgressif qui aboutit, non pas à renouveler la perspective de lecture d'un texte ou d'un corpus, mais à générer un nouvel artefact. Cette stratégie revient à lire sciemment *de travers* un texte, à le lire *à rebours* (le premier exemple donné par Samuels et McGann est d'ailleurs un extrait de la correspondance d'Emily Dickinson où celle-ci suggère de lire un de ses poèmes à l'envers, du dernier mot jusqu'au premier, afin de court-circuiter, d'inhiber partiellement la capacité d'analyse du lecteur<fnref n="34" />). À ce titre, on pourrait sans peine ajouter la sonification à l'inventaire des techniques répertoriées par les auteurs de l'article.

Proscrire toute littéralité, accueillir et radicaliser toute équivocité. Là où la lecture par

<footnote n="31">31 C'est sans doute cette *ré-effectuation* qui distingue profondément ces œuvres de toutes les musiques – si nombreuses – inspirées par des peintures, et qui ne nous semblent pas pouvoir être vues par le prisme de l'interprétation.</footnote>

<footnote n="32">32 « La vision se produit toujours dans une méta-position, loin du vu, même si elle en est proche. Et cette distance permet un détachement et une objectivité qui se présente comme une vérité. Voir, c'est croire. Le "fossé" visuel nourrit l'idée de certitude structurelle et l'idée que nous pouvons vraiment comprendre les choses, leur donner un nom et nous définir par rapport à ces noms comme des sujets stables, comme des identités. [...] En revanche, l'audition est pleine de doutes : doute phénoménologique de l'auditeur sur l'entendu et sur lui-même qui l'entend. L'audition n'offre pas de méta-position ; il n'y a pas d'endroit où je ne sois pas en même temps que l'entendu. » (traduction personnelle). Salomé Voegelin, *Listening to Noise and Silence: Towards A Philosophy Of Sound Art*, London, Bloomsbury, 2013.</footnote>

<footnote n="33">33 Lisa Samuels and Jerome McGann, « Deformance and Interpretation », *New Literary History*, Vol. 30, N°1, (Winter, 1999), pp. 25-56.</footnote>

<footnote n="34">34 « *A Something overtakes the Mind*. » (Ibid.)</footnote>
“déformance” fait son miel du refus de la linéarité, tirant à ses ultimes conséquences la complexe récursivité, les diagonales imprévisibles d’une lecture poétique, la sonification introduit, symétriquement, une temporalité étrange dans l’image, une patience, restituant à l’image sa singularité, son mystère, sa force première si vite absorbée par le regard.

Il y a donc une essentielle fragilité dans ce “regard de l’oreille”. Ces processus nous mettent, auditeurs, en situation de devoir compléter, corriger, outrepasser ce qui s’offre à notre écoute. De devenir interprète à notre tour. Il en va de même qu’à la lecture d’une traduction, quand une part de nous reste consciente que ce que nous lisons n’est qu’une transposition, et accepte une part d’inadéquation, d’approximation et d’incomplétude : nous cherchons à retrouver quelque chose de la grâce et de la force de l’original, entre les lignes.
“déformance” fait son miel du refus de la linéarité, tirant à ses ultimes conséquences la complexe récursivité, les diagonales imprévisibles d’une lecture poétique, la sonification introduit, symétriquement, une temporalité étrange dans l’image, une patience, restituant à l’image sa singularité, son mystère, sa force première si vite absorbée par le regard.

Il y a donc une essentielle fragilité dans ce “regard de l’oreille”. Ces processus nous mettent, auditeurs, en situation de devoir compléter, corriger, outrepasser ce qui s’offre à notre écoute. De devenir interprète à notre tour. Il en va de même qu’à la lecture d’une traduction, quand une part de nous reste consciente que ce que nous lisons n’est qu’une transposition, et accepte une part d’inadéquation, d’approximation et d’incomplétude : nous cherchons à retrouver quelque chose de la grâce et de la force de l’original, entre les lignes.