► To cite this version:

Gérard Assayag. Agalma-IA. Jean-Louis Giavitto; Pierre Saint-Germier. L'Art au temps de l'IA. Générer, critiquer, créer, Editions du Centre Pompidou, pp.81-86, 2025, 978-2-38654-016-5. hal-05124401

HAL Id: hal-05124401

https://hal.science/hal-05124401v1

Submitted on 23 Jun 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Agalma-IA<fnref n="1" />

Gérard Assayag, 30 Octobre 2024

> Les formes n'existent pas en elles-mêmes, elles ne sont que perçues : ce sont des produits du récepteur appliqués sur le message.

Abraham Moles, *Art et Ordinateur*, Casterman, 1971

## Fiction et réalité de l'IA

Dans une nouvelle peu connue de Philip K. Dick écrite en 1977 et parue seulement après sa mort<fnref n="2" />, un ordinateur centralisé et pervasif pilote la totalité des objets connectés dans le pays et intervient dans le quotidien de chacun, de la machine à café à l'air conditionné. Le problème est que l'ordinateur connaît des épisodes psychotiques récurrents – la cafetière délivre de l'eau de vaisselle, les conduits de ventilation crachent des batraciens et des chats morts, les journaux annoncent l'accession récente d'Hitler à la papauté – et lorsque la désorganisation générale provoque des accidents de la route, M. Ordinateur dépêche sur place un cirque complet avec ses clowns plutôt que les pompiers.

On reconnaît là un type d'hallucinations désormais familières de l'IA générative, capable de glisser les divagations folles dans les documents les plus sérieux, à ceci près que ces déraillements, dans la nouvelle, ne sont pas seulement limités à la production de textes et d'images, mais procèdent aussi d'une réalité mixte dans laquelle l'imaginaire latent de la machine intervient dans la matérialité du réel. Il est souvent prédit que l'« IA générale » montrera le bout du nez lorsque les systèmes génératifs ne seront plus limités à l'écriture et à la diffusion de signes et de signaux (le texte, le son, l'image) mais pourront aussi engendrer des actions et changer ainsi l'état du monde.

Dans le domaine musical, nous avons décrit à partir de 2020 dans le projet européen REACH<fnref n="3" /> ce basculement possible comme une convergence ou une connexion des systèmes cyber-physiques – capables de médiatiser numériquement la boucle perception-action par la mesure, le calcul et l'actuation – et des systèmes cyber-humains – qui, eux, encore largement hypothétiques, tentent d'établir une continuité cognitive et créative entre nos esprits et les dispositifs numériques avec lesquels ils interagissent. C'est un peu ce qu'anticipe notre auteur de science-fiction favori, sur le mode de l'humour, mais avec une étonnante pertinence et à

<footnote n="1">¹ Dans la Grèce antique, l'agalma désigne une offrande faite pour honorer et glorifier un dieu, par exemple une statuette votive, représentation au travers de laquelle se noue la relation entre les hommes et les dieux. Le renouveau radical de la relation sujet-objet à l'âge de l'IA rappelle ce concept jadis exhumé par Jacques Lacan dans son séminaire sur « le transfert ». Le psychanalyste y voyait un objet énigmatique du désir.</footnote>

<footnote n="2">² Philip K. Dick, *The Day Mr. Computer Fell Out of Its Tree*, dans *The Collected Stories of Philip K. Dick*, Los Angeles, Underwood/Miller, 1987 ; éd. française : *Le Jour où monsieur Ordinateur perdit les pédales*, trad. de l'anglais par E. Jouanne dans Philip K. Dick, *L'Œil de la Sibylle*, Paris, Gallimard, coll. « Folio Science-Fiction », 2002.</footnote>

<footnote n="3">³ Projet ERC (European Research Council) REACH: Raising Co-Creativity in Cyber-Human Musicianship. Voir reach.ircam.fr</footnote>
rebours des représentations littéraires classiques de l'ordinateur omniscient. Il le fait en mettant en avant, en plus d'une agentivité déchaînée, une forme d'imaginaire capable d'associations libres plutôt que la volonté de puissance paranoïaque stéréotypée par l'ordinateur HAL 9000 d'Arthur C. Clarke et Stanley Kubrick.

Cette idée d'imaginaire est évidemment fondamentale pour nous qui nous préoccupons des interactions créatives entre artistes et systèmes intelligents. Nous verrons qu'avec les concepts complémentaires de réel et de symbolique, une certaine nostalgie du structuralisme et de la philosophie du sujet flotte bien sur la question.

## De la créativité à la cocréativité cyber-humaine

Nous avons mentionné l'interaction artiste-machine abordée sous l'angle de la créativité. Cette question occupe nos recherches depuis de nombreuses années, nous suggérant quelques principes issus de l'observation tout autant que de la modélisation expérimentale de systèmes musicaux hybrides mis à l'épreuve et au risque du concert. Nous avons ainsi promu, au-delà de la « créativité artificielle » qui commençait à se constituer en champ académique, un nouveau paradigme, celui de la cocréativité entre humains et dispositifs artificiels dans un cadre d'échange symbolique. Le concept et le terme ont largement été repris par la suite au point que des programmes d'enseignement et de recherche académiques sur la « cocréativité » aux interfaces entre musique et technologie se mettent désormais en place en France et à l'étranger.

Notre approche dite « cyber-humaine », par analogie avec les systèmes cyber-physiques déjà largement établis dans la recherche et l'industrie, permettait de neutraliser les contenus par trop métaphysiques issus de notions classiquement liées à la créativité comme le sujet, l'intention, le désir, la conscience. La cocréativité entre agents humains et artificiels telle que nous l'entendons consiste en une dynamique émergente, résultant des interactions complexes entre acteurs hétérogènes agissant et apprenant à la fois les uns des autres, irréductible analytiquement à la simple combinaison des productions individuelles. Cette conception a pour avantage de neutraliser les apories liées à l'emploi, dans le domaine artistique, d'expressions comme « créativité artificielle » ou « intelligence artificielle » en l'absence supposée de sujet et de conscience machiniques.

De fait, pour nous, la créativité n'est plus tant une qualité du sujet, liée à un état individuel de la conscience ou de l'inconscient, qu'un surgissement issu de l'interaction improvisée entre plusieurs agents plongés dans une situation d'écoute, d'apprentissage et de production. L'expérience montre alors l'apparition de régimes non linéaires de formation d'événements et de structures conduisant à une riche co évolution de formes musicales. Ces dernières prennent racine dans des actions élémentaires d'ordre mimétique ou contrastantes, synchrones ou asynchrones, coordonnées ou chaotiques, donnant lieu à des stratégies variées d'adaptation temporelle de l'échange. Nous avons pu aussi vérifier l'hypothèse selon laquelle ces riches affleurements sonores dépendent de processus d'apprentissage génératif croisés engageant
de multiples boucles de rétroaction — les agents écoutent, apprennent les uns des autres et produisent simultanément. Ces boucles de rétroaction sont à l'origine des signaux de renforcement qui concourent à créer un modèle du monde et à dessiner des stratégies adaptatives. Une conséquence surprenante en est qu'un comportement riche et créatif peut être engendré collectivement par des entités elles-mêmes peu originales ou peu actives, ce qui atteste du recul de la position centrale du sujet dans notre schéma cocréatif. Ainsi, lors des nombreuses interactions *live* entre des musiciens de renom (Joëlle Léandre, Bernard Lubat, Evan Parker, Steve Lehman, entre autres) et les logiciels conçus dans le cadre du projet REACH, tels que Somax2, nous pouvons entendre dans le signal mixte des instruments et de la machine des formes rythmiques, des constructions harmoniques et texturales, des motifs mélodiques à la fois cohérents dans leur déploiement temporel et polyphonique, et surprenants dans leur apparition – qualités habituellement associées à la créativité. Cependant, il serait impossible d'anticiper l'émergence de ces formes à l'écoute des flux séparés : seule l'instantanéité imprévisible de l'interaction et la bidirectionnalité de l'écoute peuvent faire jaillir ces formes<fnref n="4" />.

## Apprentissage de l'interaction versus apprentissage de représentations

Ceci nous a amenés, dans nos recherches les plus récentes, à considérer l'interaction comme l'objet même de l'apprentissage, et à substituer au modèle largement répandu de l'apprentissage de représentation* celui de l'apprentissage de l'interaction. En d'autres termes, les espaces latents* « imaginés » par les modèles profonds encoderaient les modalités mêmes de l'interaction plutôt que les contenus musicaux qui en résultent *in fine* — ou mieux, ils encoderaient l'intrication unique de l'interaction et du contenu : une telle entreprise n'a jamais été tentée et constitue pour nous le prochain cap à atteindre après le projet REACH. Il sera alors possible de structurer un système d'interaction créative selon plusieurs dimensions ou champs d'information : le champ phénoménologique, constitué de flux de contenus (textes, images ou, pour nous, signaux audio-musicaux) répondant à la question « quoi jouer ? » ; le champ comportemental, constitué de décisions et d'actions qui orientent et façonnent la performance par des interventions décisives, discrètes ou continues, répondant notamment à la question « quand et comment jouer ? » ; et le champ formel qui, par-delà signaux et actions, rend compte de la forme du discours à plus grande échelle.

Réduisant encore l'aporie du sujet, nous faisons ici un pas de plus vers l'objectivation des conditions de cogénérativité : dans le champ phénoménologique, nous aimerions par exemple élucider les conditions du surgissement créatif en nous référant aux progrès de la théorie de l'information autour des notions d'information partagée (*Mutual Information*) et de transfert dirigé d'information (*Transfer Entropy*) entre deux sources stochastiques. On a ainsi pu caractériser la surprise comme une fonction de l'information mutuelle entre le passé et le

<footnote n="4">⁴ Voir, par exemple, les captations des concerts du projet REACH disponibles sur youtube.com/@ercreach.</footnote>
présent d'un signal<fnref n="5" />, elle-même comprise comme diminution du degré d'incertitude sur ce qui vient comparé à ce qui est advenu. Mais lorsque deux signaux X, Y se déploient conjointement dans une dynamique cocréative, s'alimentant mutuellement comme deux improvisateurs qui atteignent à cette jubilation de construire ensemble une forme inédite, nous devons aussi regarder comment le passé de X diminue l'incertitude sur le futur de Y (et donc le conditionne) – et réciproquement de Y vers X. Cette information qui se transfère symétriquement d'un signal à l'autre peut être traitée de manière computationnelle<fnref n="6" /> et contribuer à quantifier la « plus-value cocréative » portée par le signal conjoint X+Y. Cette dernière est la force derrière la production des formes coévolutives déjà évoquées comme tissu complexe d'accords et de désaccords, de structure et de chaos, de hasard et de nécessité, de fusion et d'individuation. L'enjeu majeur lié à la possibilité de quantifier un tel indice de cocréativité serait de pouvoir l'utiliser pour entraîner un modèle d'apprentissage profond, de sorte à pousser ce dernier à favoriser les comportements et les contenus menant à une augmentation de la valeur de cet indice. Ceci reste un problème de recherche ouvert.

Dans le champ comportemental, nous pourrions aussi faire intervenir cet indice comme une forme de « récompense » dans un système d'apprentissage par renforcement*. Dans ce type d'apprentissage, à la base des programmes champions du monde d'échecs et de go, l'interaction entre agents peut être considérée comme un jeu, chaque acteur simulant pour lui-même une série de coups dans un futur imaginaire et rétropropageant les gains estimés selon les divers chemins employés, de sorte à consolider (« renforcer ») les meilleurs choix dans le présent. Et voilà l'imaginaire qui revient au galop ! Ainsi une improvisation musicale collective serait-elle réductible à chaque instant à la sélection par chaque participant de l'option qui optimiserait conjointement la cohérence de son parcours propre, l'écoute des autres et la créativité du résultat, cela dans la construction progressive d'un horizon musical toujours mouvant. Fascinants dans leur principe, de tels dispositifs s'enracineront socialement lorsqu'ils s'incarneront dans une réalité physique à travers des dispositifs de réalité mixte ou d'interréalité<fnref n="7" /> (une forme de réalité mixte dans laquelle le monde physique est activement modifié par le système numérique) et lorsqu'ils s'inscriront résolument dans la dimension collective et le rituel du jouer-ensemble.

## L'effacement du sujet dans l'interaction créative entre artiste et machine

Mais revenons à la psychose critique de ces machines. Nous nous sommes amusés il y a peu à replacer les concepts directeurs de la révolution de l'IA dans la large perspective du « tournant

<footnote n="5">⁵ Shlomo Dubnov, Ke Chen et Kevin Huang, « Deep Music Information Dynamics », *Journal of Creative Music Systems*, *JCMS Special Issue of the first Conference on AI Music Creativity*, 2022.</footnote>

<footnote n="6">⁶ Shlomo Dubnov, Vignesh Gokul, Gérard Assayag, « Switching Machine Improvisation Models by Latent Transfer Entropy Criteria », *Physical Sciences Forum*, vol. 5:1, 2022; consultable sur : www.mdpi.com/2125730.</footnote>

<footnote n="7">⁷ Par exemple en embarquant l'IA dans des instruments de musique augmentés avec une acoustique active, comme nous avons commencé à le tenter avec le programme Somax2 et la guitare de la société HyVibe.</footnote>
linguistique » du xxᵉ siècle, avec sa « subversion du sujet » faisant perdre à ce dernier sa substance, son unité, sa permanence, comme sa relation d'objet – en d'autres termes, sa place centrale, transcendante et universelle. C'est au fond un préjugé syntaxique qui conduit à poser un sujet comme agent conscient, et un préjugé topologique qui conduit à le considérer comme source de la conscience plutôt que comme champ, c'est-à-dire comme espace de son déploiement. Nous sommes un peu dans la suite de ce renversement lorsque nous voyons dans la cocréativité issue de l'interaction entre des entités autonomes l'émergence d'un champ où s'évanouissent les individualités au profit de formes globales. Il est à noter que Lacan rajoute un clou sur le cercueil du sujet, puisant chez Hegel<fnref n="8" /> l'idée que le sujet se saisit d'abord dans la référence dialectique à l'autre à travers l'intersubjectivité : « relation du sujet à l'autre plutôt que du sujet à lui-même, jusqu'au concept du « grand Autre<fnref n="9" /> » comme lieu topologique fondant l'ordre du symbolique. Il est d'ailleurs peu connu que Lacan, dans le sillage de la cybernétique, entama brièvement en 1954 une réflexion sur la machine et son rapport au sujet et à l'ordre symbolique. Patrick Juignet relève que, pour lui, « la machine cybernétique s'identifie à une structure détachée de l'activité du sujet », de sorte que « le symbolique est le monde de la machine »<fnref n="10" />. De là notre interprétation des espaces latents de l'IA comme lieu de l'imaginaire, et des modèles de langage – aujourd'hui principaux véhicules d'accès à ces espaces – comme lieu du symbolique. Y rattacher l'ordre du « réel » pour compléter la fameuse trinité nécessiterait un travail à suivre, avec notamment l'introduction du désir (et de ses machines)<fnref n="11" /> qui devra faire l'objet d'un autre texte.

Retenons pour l'instant que le schéma d'interaction créative entre artiste et machine façonne une nouvelle réalité pour laquelle nous devrons réévaluer radicalement les notions de sujet, d'intention, de désir, de motivation et de conscience comme sources causales dans un cadre plus large de forces créatives pouvant aussi les produire comme *effets*. Mais c'est bien l'intuition formidable de Philip K. Dick qui montre encore une fois la piste, tout en nous amusant, avec sa synthèse accomplie du réel dans la fiction lorsque le cyber-humain s'exprime de manière délirante dans le **cyber-physique**\*.

<footnote n="8">⁸ Voir G.W.F. Hegel. *Phénoménologie de l'esprit* (1807), Paris, Gallimard, 1993.</footnote>

<footnote n="9">⁹ Voir Jacques Lacan, « Symbolique, imaginaire, réel », Bulletin de l'association française de psychanalyse, 1953 ; repris dans J. Lacan, *Le Séminaire. Livre II. Le moi dans la théorie de Freud et dans la technique de la psychanalyse*, Paris, Seuil, 1978, et id., *Le Séminaire. Livre VI. Le désir et son interprétation*, Paris, Éditions de La Martinière, coll. « Le Champ Freudien », 2013.</footnote>

<footnote n="10">¹⁰ Patrick Juignet, « Lacan, le symbolique et le signifiant », *Cliniques méditerranéennes*, n° 68, février 2003, p. 131-144.</footnote>

<footnote n="11">¹¹ Réflexion ouverte par G. Assayag dans « Sex Machine », séminaire de l'École des hautes études en sciences sociales, Ircam, 10 janvier 2024 ; séance consultable sur : https://www.stms-lab.fr/article/sex-machine. L'auteur y évoque notamment l'*agalma* antique comme métaphore de l'objet du désir.</footnote>