# Support à l'Entretien filmé sur Informatique et Musique au LIP6*

Jean-Pierre Briot

Sorbonne University, CNRS, LIP6
F-75005 Paris, France

Jean-Pierre.Briot@lip6.fr

Septembre 2024

## Qui êtes-vous ?

Bonjour à toutes et à tous ! Je m'appelle Jean-Pierre Briot. Je suis Directeur de recherche CNRS et membre du LIP6, dans l'équipe SMA. Je suis émérite depuis un an. J'ai toujours été au LIP6 et dans les laboratoires le précédant. J'ai soutenu ma thèse de doctorat de 3ème cycle en 1984, dirigée par Jean-François Perrot, à l'IRCAM, dans le cadre d'un projet de langage et environnement d'aide à la composition et la synthèse musicale, projet nommé Formes et dirigé par Xavier Rodet et Pierre Cointe. J'ai continué aux côtés de Pierre Cointe dans le domaine de la programmation par objets, alors en plein essor et ai contribué à des architectures réflexives auto-décrites minimalistes, puis dans le domaine de la programmation concurrente et répartie par objets, puis de là je me suis intéressé à la programmation par agents. Pendant ma carrière, j'ai effectué divers séjours à l'étranger, aux États-Unis, au Japon et au Brésil. J'ai été responsable d'un département de recherche au LIP6 pendant 9 ans et ai créé le Bureau du CNRS au Brésil en 2020. Il y a environ 7 ans, je me suis réinvesti dans l'informatique musicale que je n'avais jamais complètement quittée, notamment sur l'IA générative pour la musique, un domaine qui est en plein essor, et auquel j'ai notamment contribué par un ouvrage de référence chez Springer<fnref n="1" />.

## Activités en informatique et musique au LIP6

Au niveau du LIP6, il n'y a pas véritablement d'équipe constituée sur l'informatique musicale, mais il y a et il y a toujours eu des individualités qui y ont contribué activement. Je peux citer par exemple, Xavier Rodet, sur le traitement du signal musical au LAFORIA (un des ancêtres du LIP6), Pierre Cointe, également déjà cité, sur la programmation de processus musicaux, et quelques autres collègues. Il faut dire que certains collègues informaticiens de Sorbonne Université font leur recherche à l'IRCAM, qui reste un institut de recherche et développement de référence en matière d'informatique musicale et avec laquelle il y a toujours eu beaucoup de collaborations. Au niveau du LIP6, c'est sans doute François Pachet, collègue du LAFORIA puis chercheur associé au LIP6, qui a le plus développé une activité et une petite équipe de doctorants autour de la musique, par exemple sur l'analyse musicale par règles de production, l'harmonisation musicale par résolution de contraintes, la configuration de synthétiseurs par raisonnement logique, etc., avant de partir vers Sony CSL puis Spotify. J'ai ainsi naturellement beaucoup collaboré et encore maintenant avec lui. J'ai moi-même développé une petite équipe de doctorants sur le sujet, notamment tout récemment : Nathan Fradet, qui participe également à cet entretien filmé, et qui a proposé pendant sa thèse une analyse de l'impact des choix de représentation de la musique pour des architectures

<footnote>* Entretien mené par Aurore Basson, Chargée de communication au LIP6. L'entretien filmé, qui inclut également deux récents doctorants, Nathan Fradet (également du LIP6) et Rens Bayens (Université d'Anvers), après édition, sera rapidement rendu disponible sur le site web du LIP6 : https://www.lip6.fr/</footnote>

<footnote n="1">¹ Jean-Pierre Briot, Gaëtan Hadjeres et François-David Pachet, Deep Learning Techniques for Music Generation, Series on Computational Synthesis and Creative Systems, Springer, 2020.</footnote>
d'IA pour la génération symbolique de musique, et Constance Douwes, qui a proposé pendant sa thèse une méthodologie pour trouver les meilleurs compromis entre qualité et consommation énergétique pour des architectures d'IA pour la génération audio de musique et de son, un enjeu important du fait de la course actuelle à la puissance des modèles d'IA.

*On dit souvent que l'informatique est partout. Quels sont ses liens avec la musique ? Quelles sont les interactions entre musique et recherche en informatique ?*

L'informatique est partout. La musique est un domaine d'application et d'inspiration riche et intéressant, avec de nombreux enjeux informatiques, tels que : le temps réel, la représentation des connaissances, l'algorithmique, le traitement du signal, l'interface homme-machine, et bien d'autres.

Avant même de parler d'informatique, il faut bien évidemment rappeler que la musique a de nombreuses fondations mathématiques, l'acoustique, l'harmonie, etc. Une modélisation informatique de la musique est ainsi naturelle, même si elle n'est pas simple, vu la complexité et de la multiplicité des points de vue sur la musique (les différents niveaux de langages, le son, la prépondérance du temps, la psychoacoustique, etc.).

## Origines de l'informatique musicale

Il nous faut rappeler que la génération algorithmique de musique a commencé très tôt, en 1957, un an après la naissance du terme intelligence artificielle au Workshop de Darmouth. Un premier son musical, nommé The Silver Scale, a été produit par un programme informatique nommé Music I. Et, la même année, une partition musicale, nommée ILLIAC Suite, a également été générée par un ordinateur (nommé ILLIAC, le nom de l'ordinateur, qui a donné son nom à la musique). Cette simultanéité est d'ailleurs intéressante, car on retrouvera toujours ensuite la dualité entre le niveau symbolique de la composition et le niveau signal du son. Pour revenir à la composition ILLIAC Suite, elle a ensuite été jouée par un quatuor à cordes humain, ce qui lui a donné une touche d'interprétation plus humaine. La génération était basée sur un modèle avec des chaînes de Markov et des règles de filtrage, toutes conçues à la main. Et enfin, si l'on remonte plus tôt encore, avant l'ordinateur, il y a l'exemple de la musique par dés en 1792, attribuée à Mozart, pour générer une partition musicale basée sur la sélection stochastique de segments prédéfinis.

Depuis ces premières étapes à la fin des années 50, la musique informatique n'a cessé de se développer, en bénéficiant de la montée en puissance des machines. Une branche qui s'est en particulier bien développée est ce qu'on appelle la composition algorithmique, utilisant des algorithmes, ou/et des connaissances, et des méta-algorithmes (comme par exemple l'apprentissage machine), pour générer automatiquement des compositions musicales à partir d'un modèle informatique. On retrouve des modèles symboliques, tels que les règles, les grammaires génératives, la programmation par contraintes, le raisonnement par cas, la planification, mais aussi des approches sous-symboliques ou probabilistes comme les chaînes de Markov, les algorithmes génétiques, ou les automates cellulaires et enfin les réseaux de neurones, qui ont commencé à être utilisés très tôt. Au départ, comme dans le cas de l'ILLIAC Suite, les modèles étaient spécifiés à la main par les compositeurs, ce qui est fastidieux et sujet aux erreurs. S'est ensuite développée une approche d'apprentissage machine, permettant d'apprendre automatiquement des modèles à partir d'exemples. On peut alors ainsi apprendre le style de certains musiciens, les mélodies, les harmonies, le rythme, et générer et composer de nouvelles créations mais inspirées des styles appris. Les deux principaux modèles entrainables utilisés sont les réseaux de neurones artificiels et les modèles de Markov. Avec la montée en puissance des machines, l'apprentissage de modèles de grande échelle, à partir de très grandes quantités d'exemples, ce qu'on appelle le deep learning est récemment devenu très prépondérant, comme dans nombre autres domaines.
Par exemple, Gaëtan Hadjeres, qui a soutenu sa thèse en 2018 au LIP6, a entraîné un modèle neuronal profond avec le corpus des chorales de Bach, des mélodies harmonisées selon les règles du contrepoint à 4 voix. Puis il a généré de nouveaux chorales dans le style original. Un test grand public, un test de Turing musical, a été réalisé par un canal de télévision néerlandais et a montré la difficulté du public d'arriver à distinguer entre les originaux et les nouveaux.

## Enjeux

Cependant, et c'est un sujet fondamental, autant il peut être dans certaines conditions intéressant d'imiter, dans une démarche de création, il faut favoriser une originalité et contrôler la création à l'aide d'objectifs et de contraintes. Ceci pose de nouveaux enjeux aux approches actuelles fondées sur l'apprentissage statistique, qui sont construites pour reproduire dans la distribution apprise mais pas pour favoriser l'originalité. De plus, on ne connaît pas de fonction à optimiser pour créer une bonne musique. Autrement dit, autant, comme on va le voir la technologie est déjà mûre pour générer de manière autonome de la musique fonctionnelle, par exemple pour des vidéos, tels sur TikTok, des documentaires, ou des publicités, une réelle créativité musicale par la machine capable de créer de la musique qui attire notre intérêt est encore loin. Et, comme en général, il est difficile de dire quand cela pourrait arriver.

Pour autant, une étape intéressante vers la création de musique contrôlée finement par le musicien est l'intégration faite entre les modèles de Markov et la programmation par contraintes, par mon collègue François Pachet et son équipe dans le projet de recherche Flow Machines mené à Sony CSL-Paris et en collaboration avec Sorbonne Université et le LIP6, au cours de la décennie 2010. Elle permet d'apprendre le style à partir d'un corpus musical, par exemple par exemple les bossa novas de Tom Jobim, de contrôler la génération, par exemple la durée min et max des notes de la mélodie ; terminer une mélodie sur la même note que son début, etc. Cette intégration nommée contraintes de Markov est le fondement de l'environnement prototype interactif Flow Composer, développé dans le cadre du projet et testé par divers artistes, pour les assister à composer et produire de la musique.

## Usages

Il faut à cette occasion rappeler qu'il existe deux grandes familles d'utilisation de techniques d'IA, dont en premier lieu l'apprentissage machine, pour la création de musique. La première famille est constituée des générateurs autonomes. De premières startups et produits sont apparus à la fin des années 2010, par exemple Aiva et JukeDeck, ce dernier rapidement racheté par TikTok, illustrant ainsi le marché potentiel de génération de musique associée à des vidéos. La qualité de génération progresse très vite avec la puissance de calcul. Cette année, les applications Suno et Udio sont impressionnantes en termes de qualité de production musicale, et utilisent les techniques de requête (les « prompts », comme pour Chat GPT), pour personnaliser la génération. Il y a cependant peu de surprise pour l'auditeur, et il est encore difficile de réutiliser et affiner la génération.

La deuxième famille, et qui m'intéresse plus, en tant qu'informaticien mais aussi en tant que musicien, ce sont les assistants à la création musicale. Il ne s'agit plus cette fois d'une génération de bout en bout, sans aucune interactivité avec le musicien, mais au contraire d'outils ou/et d'environnements interactifs de support au travail du musicien. Le prototype Flow Composer que j'ai évoqué il y a peu est une excellente illustration de ces objectifs. Le musicien peut ainsi interactivement écrire et éditer une partition, solliciter Flow Composer pour lui proposer des esquisses de mélodie ou/et d'harmonie, inspirés par un style choisi ; des complétions ou des complémentations, par exemple en régénérant des accords correspondant à une partie de mélodie qu'il a modifiée, etc.
Récemment ont commencé à apparaître divers outils et plugins fondés sur l'IA permettant d'assister les musiciens pendant différentes phases de composition, par exemple en proposant une ligne de basse, ou une complétion harmonique, et en restant sous le contrôle du musicien. Les principaux plugins sont en fait au niveau de la production de musique, le mixage, ou le mastering. Mentionnons aussi la séparation de sources, par exemple pour réutiliser une voix sans l'accompagnement, qui est longtemps restée un verrou technologique et qui est depuis résolue par des techniques d'IA de réseaux profonds.

C'est l'occasion de revenir à la dualité que j'avais introduite entre le niveau du symbolique, notamment représenté par la partition, et le niveau du son, notamment représenté par le timbre.

Or, il faut bien voir que la manière de composer de la musique a récemment évolué. Au départ, elle était centrée sur la composition. La voie traditionnelle débute en général par une inspiration par le compositeur de motifs mélodiques ou/et harmoniques, ensuite testés sur un instrument (en général un piano), affinage, extension (par exemple par transposition), et ainsi construction progressive, avec une boucle interactive qui peut durer longtemps, suivie par l'orchestration, etc. On a une approche descendante par raffinement, un peu comme pour une méthodologie de génie logiciel, en raffinant progressivement une spécification formelle jusqu'à un programme informatique, avec de probables retours en arrière.

Dans nombre de musiques modernes, la démarche est au contraire centrée sur le son et la production. De nombreux artistes travaillent à partir de boucles de sons, qu'ils affinent et combinent, avec un travail centré sur la production musicale. On a donc cette fois une approche ascendante en partant de matériaux sonores. La démarche n'est à vrai dire pas foncièrement nouvelle, car Pierre Schaeffer, l'inventeur de la musique concrète en 1948, la bricolait déjà à base de sillons fermés, puis par des collages de bandes magnétiques, bien avant l'avènement des échantillonneurs sonores (les samplers). La base technologique est maintenant constituée de stations de travail audio numériques modernes, telles que Garage Band ou Logic d'Apple, Cubase, Abelton Live et autres. Ces stations logicielles sont d'ailleurs souvent les descendants de prototypes créés par des chercheurs dans des laboratoires souvent publics, sur l'aide à la composition, la synthèse sonore, l'interaction multimedia, etc.

## Conclusion

On le voit, la technologie avance très vite, notamment boostée par la puissance de calcul et de mémoire, qui est le carburant de la technologie actuelle du deep learning. Comme souvent, la technologie avance plus vite que les usages, il va donc nous falloir plus de recul pour voir comment les artistes vont pouvoir intégrer ces techniques dans leurs pratiques. Et j'espère pour contribuer à créer des musiques qui frappent et inspirent, et pas juste des copies comme trop souvent actuellement. En se rappelant que l'on n'a pas besoin d'informatique ni d'IA pour créer de la musique peu intéressante.

Enfin, se pose bien évidemment la question de la juste rémunération des créateurs, notamment ceux dont les exemples alimentent l'apprentissage machine. Ce sujet est très chaud, et l'objet de conflits juridiques et de tentatives de réglementation, comme dans le domaine de la génération de texte.

Je vais m'arrêter ici. Je n'ai bien entendu pas pu aborder plein d'autres aspects des enjeux en matière d'informatique et de musique, par manque de temps. Mais j'espère avoir pu vous persuader que la musique est un domaine très dynamique et plein d'enjeux, à la fois une application de plein de domaines de l'informatique, mais également une source de problèmes très intéressante pour nous chercheurs en informatique !

Merci pour votre attention !