# OSSIA: Un exemple de collaboration sur la durée entre art, science et ingéniérie

Pia Baltazar, Jean-Michaël Celerier, Myriam Desainte-Catherine

► To cite this version:

Pia Baltazar, Jean-Michaël Celerier, Myriam Desainte-Catherine. OSSIA: Un exemple de collaboration sur la durée entre art, science et ingéniérie. Journées d'Informatique Théâtrale, ENSATT, Oct 2022, Lyon, France. hal-04332719

HAL Id: hal-04332719

https://inria.hal.science/hal-04332719v1

Submitted on 9 Dec 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Pia Baltazar
ossia.io
pia@ossia.io

Jean-Michaël Celerier
ossia.io
jcelerier@ossia.io

Myriam Desainte-Catherine
LaBRI/SCRIME
myriam@labri.fr

## RÉSUMÉ

Dans cet article, nous présentons l'initiative collaborative ossia, qui s'est concentrée depuis une quinzaine d'années sur la formulation de modèles et d'outils pour l'écriture du temps et de l'interaction pour la création artistique. En faisant collaborer artistes, ingénieurs et scientifiques, cette initiative a permis de produire des modèles théoriques de scénarisation interactive, ainsi que, de manière itérative, plusieurs générations de prototypes logiciels, qui ont abouti sur des logiciels professionnels, utilisables en production par les praticiens artistiques.

Après avoir exposé le contexte, nous présentons un parcours des différentes phases de recherche et de développement qui se sont succédées pour aboutir aux résultats actuels. Nous présentons ensuite les enjeux du projet, d'abord d'un point de vue théorique autour des notions de temporalité et d'interactivité, et ensuite du point de vue du processus de collaboration, en particulier en regard de la diversité de positions des diverses participantés ayant contribué à l'initiative depuis son origine.

## 1. INTRODUCTION

Le projet ossia est issu d'une initiative collaborative de recherche et de développement visant à proposer et faire évoluer des modèles et outils pour l'écriture intermedia interactive. Ce projet s'articule autour du séquenceur ossia score, et est le résultat d'une collaboration soutenue sur une quinzaine d'années d'une communauté d'artistes, de scientifiques et d'ingénieurs. Une présentation plus exhaustive du projet ainsi que le téléchargement de ses résultats, sous licence open source, sont disponibles sur le site web ossia.io.

Le présent article vise à proposer une vue rétrospective sur le parcours de ce projet, à en présenter les enjeux et les dynamiques de collaboration entre les artistes, scientifiques et ingénieurs qui y ont contribué.

## 2. ORIGINES DU PROJET

Les problématiques que traite le projet se sont cristallisées en 2006 à la croisée de deux initiatives :

- Un modèle théorique informatique permettant de spécifier des relations temporelles entre des événements interactifs (Desainte-Catherine & Allombert, 2004), ainsi qu'une proposition d'implémentation logicielle de ce modèle, conçue avec la société Blue Yeti.

- Une volonté de praticiens du spectacle vivant, de la composition musicale et des arts numériques de mutualiser leurs efforts de développement logiciel pour disposer d'outils de création partagés.

La cristallisation de ces deux initiatives s'est faite à l'occasion d'un Groupe de Travail financé en 2006 par l'Association Française d'Informatique Musicale (Baltazar & Gagneré, 2007), qui a permis à ces chercheurs et praticiens d'allier leurs démarches afin de formuler un projet de recherche sur « l'écriture du temps et de l'interaction dans la régie numérique de spectacle vivant » (Baltazar et al., 2009), financé par l'Agence Nationale de la Recherche française (ANR) sur 2008 et 2009, et intitulé Virage (Allombert et al., 2010).

## 3. PROJETS DE RECHERCHE ET DÉVELOPPEMENT

### 3.1. Virage : formulation du modèle

Le champ d'étude et d'application du projet Virage s'est principalement concentré sur le domaine de l'écriture des media numériques (son, vidéo, lumière...) dans le spectacle vivant. La recherche s'est articulée autour des deux questions de recherche suivantes :

- « Temps souple » : comment faire coïncider le temps métronomique d'un système informatique et celui, « organique », d'agents humains dans le cadre du spectacle vivant ?

- Interopérabilité et modularité : comment combiner au mieux les modèles et outils produits aux dispositifs et pratiques existantes, sans chercher à se substituer à elles ?

En d'autres termes, ce projet avait l'objectif ambitieux de faire évoluer les paradigmes de représentation et de manipulation du temps dans un domaine créatif (le spectacle vivant) où la temporalité est une notion centrale. Cette démarche se voulait pragmatique, en impliquant les praticiens du
domaine dès la formulation du projet, et en soumettant à leur expertise pratique, tout au long du projet, toutes les hypothèses et livrables produits lors du processus de recherche et de développement.

Les livrables produits à l'issue du projet étaient : un protocole de requêtes et d'exploration d'espaces de paramètres de contrôle de media structurés selon le protocole *OpenSoundControl* (OSC) (Wright, 1997) et intitulé *Minuit*<fnref n="1" /> ; des environnements logiciels de création multimédia implémentant le protocole *Minuit* dans le langage de programmation *Max*, intitulés *tapemovie* (Mays & Rubiano, 2010) et *Jamoma* (Place et al., 2008) ; un prototype de séquenceur intermedia, *Virage*, opérationnel pour l'expérimentation quoiqu'inutilisable en production ; et un cahier des charges pour des implémentations futures du modèle développé lors du projet.

## 3.2. OSSIA : extension du modèle

Suite aux résultats prometteurs de ce premier projet, ses collaborateurs ont cherché à étendre son domaine d'application aux domaines de la muséographie, de l'installation interactive et du jeu vidéo, dans le cadre du projet OSSIA (Open Scenario Systems for Interactive Applications), également financé par l'ANR pour la période 2012/2015. Cette évolution impliquait de faire évoluer le modèle du temps souple et « feuilleté » (cf. 4.1) développé au sein de Virage pour y inclure un nouveau paradigme temporel permettant d'introduire entre autres des boucles et bifurcations dans les scénarios interactifs (Celerier et al., 2015).

<figure><img src="image_2.png" /><figcaption>**Figure 1.** Les modalités temporelles proposées dans le modèle développé dans le projet OSSIA : souple, non-linéaire, conditionnelle, hiérarchique.</figcaption></figure>

Avec la conception de ces nouvelles modalités temporelles a été développé un formalisme graphique en permettant la représentation et la manipulation unifiées (de la Hogue et al., 2016). Pour des raisons de ressources en ingénierie, elles n'ont pas pu être intégrées dans le prototype opérationnel, *i-score* (Baltazar & Desainte-Catherine, 2014), qui a été produit à la fin du projet. Celui-ci permettait à des utilisateurs expert·es de réaliser des productions expérimentales, mais était encore trop fragile pour pouvoir être diffusé à la communauté professionnelle. Par ailleurs, ce projet de recherche a contribué au développement de la version finale du cadriciel *Jamoma* (Lossius et al., 2014), en collaboration avec le collectif international éponyme.

## 3.3. ossia.io : application du modèle

Ces deux projets de recherche ont permis de poser des modèles théoriques validés par les praticiens et un prototype de séquenceur interactif qui avait éveillé leur intérêt, sans cependant qu'ils puissent les utiliser en situation de production, par cause de son statut de prototype et son manque de stabilité – en effet, l'objet de ces projets était, dès leur formulation, et en réponse au cahier des charges de leur financeur, de produire des connaissances et non des logiciels professionnels.

Suite à ces financements, à nouveau, la conjonction de deux initiatives a permis de mener le projet à son état actuel :

D'une part, du point de vue de la recherche, une thèse de doctorat en informatique, sous contrat CIFRE avec la société *Blue Yeti*, a été dédiée à l'hybridation du modèle de graphe de flux temporel produit par OSSIA, avec un modèle de graphe de flux de données (Celerier, 2018). Par ailleurs, ce doctorat a été l'occasion pour son auteur de procéder à une refonte totale du séquenceur interactif en la basant sur les spécifications produites par les projets de recherche antérieurs, ainsi que sur des techniques de programmation modernes et sur une architecture logicielle conforme aux standards d'ingénierie contemporains.

D'autre part, il a été possible de se concentrer, en parallèle et en conjonction avec ce doctorat, sur l'aspect applicatif de l'initiative à l'aide d'un financement du Ministère de la Culture dans le cadre du programme SNI (Services Numériques Innovants), également porté par la société *Blue Yeti*. Ce financement a permis de répondre à la demande des praticiens impliqués dans les projets de recherche à disposer d'une implémentation logicielle stable, robuste et ergonomique des modèles qu'ils avaient contribué à concevoir et valider. Ce projet s'est ainsi focalisé sur la consolidation et la documentation du prototype en un logiciel professionnel utilisable en production, et sur le développement et la documentation d'un ensemble de ponts et d'implémentations de la bibliothèque *libossia*. Il s'agissait sur ce dernier point d'étendre la démarche de *Jamoma*, implémenté dans l'environnement *Max*, à la plupart des environnements créatifs utilisés par les praticiens, et également d'implémenter le protocole *OSQuery*<fnref n="2" />, à la définition de laquelle a participé le collectif ossia (réunissant alors informellement les différents participants aux projets de recherche précédents), avec d'autres acteurs du domaine. Ce projet a également été l'occasion de réaliser une étude des usages (Losco, 2018) qui a permis au collectif ossia de mieux saisir les enjeux du projet pour les praticiens et d'orienter au plus juste sa trajectoire de développement et ses orientations futures.

Suite à ce projet, le séquenceur intermedia interactif a été renommé *ossia score* et a été diffusé en ligne, ainsi que la bibliothèque *libossia*, d'une manière « organique », en laissant les praticiens s'en saisir

<footnote n="1">¹ Spécifications et implémentations disponibles sur
https://github.com/Minuit/minuit</footnote>

<footnote n="2">² Spécifications et documentation disponibles sur
https://github.com/Vidvox/OSQueryProposal</footnote>
plutôt qu'en organisant une campagne de communication autour de cette diffusion, afin de laisser l'environnement logiciel mûrir «à son rythme» en réponse aux retours de ses utilisateurs. Une association, nommée ossia.io a également été créée à Bordeaux et à Montréal, afin de pouvoir disposer de ressources pour soutenir le développement et la diffusion progressive de l'environnement logiciel ossia.

# 4. ENJEUX DU PROJET

## 4.1. Temporalité et interactivité

La question de la représentation et de la manipulation du temps est la notion centrale autour de laquelle ont convergé les démarches et intérêts des diverses participant-es, issu-es de domaines variés : création artistique, recherche scientifique (en informatique et en sciences humaines) et ingénierie technologique.

Cette question a été traitée dans les divers projets de recherche à travers le modèle de la partition numérique interactive, également nommée scénario interactif, qui permet de structurer le déroulement d'une œuvre intermedia à l'aide d'événements discrets pouvant être structurés par le moyen d'un langage visuel. Ce langage visuel permet d'opérer "une discrétisation des déploiements temporels" (Meyssonnier, 2013). Le caractère interactif de ces scénarios vient du fait que, pour certains de leurs événements, certains paramètres ne sont que partiellement ou pas du tout déterminés dans l'écriture d'une œuvre : par exemple la durée d'un intervalle de temps, la date du déclenchement d'un événement, la corrélation (ou transduction) d'un geste à un paramètre expressif d'un medium, etc. Ce caractère interactif peut se décliner selon plusieurs modalités :

La plus simple consiste en l'organisation de points de déclenchement, permettant d'organiser la succession d'événements discrets, sur le modèle de la cue list, tel qu'on le trouve dans la plupart des logiciels de régie de spectacle. Cependant le modèle temporel proposé par ossia permet, au-delà d'une simple succession d'événements discrets et indépendants, de construire et de visualiser un temps feuilleté (multilayered), avec la possibilité de structurer ces éléments interactifs pour les situer par rapport à d'autres évènements dans la durée, et en déterminant des "ordres partiels" de succession, coexistence, superposition, etc. répondant notamment à l'algèbre des intervalles d'Allen (Allombert et al., 2008).

Par ailleurs, les différents intervalles qui composent les scénarios interactifs sont équipés d'horloges indépendantes, ce qui permet d'en moduler l'écoulement temporel de manière indépendante. En effet, si certains logiciels manipulant des contenus audio ou vidéo proposent cette possibilité de façon globale (avec par exemple la gestion du tempo ou de la vitesse de lecture), il est possible avec le modèle d'ossia score de moduler localement la vitesse d'un intervalle au sein d'une structure plus vaste sans que celle-ci n'en soit altérée, et en respectant les contraintes qui y ont été établies. Cette

modalité d'interaction permet de disposer d'un "temps souple" dans l'exécution des scénarios interactifs.

Sans que cela ne constitue à proprement parler une modalité d'écriture de l'interactivité en elle-même, la possibilité, depuis le projet OSSIA, d'organiser les scénarios interactifs de manière hiérarchique (c'est-à-dire en encapsulant des objets temporels dans d'autres objets, à la manière des poupées russes) en facilite la gestion, aussi bien au moment de leur édition que de leur exécution. En terme d'édition, cela permet à l'auteur-rice de focaliser son attention sur une partie d'un scénario au moment de son écriture, en faisant abstraction du reste du scénario, mais aussi d'en "cacher" la complexité une fois que celle-ci a été déterminée, pour avoir une vision d'ensemble plus claire. Par ailleurs, au moment de l'exécution, l'organisation hiérarchique des objets temporels permet de contrôler leurs vitesses d'horloges "en cascade" : on peut ainsi accélérer toute une portion d'un scénario tandis que le reste s'exécute à une vitesse indépendante.

Également ajoutée au modèle lors du projet OSSIA, la modalité conditionnelle permet de déterminer que certains ensembles d'éléments temporels pourront se produire ou non, suivant l'état de l'environnement du logiciel à un instant donné, ou selon l'arrivée d'un message depuis l'extérieur. Cette conditionnalité permet notamment de créer des bifurcations dans les scénarios interactifs, ce qui est un besoin récurrent des installations interactives et des jeux vidéos, qui étaient deux des terrains d'application privilégiés du projet OSSIA.

Enfin, au cahier des charges de ce même projet avait été posée la nécessité de disposer de modalités de bouclage de portions des scénarios. La solution qui avait été trouvée lors du projet de recherche était insatisfaisante en termes d'usage, et elle a ensuite été remplacée par une modalité plus simple impliquant l'ajout d'un élément de syntaxe, les "transitions", qui permettent de sauter de manière instantanée d'un point à un autre d'un scénario. Ces transitions permettent ainsi de créer des boucles, en revenant au début d'une portion de scénario une fois qu'elle a été exécutée (avec l'application potentielle de points de déclenchement ou de conditions d'exécution), mais aussi de faire se rejoindre des branches hétérogènes de bifurcations de scénarios, ce qui était impossible dans le modèle précédent.

En revanche, l'ajout de cette modalité implique que les scénarios interactifs soient plus difficilement vérifiables algorithmiquement a priori, ce qui ne pose pas de problème d'usage en soi pour les praticiens, mais retranche un point d'intérêt considérable pour les chercheurs en informatique liés au projet.

## 4.2. Collaborations et croisements

Cette inflexion du modèle pour des raisons pratiques est un exemple notable de point de friction où la convergence d'intérêts entre chercheurs et praticiens peut rencontrer sa limite : cette collaboration entre des acteurs issus de domaines très hétérogènes était à la fois une grande richesse et un enjeu de l'initiative.
La quasi-totalité des participants à l'initiative ossia, depuis son origine, ont des profils hybrides se situant pour la plupart à différentes intersections ou combinaisons de pratiques artistiques et d'ingénierie, et de démarches scientifiques. Cependant, chacun e d'entre elles et eux s'est impliqué dans l'initiative à partir d'une position donnée, qui impliquait de définir leurs priorités au service de cette position. Pour les scientifiques : l'intérêt principal était de produire des modèles génériques permettant de produire ou d'analyser des scénarios interactifs, ou d'en étudier les usages. Pour les acteur·ices artistiques, la priorité était de pouvoir favoriser une démarche intuitive, voire sensorielle, pour intégrer l'usage du logiciel dans une pratique créative. Enfin, du point de vue de l'ingénierie, il s'agissant en quelque sorte de combiner ces deux aspects, en s'appuyant sur les modèles théoriques, pour en rendre l'usage ergonomique et "intuitif".

Cette diversité d'intérêts se reflétait également dans une égale diversités de temporalités et de modalités de valorisation du travail des divers es participant es : Les praticien·nes ont en effet habitude de développer des dispositifs "dans l'urgence", au fil des productions. La valorisation de leur travail se fait sur le résultat artistique, les détails de la réalisation important peu. De leur côté, les chercheur·es se situent davantage sur le temps long de la production du savoir transférable. L'évaluation de leur travail se fait sur la publication écrite de ces savoirs. Enfin, du point de vue des partenaires industriels, la priorité est mise sur la rentabilisation de l'investissement et l'élargissement de la base d'utilisateur·rices, parfois au détriment du caractère expérimental (même quand les dispositifs développés sont issus d'un domaine de création expérimentale).

5. **CONCLUSION**

Nous avons pu exposer au fil de cet article le parcours et les enjeux de l'initiative ossia au long de ses quinze années d'existence, à l'intersection de la pratique artistique, de la recherche scientifique et du développement informatique. Le projet est aujourd'hui mûr et se concentre sur les aspects applicatifs, même si, comme le signale Mireille Losco dans son étude des usages, la nécessité pour le projet d'atteindre une masse critique d'utilisateurs et de développeurs reste un point crucial pour les années à venir.

6. **REMERCIEMENTS**

Les aute r·ices tiennent à remercier les financeurs (ANR, Ministère de la Culture), ainsi que les différents partenaires et praticien·nes qui se sont impliqué es dans cette initiative au fil de ses quinze années d'existence, et en particulier Mireille Losco et Thomas Meyssonnier, dont le travail d'analyse a nourri la présente réflexion.

7. **RÉFÉRENCES**

[1] Allombert, A., Desainte-Catherine, M., & Assayag, G. (2008). *A system of Interactive Scores based on qualitative and quantitative temporal constraints*. Artech 2008, 8.

[2] Allombert, A., Garnier, L., Marczak, R., Desainte-Catherine, M., & Baltazar, P. (2010). *VIRAGE: Designing an interactive intermedia sequencer from users requirements and theoretical background*. ICMC 2010, 4.

[3] Baltazar, P., Allombert, A., Marczak, R., Couturier, J.-M., Roy, M., Sèdes, A., & Desainte-Catherine, M. (2009). *Virage: Une réflexion pluridisciplinaire autour du temps dans la création numérique*. JIM 2009, 10.

[4] Baltazar, P., & Desainte-Catherine, M. (2014). *I-score, an Interactive Sequencer for the Intermedia Arts*. ICMC / SMC 2014, 4.

[5] Baltazar, P., & Gagneré, G. (2007). *Outils et pratique du sonore dans le spectacle vivant*. JIM 2007, 10.

[6] Celerier, J.-M., Baltazar, P., Bossut, C., Vuaille, N., Couturier, J.-M., & Desainte-Catherine, M. (2015). *OSSIA: Towards a unified interface for scoring time and interaction*. TENOR2015, 11.

[7] de la Hogue, T., Celerier, J.-M., & Baltazar, P. (2016). *Présentation d'un formalisme graphique pour l'écriture de scénarios interactifs*. JIM 2016, 6.

[8] Desainte-Catherine, M., & Allombert, A. (2004). Specification of Temporal Relations Between Interactive Events. *Proc. of the 1st Sound and Music Computing Conference (SMC)*, Ircam, 71-77.

[9] Losco, M. (2018). *Projet i-score Etude des publics et des usages*. Ministère de la Culture et de la Communication (France) - Appel à projets SNI.

[10] Lossius, T., de la Hogue, T., Baltazar, P., Place, T., Wolek, N., & Rabin, J. (2014). *Model-View-Controller separation in Max using Jamoma*. ICMC/SMC 2014, 8.

[11] Mays, T., & Rubiano, R. (2010, May 18). *Tapemovie : un environnement logiciel pour la création temps-réel intermedia*. Journées d'Informatique Musicale 2010.

[12] Meyssonnier, T. (2013). *Analyse des relations entre création artistique, modélisation mathématique et implémentation logicielle dans l'écriture de structures temporelles* [Rapport de stage - Master AST Grenoble IEP].

[13] Place, T., Lossius, T., Jensenius, A. R., Peters, N., & Baltazar, P. (2008). *Addressing Classes by Differentiating Values and Properties in OSC. NIME 2008*, 4.

[14] Wright, M. (1997). *Open Sound Control: A New Protocol for Communicating with Sound Synthesizers*. International Computer Music Association (ICMA).