MemoRekall-IIIF

Jacob Hart, Clarisse Bardiot, David Rouquet, Sébastien Hildebrand, Anthony Geourjon, Stefania Ferrando, Cosetta Graffione, Irénée Blin, Daniele Marranca

► To cite this version:

Jacob Hart, Clarisse Bardiot, David Rouquet, Sébastien Hildebrand, Anthony Geourjon, et al. MemoRekall-IIIF: De l'annotation vidéo à la création d'un réseau documentaire. Humanistica 2023, Association francophone des humanités numériques, Jun 2023, Genève, Suisse. hal-04131083

HAL Id: hal-04131083

https://hal.science/hal-04131083

Submitted on 16 Jun 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# *MemoRekall-IIIF*: de l'annotation vidéo à la création d'un réseau documentaire

Jacob Hart<fnref n="1" />, Clarisse Bardiot<fnref n="1" />, David Rouquet<fnref n="2" />, Sébastien Hildebrand<fnref n="3" />, Anthony Geourjon<fnref n="2" />, Stefania Ferrando<fnref n="3" />, Cosetta Graffione⁴, Irénée Blin⁴, et Daniele Marranca⁴

## Résumé

Nous présentons les développements récents de *MemoRekall*, une application web gratuite pour l'annotation vidéo. Le prototype d'une nouvelle version se base notamment sur un standard international d'operability de traces numériques répandu dans le secteur des GLAM : IIIF. Ces développements émergent d'un cas d'étude autour du pilote 2 du projet COESO, *Dancing Philosophy*, pour lequel *MemoRekall* est utilisé comme outil de recherche.

## 1 Introduction

Les enregistrements vidéo, qu'ils soient numéri-sés ou nativement numériques, sont l'une des traces et des sources majeures pour les chercheurs tra-vaillant sur l'époque contemporaine. S'il est bien sûr important de développer des méthodologies pour la lecture de loin (*distant reading*) de ces cor-pus en SHS comme le proposent Arnold et Tilton (2019) ou Broadwell et Tangherlini (2021), la pro-fusion et la disponibilité des vidéos rendent plus que jamais nécessaire de les expliciter dans une démarche de lecture de près (*close reading*). Les vidéos appellent à la fois des commentaires et des compléments d'information via des documents an-nexes, car de nombreux aspects restent implicites.

*MemoRekall* <fnref n="1" />, développée depuis 2015 et hé-bergée par Huma-Num, est une application web gratuite et *open source* d'annotation vidéo. Elle permet de relier à une vidéo d'autres traces nu-mériques (photographies, sons, textes, pages web etc.). L'arrangement des documents crée une « cap-sule » (fig. 1), un nouveau document qui peut être partagé et intégré dans une page web. Deux stra-tégies complémentaires permettent d'enrichir la vidéo : intra-documentaire (annoter la vidéo) et

inter-documentaire (connecter la vidéo à un corpus documentaire plus vaste) (Bardiot et al., 2017).

<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Une capture d’écran d’une capsule autour du pilote 2, *Dancing Philosophy* dans *MemoRekall*.</figcaption></figure>

Né à l'origine dans le domaine des arts de la scène (Bardiot, 2021), afin d'expliciter ce docu-ment majeur pour l'analyse et l'histoire du théâtre contemporain qu'est la captation de spectacle, *MemoRekall* est un environnement scientifique opéra-tionnel, utilisé par des chercheurs de divers hori-zons dans le domaine des sciences humaines. Par ailleurs, bien au-delà de la sphère universitaire et des arts du spectacle, *MemoRekall* est utilisé non seulement par des artistes, des institutions cultu-relles et des éditeurs, mais aussi par des enseignants du secondaire et du supérieur pour l'éducation ar-tistique et culturelle ainsi que pour l'éducation aux médias et à l'information.

## 2 Le projet COESO

Depuis 2021, un projet européen H2020 de science citoyenne, COESO <fnref n="2" /> a conduit à élargir les usages de *MemoRekall* et à développer de nou-velles fonctionnalités. COESO (*Collaborative En-gagement on Societal Issues*) a pour objet la facili-tation de la recherche participative en sciences hu-

<footnote n="1">¹Université Rennes 2</footnote>

<footnote>{prénom.nom}@univ-rennes2.fr</footnote>

<footnote n="2">²Tétras Libre</footnote>

<footnote n="3">³Université Polytechnique Hauts-de-France</footnote>

<footnote n="3">³Compagnie CADMIUM</footnote>

<footnote n="1">1. www.memorekall.com.</footnote>

<footnote n="2">2. www.coeso.hypotheses.org.</footnote>
<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Une visualisation en réseau du contenu du pilote 2 dans le prototype de la nouvelle version de l’application.</figcaption></figure>

maines. Dans ce cadre, outre la conception d'une plateforme dédiée et de nombreuses études, dix projets pilotes de sciences citoyennes présentant une variété de disciplines, de défis sociétaux et de types d'engagement avec les citoyens dans différents pays européens sont développés.

Le projet pilote 2, *Dancing Philosophy*<fnref n="3" />, repose sur la collaboration entre une chorégraphe et danseuse (Cosetta Graffione) et une philosophe (Stefania Ferrando). Il associe également une chorégraphe, danseuse et pédagogue, spécialisée en Cinégraphie Laban et experte en analyse fonctionnelle du corps dans le mouvement dansé (Irénée Blin), un artiste performeur, metteur en scène et graphiste (Daniele Marranca); ainsi qu'un professeur en arts de la scène et humanités numériques à l'Université Rennes 2 (Clarisse Bardiot), un ingénieur d'études (Sébastien Hildebrand) et une équipe de développeurs (*Tétras Libre*).

L'un des objectifs du pilote 2 est de documenter la collaboration de la chorégraphe et de la philosophe via deux approches croisées : la cinétophagie Laban et l'annotation vidéo via MemoRekall. Le pilote 2 contribue ainsi dans le contexte de COESO à l'étude de la collaboration dans les projets de science citoyenne (Boullier et Pidoux, 2021). Au travers de six ateliers en France et en Italie de 2021 à 2022, le projet a fait intervenir des notions

philosophiques et des corps en mouvement. Il était nécessaire de garder non seulement une trace de ces ateliers, mais aussi du processus de création et de recherche qui s'y est produit.

Prenons l'exemple d'une capsule réalisée pour ce projet <fnref n="4" />. La ressource principale est la captation d'une séquence lors d'un atelier : on y voit Cosetta Graffione et Stefania Ferrando qui élaborent cha-cune à leur tour un solo à partir d'un mot. Seule, cette captation serait insuffisante pour comprendre le processus à l'œuvre. *MemoRekall* permet de compléter le document vidéo avec un ensemble d'annotations variées : liens qui mènent vers les notions philosophiques sur lesquelles sont basées ces solos improvisés, témoignages écrits des parti-cipantes, cinétographies Laban qui permettent de noter les mouvements. *MemoRekall*, en proposant une interface qui permet de lier de manière com-plémentaire différents types de documents, permet d'analyser un processus de création et de rendre compte d'un processus de recherche qui échappe aux seuls mots ou à la seule captation vidéo.

## 3 Développement de MemoRekall

L'approche méthodologique de ce projet est basée sur la recherche-action et la co-conception. Cette méthodologie de co-construction est au cœur du développement de *MemoRekall* depuis le début

<footnote n="3">3. www.dansophie.hypotheses.org</footnote>

<footnote n="4">4. www.memorekall.com/fr/coeso-fr.</footnote>
du projet.

La documentation de la collaboration entre une chorégraphe et une philosophe au cours du pilote 2 a suscité de nouvelles questions : comment étendre la capacité de *MemoRekall* à lier des documents ? Comment expliquer les partitions Laban au grand public ? L'enregistrement vidéo est-il le document principal ? Ces questions motivent le développement des nouvelles fonctionnalités de *MemoRekall*.

C'est ainsi que nous proposons aujourd'hui, toujours en *open source*, le prototype 5 d'une nouvelle version de *MemoRekall* entièrement fondée sur le standard IIIF 6 (*International Image Interoperability Framework*). IIIF définit un cadre d'interopérabilité pour la diffusion, l'annotation et l'échange d'images sur le Web. Depuis sa version 3, IIIF prend en charge les contenus audio et vidéo, ce qui en fait un cadre adéquat pour toute activité nécessitant d'annoter des documents multimodaux. Plus spécifiquement, nous avons décidé d'utiliser comme base logicielle le lecteur de contenus IIIF Mirador 7.

Cette approche présente les avantages suivants :

- Utilisation d'un standard et d'une base logicielle extensibles : IIIF est construit sur le standard *W3C Web Annotation*, par nature extensible pour tout usage qui ne serait pas initialement prévu par IIIF. Le logiciel Mirador est également extensible avec des thèmes et des *plugins*.

- Accès à des contenus et partages facilités : IIIF est de plus en plus largement endossé par des entrepôts de contenus, notamment en humanités numériques, mais aussi généralistes comme *Wikimedia*. Un logiciel d'annotation fondé sur IIIF est entièrement interopérable avec ces entrepôts. De plus, les contenus créés avec *Memorekall-IIIF* sont interopérables avec tout logiciel supportant le standard IIIF.

- Création d'un réseau de documents multimodaux (fig. 2) : les documents et vidéos annotés peuvent être eux-mêmes utilisés dans des annotations. Les documents annotés de-

viennent des médias à part entière, intégrés au sein d'un réseau documentaire dans un esprit *linked Data*.

# 4 Conclusion

Dans la version initiale de *Memorekall*, le chercheur part d'un document principal, une captation vidéo, et vient l'expliciter en ajouter des annotations inter et intra-documentaires. *Memorekall-IIIF*, outre les aspects majeurs de l'interopérabilité et de l'accès aux fonds numérisés de nombreuses institutions, permet de naviguer dans une interface multidimensionnelle et multimodale, dont la vidéo est un point de départ possible mais pas seulement : tout type de document peut devenir l'épine dorsale à partir de laquelle articuler le corpus documentaire. Les approches intra et inter-documentaires sont enrichies avec une nouvelle possibilité : créer des liens en s'appuyant sur les données issues des documents, et non plus sur les documents eux-mêmes. Ceci permet de créer des interfaces sur mesure, comme le montre notre expérimentation avec le projet COESO. Cette approche offre de nouvelles perspectives pour la création de réseaux documentaires en fonction d'un corpus et d'une question de recherche spécifique, *Memorekall-IIIF* pouvant s'ajuster de manière très fine aux besoins de chaque projet de recherche.

# Bibliographie

- Taylor Arnold et Lauren Tilton. 2019. *Distant viewing: analyzing large visual corpora. Digital Scholarship in the Humanities*, 34(1):i3-i16.

- Clarisse Bardiot. 2021. *Arts de la scène et humanités numériques. Des traces aux données*. ISTE, Londres.

- Clarisse Bardiot, Philippe Useille, Edwige Perrot, et Ryma Rouibi. 2017. *Translittératie et redocumentation : le projet MemoRekall*. In *20° Colloque International sur le Document Numérique. Le Document?*, pages 33-44, Lyon, France. ENSSIB, Europia.

- Dominique Boullier et Jessica Pidoux. 2021. *Cooperation Quality Assessment: Development and Implementation of the Cooperation Analytics (COESO D.5.1)*. Zenodo.

- Peter Broadwell et Timothy R. Tangherlini. 2021. *Comparative k-pop choreography analysis through deep-learning pose estimation across a large video corpus. Digital Humanities Quarterly*, 15(1).

<footnote n="5">5. Bac à sable : www.iiif.tetras-libre.fr; contenu démo autour du projet COESO : www.coeso.tetras-libre.fr; documentation : www.gitlab.tetras-libre.fr/iiif/coeso-deliverable/-/wikis/home; base de code : www.gitlab.tetras-libre.fr/iiif/POC-mirador.</footnote>

<footnote n="6">6. www.iiif.io.</footnote>

<footnote n="7">7. www.github.com/ProjectMirador/mirador.</footnote>