# Le logiciel AVAA Toolkit : de nouvelles possibilités pour les données audiovisuelles annotées

*The AVAA Toolkit Software: New Possibilities for Annotated Digital Audiovisual Data*

Clotilde George et Charles George

<figure><img src="image_1.png" /></figure>

## Édition électronique

URL : https://journals.openedition.org/revuehn/4380

DOI : 10.4000/14980

ISSN : 2736-2337

## Éditeur

Humanistica

## Référence électronique

Clotilde George et Charles George, « Le logiciel AVAA Toolkit : de nouvelles possibilités pour les données audiovisuelles annotées », *Humanités numériques* [En ligne], 11 | 2025, mis en ligne le 15 juin 2025, consulté le 09 décembre 2025. URL : http://journals.openedition.org/revuehn/4380 ; DOI : https://doi.org/10.4000/14980

<figure><img src="image_2.png" /></figure>
<figure><img src="image_3.png" /></figure>

# Le logiciel AVAA Toolkit : de nouvelles possibilités pour les données audiovisuelles annotées

The AVAA Toolkit Software: New Possibilities for Annotated Digital Audiovisual Data

Clotilde George et Charles George

## Résumés

Dans cet article, nous présentons le logiciel AVAA Toolkit, qui est dédié à l'exploration et à l'analyse de corpus de données audiovisuelles annotées. Développé dans le cadre des sciences du langage, il est pensé comme un outil complémentaire par rapport aux logiciels d'annotation utilisés dans le champ des humanités numériques, comme Elan, Clan, Advene ou Celluloid. Sa fonction principale consiste en l'exploration combinée des données d'annotation et des données audiovisuelles, à la manière d'une fouille de texte. Agissant comme interface entre les fichiers d'annotation, les fichiers médias et l'analyste, il produit des visualisations des données qui prennent différentes formes selon les besoins de l'analyse : liste, tableau, concordance et graphiques divers.

In this article we present the AVAA Toolkit, a software dedicated to the exploration and analysis of annotated audiovisual data corpus. Developed within the framework of the language sciences, it is conceived as a complement to the annotation software used in digital humanities, such as Elan, Clan, Advene or Celluloid. Its main function is to enable the exploration of annotation data together with the audiovisual data to which they are linked, as is usual in text mining. Acting as an interface between annotation files, media files and the analyst, it produces data visualisations of different forms according to the needs of the analysis: list, table, concordances and various graphs.
# Entrées d'index

MOTS-CLÉS : annotation, analyse des données, données audiovisuelles, visualisation de données, interoperabilité

KEYWORDS: annotation, audiovisual data, data analysis, data visualisation, interoperability

## Introduction

1

Avec la massification des contenus audiovisuels qui continue à s'intensifier, la profusion de données audiovisuelles disponibles pour la recherche soulève des questions centrales pour les humanités numériques. Si le développement de la technologie audio a donné lieu à un couvrant prolifique d'étude de la parole comme vecteur et comme matériau, le développement de la technologie vidéo a ouvert encore bien d'autres perspectives et nous serions entrés dans le « tournant audiovisuel des humanités numériques » (Arnold et Tilton 2022). Cependant, si les chercheurs sont nombreux à découvrir de nouvelles opportunités de recherche à partir des données audiovisuelles, beaucoup les considèrent encore comme un « média aveugle » (Estrada et al. 2017, 43), dans la mesure où les possibilités d'extraction des données sont encore largement ignorées, en comparaison avec les méthodes de fouille et d'analyse de texte. Dans cet article, nous abordons quelques-unes des questions relatives à l'exploration et à la diffusion des corpus de données audiovisuelles numériques. Plus spécifiquement, nous focalisons notre propos sur les corpus annotés, c'est-à-dire disposant de couches d'informations synchronisées avec le signal audiovisuel et servant à décrire ces données. S'il existe de nombreux outils pour le traitement et la valorisation des corpus écrits, il n'en est pas de même pour les corpus audiovisuels, pour lesquels il nous semble que l'offre actuelle d'outillage ne tire pas encore tout son bénéfice de l'annotation numérique, même s'il faut souligner les projets portés par les consortiums Canevas (dédié à l'annotation et l'archive vidéo¹) et Corli (dédié aux corpus de langues et interactions²), tous deux relevant de l'infrastructure de recherche Huma-Num.

2

Alors que « la visualisation, la réutilisabilité et l'interopérabilité des données de la recherche sont au centre des préoccupations de la plupart des chercheurs constituant des corpus oraux » (Liégeois et Badin 2018), le logiciel que nous présentons ici et que nous souhaitons ouvrir à la communauté vise à répondre en partie à ces préoccupations et à les élargir au format vidéo, en proposant des outils de traitement et de visualisation des données issues de logiciels d'annotation vidéo³. Destiné à un public de chercheurs ne disposant de compétences spécifiques ni en programmation ni en gestion de données audiovisuelles, AVAA Toolkit (Audio Visual Annotations Analysis Toolkit, par commodité de lecture, dorénavant AVAA) est un logiciel qui entend leur donner de l'autonomie pour les étapes de traitement, d'analyse et de diffusion de leurs données. Développé depuis 2022 par Charles George en collaboration avec Clotilde George dans le cadre de sa recherche doctorale en sciences du langage (analyse de l'interaction, voir George 2024), le logiciel est notamment adapté aux besoins de la linguistique de corpus multimodaux (Mondada
2017) ou oraux ⁴ (Baude 2006), en particulier pour les corpus annotés avec Elan⁵, dont l'usage a motivé le développement d'AVAA. Cependant, en sa qualité d'outil de traitement et d'analyse de l'image animée, il peut s'appliquer aux nombreux domaines mobilisant des corpus audiovisuels annotations. Le matériau audiovisuel est en effet largement utilisé dans les sciences humaines et sociales (voir Chantraine-Braillon 2022; Nassauer et Legewie 2021; Pink et al. 2015; Veillard 2013; Sensevy, Tiberghien et Veillard 2022).

3

Dans la première partie de cet article, nous présentons quelques-uns des principes de la boîte à outils AVAA qui sont la connexion directe aux données pour une extraction flexible et combinée des données primaires (audiovisuelles) et secondaires (annotations). Dans la deuxième partie, nous détaillons ses principaux formats de visualisation : concordances, cooccurrences, timelines et graphiques, dont le graphique de densité interactif et dynamique qui offre un nouveau type de lecture des données, particulièrement adapté au travail interprétatif mais aussi à sa communication et sa diffusion.

4

Plutôt que de consacrer une partie à l'état de l'art des outils existants dédiés au traitement et à l'analyse de données audiovisuelles, nous préférons les mentionner lorsque cela nous semble le plus opportun pour saisir l'originalité d'AVAA.

# Grands principes de la boîte à outils AVAA

## Une collection dynamique couplant données primaires et secondaires

5

L'annotation désigne à la fois le processus et le résultat d'un « double travail, (1) de repérage/sélection/localisation et (2) d'interprétation/marquage, deux phases indissolublement liées » (Mathet et Widlöcher 2019, 112) et est une étape nécessaire à l'analyse scientifique des données. En tant que processus, l'annotation peut être décrite comme appartenant aux « primitifs » de la recherche en sciences humaines (Unsworth 2000, cité dans Estrada et Koolen 2018, 43). Si l'annotation des données audiovisuelles soulève des questions d'ordre épistémologique (Ochs et al. 1979; Blanche-Benveniste, Jeanjean et Monfrin 1987; Mondada 2000) et méthodologique (Baude 2006; Cappeau et Gadet 2010), elle n'en reste pas moins un outil nécessaire dès lors que l'on souhaite analyser une grande quantité de données. La pratique de l'annotation ⁶ consiste donc à ajouter des informations – les annotations, qui constituent, avec les métadonnées, les données secondaires – aux données observées – les données primaires. Leur « alignement ⁷ », ou synchronisation, rendu possible par des logiciels d'annotation, est une fonction essentielle pour l'analyse, car elle permet de relier les données secondaires aux données primaires, par leur « time-code », c'est-à-dire leur situation temporelle. S'appuient sur cette technologie des logiciels de transcription (manuelle) de fichiers audio comme Clan ⁸ ou Praat ⁹. Le premier, conçu dans le cadre de l'étude de l'acquisition du langage et permettant de transcrire la parole en tours de parole et de les commenter, est utilisé principalement en psycholinguistique. Le second, spécialisé dans le traitement de la donnée sonore, avec un affichage en spectrogramme et oscillogramme, est utilisé principalement en phonétique et pour l'analyse prosodique. De la même manière, l'annotation synchronisée avec la vidéo est permise par des logiciels d'annotation
de données audiovisuelles parmi lesquels Elan, utilisé en linguistique également, tout particulièrement pour l'analyse des dimensions visuelles des interactions. Si cette fonction de l'alignement données primaires-données secondaires est essentielle, nous trouvons qu'elle est pourtant, dans le cadre des données audiovisuelles notamment, sous-exploitée. En effet, bien souvent et tant dans l'exploitation pour l'analyse que dans la diffusion des résultats de recherche, seules les données secondaires sont reproduites. Et lorsque les données primaires apparaissent, elles sont soit déconnectées des secondaires (les unes puis les autres), soit reconnectées au prix d'un travail qui peut donner lieu aux « transcriptions multimodales » (voir, par exemple, Mondada 2018 ; Geenen, Matelau-Doherty et Norris 2021 ; Dix 2023), reconnexion toujours partielle puisqu'impliquant la perte du caractère dynamique et sonore de la donnée (des images en lieu et place de la vidéo). Il en découle qu'une mineure partie des données est exploitée et que le travail d'annotation, pourtant si chronophage, n'est pas valorisé à la hauteur du temps passé à la tâche. Si les chercheurs passent effectivement un temps important à extraire manuellement les données primaires pour l'analyse et la communication des recherches, l'automatisation de cette tâche est à la base de la création d'AVAA, motivée par le fait que « la linguistique de l'oral rappelle sans cesse de se référer au signal » (Delafontaine 2020, 1). Ainsi, la fonctionnalité de base du logiciel consiste à extraire les données audiovisuelles liées à une sélection d'annotations, sous forme de clips vidéo et à les agglomérer de sorte à constituer une collection de données. Cette collection prend concrètement la forme d'un fichier HTML ¹⁰, lisible pour l'usager dans un navigateur (figure 1), qui affiche à la fois (ou au choix) les données secondaires – les annotations – et les données primaires – les données audiovisuelles ¹¹.

<figure><img src="image_4.png" /><figcaption>Figure 1. Paramétrage et rendu HTML de la collection de données avec AVAA Toolkit</figcaption></figure>

À gauche, interface d'AVAA Toolkit (ou « document de travail AVAA », dans lequel le script est ici en cours de constitution) avec paramétrage de la sélection des données (piste TRI : les paroles du locuteur « TRI ») à requêter. À droite, page HTML avec le résultat de requête affiché en tableau comprenant, par colonne de gauche à droite : un index, les clips vidéo et les annotations des paroles du locuteur « TRI ».

Image produite par les auteurs
Il s'agit d'une fonctionnalité essentielle du logiciel puisqu'elle est à la fois utile pour la phase de traitement (organiser des jeux de données), d'analyse (observer un jeu de données) et de diffusion (présenter, partager un jeu de données) de la recherche. Nous estimons que tant pour les approches quantitatives que qualitatives, celle-ci facilite largement le passage à l'échelle ou scalabilité (scalability en anglais). Cette notion désigne la capacité d'une méthode d'analyse à s'appliquer à des corpus de plus grande taille. Selon Landert et al. (2023, 48), le facteur qui affecte le plus la scalabilité est le rapport entre le temps de traitement, pour une méthode désignée, et la taille du corpus. Ce temps de traitement implique toutes les étapes depuis l'accès au corpus jusqu'à l'analyse des résultats, en comptant le temps de formulation de la requête par le chercheur et son temps de traitement effectif par la machine. Alors que le temps de traitement automatisé est aujourd'hui plutôt négligeable pour la plupart des opérations et avec la plupart des outils, c'est le temps de réalisation des autres étapes qui est déterminant pour la scalabilité. Or les deux fronts sur lesquels AVAA permet de gagner un temps considérable concernent l'accès aux données. D'une part, la formulation de la requête exprimée se veut minime (voir plus bas) ; d'autre part, l'accès aux résultats, produit de la requête (collection ou autre visualisation), est immédiat. Ceux-ci étant affichés dans un document dédié (la page HTML), l'analyste est dispensé d'aller localiser dans des fichiers audiovisuels épars les données qui l'intéressent pour leur observation. Bien que le temps de traitement d'AVAA pour le découpage des clips puisse augmenter notablement, non pas en fonction de la taille du corpus requêté mais en fonction du nombre et de la taille des résultats de requête, l'opération représente un gain de temps inestimable (en comparaison d'un traitement manuel équivalent), d'autant plus qu'un système de cache évite de réaliser à nouveau des opérations déjà traitées précédemment. Le logiciel Transana<sup>12</sup> permet lui aussi de constituer des collections de données sous forme de clips, mais plutôt que de les déployer dans un document unique, il les localise pour proposer d'y accéder par l'ouverture d'une nouvelle fenêtre. Bien qu'il soit un logiciel d'annotation de données audiovisuelles, Transana propose de nombreuses fonctionnalités d'analyse, ce qui lui vaut d'être souvent classé dans les qualitative data analysis software (QDAS) au même titre que NVivo<sup>13</sup>, ATLAS.ti<sup>14</sup> ou MAXQDA<sup>15</sup>. Tous ces outils sont utiles à plusieurs titres<sup>16</sup>, mais n'offrent pas de visualisations des données audiovisuelles en relation avec les données secondaires comme le permet AVAA.

Les modalités de transcriptions existantes sont statiques et ne peuvent inclure la matière audiovisuelle, privant l'accès à de nombreuses informations. Bien que chacune ait une valeur heuristique propre, une transcription statique qui rende compte de la complexité de la multimodalité tout en restant lisible nous paraît inatteignable. C'est pourquoi, et bien qu'AVAA permette une extraction automatique d'une sélection sous forme de captures, nous pensons qu'un document dynamique offre une bien meilleure compréhension des données. Nous entendons par « dynamique » la propriété de contenir et jouer des données audiovisuelles. Cela signifie que, pour ce type de document, l'usage est optimal lorsque le média qui le déploie autorise l'animation (HTML, par exemple), et qu'il est réduit dans le cas où il se trouve en format statique, c'est-à-dire en format papier ou en format numérique statique (PDF). Ce type de représentation nous incite donc à plaider en faveur d'une écriture-lecture numérique de la recherche, le relativement récent matériau que constituent les données
audiovisuelles imposant de repenser les pratiques de représentation des données (Geenen, Matelau-Doherty et Norris 2021), qui ont été formatées par la destination de l'impression.

Une connexion directe aux données et aux métadonnées

8

AVAA possède une interface qui permet d'interroger directement les fichiers de données d'annotation (figure 2), sans passer par un format (habituellement, le format CSV) servant d'intermédiaire entre leurs fichiers d'annotation et l'outil utilisé pour l'interrogation des données. Cette capacité est, à notre avis et dans l'état de nos connaissances, novatrice et fondamentale pour la recherche (Estrada et Koolen 2018, 42). D'une part, cela signifie un gain de temps important dans la mesure où les chercheurs n'ont pas besoin d'exporter leurs données, ni donc de les formater (et de régler des problèmes d'encodage) dans des fichiers tiers, ni surtout de les mettre à jour. Les efforts passés à organiser, produire et vérifier les fichiers intermédiaires sont ainsi nuls. D'autre part, cela garantit une cohérence parfaite entre les données d'annotation dans leur état « final », du moins « donné », et les résultats des requêtes et opérations réalisées, ce qui renforce le gage de validité des résultats obtenus. Cette capacité est un atout de taille pour l'interrogation de corpus en expansion continue, dont les données se collectent sur un temps long (notamment pour toute recherche présentant une dimension longitudinale). De ce point de vue, AVAA est un outil tout particulièrement adapté à la théorisation ancrée (issue de la *grounded theory method*, Glaser et Strauss 2010), basée sur un aller-retour constant entre terrain et travail de théorisation. De manière plus générale, c'est un atout qui le rend adapté à une démarche qualitative, en ce qu'il autorise l'alternance entre « l'écriture, la collecte et l'étiquetage du matériau » (Lejeune 2017, 222) et facilite une analyse parallèle à ces étapes. Le processus de codage (annotation) est en effet non linéaire, voire cyclique, et a lieu tout au long de la recherche (Estrada et Koolen 2018) ; il est précieux de pouvoir débuter tôt l'analyse sans être condamné à réitérer régulièrement tous les processus. Une autre caractéristique du design d'AVAA qui rend cette approche possible est l'enregistrement des procédures de requêtes et de traitements. En effet, le document de travail AVAA (figure 1) est un fichier structuré en XML, contenant le « script » de la procédure, ses éventuels commentaires et traductions, ainsi que la configuration du style de mise en page des résultats. Si Lejeune et Bénel (2012, 598) reconnaissaient que « peu de systèmes sont [...] conçus pour gérer des corpus en cours de maturation » et que « la plupart du temps, tous les calculs doivent être reconduits à chaque modification », avec AVAA, les chercheurs peuvent commencer leurs analyses sans attendre la fin des phases de collecte et d'annotation et les mettre à jour instantanément, puisque le document de travail est (automatiquement) enregistré comme fichier sur le disque de l'utilisateur, qu'il peut être édité à tout moment et que ses résultats peuvent être actualisés en un clic. Ce modèle sous-jacent permet de la sorte de garder une trace complète de la procédure de fouille et d'opération, qui, de plus, peut être exportée en PDF pour partage ou diffusion, assurant la reproductibilité de la procédure réalisée avec l'outil.
En outre, cette connexion directe aux données encourage la correction des données secondaires, en ce qu'elle offre un regard sur le corpus qu'il est impossible d'avoir à partir du logiciel d'annotation seul. Une fonction de prévisualisation des résultats de requête permet, de plus, de vérifier l'adéquation entre les attentes de résultats et la formulation de la requête, de cibler des défauts d'annotation. En effet, un affichage spécifique de la prévisualisation mentionne explicitement les éléments non concordants et leur situation dans le corpus (fichiers, *timecode*), ce qui garantit, à court terme, une fiabilité des résultats et, à plus long terme, du corpus d'annotations, corrigé au gré des requêtes.

<figure><img src="image_5.png" /><figcaption>Figure 2. Schéma des processus d'AVAA Toolkit</figcaption></figure>

Image produite par les auteurs

10

La création d'un corpus, c'est-à-dire de l'ensemble des fichiers (médias et annotations) sur lesquels porte une recherche, se réalise en première étape d'un projet AVAA. Il est possible d'en réaliser une partition, c'est-à-dire une division, que la perspective d'analyse soit contrastive ou longitudinale, ou encore de taguer des fichiers de sorte à pouvoir les appeler par leurs tags. De plus, il est aisé de charger le corpus d'un autre projet lorsqu'on travaille sur plusieurs projets partageant un même corpus. Cette fonctionnalité est loin d'être anodine puisque toute modification opérée sur un corpus commun à différents projets est automatiquement prise en compte dans les résultats de tous ces projets (par une actualisation des documents), réduisant drastiquement le travail de mise à jour des fichiers et le risque d'erreurs.

11

Les formats des fichiers d'annotation actuellement pris en charge par AVAA sont les suivants :

* EAF (issu d'Elan)

* CHA (issu de Clan)
* TextGrid (issu de Praat)

* AZP (issu d'Advene)

* OTR (issu d'oTranscribe)

* SRT (issu de SubRip)

* MKV (sous-titres dans conteneur Matroska)

* TEI (Text Encoding Initiative)

12

La prise en charge des formats CHA, TextGrid et TEI est possible grâce à l'outil de conversion TEI-CORPO<sup>17</sup> (Liégeois et al. 2015), qui utilise le « format pivot » TEI. L'intégration des autres formats supplémentaires est réalisée avec des adaptateurs, qui transforment des sources externes (fichiers, données en ligne) en corpus compatible. C'est ainsi qu'AVAA gère les fichiers de sous-titres mais aussi les fichiers provenant d'Advene<sup>18</sup> et ceux issus de l'outil Celluloid<sup>19</sup>. En outre, nous envisageons de poursuivre l'intégration de formats de données divers, tels que ceux des données ocu-lométriques ou des captures de mouvement 3D. Ce dernier type est notamment produit par le logiciel d'annotation Anvil<sup>20</sup> et il serait intéress-sant de pouvoir l'ajouter aux visualisations proposées par AVAA.

13

D'ordinaire, pour accéder à une sélection de données primaires (médias audiovisuels), on effectue la requête des données secondaires (annota-tions) à l'aide d'un logiciel de fouille de texte, et l'on utilise en parallèle le logiciel d'annotation pour visionner les données audiovisuelles correspon-dantes. Cela implique généralement de devoir manipuler différentes interfaces, différents fichiers, éventuellement de formats différents. Or, avec AVAA, une unique interface permet l'exploration des données pri-maires et secondaires, et l'exploitation des différents fichiers, à partir d'une simple sélection. Toutefois, dans la mesure où les types et les conventions d'annotation varient en fonction des disciplines, des objectifs de recherche et des outils utilisés<sup>21</sup>, une vigilance s'impose quant aux résultats qui seraient obtenus à partir de corpus d'origines variées.

14

À l'origine, l'utilisation d'un fichier tiers agglomérant les données d'un corpus se justifie aussi par la possibilité d'accumuler les métadonnées, informations disponibles sur les données, dans le même fichier<sup>22</sup>, afin de pouvoir croiser des informations des deux sources (André et al. 2010). Les métadonnées permettent non seulement d'assurer leur traçabilité (Poudat et Landragin 2017, 13) mais aussi de mieux les comprendre. Si l'on considère les données de corpus comme des « spécimens en laboratoire », dans le sens où elles sont extraites de leur environnement, les métadonnées permettent « d'établir un lien entre le spécimen et son habitat d'origine » (Burnard 2005, 41, notre traduction). AVAA donne à lire des métadonnées directement lors du chargement du corpus. Une partie de ces métadon-nées est intrinsèque aux fichiers (les noms des fichiers d'annotation ; le nombre d'annotations contenues, le nombre de pistes ou couches d'infor-mation, les noms des fichiers médias ainsi que leurs résolutions, poids et durées). Quant aux métadonnées informant sur la temporalité de collecte des données, elles peuvent être automatiquement extraites des métadon-nées des fichiers médias – intrinsèques – ou bien être renseignées exacte-ment – extrinsèques – grâce à un module lors de la création du corpus (figure 3), sorte de « calendrier de collecte », dans lequel on inscrit la date et l'horaire de la réalisation de la captation pour chaque source.
<figure><img src="image_6.png" /><figcaption>Figure 3. Interface d'AVAA Toolkit : paramétrage du « calendrier des données »</figcaption></figure>

Image produite par les auteurs

Cette fonctionnalité est précieuse puisqu'elle permet, en plus d'assurer une traçabilité de l'étape de collecte, de reconstituer l'information de la dimension temporelle qui sépare différentes prises et de générer des visualisations qui la prennent en compte (voir plus bas). Pour l'instant, AVAA valorise donc les métadonnées liées à la temporalité et il est envisagé de traiter d'autres types de métadonnées, l'accès au contexte étant un défi constamment réaffirmé par les chercheurs travaillant sur des corpus (Landert et al. 2023).

Une extraction des données à haute flexibilité

La formulation d'un projet AVAA consiste en une série d'étapes qui se réalisent dans une unique page (le « document de travail AVAA »), lisible via un navigateur 23. L'utilisateur peut charger ou créer le corpus souhaité, nommer le document et la section et choisir la vue (view) qui l'intéresse, c'est-à-dire l'affichage souhaité pour les résultats, parmi : liste, tableau, concordance, timeline et density-timeline (voir leur présentation plus bas), formulaire d'intercodage ou encore exports dans divers formats. Pour l'aider dans son choix, un menu déroulant présente les différentes options d'affichage accompagnées d'une brève description. Il peut ensuite paramétrer la vue choisie en précisant les types de données souhaitées dans l'affichage (texte des annotations, vidéos, captures, spectrogrammes...) puis sélectionner les données à extraire. AVAA offre la possibilité de sélectionner des données selon toutes les facettes qui les caractérisent : piste (couche d'information), valeur (des annotations, autrement dit le texte des annotations) exactes ou chaîne de caractères contenue dans la valeur, groupe, etc.

Chaque facette est également filtrable par expression régulière. La recherche est en outre multicouches : il est possible de sélectionner une, plusieurs ou toutes les couches d'annotation dans lesquelles réaliser la

15

16

17
requête²⁴. Une fonction « filtre » permet de filtrer les données requêtées, avec les mêmes flexibilité et précision que pour la sélection, afin de ne conserver que le jeu de données souhaité (par exemple, exclure les annotations correspondant à un locuteur). Enfin, tout jeu de données peut être sauvegardé afin d'utiliser un résultat de requête comme objet d'une autre requête ou opération.

# Différentes représentations pour différentes analyses des données

## Représenter le contexte : un concordancier et un « cooccurrencier »

18

La recherche par concordancier constitue l'une des principales exploitations des annotations. Elle vise à décrire une unité en explorant « ses réalisations contextuelles qui permettent d'en dire plus sur la manière dont est employée l'unité dans le corpus » (Poudat et Landragin 2017, 184), autrement dit en affichant, pour chacune des occurrences de l'unité, ses contextes gauche et droit, dont l'ensemble est appelé « cotexte ». Héritière de la linguistique de corpus de l'écrit (AntConc, TXM, Condor, Jconc, CasualConc, Unitex...), cette technologie de concordancier peine à être appliquée aux corpus audiovisuels. Certes, la fonctionnalité de concordancier multimédia est proposée par des plateformes permettant l'exploration, en ligne, de corpus audiovisuels spécifiques (citons Clapi, FLEURON, FLORAL, Ofrom...). Notons le travail de Barreca et Christodoulides (2014, 500-501) qui vise à développer des fonctionnalités avancées de concordancier multimédia, et vers lequel nous renvoyons pour une présentation des intérêts de ce type d'outil pour la linguistique. En linguistique de corpus multimodaux, on constate donc une tendance à outiller les corpus plutôt qu'à développer des outils pour un usage générique. En effet, il n'existe à notre connaissance aucun outil permettant à tout chercheur ce type d'exploration pour son propre corpus. AVAA offre cette possibilité, qui, jusqu'ici, n'était pas à la portée d'un chercheur tiers dont le corpus n'est pas agrégé dans un gros projet scientifique. Notons qu'Elan permet une exploration performante du texte du corpus par concordancier, en affichant plusieurs métadonnées et avec la possibilité de requête par expression régulière. L'accès aux données primaires est rendu possible par un clic sur la ligne de l'occurrence qui entraîne l'ouverture du fichier source dans une nouvelle fenêtre Elan. C'est de la même manière que fonctionne Exakt, l'outil de concordancier du logiciel d'annotation Exmaralda ²⁵, qui présente en plus l'avantage de pouvoir filtrer manuellement les résultats. La fonctionnalité de concordancier que nous proposons diffère principalement en ce qu'elle permet d'afficher les données primaires, sous forme de clips lisibles, directement dans la page de résultats (figures 4 et 5). Comme les concordanciers existants, elle offre des paramètres qui rendent la recherche configurable en fonction des besoins d'affichage (nombre d'annotations du cotexte et empan temporel).
<figure><img src="image_7.png" /><figcaption>Figure 4. Extrait d'un affichage en concordance produit avec AVAA Toolkit</figcaption></figure>

Cet affichage en concordance présente un cotexte paramétré à un clip pour trois annotations qui précédent et qui suivent chaque occurrence de « ok » de la sélection requêtée (paroles du locuteur TRI).

Image produite par les auteurs

<figure><img src="image_8.png" /><figcaption>Figure 5. Extrait d'un autre affichage en concordance produit avec AVAA Toolkit</figcaption></figure>

Cet affichage en concordance présente le même jeu de données qu'en figure 4, mais il est paramétré ici à trois clips pour trois annotations (un clip par annotation), pour un grain d'analyse plus fin de la séquence.

Image produite par les auteurs
La faculté à paramétrer de manière flexible l'affichage des données rend l'outil adaptable à une variété de types de données et de pratiques d'annotation. Elle est toutefois autrement utile pour faire varier sa manière de visionner un jeu de données particulier. Il nous semble d'ailleurs que cet outil de concordancier multimédia est un apport considérable à la recherche qualitative. Le domaine de la pragmatique de corpus, par exemple, souffre du manque d'accès au contexte, d'autant que la signification pragmatique dépend de tous les niveaux de contexte, c'est-à-dire micro, méso et macro (Landert et al. 2023). Si au besoin d'accès aux niveaux méso (« types et genres de textes et domaines thématiques ») et macro (« contexte social, culturel et historique »), on doit répondre par un enrichissement des métadonnées et à de nouvelles manières d'y accéder (voir plus bas), c'est au besoin d'accès au niveau micro (« le cotexte immédiat d'un énoncé ») que vient répondre le concordancier multimédia. La concordance est certes « un outil heuristique particulièrement utile et efficace pour explorer une unité linguistique en corpus » (Poudat et Landragin 2017, 185), mais il faut souligner que le contexte se résume d'ordinaire au cotexte verbal, ce qui est problématique pour les corpus audiovisuels, pour lesquels une partie essentielle de l'information (celle, justement, audiovisuelle) est perdue. L'information contextuelle est en fait cruciale pour les analyses pragmatiques et son accès représente « le plus grand défi pour la pragmatique de corpus » (Landert et al. 2023). Alors qu'on oppose traditionnellement (Landert et al. 2023) l'accès en lecture horizontale de l'approche qualitative – le visionnage de corpus de manière linéaire – à l'accès en lecture verticale de l'approche quantitative – les requêtes de type KWIC²⁶, collocations, fréquences, n-grammes –, ce que nous proposons donc ici est une verticalisation de la lecture de corpus pour une approche qualitative.

Dans la lignée de l'outil concordancier, nous avons conçu une fonctionnalité permettant d'explorer la concomitance d'une occurrence, que nous avons baptisée « cooccurrencier ». La cooccurrence est définie par le CNRTL²⁷ comme une « apparition simultanée de deux ou plusieurs éléments ou classes d'éléments dans le même discours », mais l'acceptation communément admise en textométrie désigne « la présence simultanée de mots ou groupes de mots dans un même extrait de taille restreinte » (Poudat et Landragin 2017, 26). Dans AVAA, nous bornons l'acceptation à une plus stricte simultanéité (sans que la cooccurrence soit forcément exactement de même durée), car elle nous paraît mieux convenir et s'aligne sur celle que nous avons constatée dans la littérature anglophone (par exemple, Landert et al. 2023). On comprend aisément que la linguistique qui s'intéresse au matériau de la langue écrite ait proposé un sens alternatif du terme, puisqu'il n'existe pas de « cooccurrence » à proprement parler dans le texte écrit, vu sa configuration linéaire²⁸. En revanche, pour la linguistique de l'oral (et multimodale d'autant plus), le verbal se produit simultanément (en « chevauchement ») avec les autres modalités, prosodiques et kinésiques. Le cooccurrencier est donc l'outil par excellence pour appréhender la multimodalité. La figure 6 montre un extrait d'un jeu de données lu par l'interface du cooccurrencier, dans laquelle on observe la coordination des gestes et des paroles du locuteur « TRI » dans une séquence d'explication de geste technique.
<table><caption>Figure 6. Extrait de l'affichage en cooccurrence produit avec AVAA Toolkit</caption><caption>Les gestes de Tristan dans l'explication "c'est mieux d'éplucher avant" (T4)</caption><thead><tr><th>Index</th><th>start time</th><th>Description du geste</th><th>Fonction du geste</th><th>Vidéo du geste</th><th>TRI verbal</th></tr></thead><tbody><tr><td>1</td><td>00:01:04</td><td>main D pointe vers rondelles de courge - pàd - pdt - puis fais circuler son index</td><td>déictique + iconique</td><td></td><td>c'est mieux d'éplucher avant de les vider · (comme tu vois) · parce que quand tu vides</td></tr><tr><td>2</td><td>00:01:09</td><td>plie la rondelle de courge d'avant en arrière avec les deux mains</td><td>déictique + iconique</td><td></td><td>parce que quand tu vides · tu casses un petit peu · c'est mieux d'éplucher</td></tr><tr><td>3</td><td>00:01:11</td><td>pouce D circule autour de la rondelle de courge tenue dans main G {éplucher}</td><td>iconique</td><td></td><td>tu casses un petit peu · c'est mieux d'éplucher · et après tu vides</td></tr><tr><td>4</td><td>00:01:12</td><td>index D circule vers le centre de la rondelle de courge puis vers l'extérieur {vider}</td><td>iconique</td><td></td><td>c'est mieux d'éplucher · et après tu vides · en premier tu épluches</td></tr></tbody></table>

Dans une même ligne du tableau, les gestes et les paroles simultanés du locuteur sont affichés et jouables.

Image produite par les auteurs

Ces deux outils peuvent donc être utilisés de manière complémentaire pour mieux rendre compte du contexte d'une occurrence et aider le travail d'interprétation.

## Représenter la quantité et la densité : les graphiques ordinaires et le graphique de densité dynamique et interactif

Pour l'édition de graphiques, AVAA repose sur la technologie de D3.js²⁹, ce qui lui permet de générer différents types de représentations graphiques de base (barres, courbes, secteurs, anneaux, nuages de points ou encore nuages de mots). Le nuage de mots présente une plus-value pour représenter en un coup d'œil un lecte (ou une thématique, selon le type de données), notamment dans une démarche de communication où il sert d'illustration. Cependant, si l'on souhaite obtenir une carte conceptuelle dynamique ou un réseau sémantique, il est possible d'exporter depuis AVAA des données sous forme de liste et de les exploiter dans un environnement tel que Voyant Tools³⁰.

L'avantage d'AVAA, par rapport à d'autres outils de calcul statistique et de représentation graphique, réside dans sa connexion directe aux données. En effet, là aussi, les mises à jour des résultats statistiques en concordance avec la mise à jour du corpus se réalisent par un simple rafraîchissement du document de travail, soit en un clic. Il s'agit d'un gain de temps très important car on élimine la nécessité de reproduire toute la chaîne de traitement, notamment l'extraction et la copie des données vers un fichier intermédiaire de type CSV, qui stocke les données pour les rendre manipulables par des logiciels d'analyse tels que ceux de la suite R³¹. Alors que ces outils nécessitent plus ou moins de connaissances du langage R, selon l'interface choisie, la génération de statistiques et représentations graphiques par AVAA demande une formule de requête relativement simple. Cependant, pour les utilisateurs de R, il est aussi possible d'utiliser dans AVAA une passerelle qui supervise l'exécution de scripts R
24

en leur fournissant les résultats de requêtes, en récupérant les graphiques et en les insérant dans la page HTML. L'usager bénéficie alors de toutes les possibilités d'analyse statistique offertes par le langage de programmation R, sans quitter l'interface d'AVAA, pour un * workflow fluidifié*.

Un autre atout d'AVAA pour la représentation graphique de statistiques est de pouvoir paramétrer au préalable une couleur pour un type de données bien spécifique, qui s'appliquera avec toutes les requêtes de sorte à bénéficier d'une charte graphique personnalisée et cohérente dans tous les affichages. Ce paramétrage peut être réutilisé d'un projet à l'autre et être modifié lors de chaque requête si cela est souhaité.

25

En plus de la représentation graphique, AVAA produit différents calculs statistiques, comme :

* le *count-by*, consistant à comptabiliser des annotations présentant la propriété spécifiée (valeur, piste, ensemble de pistes, groupe...)

* le *duration-by*, sommant la durée des annotations présentant la propriété spécifiée

* le *percent-by*, calculant le pourcentage des annotations présentant la propriété spécifiée

* le *type-token ratio* ³²

* l'indice d'accord interannotateurs ³³

26

Cependant, dans une démarche qualitative, le comptage en soi ne présente pas de valeur heuristique. Pour Lejeune et Bénel qui décrivent une démarche de « lexicométrie pour l'analyse qualitative », le paradoxe peut être résolu par un mode de visualisation qui « reste compatible avec les options épistémologiques des qualitativistes ; le contact à la source reste constant, tout en lui adjoignant une information produite de manière quantitative, proposée à titre de suggestion ou de piste pour le parcours interprétatif » (Lejeune et Bénel 2012, 594). C'est dans cette perspective que nous proposons l'usage du graphique de densité dynamique et interactif (figure 7), pour une visualisation organisée, combinée et pertinente des données. Ce type de représentation combine les intérêts du graphique de densité et ceux d'une collection de données audiovisuelles. La terminologie « graphique de densité » provient du logiciel Elan, qui permet de produire un « annotation density plot », décrit comme « la visualisation de la distribution des annotations (la segmentation) sur la durée du média ou d'un intervalle de temps sélectionné ³⁴ ». Si l'un des principes de ce type de représentation est d'ignorer la valeur (textuelle) de l'annotation pour ne garder que sa longueur, c'est-à-dire sa dimension temporelle, il nous semble pourtant utile de pouvoir afficher la valeur en question. AVAA offre ainsi trois options de visualisation de la valeur, qui peuvent se combiner. Une première option consiste à rendre visible la valeur textuelle de l'annotation, qui apparaît à l'écran lorsque le curseur survole la barre correspondant à cette annotation. Une deuxième option consiste à afficher de la même manière une capture ou « snap », un arrêt sur image dans l'empan de l'annotation, afin de disposer d'une information visuelle de la donnée. Enfin, une troisième option consiste au lancement de la vidéo liée à l'annotation par un clic sur la barre de l'annotation lors de son survol.
<figure><img src="image_9.png" /><figcaption>Figure 7. Lecture des données dans le graphique de densité interactif et dynamique produit avec AVAA Toolkit</figcaption></figure>

Le graphique affiche le clip vidéo correspondant à l'annotation survolée, ainsi que la valeur de cette annotation (« tu veux un café Ewa ? »). Le lecteur du graphique peut ainsi voyager au besoin dans ce jeu de données ordonné.

Image produite par les auteurs

Nous qualifions ce graphique d'interactif dans la mesure où il est cliquable, c'est-à-dire que l'utilisateur choisit ce qu'il veut voir ou montrer et peut aller et venir dans les données de manière exploratoire ou organisée. Nous qualifions ce graphique de dynamique dans la mesure où il inclut le visionnage des données audiovisuelles. Il s'agit à notre connaissance d'une fonctionnalité inédite dans le paysage des outils existants dédiés à l'analyse statistique de données de corpus, dont les principaux sont TXM<sup>35</sup> et Iramuteq<sup>36</sup>. Ce type de représentation permet à l'analyste, d'une part, de mettre en regard ses données pour son propre regard, d'autre part de guider le regard d'autrui lors d'une présentation de ses données. Notons, de plus, que l'opération de sélection des données offre la possibilité de croiser les couches d'informations grâce à la capacité d'afficher plusieurs couches dans une même barre du graphique. Ainsi, la visualisation permet de gérer le problème de l'absence de donnée (le hors-champ, par exemple), dont l'information est cruciale pour l'interprétation des résultats. En effet, si l'information est renseignée dans le corpus d'annotation (dans le cas de notre illustration, une piste est dédiée à la présence des participants dans le champ de la caméra), elle peut être ajoutée à la représentation graphique (ici sous forme de hachure lorsque les participants sont hors-champ) de sorte que l'on peut distinguer l'absence de ce que l'on observe (des gestes, des expressions faciales) de l'absence de donnée. Or toute interprétation basée sur une représentation graphique qui ignorerait cette information présente le risque d'être erronée.

27
## Représenter la temporalité : la timeline et la density-timeline

Représenter la temporalité des données est un enjeu majeur pour les disciplines qui entendent prendre en compte le facteur temps, comme l'analyse conversationnelle d'inspiration ethnométhodologique, pour laquelle la séquentialité de l'interaction est fondamentale (Mondada 2018). Si la synchronisation des données primaires et des données secondaires, aussi appelée alignement, a représenté un défi technique et méthodologique (Dister et Simon 2008) aujourd'hui largement relevé, l'exploitation de cette synchronisation est encore balbutiante. Pour Mondada (2018, 87), « la transcription est indispensable pour une étude analytique fine de détails ordonnés » et « ceci est également vrai face aux arguments affirmant que les clips vidéo résoudraient tous les problèmes et rendraient la transcription multimodale obsolète : même à l'intérieur d'un modèle éditorial – hautement souhaitable – d'articles scientifiques qui incluent des clips dans le texte analytique, les transcriptions seraient encore nécessaires pour une analyse temporelle et séquentielle précise ». Nous ne souhaitons pas ici remettre en cause la nécessité de la transcription, mais au contraire lui donner plus de valeur, en utilisant les informations temporelles qu'elle contient. Nous pensons que si les clips sont assortis de l'information temporelle – et réciproquement – le gain pour l'analyse est considérable.

AVAA propose deux modes d'affichage de type « timeline ». S'appuyant à la fois sur les métadonnées intrinsèques des fichiers et sur le calendrier des données renseigné par l'annotateur (voir plus haut), les deux fournissent une donnée temporelle produite automatiquement, celle de l'écart de temps entre les données affichées, de sorte que l'on peut juger du caractère immédiat ou distant des événements.

Le premier mode (figure 8), appelé justement timeline, organise le jeu de données requêté sous forme de clips en les agençant selon leur ordre chronologique et le déroule verticalement. Nous avons fait ici ce choix de la verticalité pour deux raisons : d'abord, car cette spatialité nous semblait correspondre à une nouvelle habitude de lecture liée au « scroll » sur smartphone, ensuite, car elle rend possible d'intercaler des bandeaux de texte entre les données, ce qui peut aider à leur contextualisation. En outre, il est possible de représenter plusieurs jeux de données (par exemple issus de différentes pistes) dans une même vue dans l'objectif de réunir et mettre en regard des collections de données différentes mais qui peuvent s'éclairer les unes les autres.
<figure><img src="image_10.png" /><figcaption>Figure 8. Extrait d'une vue * timeline produite avec AVAA Toolkit</figcaption></figure>

Dans cette * timeline , les données issues de trois collections ou couches d'informations (« (en) français ! », « leçon de français » et « comment on dit (en français) ? ») peuvent être mises en regard par un affichage dans trois colonnes, tout en respectant leur ordre. Un bandeau permet de contextualiser les données réunies par groupe ou tag.

Image produite par les auteurs

Le deuxième mode (figure 9), appelé *density-timeline*, est un affichage mixte entre le graphique de densité dynamique et interactif et la * timeline*. S'apparentant à une frise, il se déroule horizontalement. Si la représentation du temps « entre les données » est un chantier en cours, cette fonction, que nous avons baptisée *time-collapse* est au cœur de la conceptualisation de la vue : un bandeau sépare deux séquences et indique la durée qui les sépare (de l'unité de la seconde à celle de l'année). Lors de la conception de la vue, il nous a rapidement semblé qu'il était nécessaire d'implémenter cette fonction, eu égard à la taille du jeu de données et à celle des laps de temps qui séparent ces données. En l'absence de cette fonction, la lecture du graphique est manifestement fastidieuse, celui-ci contenant de grands segments vides. Cette vue présente, par ailleurs, les
mêmes moyens d'accès aux données secondaires et primaires que le graphique de densité (vue interactive et dynamique). Puisque c'est un mode de représentation des données qui met en avant la dimension longitudinale des données, il est tout à fait approprié pour l'étude de l'acquisition du langage (langues, gestes, etc.) ou pour toute recherche s'inscrivant dans une perspective diachronique.

<figure><img src="image_11.png" /><figcaption>Figure 9. Extrait d'une vue *density-timeline* produite avec AVAA Toolkit</figcaption></figure>

Dans cette visualisation, sont mises en regard deux collections ou couches d'informations (celle de la médiation professionnelle, affichée en gris, et celle de la médiation langagière, affichée en bleu). La juxtaposition graphique permet de situer les deux éléments, de comparer leur répartition et corrélation éventuelle, tandis que les indications temporelles permettent de situer ces éléments dans le temps.

Image produite par les auteurs

Ces deux modes présentent enfin un autre bénéfice considérable, celui de pouvoir reconstituer la temporalité lorsque celle-ci est morcelée. En effet, le travail de recueil de données filmées sur le terrain étant soumis aux aléas de la technique d'enregistrement, d'une part, aux aléas de la situation enregistrée, d'autre part, il est courant que les corpus récoltés, notamment en vidéo-ethnographie, présentent des lacunes temporelles liées aux interruptions de diverses sources (charge de batterie de l'outil de captation, intrusion d'un événement imprévu dans le champ de la caméra forçant son arrêt, etc.). Ces lacunes peuvent constituer des obstacles pour l'analyse puisque des données appartenant à une même unité (une activité de travail, par exemple) sont alors contenues, et donc annotées, dans des fichiers différents. Or AVAA permet d'unifier le corpus pour en faciliter l'analyse, ce qui le distingue là encore des logiciels d'exploration comme TXM, Iramuteq ou Le Trameur, qui ne permettent pas de traiter avec autant de finesse les données temporelles.

## Conclusion

La boîte à outils AVAA accompagne les chercheurs dans toutes les étapes de la recherche successives à l'annotation de données audiovisuelles. En plus des outils d'aide à l'analyse présentés dans cet article, elle propose de nombreuses fonctionnalités pour le traitement (conversion de formats, anonymisation par bipage et floutage ou silhouettage) et la diffusion des données ³⁷, que nous n'avons pu présenter ici. Nous espérons avoir montré, néanmoins, qu'AVAA facilite les tâches « mécaniques », comme rechercher, organiser, stocker, alors que les tâches « conceptuelles », comme lire, questionner et catégoriser (distinction faite par Silver et Shelly 1995, cités dans Estrada et Koolen 2018, 42) restent à la charge des chercheurs. Sa puissance d'exploration d'un corpus dépend donc de la richesse d'annotation de celui-ci. Cela étant, nous pensons que les manières de lire, questionner et catégoriser les données dépendent aussi de l'ergonomie de tout outil, de ses potentialités ainsi que de son impact sur notre temps, notre fatigue, notre attention. AVAA réduit considérablement le temps et les efforts de gestion et de traitement des données, et

32

33
minimise les erreurs possibles en limitant le nombre d'outils et d'opérations nécessaires à l'obtention de résultats. Elle offre en outre de nouvelles possibilités pour leur observation et leur analyse, en multipliant les façons de les regarder. Par de nombreuses facettes, AVAA favorise la diffusion des résultats et des protocoles de recherche, et *in fine* l'ouverture de la production scientifique. Ce pouvoir s'accompagne d'une responsabilité, de limites et de points de vigilance. La facilité à représenter des données et à les chiffrer ne doit pas occulter la question de leur pertinence, car il n'en est que plus aisé de tomber dans « le piège réductionniste de la quantification et de la visualisation » (Wagener 2022, 23). La maniabilité de l'interface pourrait conduire à renouveler les pratiques de recherche, avec les avantages, les inconvénients et les questionnements que cela suscite, au premier rang desquels les discussions épistémologiques, dont celles concernant les formats d'écriture pour la recherche. Les perspectives offertes par AVAA sont somme toute prometteuses et nous invitons les chercheurs disposant de corpus audiovisuels annotés – ou projetant d'en constituer – à s'en saisir afin d'en confronter la conception aux multiples réalités des terrains et objets de recherche, et ainsi construire de nouveaux enjeux pour les humanités numériques.

## Bibliographie

André, Virginie, Christophe Benzitoun, Emmanuelle Canut, Jeanne-Marie Debaisieux, Bertrand Gaiffe et Evelyne Jacquey. 2010. « Traitement informatique de données orales : quels outils pour quelles analyses ? » Dans *Logiciels pour l'analyse qualitative : innovations techniques et sociales*, édité par Véronique Dumont, Christophe Lejeune et François Guilletmette, 131-150. Association pour la recherche qualitative. https://www.erudit.org/fr/livres/collection-hors-serie-les-actes-de-la-revue-recherches-qualitatives/logiciels-pour-lanalyse-qualitative/5061co/.

Arnold, Taylor B. et Lauren Tilton. 2022. « Analyzing Audio/Visual Data in the Digital Humanities ». Dans *The Bloomsbury Handbook to the Digital Humanities*, édité par James O'Sullivan, 179-187. Londres : Bloomsbury.

Aubert, Olivier, Yannick Prié et Daniel Schmitt. 2012. « Advene as a Tailorable Hypervideo Authoring Tool : a Case Study ». Dans *DocEng'12 : Proceedings of the 2012 ACM Symposium on Document Engineering*, édité par Cyril Concolato et Patrick Schmitz, 79-82. ACM. http://doi.org/10.1145/2361354.2361370.

Barreca, Giulia et George Christodoulides. 2014. « Un concordancier multi-niveaux et multimédia pour des corpus oraux ». Dans *Actes de la 21ᵉ conférence sur le traitement automatique des langues naturelles (TALN 2014)*, édité par Brigitte Bigi, 505-510. Laboratoire Parole et Langage. https://shs.hal.science/halshs-01078133.

Baude, Olivier, éd. 2006. *Corpus oraux. Guide des bonnes pratiques 2006*. Paris et Orléans : CNRS Éditions et Presses universitaires d'Orléans.

Besson, Rémy, Marie Lavorel, Michaël Bourgatte et Laurent Tessier. 2023. *L'Annotation vidéo pour la recherche. Usages et outils numériques*. Paris : MkF Éditions.

Blanche-Benveniste, Claire, Colette Jeanjean et Jacques Monfrin. 1987. *Le Français parlé : transcription et édition*. Paris : Didier.

Boersma, Paul et David Weenink. 2025. « Praat : Doing Phonetics by Computer [Computer Program]. Version 6.4.31 ». https://www.fon.hum.uva.nl/praat/.

Burnard, Lou. 2005. « Metadata for Corpus Work ». Dans *Developing Linguistic Corpora. A Guide to Good Practice*, édité par Martin Wynne, 30-46. Oxford : Oxbow Books. https://doi.org/20.500.14106/dlc.

Cappeau, Paul et Françoise Gadet. 2010. « Transcrire, ponctuer, découper l'oral : bien plus que de simples choix techniques ». *Cahiers de linguistique* 35 (1) : 187-202.

Chantraine-Braillon, Cécile. 2022. « L'École du spectateur : informatiser la recherche en arts de la scène ». *Humanités numériques* 5. https://doi.org/10.4000/revuehn.2849.

Consoli, Sal. 2021. « Uncovering the Hidden Face of Narrative Analysis : a Reflexive Perspective Through MAXQDA ». *System* 102 : 102611. https://doi.org/10.1016/j.system.2021.102611.
Delafontaine, François. 2020. « Quelles annotations attendre d'un corpus ? » *CorFlo* (blog). https://doi.org/10.58079/n4tk.

Dister, Anne et Anne-Catherine Simon. 2008. « La transcription synchronisée des corpus oraux. Un aller-retour entre théorie, méthodologie et traitement informatisé ». *Arena Romanistica* 1 (1) : 54-79. http://hdl.handle.net/2078.1/83571.

Dix, Carolin. 2023. « Transcribing Facial Gestures. Combining Jefferson With the International SignWriting Alphabet (ISWA) ». *Social Interaction. Video-Based Studies of Human Sociality* 6 (3). https://doi.org/10.7146/si.v6i3.143071.

Estrada, Liliana Melgar, Eva Hielscher, Marijn Koolen, Christian Gosvig Olesen, Julia Noordegraaf et Jaap Blom. 2017. « Film Analysis as Annotation : Exploring Current Tools ». *The Moving Image : the Journal of the Association of Moving Image Archivists* 17 (2) : 40-70. https://doi.org/10.5749/movingimage.17.2.0040.

Estrada, Liliana Melgar et Marijn Koolen. 2018. « Audiovisual Media Annotation Using Qualitative Data Analysis Software : a Comparative Analysis ». *The Qualitative Report* 23 (13) : 40-60. https://doi.org/10.46743/2160-3715/2018.3035.

Geenen, Jarret, Tui Matelau-Doherty et Sigrid Norris. 2021. « Visual Transcription. A Method to Analyze the Visual and Visualize the Audible in Interaction ». *Revue française des méthodes visuelles* 5. https://rfmv.msha.fr/numeros/5/articles/11-visual-transcription/.

George, Clotilde. 2024. « "Oui chef !". Une étude ethnographique, multimodale et longitudinale de l'interaction exolingué maître apprentie en cuisine : contribution au développement d'un logiciel d'aide à l'analyse de corpus audiovisuels annotés ». Thèse de doctorat en sciences du langage, université de Lorraine. https://theses.fr/2024LORR0205.

Gibson, Will, Peter Callery, Malcolm Campbell, Andy Hall et Dave Richards. 2005. « The Digital Revolution in Qualitative Research : Working with Digital Audio Data Through ATLAS.ti ». *Sociological Research Online* 10 (1) : 57-68. https://doi.org/10.5153/sro.1044.

Glaser, Barney G. et Anselm L. Strauss. 2010. *Grounded Theory. Strategien Qualitativer Forschung*. Berne : Huber.

Halverson, Erica, Michelle B. Bass et David Woods. 2012. « The Process of Creation : a Novel Methodology for Analyzing Multimodal Data ». *The Qualitative Report* 17 (11) : 1-27. https://doi.org/10.46743/2160-3715/2012.1796.

Kipp, Michael. 2012. « Multimedia Annotation, Querying, and Analysis in ANVIL ». Dans *Multimedia Information Extraction. Advances in Video, Audio, and Imagery Analysis for Search, Data Mining, Surveillance, and Authoring*, édité par Mark T. Maybury, 351-367. Wiley Online Library.

Krippendorff, Klaus. 2004a. « Measuring the Reliability of Qualitative Text Analysis Data ». *Quality and Quantity* 38 : 787-800. https://doi.org/10.1007/s11135-004-8107-7.

Krippendorff, Klaus. 2004b. « Reliability in Content Analysis : Some Common Misconceptions and Recommendations ». *Human Communication Research* 30 (3) : 411-433. https://doi.org/10.1111/j.1468-2958.2004.tb00738.x.

Landert, Daniela, Daria Dayter, Thomas C. Messerli et Miriam A. Locher. 2023. *Corpus Pragmatics*. Cambridge : Cambridge University Press.

Lejeune, Christophe. 2017. « Analyser les contenus, les discours ou les vécus ? À chaque méthode ses logiciels ! » Dans *Les Méthodes qualitatives en psychologie et sciences humaines de la santé*, édité par Marie Santiago Delefosse et Maria del Rio Carral, 203-224. Malakoff : Dunod. https://doi.org/10.3917/dunod.santi.2017.01.0203.

Lejeune, Christophe et Aurélien Bénel. 2012. « Lexicométrie pour l'analyse qualitative. Pourquoi et comment résoudre le paradoxe ? » Dans *Actes JADT 2012. 11es journées internationales d'analyse statistique des données textuelles*, édité par Anne Dister, Dominique Longrée et Gérald Pumelle, 591-602. Liège et Bruxelles : université de Liège et facultés universitaires Saint-Louis. http://lexicometrica.univ-paris3.fr/jadt/jadt2012/Communications/Lejeune,%20Christophe%20et%20al.%20-%20Lexicometrie%20pour%20l'analyse%20Qualitative.pdf.

Liégeois, Loïc et Flora Badin. 2018. « Compiler un grand corpus oral pour la textométrie : retour d'expérience en vue de favoriser le développement de nouvelles fonctionnalités logicielles ». Communication présentée à 50 ans de linguistique sur corpus oraux : apports à l'étude de la variation, Orléans, 15 novembre. https://hal.science/hal-01962463.

Liégeois, Loïc, Carole Etienne, Christophe Benzitoun, Christophe Parisse et Christian Chanard. 2015. « Using the TEI as a Pivot Format for Oral and Multimodal Language Corpora ». Communication présentée à *Text Encoding Initiative Conference and Member's Meeting 2015*, Lyon, 28-31 octobre. https://shs.hal.science/halshs-01345777/.
MacWhinney, Brian. 2000. *The CHILDES Project. Tools for Analyzing Talk*. Mahwah : Lawrence Erlbaum Associates. https://doi.org/10.1177/026565909200800211.

Mathet, Yann et Antoine Widlöcher. 2019. « Annotation, évaluation et mesure d'accord en linguistique de corpus ». *Revue française de linguistique appliquée* 24 (1) : 111-128. https://doi.org/10.3917/rfla.241.0111.

Mondada, Lorenza. 2000. « Les effets théoriques des pratiques de transcription ». *Linx. Revue des linguistes de l'université Paris Ouest Nanterre La Défense* 42 : 131-146. https://doi.org/10.4000/linx.902.

Mondada, Lorenza. 2017. « Le défi de la multimodalité en interaction ». *Revue française de linguistique appliquée* 22 (2) : 71-87. https://doi.org/10.3917/rfla.222.0071.

Mondada, Lorenza. 2018. « Multiple Temporalities of Language and Body in Interaction : Challenges for Transcribing Multimodality ». *Research on Language and Social Interaction* 51 (1) : 85-106. https://doi.org/10.1080/08351813.2018.1413878.

Nassauer, Anne et Nicolas M. Legewie. 2021. « Video Data Analysis : a Methodological Frame for a Novel Research Trend ». *Sociological Methods & Research* 50 (1) : 135-174. http://doi.org/10.1177/0049124118769093.

Ochs, Elinor. 1979. « Transcription as Theory ». Dans *Developmental Pragmatics*, édité par Elinor Ochs et Bambi B. Schieffelin, 43-72. New York : Academic Press.

Pincemin, Bénédicte, Serge Heiden et Matthieu Decorde. 2020. « Textometry on Audiovisual Corpora ». Dans *Proceedings of 15th International Conference on Statistical Analysis of Textual Data JADT 2020*, édité par Pascal Marchand et Pierre Ratinaud. Toulouse : université de Toulouse. https://shs.hal.science/halshs-02779055.

Pink, Sarah, Heather Horst, John Postill, Larissa Hjorth, Tania Lewis et Jo Tacchi. 2015. *Digital Ethnography. Principles and Practices*. Londres : Sage Publications.

Plard, Mathilde et Aurélien Martineau. 2019. « Analyse qualitative assistée par NVivo. Structurer et analyser un corpus de recherche dans NVivo ». Document de travail. https://s hs.hal.science/halshs-02409629.

Poudat, Céline et Frédéric Landragin. 2017. *Explorer un corpus textuel. Méthodes – pratiques – outils*. Louvain-la-Neuve : De Boeck Supérieur.

Ratinaud, Pierre et Sébastien Déjean. 2009. « IRaMuTeQ : implémentation de la méthode Alceste d'analyse de texte dans un logiciel libre ». Communication présentée à *Modélisation appliquée aux sciences humaines et sociales (MASHS 2009)*, université de Toulouse II-Le Mirail.

Reinert, Max. 2003. « Le rôle de la répétition dans la représentation du sens et son approche statistique par la méthode "ALCESTE" ». *Semiotica* 147 : 389-420. https://doi.org/10.1515/semi.2003.100.

Richards, Brian. 1987. « Type/Token Ratios : What Do They Really Tell Us ? » *Journal of Child Language* 14 (2) : 201-209. https://doi.org/10.1017/S0305000900012885.

Schmidt, Thomas et Kai Wörner. 2014. « EXMARaLDA ». Dans *The Oxford Handbook on Corpus Phonology*, édité par Jacques Durand, Ulrike Gut et Gjert Kristoffersen, 402-419. Oxford : Oxford University Press.

Sensevy, Gérard, Andrée Tiberghien et Laurent Veillard. 2022. « ViSA : un outil de mutualisation des matériaux empiriques de la recherche ». Dans *Enquêter dans les métiers de l'humain. Traité de méthodologie de la recherche en sciences de l'éducation et de la formation. Tome III*, édité par Brigitte Albero et Joris Thievenaz, 413-426. Dijon : Éditions Raison et passions. https://doi.org/10.3917/rp.alber.2022.03.0413.

Sloetjes, Han et Peter Wittenburg. 2008. « Annotation by Category : ELAN and ISO DCR ». Dans *Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC 2008)*, édité par Nicoletta Calzolari, Khalid Choukri, Bente Maegaard, Joseph Mariani, Jan Odijk, Stelios Piperidis et Daniel Tapias. European Language Resources Association (ELRA). http://www.lrec-conf.org/proceedings/lrec2008/pdf/208_paper.pdf.

Tessier, Laurent. 2020. « Annoter des vidéos avec PeerTube : une nouvelle étape pour Celluloid ». *Celluloid* (blog). 20 mai. https://celluloid.hypotheses.org/1416.

Veillard, Laurent. 2013. « Les méthodologies de constitution et d'analyse des enregistrements vidéo ». Dans *ViSA. Instrumentation de la recherche en éducation*, édité par Laurent Veillard et Andrée Tiberghien. Paris : Éditions de la Maison des sciences de l'homme.

Wagener, Albin. 2022. « Du corpus comme ressource au corpus comme sample : de l'exploitation néolibérale de la donnée à une écosystémique du discours ». *Éla. Études de linguistique appliquée* 205 (1) : 19-33. https://doi.org/10.3917/ela.205.0023.
Notes

1 Canevas (Consortium pour l'annotation, l'analyse et l'archive de la vidéo appliquées aux activités scientifiques) : https://canevas.hypotheses.org.

2 Corli (Corpus, langues et interactions) : https://corli.huma-num.fr/fr/accueil/.

3 Les formats de données actuellement pris en charge par AVAA Toolkit sont ceux des logiciels Advene, Celluloid, Clan, Elan, oTranscribe et Praat, voir ci-après pour leur présentation.

4 Même si l'oral est par essence multimodal (éléments verbaux et éléments prosodiques), on désigne généralement par « multimodales » les études portant sur les matériaux comportant, en plus des éléments auditifs, des éléments visuels : gestes, regards, expressions faciales, postures, positions, manipulation d'objets...

5 Elan (Eudico Linguistic Annotator), 2008, développé par Han Sloetjes et Peter Wittenburg dans le cadre du projet *Language Archive* au Max Plank Institut fur Psycholinguistik à Nijmegen (Pays-Bas) : https://archive.mpi.nl/tla/elan/ (Sloetjes et Wittenburg 2008).

6 Si la distinction entre annotation et transcription est complexe, pour clarifier notre propos dans cet article, nous parlerons d'annotation pour désigner le processus ou encore une unité d'annotation (un segment), mais nous parlerons de transcription pour désigner le résultat, ce qui est matérialisé et donné à lire, comme il est d'usage en analyse multimodale (Mondada 2018).

7 Sur ce point de l'alignement texte-son ou « transcription synchronisée », voir Dister et Simon 2008.

8 Clan (Computerized Language Analysis) : https://dali.talkbank.org/cluster/ (MacWhinney 2000).

9 https://www.fon.hum.uva.nl/praat/ (Boersma et Weenink 2025).

10 HTML désigne le langage d'écriture hypertexte (HyperText Markup Language) qui encode une page Web.

11 Les données présentées à titre d'illustration dans cet article sont toutes issues d'un même corpus, le corpus OUICHEF, constitué par Clotilde George et composé de captations de situations de formation professionnelle en cuisine. Les participants ont donné leur autorisation pour publication de leur image par un contrat suivant le règlement général sur la protection des données (RGPD) du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données : https://www.cnil.fr/fr/reglem ent-european-protection-donnees/.

12 https://www.transana.com/products/transana-basic/ (Halverson, Bass et Woods 2012).

13 https://ritme.com/software/nvivo/ (voir Plard et Martineau 2019, pour une présentation du logiciel NVivo).

14 https://atlasti.com/fr/ (Gibson et al. 2005).

15 https://www.maxqda.com/why-maxqda/ (voir, par exemple, Consoli 2021).

16 Pour un état de l'art des outils d'annotation et d'analyse des données audiovisuelles pour les humanités numériques, nous renvoyons à Besson et al. 2023, pour une comparaison d'Advene, Annotate Chrono, Atlasciné, Celluloid, MediaScope, MemoRekall et VideoAnt ; et à Estrada et al. 2017, pour une comparaison d'Elan et NVivo ; ainsi qu'à Estrada et Koolen 2018, pour une comparaison d'Elan, Transana et NVivo.

17 http://ct3.ortolang.fr/tei-corpo/.

18 http://www.advene.org (Aubert, Prié et Schmitt 2012).

19 https://celluloid.huma-num.fr (Tessier 2020).

20 http://www.anvil-software.de (Kipp 2012).

21 Voir le projet ORFÉO (Outils et recherches sur le français écrit et oral) qui a réalisé l'agrégation de corpus par un travail d'uniformisation des transcriptions et des métadonnées.

22 Le format TEI, s'il a été pensé pour normaliser l'encodage de données textuelles variées, permet justement l'intégration des métadonnées dans le fichier des données lui-même.

23 Le logiciel fonctionne cependant en local et une connexion Internet n'est pas nécessaire.
24 Pour les utilisateurs d'Elan, la requête pour croiser des couches dans AVAA peut s'appuyer sur la relation de dépendance définie dans le logiciel d'annotation (les pistes parents-enfants), ou, plus simplement, s'appuyer sur le *timecode* des annotations. Il est donc possible de récupérer des informations d'une couche pour laquelle on réalise, après annotation, qu'il aurait été intéressant qu'elle soit reliée à une autre couche, et ainsi « rectifier le tir » lors de l'analyse.

25 http://www.exmaralda.org (Schmidt et Wörner 2014).

26 Key Word In Context : le format d'affichage en concordance le plus courant.

27 https://www.cnrtl.fr/definition/cooccurrence/.

28 On peut cependant imaginer des couches d'informations de description se superposant pour lesquelles cette fonctionnalité serait pertinente.

29 https://d3js.org.

30 https://voyant-tools.org.

31 https://www.r-project.org.

32 Ce calcul permet d'obtenir le rapport entre le nombre de mots différents ou « types » et le nombre total de mots ou *tokens* d'une sélection de texte (Richards 1987). C'est un indice, compris entre 0 et 1, d'hétérogénéité ou de complexité du lexique : plus l'indice est bas, plus il y a de redondance lexicale. Il est notamment proposé par le logiciel Alceste (Analyse lexicale par contexte d'un ensemble de segments de texte, Reinert 2003).

33 L'indice d'accord interannotateurs (*inter-rater reliability*, IRR, voir Krippendorf 2004a ; 2004b), révélateur de l'accord existant entre les choix de codage de différents annotateurs, permet de juger de la fiabilité de catégories de codage. AVAA propose une procédure complète d'intercodage, depuis la création d'un formulaire comprenant la lecture de données audiovisuelles, le choix parmi la liste d'items d'une piste d'annotation (vocabulaire contrôlé) et l'écriture dans des champs libres, jusqu'à l'aide à l'analyse des résultats, comprenant l'édition de matrices de pondération, la production de matrices de coïncidence et différents types de calcul dont celui de l'accord interannotateurs.

34 Section 2.18.3 de la documentation Elan en ligne : https://www.mpi.nl/corpus/html/ela/n/ch02s18s03.html, notre traduction.

35 https://txm.gitpages.huma-num.fr/textometrie/Presentation/ (Pincemin, Heiden et Decorde 2020).

36 http://www.iramuteq.org (Ratinaud et Déjean 2009).

37 Parmi ces fonctionnalités, on peut mentionner : la génération automatique de document PDF et d'un dossier ZIP contenant le fichier HTML et les données audiovisuelles concernées par le projet AVAA ; le système de versionnage multilangues facilitant la traduction des productions AVAA ; l'export du document de travail pour conserver le détail exact du protocole de fouille et d'analyse AVAA assurant la réplicabilité et facilitant la reproductibilité, mais aussi garantissant la conservation d'une trace utile pour l'analyste.

# Auteurs

## Clotilde George

UMR 7118 ATILF, université de Lorraine, Nancy, France
Clotilde George est docteure en sciences du langage de l'université de Lorraine, membre associée à l'ATILF. Elle s'intéresse à l'analyse des interactions et des discours, et aux questions portant sur les pratiques d'annotation de corpus audiovisuels ou d'analyse de données de corpus.
ORCID 0009-0001-4531-6338
clotilde.george@univ-lorraine.fr

## Charles George

Ophibox, Metz, France
Développeur *full stack* et administrateur système et réseaux, Charles George est spécialisé dans les réseaux et la création d'interfaces dynamiques. Il implémente des solutions innovantes répondant aux enjeux actuels de l'informatique, tels que la cybersécurité ou l'interopérabilité des données.
charles@ophibox.com
## Droits d'auteur

<figure><img src="image_12.png" /></figure>

Le texte seul est utilisable sous licence [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/). Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.