# Démonstration d'un outil d'annotation et d'analyse de vidéos d'escalade de difficulté

Bruno Fruchard, Sylvain Malacria, Géry Casiez, Stéphane Huot

<figure><img src="image_1.png" /></figure>

To cite this version:

Bruno Fruchard, Sylvain Malacria, Géry Casiez, Stéphane Huot. Démonstration d'un outil d'annotation et d'analyse de vidéos d'escalade de difficulté. 2023. hal-04043332

HAL Id: hal-04043332

https://hal.science/hal-04043332

Submitted on 23 Mar 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_3.png" /><figcaption>FIGURE 1 : Capture d'écran de l'outil d'annotation avec à gauche la vidéo de la performance et à droite le panneau séquençeur permettant d'associer des annotations à l'image affichée. Chaque icône dans le panneau de droite peut être sélectionnée pour créer une annotation. Des raccourcis clavier à une seule touche sont également associés et affichés à côté des icônes correspondantes.</figcaption></figure>

# Démonstration d'un outil d'annotation et d'analyse de vidéos d'escalade de difficulté

**Bruno Fruchard**

Univ. Lille, Inria, CNRS, Centrale Lille, UMR
9189 CRISTAL
Lille, France
bruno.fruchard@inria.fr

**Sylvain Malacria**

Univ. Lille, Inria, CNRS, Centrale Lille, UMR
9189 CRISTAL
Lille, France
sylvain.malacria@inria.fr

**Géry Casiez**

Univ. Lille, CNRS, Inria, Centrale Lille, UMR
9189 CRISTAL
Lille, France
gery.casiez@univ-lille.fr

**Stéphane Huot**

Univ. Lille, Inria, CNRS, Centrale Lille, UMR
9189 CRISTAL
Lille, France
stephane.huot@inria.fr

## ABSTRACT

We propose to demonstrate a video annotation tool tailored to lead climbing performances designed in collaboration with the French climbing federation (FFME). The tool is the result of several months of a user-centered design cycle fueled by remote meetings with a coach and an analyst of the federation, as well as in-person workshops involving athletes competing at the international level. It is used daily to quantify performances and analyze them. It enables reviewing a performance video and annotate it using a sequencer that consists of a list of buttons, each producing an annotation associated to a frame in the video. Annotations are visualized on a timeline to depict actions in the performance, and graphs summarize quantitative data to convey the gist of the performance such as the total or average grasping or resting time, and the climbing speed.

IHM'23, April 03-07, 2023, Troyes, France

© 2023 Copyright held by the owner/author(s).

This is the author's version of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in IHM'23 : Extended Proceedings of 34ème conférence Francophone sur l'Interaction Humain-Machine, April 03-07, 2023, Troyes, France.
<figure><img src="image_4.png" /><figcaption>FIGURE 2 : Visualisation de toutes les annotations par catégorie suivant la ligne de temps de la vidéo. Chaque annotation peut être sélectionnée pour aller à l'image correspondante dans la vidéo.</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>FIGURE 3 : Graphiques résumant l'essentiel de la performance en agrégeant les données quantitatives produites par certaines annotations.</figcaption></figure>

## CCS CONCEPTS

* Human-centered computing → Interactive systems and tools; User centered design.

## KEYWORDS

video annotation tool, sport analysis, user-centered design

## RÉSUMÉ

Nous proposons de faire la démonstration d'un outil d'annotation de vidéos d'escalade de difficulté, conçu en collaboration avec la fédération française de la montagne et de l'escalade (FFME). Cet outil est le fruit de plusieurs mois de collaboration s'appuyant sur une approche centrée utilisateur, des réunions en ligne avec une entraîneuse et un analyste de la FFME, ainsi que des journées de travail en personne incluant des athlètes se produisant au niveau international. Il est utilisé quotidiennement pour quantifier des performances et les analyser. Il permet de visionner la vidéo d'une performance et de l'annoter grâce à un panneau séquenceur qui est composé d'une liste de boutons, chacun produisant une annotation qui est associée à une image dans la vidéo. Toutes les annotations sont visualisées sur une ligne de temps pour représenter visuellement toutes les actions effectuées au cours de la performance, et des graphiques résument les données quantitatives entrées pour transmettre l'essentiel de la performance comme le temps moyen de saisie ou de relâche, ou encore la vitesse de grimpe.

## MOTS CLÉS

Outil d'annotation vidéo, analyse sportive, conception centrée-utilisateur

## INTRODUCTION

La production de données quantitatives liées aux performances sportives permet de les analyser statistiquement et de fournir des mesures objectives sur les efforts des athlètes [4, 6]. Produire ces données à la main est chronophage et fatiguant. Un compromis courant consiste à exploiter les approches de crowdsourcing pour répartir la charge de travail entre les travailleurs [5, 9], à utiliser la foule lors d'événements publics pour les annoter [7], ou à extraire des données des réseaux sociaux [8]. Ces approches se concentrent sur les événements publics et ne s'adaptent pas aux données sensibles telles que les séances d'entraînement des athlètes internationaux. Bien qu'il existe des outils d'annotation dans le commerce tels que DartFish [3] ou Hudl Sportscode [1] qui permettent d'annoter des séquences vidéo, ils ne sont pas toujours adaptés à des sports spécifiques, ne sont pas facilement personnalisables ou open source, sont coûteux, et ne fournissent pas de moyens directs pour analyser une performance.
<figure><img src="image_6.png" /><figcaption>FIGURE 4 : Sélection de temps permettant de filtrer les données représentées par les graphiques.</figcaption></figure>

À la vue de ces limitations, nous avons conçu un outil d'annotation de vidéos avec la FFME avec comme but précis d'annoter des performances d'escalade de difficulté. Ce type de pratique étant encore peu utilisé dans ce sport récemment introduit aux jeux olympiques de Tokyo 2020 [2], aucune mesure de la performance n'est conventionnelle et il est nécessaire d'explorer plusieurs facteurs pour évaluer leur impact sur la qualité de celle-ci. Cet outil nous a permis d'explorer plusieurs types d'annotations au cours du temps en annotant des vidéos variées à partir de compétitions et de sessions d'entraînement, ce qui a mené à la création du panneau séquenceur présenté à la Figure 1. Sa version actuelle propose deux types d'annotations (Figure 2) : 1) des annotations *quantitatives* qui représentent les actions effectuées (saisir une prise, saisir la corde pour l'attacher au mur, appliquer de la magnésie sur une main), les numéros de prises saisies pour indiquer la progression dans la voie, et des actions de dépense énergétique, ainsi que 2) des annotations *qualitatives* qui servent à sauvegarder des commentaires d'athlètes au cours de sessions d'analyse entre les entraîneurs et les athlètes. Ces dernières offrent la possibilité d'effectuer des analyses sur le ressenti des athlètes suivant les mots utilisés pour décrire des situations remarquables.

Cet outil permet aussi d'analyser sommairement la performance en proposant des graphiques représentant les données produites par les annotations quantitatives (voir Figure 3). Ces graphiques représentent les temps totaux et moyens de saisie par main tout au long de la performance, ainsi que les temps de relâche. Ils représentent aussi la vitesse d'ascension en affichant les numéros de prises saisies au cours du temps (chaque prise à un numéro unique), ainsi que l'allure qui correspond au temps sur le nombre de prises saisies. Pour une analyse plus fine, il est possible de sélectionner une plage de temps sur la ligne de temps pour filtrer les données représentées comme montré sur la Figure 4.

Nous proposons pour cette démonstration de présenter comment une analyste peut associer des annotations à des images précises de la vidéo lors du visionnage, comment ce processus peut être effectué entièrement à l'aide de raccourcis clavier, et comment l'outil peut aider à l'analyse de la performance une fois les annotations entrées.

## REMERCIEMENTS

Ce travail a été financé par le projet ANR PPR STHP 2020 PerfAnalytics (ANR 20-STHP-0003). Nous souhaitons remercier Cécile Avezou et Gaël Duprat de nous avoir aidés à concevoir cet outil et pour leurs retours sur celui-ci, ainsi que Pierre Leroy dont le travail nous a aidés à mettre l'outil en ligne et pouvoir facilement annoter de grandes quantités de vidéos.

## RÉFÉRENCES

[1] Inc. Agile Sports Technologies. Last visited in October 2022. Hudl Sportscode. https://www.hudl.com/products/sportscode.
[2] International Olympic Comittee. Last visited in October 2022. The IOC approves five new sports for the Tokyo 2020 Olympic games. https://olympics.com/ioc/news/ioc-approves-five-new-sports-for-olympic-games-tokyo-2020?

[3] Dartfish. Last visited in October 2022. Dartfish. https://www.dartfish.com/.

[4] Mike Hughes and Ian M Franks. 2004. *Notational analysis of sport : systems for better coaching and performance in sport*. Routledge, London; New York. OCLC : 208524179.

[5] Adriana Kovashka, Olga Russakovsky, Li Fei-Fei, and Kristen Grauman. 2016. Crowdsourcing in Computer Vision. *Foundations and Trends® in Computer Graphics and Vision* 10, 3 (2016), 177–243. https://doi.org/10.1561/0600000071

[6] Adrian Lees. 2003. Science and the major racket sports : a review. *Journal of Sports Sciences* 21, 9 (Sept. 2003), 707–732. https://doi.org/10.1080/0264041031000140275

[7] Charles Perin, Romain Vuillemot, and Jean-Daniel Fekete. 2013. Real-Time Crowdsourcing of Detailed Soccer Data. (2013), 9.

[8] Fabio Sulser, Ivan Giangreco, and Heiko Schuldt. 2014. Crowd-based Semantic Event Detection and Video Annotation for Sports Videos. In *Proceedings of the 2014 International ACM Workshop on Crowdsourcing for Multimedia - CrowdMM '14*. ACM Press, Orlando, Florida, USA, 63–68. https://doi.org/10.1145/2660114.2660119

[9] Anthony Tang and Sebastian Boring. 2012. #EpicPlay : crowd-sourcing sports video highlights. In *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems*. ACM, Austin Texas USA, 1569–1572. https://doi.org/10.1145/2207676.2208622