# Comprendre et assister la genèse des instruments intellectuels numériques

Amaury Belin

► To cite this version:

Amaury Belin. Comprendre et assister la genèse des instruments intellectuels numériques. 23e Conférence francophone sur les Interactions Homme-Machine (IHM11), Oct 2011, Sophia Antipolis, France. pp.33-36. hal-01354542

HAL Id: hal-01354542

https://hal.science/hal-01354542

Submitted on 28 Nov 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Comprendre et assister la genèse des instruments intellectuels numériques

Amaury Belin

Université de Lyon

CNRS Université Lyon 1

UMR5205, F-69622, France

amaury.belin@liris.cnrs.fr

## RÉSUMÉ

À l'ère du numérique, la sophistication de l'activité du travailleur intellectuel se traduit notamment par celle de ses outils. Une partie importante de cette activité est alors dédiée au développement d'instruments intellectuels, capables de soutenir efficacement le travail de l'utilisateur en articulant les multiples ressources et outils mis à sa disposition dans son environnement numérique. Le développement de ces instruments passe notamment par le paramétrage des outils, la mise en place des structures informationnelles ou le développement de schèmes d'utilisation. Dans le contexte du travail intellectuel sur ordinateur, nous cherchons à comprendre les phénomènes liés à cette genèse instrumentale [9] à travers l'évolution des inscriptions numériques manipulées par l'utilisateur. *In fine*, notre objectif est d'exploiter ces observations afin d'assister le travailleur dans la construction de ses instruments, et donc de son activité.

## Mots clés

Genèse instrumentale, développement de l'activité, structure personnelle d'information, inscriptions de connaissances, gestion des connaissances personnelles, lecture active multimédia.

## ABSTRACT

Digital era comes with sophistication of the tools that support cognitive activities. Knowledge workers spend a lot of time developing cognitive instruments able to support their activity efficiently. These instruments are made of the various tools the user has configured in a particular way, the information structures he has set up across these tools and the knowledge and skills he has developed to articulate these different items in a coherent and sustainable way. In the frame of computer-aided knowledge work, we seek to understand the phenomenon underlying this instrumental genesis [9], by analysing evolutions of data structures and tools manipulated by a user. Our main goal is to take advantage of the information produced by such analysis in order to assist the user in the construction of his instruments, and therefore, of his activity.

## Categories and Subject Descriptors

H.5.2 [Information Systems] Information Interfaces and Presentation (I.7) – User Interfaces (D.2.2, H.1.2, I.3.6) – Theory and methods.

## General Terms

Design, Human Factors, Theory.

## Keywords

Instrumental genesis, activity development, personal information structure, knowledge inscription, personal knowledge management, multimedia active reading.

## 1. INTRODUCTION

Dans ce travail de thèse, ayant débuté en janvier 2010, nous<fnref n="1" /> nous intéressons au soutien de l'utilisateur dans une activité liée à un travail intellectuel médiatisé par des dispositifs numériques. De telles activités, comme le design ou l'analyse, amènent les travailleurs intellectuels à effectuer des tâches souvent longues et non procéduralisées [10] tout en faisant face à un volume d'information croissant qui les dépasse [5]. Au détriment de la *dimension productive* de l'activité, où un individu inscrit, organise, transforme et utilise des informations personnelles dans le but d'atteindre son objectif, la sophistication des outils numériques et leur évolution constante amènent cet individu à passer de plus en plus de temps [5] dans une *dimension constructive* [9], où il doit trouver et configurer les bons outils, définir et maintenir des structures informationnelles, et développer de nouvelles compétences afin d'articuler ces éléments de façon à soutenir efficacement son activité.

Ces articulations constituent selon nous des *instruments intellectuels* que nous qualifions de *numériques*, car reposant en grande partie sur des artefacts de cette nature. De tels instruments sont propres à un utilisateur, qui doit constamment les faire évoluer dans un environnement numérique instable et dans la perspective de son activité dynamique. Nous cherchons à observer le développement de ces instruments à travers les pratiques de l'utilisateur, avec la perspective d'assister celui-ci dans la construction de son activité.

En rapport avec le projet Cinécast<fnref n="2" />, dans lequel ce travail de recherche s'inscrit, notre cadre applicatif est celui de la lecture active de documents audiovisuels. La lecture active est une lecture critique dont on retire un produit (apprentissage, fiche de lecture, analyse...). Une telle activité présente des caractéristiques intéressantes par rapport à notre problématique de recherche, elle se déroule en effet sur des périodes relativement longues et implique la création de nombreuses annotations que l'utilisateur est amené à gérer à travers des structures qu'il fait évoluer afin d'accompagner son travail intellectuel [3].

<footnote n="1">¹ Ce travail de recherche est encadré par Y. Prié et PA. Champin, Maitres de conférences en informatique à l'Université Lyon 1.</footnote>

<footnote n="2">² http://cinecast.fr/</footnote>
## 2. TRAVAUX LIÉS

Dans la littérature, les phénomènes liés à l'instrumentation cognitive, notamment à partir d'artefacts numériques, sont traités de façon théorique par diverses théories psychologiques (Théorie de l'activité [6], constructivisme piagétien) et leurs extensions dans les domaines de l'ergonomie (théorie instrumentale [9]) ou de l'IHM [6]. Nous empruntons dans notre approche plusieurs concepts issus de ces travaux, notamment la théorisation de l'activité humaine fournie par la Théorie de l'activité, ou la notion d'instrument de Rabardel [9] (voir notre adaptation en 5.1.1).

Dans le domaine de l'ingénierie des connaissances, la théorie du support de Bachimont [1] nous permet d'appréhender la spécificité et les implications des dispositifs numériques en tant que support d'externalisation de la pensée. La notion d'inscription de connaissance, considérée comme une forme inscrite intentionnellement sur un support en vue d'une interprétation, occupe une place importante dans notre approche.

Nos lectures dans le domaine du Personal Knowledge Management, ou plus spécifiquement par rapport au thème la lecture active multimédia, nous permettent d'aborder plus concrètement les problèmes et perspectives posés par l'instrumentation du travail intellectuel. Dans ce domaine, certaines applications liées à l'Activity Based Computing [2], visent une assistance à l'utilisateur dans l'organisation de ses ressources par rapport à la structure de son activité (au sens de la théorie de l'activité). La construction de l'activité est donc abordée, mais sans être considérée dans une dimension développementale, sur des temporalités étendues. Il est d'autre part intéressant de noter que plusieurs auteurs [3,10] préconisent davantage de flexibilité dans les structures de données des logiciels de gestion des connaissances personnelles, afin que le travailleur intellectuel puisse inscrire et faire évoluer plus librement, selon une conceptualisation qui lui est propre, les informations utiles à son activité. Ces préoccupations autour de la flexibilité des outils renvoient selon nous à la nécessité, pour l'utilisateur, de disposer d'une marge de manœuvre nécessaire au développement de ses propres instruments.

Ce point de vue rejoint la thématique de l'appropriation en ergonomie, où il est considéré que la conception d'un dispositif est finalisée par l'utilisateur qui en se l'appropriant « choisit ou redéfinit les fonctionnalités du dispositif pour donner un sens à son usage » [8]. Dans ce domaine, plusieurs auteurs, dont Folcher [4], préconisent une conception pour l'appropriation, qui doit nécessairement prendre en compte la composante constructive de l'activité de l'utilisateur. Des critères et outils d'analyse restent cependant à inventer afin d'aborder ces phénomènes opérant sur des temporalités relativement longues. Nos travaux pourraient constituer un apport en ce sens.

## 3. PROBLÉMATIQUE

Notre problématique de recherche concerne l'assistance à l'activité constructive dans le travail intellectuel médiatisé par des dispositifs numériques, et en particulier le soutien du travailleur dans la constitution et le développement de ses instruments intellectuels.

Notre idée est que l'évolution de ces instruments passe par des transformations caractéristiques dans les inscriptions manipulées par l'utilisateur. Ces transformations pouvant être observées à partir des traces d'interactions [7] de l'utilisateur, il nous semble donc envisageable de détecter certains phénomènes liés à la

construction de l'activité pendant l'interaction, et donc d'assister l'utilisateur en lui proposant par exemple une assistance réflexive.

## 4. PLAN DE RECHERCHE

### 4.1 Modéliser la genèse des instruments dans les environnements numériques

Le développement d'une activité humaine et la genèse d'instrument sont des phénomènes complexes, faisant intervenir de nombreuses dimensions (culturelle, sociale, psychologiques, cognitives...). Un premier effort consiste à établir un cadre théorique, inspiré par notre étude bibliographique, et qui synthétise notre conceptualisation particulière de ces phénomènes.

Ce cadre nous est utile afin de considérer le travail dans un environnement numérique à travers une perspective instrumentale, et afin de développer un modèle mettant en rapport les phénomènes liés à la construction de l'activité avec certaines transformations effectuées sur des inscriptions numériques et observées à partir de traces d'interaction.

Ce modèle théorique devra être validé à travers des expérimentations. Il s'agit ici de mettre en place des dispositifs d'observation et d'analyse d'une activité de lecture active basés sur notre modèle, et de confronter les résultats produits à une étude ethnographique plus classique.

### 4.2 Assister le travailleur intellectuel

Nous étudions ici la façon dont un utilisateur pourrait être assisté dans la dimension constructive de son activité. Il s'agit notamment de voir en quoi la détection automatique de phénomènes liés à cette dimension pourrait être utile. Sur ce point, notre réflexion tire parti de notre étude bibliographique, mais également de nos échanges avec les utilisateurs à travers les différentes expérimentations que nous mettons en place.

Le développement d'un outil d'assistance, mettant en jeu notre modèle et exploitant les traces d'interaction, afin d'offrir à l'utilisateur une assistance effective concernant la construction de son activité, constituerait une validation de notre approche générale. Une étude de terrain, où un tel outil sera déployé, et où des retours utilisateurs seront effectués, sera ici nécessaire.

## 5. AVANCEMENTS

### 5.1 Elaboration d'un cadre théorique

Nous présentons ici un aperçu simplifié de notre cadre théorique concernant la genèse instrumentale dans un environnement numérique. Nous insistons ici sur la partie qui concerne la traduction de ce phénomène au niveau des inscriptions.

#### 5.1.1 Concepts de base.

Dans les environnements numériques, nous considérons un artefact-outil comme un artefact informatique offrant à un utilisateur des modalités de présentation et/ou de manipulation sur des inscriptions. Un instrument numérique est la combinaison d'un ou plusieurs artefacts avec des schèmes d'utilisation développés par un utilisateur. Par exemple, l'application calendrier est un artefact-outil permettant de manipuler certains types d'inscriptions, en l'occurrence des rendez-vous. L'utilisateur d'un tel outil sait l'utiliser afin d'enregistrer un rendez-vous, ou trouver une disponibilité à une date donnée ; il a développé des schèmes d'utilisation faisant de l'outil un instrument.

Les inscriptions forment des structures, celles-ci répondent à des contraintes, définies dans un schéma, qui peut être implicite.
### 5.1.2 Cinq niveaux d'inscriptions.

Lorsqu'un instrument est utilisé, une inscription existe à travers plusieurs niveaux. Ainsi par rapport à l'instrument calendrier, un rendez-vous existe au niveau de l'enregistrement, où il est stocké selon un format sur le disque dur de l'ordinateur. Il est mis en mémoire par un artefact-outil « calendrier » selon une forme favorisant des traitements informatiques (niveau du calcul). Il est restitué dans une interface sous une forme sensible pour l'utilisateur. selon une structure intelligible mise en place par le concepteur de l'artefact-outil, et respectant un ensemble de formats, conventions, métaphores ou affordances (niveau de la restitution). Du point de vue de l'utilisateur, le rendez-vous présenté sur l'interface est perçu dans le contexte de son activité, au cours d'une action mobilisant des schèmes d'utilisation (niveau de l'appropriation). Ce rendez-vous peut finalement être mis en jeu par les processus cognitifs de l'utilisateur (niveau cognitif).

### 5.1.3 Tensions, écarts et circulations

À chacun des niveaux que nous venons de présenter, les rendez-vous reposent sur des structures différentes, ayant un support et un schéma spécifique (fig. 1). Des écarts peuvent apparaître entre structures et schémas de différents niveaux. À titre d'exemple, imaginons que l'utilisateur du calendrier ait pris l'habitude de mettre en lettre capitale le nom des rendez-vous qu'il considère comme importants. Il exploite ainsi les possibilités de réécriture sur le support de restitution de l'outil afin d'inscrire des propriétés qui existent de son point de vue (schéma d'appropriation), mais qui ne sont pas prises en compte par l'artefact-outil (schémas de restitution et de calcul).

Ces écarts peuvent faire naître une tension chez l'utilisateur, et rendre son instrument défaillant dans certains cas. Une tension peut être résolue à travers un jeu de transformations sur les inscriptions, que nous appelons *circulations de connaissances*. Ces transformations peuvent aussi concerner les schèmes d'utilisation de l'utilisateur.

### 5.1.4 Exemple

Par rapport à l'exemple du calendrier, nous avons vu qu'un écart existait entre les schémas d'appropriation et de calcul. Des situations amènent parfois l'utilisateur à réorganiser son emploi du temps à partir d'une vue « semaine » où de nombreux rendez-vous sont affichés. Les rendez-vous qu'il considère comme importants, et ayant un nom composé de lettres capitales, ne ressortent pas très clairement, et l'utilisateur ne dispose pas de possibilités de filtrage ou de mise en surbrillance qui l'aideraient dans ses prises de décision. Pour l'utilisateur, une *tension* apparaît entre les structures d'appropriation et de restitution. Cette tension a pour cause un *écart* entre les schémas correspondants. Dans une situation où il doit réorganiser son emploi du temps, l'utilisateur ne parvient pas à prendre la bonne décision par manque de visibilité sur les rendez-vous importants. Dans ce cas l'instrument se révèle défaillant.

Dans le calendrier, l'utilisateur a organisé ses rendez-vous à travers différentes catégories. Afin de trouver une solution à son problème, il décide de créer une nouvelle catégorie « Important » dans laquelle il compte dupliquer les rendez-vous de ce type. Lorsqu'il consultera le calendrier, il ne cherchera donc plus à associer la notation en lettre capitale à des rendez-vous importants (évolution du schéma d'appropriation), mais se basera sur la nouvelle présentation des rendez-vous (évolution du schéma de restitution), exploitant la catégorisation qu'il vient de mettre en place (évolution du schéma de calcul). Il duplique ensuite les rendez-vous importants dans cette catégorie, et fait ainsi

correspondre la structure qu'il se représente comme résultante de la nouvelle catégorisation (évolution de la structure d'appropriation) à celle qui est effectivement affichée sur l'interface (évolution de la structure de restitution). Les modifications effectuées à partir de l'interface sont directement prises en compte dans la mémoire de l'ordinateur, faisant donc évoluer la structure de calcul. L'utilisateur devra enfin prendre l'habitude de créer les rendez-vous importants dans 2 catégories faisant ainsi évoluer un de ses schèmes d'utilisation.

On voit à travers cet exemple comment l'utilisateur, confronté à des situations où son instrument se révèle défaillant, est amené à faire évoluer consécutivement les schèmes d'utilisation de son outil, ainsi que les schémas et structures des données qu'il manipule. Notre cadre permet de voir comment ces évolutions, portant aussi bien sur des composantes informatiques qu'instrumentales, se trouvent articulées par un jeu de circulations qui révèle le développement plus général de l'activité.

<figure><img src="image_2.png" /><figcaption>**Figure 1.** Activité médiatisée par un outil informatique. Un arc représente une relation *Circulation(x,y)*, tel qu'une modification de x entraine une modification de y.</figcaption></figure>

### 5.1.5 Plusieurs types de circulations

Plusieurs types de circulations apparaissent selon les types d'éléments mis en jeu. Au début du cas que nous venons de prendre, nous avons par exemple un type de circulation entre schéma de restitution et schéma d'appropriation.

Dans la version complète de notre cadre, nous dressons une typologie des circulations. Certains types amènent des évolutions de l'artefact-outil, la remise en question d'un schème d'utilisation, ou la reconceptualisation d'un schéma, et semblent ainsi liés à la dimension constructive de l'activité. D'autres types de circulations concernant la mise en adéquation de structures et semblent davantage liés à la dimension productive (fig. 1). Nous caractérisons également les circulations selon qu'elles sont opérées par l'artefact outil, l'utilisateur, ou le concepteur. Enfin, les phénomènes de circulations peuvent se manifester à travers des horizons temporels très différents, et nous avons établi quatre temporalités à travers lesquelles il nous est possible de situer chaque type de circulation.
## 5.2 Étude d'une activité de lecture active

Dans le contexte du projet Cinécast, nous avons mené une étude exploratoire sur une activité de lecture active. Nous avons suivi un module d'analyse cinématographique dans deux classes de lycée où les élèves étaient équipés d'un logiciel d'annotations vidéo. Sur plus d'une dizaine de séances, nous avons mené des observations in situ et collecté l'enregistrement vidéo de l'écran ainsi que les traces d'interactions [7] sur le logiciel d'annotation.

<figure><img src="image_3.png" /><figcaption>Figure 2. Visualisation d'une trace d'interaction. Exemple d'un schème interrompu.</figcaption></figure>

L'activité observée s'est révélée trop courte et trop prescrite pour que les élèves abordent celle-ci dans une dimension constructive, et pour que nous puissions observer les phénomènes qui nous intéressaient. Cette expérience a cependant été bénéfique par rapport à nos travaux sur les traces d'interactions. Nous avons pu en effet mettre au point plusieurs outils de capture et d'analyse de traces, et constater leur intérêt par rapport à une analyse longitudinale d'une activité de lecture active multimédia. Les traces ont ainsi grandement amélioré la navigabilité à travers les 30 heures d'enregistrements vidéo que nous avons indexés à partir des 85 000 actions-utilisateur ayant été tracées.

Les traces d'interactions ont également été utiles afin d'identifier certains schèmes d'utilisation et de détecter leurs occurrences. Sur la figure 2, les marqueurs, représentatifs de différents types d'actions utilisateurs, forment des motifs qui nous permettent de voir ce qui selon nous constitue l'expression d'un schème d'utilisation répété par l'utilisateur. Nous avons pu analyser les moments où l'exécution d'un schème était interrompue, ainsi qu'un cas où un d'entre eux évoluait. Celui-ci est présenté dans sa version initiale sur la figure 2. La visualisation du même schème lors de la séance suivante a montré que le groupe sauvegardait systématiquement son travail après une modification, entre-temps les élèves avaient essuyé une perte de données suite à un bogue du logiciel. Ce changement exprime de notre point de vue l'évolution de l'instrument que les élèves étaient en train de se constituer avec le logiciel.

## 6. TRAVAUX À VENIR ET CONCLUSION

Dans cet article, nous donnons un court aperçu de nos travaux sur la problématique de l'assistance à la genèse des instruments intellectuels dans un environnement numérique. Le cadre théorique que nous avons élaboré afin de représenter ce phénomène, s'inspirant de notre étude bibliographique, semble désormais assez stable pour être utilisé afin d'analyser une activité réelle. Nous travaillons sur la formalisation de ce cadre afin de produire un modèle opérationnalisable à partir des traces d'interactions produites par l'utilisateur dans le contexte particulier de la lecture active multimédia.

Nous allons prochainement mettre en place des expérimentations avec des chercheurs en cinéma, dont les activités longues et complexes devraient faire apparaître des phénomènes intéressants de notre point de vue. Nous allons équiper les utilisateurs d'un dispositif qui enregistra leurs traces d'interaction et détectera les phénomènes liés à leur activité constructive qui sont décrits par

notre modèle. Parallèlement nous mènerons une analyse selon des modalités plus classiques afin de critiquer les résultats produits pas notre dispositif. Ces expériences nous permettront d'affiner progressivement notre modèle et de le valider par rapport à la détection de certains phénomènes. Elles seront également l'occasion de nous rapprocher des utilisateurs, et de travailler avec eux sur les données produites par notre dispositif d'analyse. Nous chercherons à savoir si ces données font sens pour eux, et nous aborderons ainsi la partie de notre projet consacré à l'assistance du travail intellectuel (section 4.2). Nous allons entamer par rapport à cette dernière question une réflexion sur les différentes modalités d'assistances possibles concernant le soutien à la construction de l'activité.

A l'issu de ce travail de thèse, début 2013, nous souhaitons pouvoir fournir un modèle informatique permettant de représenter les phénomènes de genèse instrumentale à partir de traces d'interactions, ainsi qu'un prototype d'outil exploitant ce modèle pour fournir à l'utilisateur une assistance effective (validée par des tests utilisateurs) concernant la dimension constructive de son activité. Un tel résultat validerait notre approche générale et pourrait donner une suite favorable à notre projet.

Accessoirement, nous espérons que nos travaux constitueront une contribution à la réflexion sur l'instrumentation de l'activité humaine par des artefacts numériques. D'autre part, les outils méthodologiques et informatiques que nous aurons développés pourraient constituer un apport concernant l'étude longitudinale des activités numériques à partir des traces d'interactions.

## 7. RÉFÉRENCES

[1] Bachimont, B. 2004. Arts et sciences du numerique: Ingenierie des connaissances et critique de la raison computationnelle. Université de Technologie de Compiègne.

[2] Bardram, J., Bunde-Pedersen, J. et Soegaard, M. 2006. Support for activity-based computing in a personal computing operating system. Proceedings of the SIGCHI conference on Human Factors in computing systems.

[3] Bottini, T., Morizet-Mahoudeaux, P. et Bachimont, B. 2010. A model and environment for improving multimedia scholarly reading practices. J INTELL INF SYST (2010).

[4] Folcher, V. 2003. Appropriating artifacts as instruments: when design-for-use meets design-in-use. Interacting with Computers. 15, 5 (2003), 647-663.

[5] Indratmo, J. et Vassileva, J. 2008. A review of organizational structures of personal information management. Journal of digital information. 9, 1 (2008).

[6] Kaptelinin, V. et Nardi, B.A. 2009. Acting With Technology: Activity Theory and Interaction Design. MIT Press.

[7] Laflaquiere, J., Settuti, L.S., Prié, Y. et Mille, A. 2006. A trace-based System Framework for Experience Management and Engineering (2006).

[8] Millerand, F. 2002. La dimension cognitive de l'appropriation des artefacts communicationnels. Internet: nouvel espace citoyen. Paris: L'Harmattan. (2002), 181-203.

[9] Rabardel, P. 1995. Les hommes et les technologies: approche cognitive des instruments contemporains. Paris.

[10] Shipman, F.M. et Marshall, C.C. 1999. Formality Considered Harmful: Experiences, Emerging Themes, and Directions on the Use of Formal Representations in Interactive Systems. COMP SUPPORT COMP W. 8, 4 (déc. 1999), 333-352.