Prédiction des pauses dans les données d’écriture en temps réel (2025)

Abstract: Cette étude explore la prédiction des pauses dans des données d’écriture enregistrées en temps réel. Deux hypothèses sont testées : (1) les pauses dépendent du contenu lexical des bursts, et (2) les catégories morpho-syntaxiques (POS) influencent leur distribution. Après prétraitement linguistique, plusieurs techniques de classification sont testées. CamemBERT atteint jusqu’à 90 % de précision en classification binaire, suggérant un lien fort entre structure linguistique et pauses.

## introduction et contexte du travail le processus de textualisation, c'est-à-dire la structuration de la pensée en langage écrit, reste un objet d'étude central mais complexe, notamment en ce qui concerne les mécanismes cognitifs et linguistiques qui le sous-tendent @xcite . l'écriture alterne entre phases de production, appelées bursts, et pauses, dont les plus longues (plus de 1,5-2s) signalent souvent des moments de planification ou de prise de décision, influencés par des contraintes linguistiques et événementielles @xcite . nous posons l'hypothèse que ces pauses longues ne sont pas aléatoires mais corrélées à des unités linguistiques et à des événements comme les révisions. le but de cette étude est de modéliser les dynamiques du processus d'écriture en analysant les contraintes qui influencent l'apparition des pauses. le corpus analysé est issu du projet anr pro-text. il est composé de 33 textes rédigés par des étudiants en psychologie, enregistrés en temps réel avec inputlog @xcite . l'alternance temporellement linéaire entre pauses et production est interrompue régulièrement par des disfluences qui prennent la forme de révisions et marquent la non-linéarité spatiale du processus, se manifestant par des retours en arrière et des modifications du texte déjà produit. ces disfluences constituent en moyenne 20 % des séquences selon des données antérieures @xcite . nous distinguons ainsi trois types de bursts : production (p), révision (r) et révision de bord (rb) pour une révision appliquée au burst immédiatement précedent. deux critères sont testés : (1) lexicosémantique, via les embeddings word2vec et camembert @xcite , et (2) syntaxique, via les catégories pos produites par spacy @xcite . ces données sont enrichies automatiquement par des variables linguistiques et temporelles issues de l'enregistrement (e.g. longueur du burst, nombre de suppressions, fréquence des mots @xcite , chunks annotés par sem @xcite ). il est important de mentionner ici que l'annotation automatique a été possible seulement pour les mots complets présents dans les bursts. la figure 1 montre l'état des données après ces pré-traitements réalisés foot_0 . à cause du fait qu'un burst peut contenir des actions differentes (suppression, écriture, ajout des lignes vides etc.), successives dans le temps, mais pas nécessairement dans l'espace, un seul burst peut être divisé sur plusieurs lignes. le corpus final contient 4429 bursts, répartis en 80% pour l'entraînement et 20% pour l'évaluation. 2 prédiction de la pause à partir de mots qui l'entourent 2.1 prédiction des valeurs continues : prédire la durée de la pause les expériences ont débuté avec un objectif ambitieux : prédire la durée des pauses longues.les données textuelles ont été vectorisées avec word2vec @xcite , en moyennant les vecteurs des mots dans chaque unité de texte (burst, pos, chunks). plusieurs modèles ont été testésde la régression linéaire à des approches adaptées aux données bruitées (decision tree, random forest, réseaux de neurones simples et rnn), ainsi qu'une version avec embeddings camembert @xcite , en lien avec notre première hypothèse. les premières expériences visaient à prédire une pause à partir du burst associé. le corpus comprenait les informations linguistiques retenues (voir figure 1 ) ainsi que les pauses non-significatives de chaque burst, car celle à prédire est la dernière du burst. la régression linéaire a donné un coefficient de détermination r 2 = -0.6802. un score de r 2 = 1 indique un ajustement parfait, r 2 = 0 correspond à une prédiction égale à la moyenne, et une valeur négative indique que le modèle est moins précis que cette moyenne. l'arbre de décision, mieux adapté aux relations non linéaires, obtient un r 2 = -1.07 et une mse (mean squared error) de 3.08 en validation croisée. le modèle random forest, plus robuste aux variations aléatoires, atteint r 2 = -0.07 et une mse de 1.59 : une amélioration notable mais encore insuffisante. face à ces résultats, nous avons réduit la variance des données et utilisé un rnn. la réduction de variance consistait à supprimer les pauses extrêmes à l'aide de l'iqr (borne @xmath0.075 s, borne @xmath1.005 s), et à réduire la dimension des vecteurs de 100 à 50. le rnn traite chaque séquence en conservant en mémoire les observations précédentes, ce qui est pertinent pour modéliser des relations temporelles. plusieurs expériences ont été menées en faisant varier les hyperparamètres : nombre de couches (16 à 64), épochs (10 à 100), batch size (16 à 256), pooling moyen, transformation logarithmique, attention, et dropout pour limiter le surapprentissage. malgré tout, les performances sont restées faibles. le meilleur score r 2 = -0.0250 est obtenu avec cinq couches, 100 épochs, dropout de 0.5, et batch size de 8. un modèle séquentiel simple avec des embeddings camembert et les caractéristiques linguistiques a aussi été testé. le meilleur score r 2 = -0.2389 est obtenu avec 100 épochs, 4 couches et un batch size de 8. de nombreux ajustements ont été faits, mais la faible corrélation entre les caractéristiques et la variable cible a limité les performances. la prédiction reste donc difficulie, notamment en raison de la forte variabilité de la variable cible (cf. figure 2b ) et du nombre limité d'exemples (4 429 bursts, dont certains très courts), ce qui limite la capacité des modèles à apprendre une tendance fiable. ## prédiction de la pause à partir des catégories pos des bursts nous testons ici si les pauses sont influencées par les séquences de catégories pos des bursts. les mots sont remplacés par leurs pos (obtenus via spacy), puis vectorisés avec camembert. en classification binaire, cette méthode atteint une précision de 0,90 (pause) et 0,92 (non-pause). on constate que les adjectifs sont les pos les plus fréquents avant une pause, tandis que les noms dominent après celle-ci. une version randomisée des pauses (placées aléatoirement) donne des résultats nettement inférieurs (0,31 pour pause), confirmant que le modèle capte une régularité liée aux structures morphosyntaxiques. ces résultats suggèrent une corrélation entre pauses et structure grammaticale. ## conclusion et perspectives cette étude exploratoire visait à prédire les pauses dans des données d'écriture en temps réel. deux hypothèses ont été testées : (1) l'influence des bursts sur les pauses, et (2) l'effet des pos. les approches de régression se sont révélées peu concluantes (scores inférieurs à la moyenne). la classification en cinq catégories améliore légèrement la performance (précision de 0,25), mais reste limitée. bien que des forêts aléatoires aient été utilisées pour la classification en 5 et 10 catégories, des travaux futurs pourraient affiner l'analyse de l'importance des variables. il serait notamment utile d'explorer la hiérarchie des décisions à l'intérieur des arbres, ou de recourir à des partial dependence plots pour visualiser l'effet marginal de chaque variable. ces approches offriraient une interprétation plus fine du rôle des variables dans la structuration des pauses. par ailleurs, la pertinence des classes définies par des seuils arbitraires pourrait être remise en question. une alternative consisterait à prédire directement les trois types de bursts identifiés, en explorant par exemple s'ils peuvent être anticipés à partir de la durée des pauses (via k-moyennes, matrice de confusion, ou anova). cela permettrait de relier plus étroitement les caractéristiques temporelles aux types de production. la classification binaire, notamment avec camembert, atteint des performances bien supérieures (jusqu'à 90% de précision). les pos s'avèrent particulièrement informatives, ce qui confirme une régularité morphosyntaxique et soutient l'hypothèse d'un processus d'écriture incrémental. des pistes à explorer incluent la sélection automatique des variables, l'expérimentation avec d'autres modèles (roberta, mbert), et l'ajout d'informations syntaxiques (chunks, dépendances). enfin, ces travaux pourraient déboucher sur des applications concrètes, comme des outils d'aide à la rédaction ou des supports pédagogiques visant à améliorer la fluidité textuelle. la généralisabilité des résultats mériterait également d'être testée dans d'autres genres discursifs, tels que la rédaction académique ou la messagerie instantanée, afin de mieux cerner leur portée et leurs limites.