dataesr/scientific-paragraphs-categorization huggingface dataset:
Ce déséquilibre s'explique par le fait qu'il s'agit de données provenant d'habitations réelles avec de vrais habitants, et que les activités sont liées au mode de vie de ces habitants. Il faut noter que ce ré-étiquetage a aussi un effet de rééquilibrer en partie les datasets, mais aussi, paradoxalement, le nombre d'exemples d'une classe particulière appelé « Autres ». Cette classe correspond à des activations de capteurs non identifiées ou à des séquences d'activation non identifiées. Comme cette classe représente souvent plus de 50 % du jeu de données, elle introduit un biais. Cela doit être souligné et gardé à l'esprit lors de l'analyse des résultats. Si l'algorithme de classification est capable de trouver tous les éléments de cette classe « Autre », alors la précision sera d'au moins 50 %.
Contrairement au travail original de  [20] , nous avons d'abord nettoyé les datastets. Après une analyse détaillée des datasets, nous avons remarqué que certain contenaient des anomalies, notamment dans le dataset de Milan : (1) ils peuvent contenir des données, des journées complètes ou partielles dupliquées ; (2) certaines activations de capteur contiennent des erreurs dues aux problèmes de communications des capteurs ; (3) les traces d'activations des capteurs dans le dataset peuvent ne pas être correctement ordonnées temporairement, c'est-à-dire dans l'ordre chronologique des timestamps. Pour pallier cela nous avons supprimé le double des journées dupliqué. Nous avons corrigé les activations de capteur contenant des erreur de codage tel que « Oc » transformé en « ON » ou « OFc » en « OFF ».
De plus, nous avons réordonné les activations de capteur selon leur timestamps. Il est également nécessaire d'annoter chaque événement avec une étiquette d'activité, en faisant attention au début et à la fin des activités. Les activités dans les ensembles de données sont étiquetées avec un mot clé « début » ou « fin » pour déterminer quand une activité commence et quand elle se termine. Cependant, des activités peuvent être encapsulées dans d'autres, c'est-à-dire qu'une activité commence avec le mot clé « début » ; puis, quelques événements plus tard, une nouvelle activité commence sans que l'activité précédente ne se soit terminée par le mot clé « fin ». Il est donc important de prêter attention à ces cas particuliers lors de la pré-segmentation du dataset en séquences d'activités. Nous avons observé en reproduisant le travail de  [20]  que ce nettoyage avait un impact sur les résultats finaux.
Cette méthode consiste, après avoir segmenté le dataset en séquences d'activités, à les répartir en K parties, ici, K est de 3. Chaque partie contient 33 % de l'ensemble de données. Les parties sont dites stratifiées. Elles conservent un pourcentage d'échantillons de chaque classe, c'est-à-dire que chaque classe d'activité est présente dans chaque partie. À partir de ces K parties, K passages sont effectués. Chaque passage utilise K-1 parties comme ensemble d'entraînement et la partie restante comme ensemble de test. Pendant la phase d'apprentissage, 20 % de l'ensemble d'apprentissage est utilisé pour la validation afin de suivre et d'arrêter l'apprentissage des modèles avant le sur-apprentissage (overfitting). Les résultats, rapportés dans notre étude, montrent la moyenne des scores obtenus sur les ensembles de test.
Afin de comparer et évaluer les performances des algorithmes nous avons utilisé en plus de l'Accuracy, la Precision, le Recall et le F1-Score. Le F1-score est une façon de combiner la Precision et le Recall du modèle, elle est définie comme la moyenne harmonique de ces deux métriques. De plus, nous avons utilisé des versions pondérées de ces mêmes métriques (Balanced Accuracy et la Weighted F1-score, Precision er Recall). La Balanced Accuracy est une version adaptée de l'Accuracy pour des datasets déséquilibré. Elle prend en compte le nombre d'apparition de chaque classe. Les versions Weighted, sont une version pondérée par nombre d'apparition de chaque classe, permettant de visualiser si le modèle se concentre sur les classes les plus représentées.
Résultats Dans cette section, nous allons dans un premier temps évaluer l'approche série temporelle du FCN sur les trois datasets contre un classifieur utilisant un LSTM bidirectionnel  [20]. Puis, dans un second temps, nous allons observer ce que les embeddings Word2Vec et ELMo ont appris de manière non supervisée. Nous comparerons ensuite notre approche Word2Vec et ELMo contre une approche basée sur une structure utilisant un embedding non pré-entraîné  [20]  pour évaluer si ces méthodes sont pertinentes apporte un gain en termes de classification des AVQs. Le modèle ELMo peut être approximé par une couche d'embedding, suivie de deux couches de LSTM bidirectionnel. Nous ferons une étude comparative entre le model ELMo suivi d'un classifieur utilisant un LSTM bidirectionnel et une structure contenant deux couches de LSTM bidirectionnel.
Enfin, nous évaluerons la capacité d'apprentissage par transfert d'un embedding ELMo pré-entraîné. Nous avons utilisé l'un des trois embeddings ELMo pré-entraînés, ici Aruba, pour entraîner un classificateur LSTM bidirectionnel sur le dataset de Cairo. Le code de l'ensemble de ces travaux sont disponible sur notre dépôt Git  [33].
Comparaison FCN et LSTM bidirectionnel Pour évaluer si un classifieur de séries temporelles peut être appliqué à la RHA avec des capteurs domotique, nous avons comparé les résultats obtenus contre une méthode LSTM bidirectionnelle. Les travaux de  [20]  ont montré l'efficacité du LSTM bidirectionnel face à d'autres méthodes de l'état de l'art. fait des deux résidents. De plus, l'augmentation de données provoquées par les padding peut venir ajouter de la complexité dans la recherche de motifs précis. Le résultat de l'expérience comparative entre le FCN et le LSTM bidirectionnel est visible le Tableau 5. 2. Les résultats montrent qu'en dépit de l'amélioration proposée, le FCN reste en retrait par rapport au LSTM bidirectionnel. Le LSTM bidirectionnel gagne sur tout les dataset avec près de 3, 10 et 45 points de pourcentage en F1-score pour les dataset Aruba, Milan et Cairo respectivement.
Visualisation de l'embedding Word2Vec Après avoir entraîné les différents modèles Wor2Vec sur les datasets, nous pouvons visualiser les relations apprises entre les activations de capteur, en projetant dans un espace à deux dimensions le vecteur de chaque activation de capteur produit par ces embeddings. Pour ce faire nous récupérons le vecteur de dimension 𝑑 de chaque activation de capteur dans l'embedding, puis nous utilisons l'algorithme Uniform Manifold Approximation and Projection (UMAP)  [24]  pour réduire à deux dimension les vecteurs. Nous obtenons alors la représentation présentée par la Figure  5. 1a. Chaque point correspond à une activation de capteur. Pour mieux comprendre et interpréter cette visualisation nous avons coloré chaque point en fonction de la pièce de la maison dans laquelle il se trouve.
L'entraînement de ELMo et de UMAP se fait de manière non supervisée, c'est-à-dire en n'utilisant aucun label. Il semble donc possible de regrouper des séquences d'activité pré-segmentées de manière totalement non supervisée. En d'autres termes, s'il est possible de diviser un dataset en séquences d'activité non étiquetées, en utilisant ELMo et UMAP il semble capable de regrouper les séquences appartenant à la même classe ou une classe similaire. Cependant, ce clustering n'est pas parfait, lorsqu'on regarde de près les clusters. Certains points d'une couleur différente de la couleur majoritaire du cluster, peuvent apparaître. Cette confusion peut s'expliquer de deux manières. Premièrement, certaines séquences appartenant à deux classes différentes peuvent être très similaires en termes d'activation des capteurs, car il n'y a pas assez de capteurs pour les distinguer.
Au contraire, l'utilisation de Word2Vec diminue les performances, sauf sur le dataset Aruba où il est plus performant que le modèle de référence  (Liciotti). Cela signifie que Word2Vec n'a pas pris en compte certaines caractéristiques importantes. ELMo est plus performant que les autres approches sur tous les dataset. Il est en particulier très performant sur le jeu de données multi-utilisateurs Cairo. Il permet d'augmenter le F1-score de 5 points et le F1-score pondéré de 10 points. Nous supposons qu'un datasets multi-utilisateurs nécessite la compréhension du contexte ou d'un certain ordre d'activation afin de différencier les activités des utilisateurs. De plus, nous pouvons observer que l'embedding ELMo permet au FCN, qui jusque-là n'offrait pas de bonne performance, de revenir dans la compétition voir de dépasser légèrement les scores de l'approche de Liciotti sur le dataset Cairo.
Le nom des capteurs est également différent dans certains cas. Le jeu de mots est différent d'une maison à l'autre, mais dans notre cas, les jeux de données d'Aruba et du Cairo font partie des jeux de données CASAS qui utilisent le même type de capteur et la même structure de dénomination. Les capteurs suivent la structure « type de capteur » + indice. Cependant, cette expérience n'aurait pas pu fonctionner pleinement si le vocabulaire était trop différent à cause des cas de hors vocabulaire. Nous observons que, même si un mot n'a pas la même « signification » d'un jeu de données à l'autre (par exemple, « M001ON » correspond au capteur de mouvement de la cuisine dans le jeu de données 𝐴 et au capteur de mouvement de la salle de bain dans le jeu de données 𝐵), l'encodage fourni par l'intégration ELMo génère des modèles qui permettent au classificateur d'atteindre des performances équivalentes à celles d'un modèle entièrement entraîné sur le jeu de données de destination.
De plus, la nature du capteur activé peut donner un certain nombre d'informations sur l'activité en cours. Dans cette étude, nous avons proposé une nouvelle approche, appliquée pour la première fois au domaine de la reconnaissance des activités de la vie quotidienne dans les maisons intelligentes. Nous avons utilisé des techniques du domaine de la TLN pour capturer le contexte et la sémantique des activations des capteurs dans un espace d'embedding. Cette approche permet la reconnaissance d'un plus grand nombre de classes d'activités malgré le fait que les datasets restent déséquilibrés. En effet, moins de séquences d'activation sont confondues avec la classe « Autre », qui représente néanmoins plus de 50 % des datasets. La visualisation de l'embedding Word2vec nous a permis de nous rendre compte que cette méthode apprend certaines relations entre les activations des capteurs.
Il apparaît que les capteurs de même nature sont proches les uns des autres dans cet espace. De plus, les clusters qui y apparaissent représentent différentes pièces de la maison. Notre expérimentation montre que la capture du contexte de l'activation d'un capteur via l'embedding ELMo permet d'améliorer la classification de séquences d'activités, en particulier sur des datasets contenant des activités réalisées par plusieurs résidents. Enfin, nous avons pu évaluer qu'un embedding ELMo entraîné dans une maison pouvait être réutilisé dans un nouvel environnement contenant une autre dénomination de capteurs et permettre un taux élevé de classification d'activités. Il est à noter que ces méthodes sont capables d'extraire des informations génériques, transférables à d'autres datasets. Cette dernière observation suggère que l'apprentissage par transfert entre environnements est possible grâce à ces méthodes, comme c'est le cas aujourd'hui dans le domaine du TLN.
Cela devrait permettre aux modèles d'interpréter davantage de sémantique concernant la construction de ces mots, et donc de prendre en compte de nouvelles valeurs d'activation. Un second axe de travail concerne la génération de dataset, élément indispensable à tous ces algorithmes d'apprentissage. Comme nous l'avons vu, la question de la qualité de la labellisation, du volume de données, des différentes topologies et rythme de vie, est un enjeu. Or, produire de tels dataset sur la base d'expériences en situations réelle sur le long terme est coûteux et chronophage. Pour pallier cela, nous nous intéressons à la possibilité de générer des données de synthèses, en s'appuyant sur le concept de Jumeau Numérique  [3]. L'idée est de développer des simulateurs d'habitations domotisées réelles ou imaginaires, et d'y faire jouer des activités quotidiennes par un usager, lui aussi numérique, un avatar.
L 'un des avantages à l'utilisation de structure basée sur des CNN comme le FCN est le gain en temps d'entraînement. Les CNN sont reconnus pour cet avantage non négligeable lorsque les séquences à traiter sont longues. Cependant, avant d'évaluer les FCN face au LSTM, nous avons comparé la méthode en utilisant le zero-padding ou deux autre type de padding, le symetric-padding et circular-padding sur les trois datasets. Le Tableau 5. 1 montre que le symetric padding permet au FCN d'obtenir des scores plus élevés sur deux datasets Aruba et Milan permet d'augmenter le F1score de 139,2 % et 310 % respectivement. Néanmoins, le dataset Cairo obtient de très mauvais scores, notament en therme d'Accuracy et de Balanced Accuracy. Le FCN obtient son meilleur score sur ce dernier avec le circular padding.
Quant à l'analyse textuelle, elle ne peut pas couper les liens avec une approche philologique et un arrière-plan génétique, sa visée n'étant pas la description d'une expérience locale de l'objet étudié mais la commensurabilité d'interprétations qui suivent et protègent la fécondité du germe structural qu'il contient, soumise aux variations de l'environnement d'accueil. La contribution de Camilla Balbi et Anna Calise ajoute un autre enjeu important à la question de l'objectivation d'une forme symbolique, à savoir le fait de pouvoir démasquer ses partis pris, ses idéologies. Si la portée de la contribution de Panofsky peut être relue comme une « dénaturalisation » de l'usage de la perspective et, en ce sens, même comme le point de départ d'une médiologie, alors même les big data, apparemment récoltés par pure accumulation, et surtout les bases de données, déjà organisées par une application et des modèles d'interrogation, cachent une forme Les images entre formes symboliques et humanités numériques : une introduction Signata, 14 | 2023 symbolique qui n'est en aucun cas "neutre".
Remerciements L'auteur remercie toute l'équipe pédagogique ainsi que le groupe de travail :  Hakim Naceur ,  Cyrille Albert-Mercier ,  Isabelle Lebecq ,  Emmanuel Moulin ,  Roselyne Delvalée ,  J-François le Haye , et F-Xavier Coudoux. Ce travail est financé par l'agence nationale de la recherche portant la référence ANR-18-NCUN-0019 dans le cadre du projet PRéLUDE.
Cet article vise à faire le point sur la notion d'expression et notamment sur l'élément matériel qui la caractérise a minima. Après avoir examiné la relation entre matière et forme et entre image et schématisme, nous prendrons en considération la substance visuelle telle qu'elle est mise à disposition dans les bases de données qui permettent non seulement l'analyse des collections d'images, notamment artistiques, mais aussi la production de nouvelles oeuvres via des plateformes de génération d'images telles que Midjourney et Stable Diffusion.
Introduction Cet article vise à faire le point sur la notion d'expression et notamment sur l'élément matériel qui la caractérise a minima. Tout d'abord, nous allons revenir sur la relation entre matière et forme et entre image et schématisme ; ensuite nous prendrons en considération la substance visuelle des images numérisées et contenues dans les bases de données, lesquelles se prêtent non seulement à l'analyse computationnelle via la feature extraction (extraction de caractéristiques)  125  ou via les méthodes liées au deep learning (apprentissage profond)  126  , mais aussi à servir de sources pour la génération de nouvelles images via des plateformes telles que Midjourney et Stable Diffusion. 125 L'extraction de caractéristiques est une méthodologie utilisée en computer vision en vue de la reconnaissance des formes.
Numériser la peinture : d'une substance à l'autre Qu'en est-il de la matière, de la substance et de la forme lorsque nous abordons des images telles que celles numérisées et contenues dans une base de données qui s'approprie leurs supports originaires et les transforme par ce même geste en des valeurs différentielles faites de nombres ? Qu'en est-il de la matière des peintures et des fresques, de l'huile, du pigment, du bois, de la paroi dès que toutes ces matières ne sont plus que des collections de nombres, voire des codes faits de successions et de 149 Sur le faire et les techniques d'un point de vue sémiotique voir Beyaert, Dondero et Fontanille (2006). 150 Une des descriptions les plus suggestives de la façon dont on choisit le bois pour l'icône sainte et on le transforme étape par étape se trouve dans Florenskij (1997).
L'image numérisée au sein de la base de données : pour une diagrammatique entre nombres et formes Que dire du processus à travers lequel tout ce travail de détermination de la matière en une forme artistique stabilisée -laissant transparaître le travail (substance) qui l'a amenée à être ce qu'elle est -, subit une numérisation ? Pensons par exemple au travail de l'application de la couleur qui s'exprime dans la texture en peinture. Qu'en est-il de la texture lorsque cette dernière est numérisée ? Et comment rendre compte du fait que cette oeuvre est intégrée à une base de données en compagnie d'autres milliers de peintures qui ont été également numérisées et rendues identifiables via des suites de nombres ? On pourrait répondre que de toute texture picturale ne restera qu'un mince reflet de surface, et qu'une partie du travail fait sur la toile sera perdu pour toujours.
Il est évident que le numérique peut aussi reconstruire, à la suite de la numérisation, les caractéristiques des matériaux originaires de la peinture en ajoutant à la « surface » de l'image numérisée des déclinaisons plastiques -via le traitement numérique -qui puissent simuler les aspérités de la matière colorée ou du support à travers des ombres représentées, par exemple. au moins de deux manières : pour l'analyse de la collection elle-même, et pour la production (de nouvelles images) à partir de celles déjà présentes dans la base de données.
L'analyse de la base de données et la visualisation des collections Focalisons notre attention sur l'analyse. L'analyse qui a été réalisée le plus fréquemment sur des bases de données d'images a répondu à un projet ancien en histoire de l'art, qui est celui de l'Atlas d'Aby Warburg (1924-1929). Warburg a en premier affirmé que, pour comprendre une image, il faut connaître les images qui l'ont précédée, qui l'ont développée ou citée et aussi qui ont essayé de la dépasser, de la nier, de la contredire. Les projets de recherches tels que ceux de Lev Manovich    Cette image (Figure  5 ) thématise en effet une explosion du corps de l'appareil producteur en mille morceaux, à savoir un appareil photographique qui finit par se diffuser dans l'environnement. Contrairement aux images appartenant au mouvement du Glitch Art, qui montrent l'impact du numérique sur des objets (qui en résultent par conséquent fracturés, ou plein de bavures et rayures).
Mais ce processus de reconstruction, sur la surface numérisée, des textures de l'image picturale, ne se fait que lorsque la focalisation porte sur une seule image ou un petit corpus dont il faut mettre en valeur toute la complexité polysensorielle. Cette procédure n'est pas du tout d'usage dans le cadre des collections d'images contenues dans les bases de données, où le travail d'inscription de la matière est annulé. En effet, face à une collection de milliers d'images contenues dans une base de données, nous sommes confrontés à une autre sorte de matière, à savoir celle qui se présente comme une étendue de nombres visualisable sur un écran d'ordinateur. Il s'agit, d'un certain point de vue, d'une matière numérique qui est en partie déjà déterminée a minima car ce qui est « contenu » dans cette page d'écran remplie de nombres ne correspond pas à « la » matière numérique dans son état originaire 154 (l'abstraction pure des nombres 1 et 0, dans leur état d'avant tout ordonnancement et d'avant toute visualisation sur un écran), mais elle est déjà en partie structurée.
Cette structuration est due notamment au fait que ce système déploie les nombres identifiant les images contenues dans la base de données et non pas toutes les images déjà produites (et numérisées) dans l'absolu. Il s'agit d'une sélection, et plus précisément d'une collection constituée ; les nombres qui s'affichent sur l'écran sont par conséquent déterminés par cette collection elle-même et pas par toute la peinture produite, à savoir ce qui en sémiotique s'appelle la langue du visuel, à savoir à la fois sa grammaire et toutes ses performances 155. Que se passe-t-il une fois que toutes les images ont été transposées en des suites de nombres, chaque suite identifiant une image bien précise, et que chaque image a été incluse dans une base de données ? Cette base de données n'a pas le statut de ce qu'on appelle une langue, à savoir un système fermé et clos, exhaustif de toutes les manières de peindre, mais bien un réservoir qui s'apparente plutôt au fonctionnement diagrammatique.
Nous faisons appel à la notion de diagramme car cette « correspondance » entre images et suites de nombres n'est pas une simple équivalence biunivoque entre une seule image et la suite de nombres qui l'identifie. Lorsqu'on utilise la base de données pour étudier les similarités figuratives et plastiques entre les milliers d'images, il se tisse un rapport diagrammatique entre des suites de nombres qui identifient les images composant la collection, d'un côté, et une multitude de formes visuelles, de l'autre. La relation diagrammatique se joue entre les processus mathématiques et statistiques qui déterminent les similarités formelles entre images et les images telles qu'elles sont perceptibles par un oeil humain. Il s'agit donc d'un processus de traduction diagrammatique entre des rapports entre nombres et des rapports entre formes plus ou moins similaires, à savoir entre des procédures statistiques et des relations qui sont ensuite rendue perceptibles dans une visualisation finale qui organise une collection d'images selon des rapports statistiques de similarités.
À travers cette visualisation finale, les formes visuelles (re)font surface lorsqu'elles sont visualisées sur un écran, et sont censées se révéler à nous, les observateurs de la visualisation, sous l'organisation topologique qui aura été donnée à l'ensemble de leurs propriétés plastiques par l'analyse computationnelle. Cette dernière aura permis d'« appliquer » la matrice mathématique aux caractéristiques plastiques de chaque image au sein de la collection afin de comprendre leurs relations réciproques (pour cette raison (Dondero 2020). En ce qui concerne les images faisant partie d'une même base de données et constituant ainsi une collection, elles deviennent traduisibles entre elles. Traduisibles en quel sens ? Au sens où chaque image peut être calculée dans son unicité et mesurée dans toutes ses différences et similarités par rapport à toutes les autres images de la collection.
(Media Visualization) et de Benoit Seguin (Replica) ont développé chacun à sa manière une tentative de rendre visibles les résultats de l'analyse des similarités et dissimilarités entre une image et une autre. Les deux projets ont produit des visualisations ayant comme objectif de construire des cartographies des collections d'images qui puissent organiser la base de données et notamment grouper les images de la collection dans des zones différentes de la carte selon leurs affinités/dissimilarités. Les deux visualisations qui suivent sont de bons exemples des techniques de visualisation respectivement de Lev Manovich (Figure 3) et de Benoît Seguin (Figure 4). Les deux projets partagent certains objectifs et se distinguent par leurs instruments d'analyse et par les corpus analysés, ainsi que par les styles choisis pour visualiser les données.