Détection automatique de métaphores dans des textes de Géographie : une étude prospective (Automatic detection of metaphors in Geographical research papers : a prospective study) (2017)

Abstract: Cet article s’intègre dans un projet collaboratif qui vise à réaliser une analyse longitudinale de la production universitaire en Géographie. En particulier, nous présentons les premiers résultats de l’application d’une méthode de détection automatique de métaphores basée sur les modèles de thématiques latentes. Une analyse détaillée permet de mieux comprendre l’impact de certains choix et de réfléchir aux pistes de recherche que nous serons amenés à explorer pour améliorer ces résultats.

## introduction objet de questionnement depuis les années soixante-dix, le champ de recherche des métaphores en géographie n'a toutefois jamais été exploré de façon systématique. a partir des études fragmentées sur la question @xcite @xcite , ce trope est reconnu comme un élément important de la logique argumentative. par exemple, @xcite montre l'importance de la métaphore organiciste dans la géographie vidalienne afin de la rapprocher d'une science plus objective : la biologie. dans cette métaphore, les villages peuvent être présentés comme des cellules : « au lieu d'être dispersée en molécules, la population y forme un noyau et ce rudiment d'organisation suffit pour donner prise sur elle » (de la blache, 1903). de la même manière, les régions peuvent devenir des organes et les pays se transformer en êtres vivants que les géographes doivent disséquer. si la géographie vidalienne est maintenant dépassée, l'ensemble des autres études démontrent que les métaphores sont encore très présentes dans la géographie mais que les systèmes référentiels mis en jeu ont fortement varié au cours du temps : organicisme, mécanicisme, théâtre... désireux d'étudier cette évolution de manière quantifiée sur un large corpus, des chercheurs en géographie et en informatique travaillent ensemble sur une méthode de détection automatique des métaphores. pour répondre à l'objectif de cette recherche, la méthode doit non seulement détecter les métaphores mais aussi déterminer les systèmes référentiels mis en jeu, ce qui nous renvoie à la dimension conceptuelle des métaphores mise en évidence par @xcite , avec pour chaque métaphore une projection d'un domaine source sur un domaine cible. par exemple, quand des géographes parlent de « pays qui jouent un rôle sur la scène internationale », ils projettent le mot scène de son domaine source du théâtre dans le domaine cible de la géopolitique. nous cherchons donc une méthode capable de détecter les métaphores mais également de trouver les domaines conceptuels sources utilisés. dans un premier temps, un état des lieux global sur la question de la détection de métaphore a été réalisé @xcite . si nous nous concentrons dans un second temps exclusivement sur les méthodes permettant de détecter les domaines sources, celles-ci sont beaucoup moins nombreuses. ce constat méthodologique se retrouve dans la synthèse réalisée par @xcite . plusieurs types de méthodologies peuvent être utilisées de façon plus ou moins complémentaire pour détecter à la fois les métaphores et leurs domaines sources : des ressources lexicales @xcite , de la classification non supervisée @xcite , de l'apprentissage supervisé @xcite des modèles thématiques @xcite et du plongement de mots @xcite . l'étude de roy et al. (2006) est la plus proche de l'objectif attendu de cette recherche. cependant, la méthode de heintz et al. (2013) nous a semblé être une bonne extension et automatisation de leur travail grâce à une recherche automatique des thématiques latentes (et non plus par l'établissement manuel d'une centaine de lexies pour chaque domaine conceptuel étudié). de plus, l'utilisation des thématiques trouvées à l'échelle du texte et des phrases sert d'indice de détection des métaphores ce qui généralise le travail de roy et al. puisqu'ils utilisent implicitement cet indice en recherchant dans un texte très spécialisé (sur la finance) des phrases métaphoriques de domaines très éloignés de ce thème principal (comme la météorologie). de plus, la méthode de heintz et al. (2013) répond à plusieurs contraintes fortes du projet : -elle ne repose pas sur un apprentissage automatique supervisé car notre projet étant dans sa phase initiale, nous n'avions pas de corpus préalablement annoté pouvant servir de base à un apprentissage supervisé. -elle détecte tous les types de métaphores. les méthodes citées dans l'état des lieux à base de classification non supervisée ou de plongement de mots sont spécialisées sur un type de métaphore comme les métaphores nominales ou verbales. dans le cadre de notre étude générale sur la géographie, ces réductions à un type de métaphore ne sont pas pertinentes. -elle est facilement utilisable en français car notre objectif final est de travailler sur la géographie française. beaucoup de méthodes sont développées en anglais et utilisent des ressources lexicales qui ne sont pas forcément disponibles avec la même qualité en français, ce qui les rend difficilement utilisables dans cette langue. -son efficacité semble relativement bonne : f-score de 59% obtenu par heintz. nous voulons évaluer en détail cette méthode qui répond le plus à l'objectif et aux contraintes de notre projet. nous avons choisi dans un premier temps de travailler sur un petit corpus annoté en anglais pour comparer nos résultats sans le changement de la variable langue. notons cependant que nous constituons pour la suite en parallèle un corpus de taille importante d'articles en français qui couvre les quelques cent trente dernières années. ici toutefois, la priorité a été donnée au travail d'évaluation pour pouvoir réaliser et présenter dans cet article un premier test détaillé de la méthode retenue. ## constitution d'un corpus annoté nous avons fixé un objectif de taille du corpus à environ 1500 phrases annotées manuellement de façon à avoir suffisamment de représentativité pour l'évaluation des résultats mais sans que le corpus ne soit trop long à annoter pour des contraintes de ressources. les articles ont été sélectionnés dans divers sites en ligne foot_0 pour varier les sujets et donc les façons d'écrire et d'utiliser les métaphores en géographie. cependant, cet effort de sélection des articles et de représentativité du champ disciplinaire n'a pas été très poussé car il s'agissait, dans une première étape, de tester une méthode de détection automatique sur un petit corpus et non de généraliser tout de suite notre démarche. deux annotateurs ont annoté manuellement et de manière indépendante les phrases en suivant la metaphor identification procedure (mip). cette méthode a été choisie car elle a été construite pour essayer de limiter les biais d'interprétations personnelles qui sont une difficulté importante dans la reconnaissance de métaphore @xcite et elle est reconnue internationalement @xcite . après une lecture attentive en entier du texte, il s'agit d'établir pour chaque unité lexicale son sens en contexte. si cette unité lexicale possède dans d'autres contextes un sens plus basique (soit plus concret, soit plus relié à l'action corporelle, soit plus précis, soit plus historiquement ancien), alors l'unité lexicale est annotée comme étant métaphorique. en cas de doute sur les sens plus basiques, le dictionnaire oxford dictionary foot_1 est utilisé. la méthode imposant de définir un concept cible, nous avons choisi geography. un important travail de clarification a été réalisé en amont pour mieux définir ce terme. après discussion, il a été décidé de retenir une définition restreinte selon trois domaines : les éléments naturels touchant à la topographie ou à la géomorphologie (montagne, mer, désert, etc.), les éléments sociaux (population, groupe, collectivité, etc.) et les éléments territoriaux @xcite . les annotateurs ont gardé seulement les métaphores avec un concept cible en lien avec ces éléments. pour chaque métaphore trouvée, les annotateurs ont déterminé son concept source. il n'y a pas eu de méthodologie fixée à l'avance pour la détermination des concepts mais un travail continu de catégorisation. les géographes ont défini préalablement une liste de concepts sources à partir de leurs connaissances sur la question. ensuite, au fur et à mesure de l'avancée de l'annotation manuelle et des nouvelles métaphores trouvées, la liste des concepts sources s'est étoffée pour atteindre au final 42 concepts. finalement, le corpus est constitué de 17 articles, soit 1527 phrases dont 365 contiennent au moins une métaphore géographique ; les articles ont entre 29 et 264 phrases ; au total le corpus contient 41620 mots. le degré d'accord entre les deux annotateurs est mesuré grâce au test du kappa @xcite . le taux k qui mesure l'accord entre deux annotateurs est, dans notre cas, égal à 0,63. en comparaison de celui obtenu par heintz(@xmath0, 48), l'accord a été plus fort entre nos deux annotateurs. une hypothèse à vérifier pour expliquer cette situation concerne l'importance en amont de la clarification initiale de ce qu'on entendait par "géographie" qui a pu contribuer à une meilleure détection et donc à l'augmentation de l'accord inter-annotateurs. ## méthode de détection automatique de métaphores le principe de la méthode consiste à sélectionner les phrases qui vont comporter à la fois le concept cible géographie et un des 42 concepts sources. deux filtres sont ensuite appliqués pour augmenter les chances qu'il s'agisse bien d'une métaphore. les paragraphes suivant détaillent l'ensemble de la méthode. pour un développement plus formel, nous renvoyons les lecteurs intéressés à l'article originel de heintz. a partir des probabilités d'apparition de chaque thématique, il est possible de calculer la somme des probabilités d'apparition des thématiques alignées de chaque concept pour chaque phrase. si cette somme dépasse un certain seuil, alors la phrase est considérée comme relevant du concept en question. ce seuil peut prendre des valeurs différentes pour les concepts source (z rel,s ) et le concept cible (z rel,c ). enfin, chaque phrase qui relève à la fois du concept cible geography et d'un concept source est concept mots graines score thématique music rhythm, music, concert, jazz 0.0291 music, opera, orchestra, piano... 0.0145 album, band, song, released... economy economy, money, financial, bank 0.0199 company, bank, tax, market... geography mountain, river, desert, climate, population, society, territory, environment, land 0.0459 river, lake, estonia, county... 0.0397 city, population, century, world... 0.0361 population, municipality, people... 0.0259 district, rural, province, country... 0.0194 town, village, area, river... par conséquent, l'algorithme trouve dans l'expérimentation menée des métaphores pour de mauvaises raisons. cette situation provient de la méthode de détection manuelle employée mip qui « suit une approche maximale, et non minimale, de telle sorte qu'une large gamme de mots puissent être considérés comme communiquant un sens métaphorique d'après leur utilisation en contexte » @xcite . avec des seuils bas, la méthode automatique affecte plus de phrases au champ de la géographie ; or beaucoup de phrases géographiques peuvent être considérées comme métaphoriques avec la méthode de détection manuelle employée, ce qui améliore les résultats de manière erronée. en remontant les seuils, le rappel devient faible. dans son étude, heintz contourne ce problème en prenant une autre base évaluative. en effet, notre étude a pour objectif de trouver toutes les métaphores dans des textes, alors que l'étude de heintz prend comme base d'évaluation les métaphores les mieux notées par l'algorithme (obtenues avec des seuils de détection élevés) mélangées avec un ensemble de phrases détectées comme non métaphoriques. dans notre cas, des seuils hauts se traduisent par un nombre important de métaphores non détectées par l'algorithme. dans le cas de l'étude de heintz, des seuils hauts effectuent au contraire une présélection efficace l'évaluation. si on accepte de remonter les seuils, deux éléments sont déterminants pour l'efficacité de la méthode : tout d'abord, l'alignement des concepts et des thématiques. si certains alignements ont bien fonctionné comme le montre la deux pistes de recherches importantes pour l'efficacité de l'algorithme sont mises en évidence : l'alignement thématiques-concepts en travaillant sur le nombre général de thématiques et le nombre de thématiques par concept ; l'amélioration des mots-graines en exécutant l'algorithme de manière successive sur des concepts cibles plus précis. si les pistes de recherche évoquées ci-dessus ne sont pas concluantes, il est possible d'opter pour un changement de perspective plus radical. cette idée provient des analyses qualitatives effectuées mais aussi de la réflexion des géographes. en effet, une de leurs conclusions, à la suite de cette étude, est que toutes les métaphores annotées manuellement avec la méthode employée ne les intéressent pas. certaines métaphores sont usées et n'opèrent plus vraiment de transfert conceptuel comme par exemple l'expression « le lit de la rivière ». les métaphores les plus intéressantes, les métaphores vives @xcite , sont celles qui activent intentionnellement un transfert conceptuel. citons à titre d'exemple une métaphore que les géographes aimeraient pouvoir détecter : « [la recherche de modèle en géographie] consiste à élaguer ce que les faits ont de touffu et de contingent pour en saisir l'essentiel ou, mieux encore, la structure » @xcite . il y a consciemment, et ceci est marqué par la double présence des termes « élaguer » et « touffu » dans la phrase, une métaphore liée à la foresterie. nous pensons que la méthode ici développée est particulièrement intéressante pour capter ce type de métaphore que l'on peut qualifier de « filée sur une même phrase » et qui peut jouer un rôle important d'intégration conceptuelle comme l'a montré @xcite . ce changement de perspective modifie de manière importante l'objectif initial assigné à cette méthode. il ne s'agit plus de détecter toutes les métaphores mais un type particulier de métaphore. ainsi, il serait possible de remonter les seuils pour renforcer l'efficacité de la méthode sur cette tâche spécifique de détection. il est probable qu'en voulant assigner une tâche trop large et ambitieuse à cette méthode, à savoir la détection de toutes les métaphores, nous avons diminué son efficacité spécifique. ce changement de cap, s'il devait se confirmer, devra s'accompagner de réflexions importantes autant du côté des géographes que des informaticiens. les premiers devront trouver des critères les plus précis et objectivés possibles pour définir les métaphores qui les intéressent le plus. suite à ce travail, les informaticiens devront tester à nouveau cette méthode sur ce type particulier de métaphores et réfléchir à d'autres méthodes de détection pour les autres types de métaphores intéressant les géographes.