datasets-CNRS/vocabulaire_du_traitement_automatique_des_langues huggingface dataset:
Terme : théorie des langages formels
Term: formal language theory
Définition : Discipline théorique qui étudie la structure interne formelle des langages.
Definition: A field that studies the internal structural patterns of languages.
Concept générique : méthodes et outils de TAL
Broader concept: NLP methods and tools
Concepts spécifiques : graphe AMR, théorie de la vérification des traits, théorie des dépendances conceptuelles, langue contrôlée, grammaire de dépendance, théorie des représentations discursives, expressivité, géometrie des traits, automate à états finis, grammaire formelle, glossématique, structure lexicale, lexique-grammaire, théorie sens-texte, reconnaissance des formes, système à pile, substitution
Narrower concepts: AMR graph, checking theory, conceptual dependency theory, controlled language, dependency grammar, discourse representation theory, expressiveness, feature geometry, finite state automata, formal grammar, glossematics, lexical structure, lexicon-grammar, meaning-text theory, pattern matching, pushdown system, substitution
Terme : corpus
Term: corpus
Définition : Ensemble de textes établi selon un principe de documentation exhaustive, un critère thématique ou exemplaire en vue de leur étude linguistique. (CNRTL)
Definition: A collection of pieces of language that are selected and ordered according to explicit linguistic and/or extra-linguistic criteria in order to be used as a sample of the language. (Sinclair, Preliminary recommendations on corpus typology, 1996)
Concept générique : base de données textuelles
Broader concept: textual database
Concepts spécifiques : corpus annoté, bi-texte, n-gramme, corpus parallèle, corpus étiqueté, corpus d'apprentissage, corpus arboré, corpus de parole, corpus comparable
Narrower concepts: annotated corpus, bitext, n-gram, parallel corpus, tagged corpus, training corpus, treebank, speech corpus, comparable corpus
Terme : diarisation
Term: diarization
Définition : Segmentation d'un enregistrement de parole en fonction du nombre de locuteurs et de leur identité.
Synonyms: diarisation
Concept générique : traitement automatique de la parole
Broader concept: speech processing
Terme : analyse en dépendances
Term: dependency parsing
Définition : Tâche/processus consistant à identifier et à marquer la structure grammaticale d'une phrase en établissant des relations entre les mots têtes et les mots qui modifient ces têtes. (Loterre)
Definition: A process of analyzing the grammatical structure of sentences, establishing relationships between words in the sentences, and labeling these relationships using grammatical dependencies. (Desagulier, Dependency parsing in R with UDPipe, on hypotheses.org, 2022)
Synonyms: DP, dependency analysis
Concept générique : analyse syntaxique
Broader concept: syntactic parsing
Terme : inférence textuelle
Term: textual entailment
Définition : Relation directionnelle entre un fragment de texte-source et un fragment de texte-cible. (Grau et Gleize, Implication textuelle : problèmes et méthodes pour le TAL, dans Langages, 2018)
Definition: A binary relation between two natural-language texts (called ‘text’ and ‘hypothesis’), where readers of the ‘text’ would agree the ‘hypothesis’ is most likely true. (Padó and Dagan, Textual Entailment, in The Oxford Handbook of Computational Linguistics, 2016)
Synonymes : implication textuelle
Concept générique : sémantique
Broader concept: semantics
Terme : base terminologique
Term: termbase
Définition : Base de données constituant une ressource terminologique. (ISO, Travail terminologique et science de la terminologie, 2019)§§Database comprising a terminology resource. (ISO, Terminology work and terminology science, 2019)
Synonymes : BT, base de données terminologiques
Synonyms: TB, term base
Concept générique : base de données lexicales
Broader concept: lexical database
Terme : ontologie
Term: ontology
Définition : Ensemble d’informations dans lequel sont définis les concepts et qui décrit les relations logiques qu’ils entretiennent entre eux. (Data Franca)
Definition: A collection of statements written in a language such as RDF that define the relations between concepts and specify logical rules for reasoning about them. (Termium)
Concept générique : base de données lexicales
Broader concept: lexical database
Terme : thésaurus
Term: thesaurus
Définition : Liste organisée d'unités propres à un domaine, dont certaines sont des descripteurs, qui présente des relations sémantiques structurées et qui contient des règles terminologiques servant à traduire en un langage artificiel des notions exprimées dans un langage naturel. (Termium)
Definition: An artificially constructed vocabulary representing a conceptual breakdown of a subject field or fields, used in an information retrieval system. (Termium)
Concept générique : base de données lexicales
Broader concept: lexical database
Terme : corpus de parole
Term: speech corpus
Définition : Collection de données audio enregistrées qui sont utilisées comme ressource pour l'entraînement, le développement et l'évaluation de systèmes de traitement automatique de la parole.
Definition: A collection of recorded spoken language samples that are used for linguistic research, speech recognition system training, and other related purposes.
Synonymes : corpus oral
Synonyms: spoken corpus
Concept générique : corpus
Broader concept: corpus
Terme : corpus comparable
Term: comparable corpus
Définition : Type de corpus constitué de textes originaux partageant une similitude de style et de contenu sans que l’un des deux sous-corpus ne représente la traduction de l’autre sous-corpus. (Loock, la Traductologie de corpus, 2016)
Definition: Type of corpora composed independently in the respective languages and put together on the basis of similarity of content, domain and communicative function. (Zanettin, Billingual comparable corpora and the training of translators 1998)
Concept générique : corpus
Broader concept: corpus
Terme : multilinguisme
Term: multilingualism
Définition : État d'un individu ou d'une communauté linguistique qui utilise concurremment trois langues différentes ou davantage. (CNRTL)
Definition: The ability of societies, institutions, groups and individuals to engage, on a regular basis, with more than one language in their day-to-day lives. (European Commission, 2007)
Concept générique : sociolinguistique
Broader concept: sociolinguistics
Concepts spécifiques : bilinguisme, mélange de langues, alternance de langues, colinguisme, communication interlingue, couple de langues, pluralisme linguistique, langue peu dotée, cadre linguistique faiblement sourcé, langue source, langue cible
Narrower concepts: bilingualism, code-mixing, code-switching, colinguism, interlingual communication, language pair, linguistic pluralism, low-resource language, low-resource setting, source language, target language
Terme : post-édition
Term: post-editing
Définition : Ensemble des corrections apportées à un texte cible produit par un logiciel de traduction automatique pour le rendre correct. (L'Homme, Glossaire des termes de traductique)
Definition: The correction of raw machine-translated output by a human translator according to specific guidelines and quality criteria. (O’Brien, Towards predicting post-editing productivity, in Machine Translation, 2011)
Synonymes : PE, postédition
Synonyms: PE, postediting
Concept générique : traduction automatique
Broader concept: machine translation
Concepts spécifiques : post-édition complète, post-édition légère
Narrower concepts: full post-editing, light post-editing
Terme : post-édition légère
Term: light post-editing
Définition : Type de post-édition qui se concentre sur le transfert correct du sens et ne s’attarde pas sur des problèmes d’ordre stylistique. (https://www.unige.ch/fti/fr/faculte/departements/dtim/recherches/ta/)
Definition: Cursory correction of the raw MT, correcting only the most serious errors so as to give reasonable comprehensibility and accuracy, without any guarantee of quality. (Wagner, Post-editing Systran: a challenge for Commission translators, Terminologie et Traduction, 1985)
Synonymes : post-édition superficielle
Synonyms: light PE, light postediting
Concept générique : post-édition
Broader concept: post-editing
Terme : résumé par abstraction
Term: abstractive summarization
Définition : Résumé automatique d'un texte utilisant de nouveaux mots ou des paraphrases.
Definition: Automatic reformulation of prominent concepts or ideas in a source text in clear language, often including words or sentences that do not exist in the source text. (Based on Cai et al., Integrating domain knowledge for biomedical text analysis into deep learning: A survey, 2023)
Synonymes : résumé automatique de texte par abstraction
Concept générique : résumé automatique
Broader concept: automatic summarization
Terme : fonction d'activation
Term: activation function
Définition : Fonction mathématique non- linéaire appliquée à un signal en sortie d'un neurone artificiel. (Data Franca)
Definition: A function that enables neural networks to learn nonlinear (complex) relationships between features and the label. (Google for Developers, Machine Learning Glossary)
Synonymes : fonction de seuillage, fonction de transfert
Synonyms: transfer function
Concept générique : neurone
Broader concept: neuron
Concepts spécifiques : fonction sigmoïde, fonction softmax
Narrower concepts: sigmoid function, softmax function
Terme : optimiseur Adam
Term: Adam optimizer
Définition : Méthode de descente de gradient stochastique basée sur l’adaptation des taux d’apprentissage pour chaque paramètre et particulièrement efficace pour les problèmes d’apprentissage profond. (D'après Boussik, Apprentissage profond non-supervisé : Application à la détection de situations anormales dans l’environnement du train autonome, 2023)
Definition: A variant of the stochastic gradient descent algorithm often used as the default algorithm in deep learning to improve the performance of deep neural network.
Concept générique : descente du gradient stochastique
Broader concept: stochastic gradient descent
Terme : exemple adverse
Term: adversarial example
Définition : Exemple conçu spécialement pour provoquer une mauvaise performance ou une incohérence d'un modèle d'apprentissage automatique en apportant de légères modifications aux données d'entrée initialement cohérentes.
Definition: Machine learning input sample formed by applying a small but intentionally worst-case perturbation to a clean example, such that the perturbed input causes a learned model to output an incorrect answer. (NIST, The Language of Trustworthy AI: An In-Depth Glossary of Terms, 2023)
Synonymes : exemple antagoniste
Concept générique : problème d'apprentissage
Broader concept: learning problem
Terme : graphe AMR
Term: AMR graph
Définition : Graphe représentant la sémantique d’une phrase et dont les nœuds sont des concepts sémantiques et les arcs des relations typées. (D'après Kang et al., Analyse sémantique AMR pour le français par transfert translingue, 2023)
Definition: A semantic representation of the meaning of a sentence and the relationships between its concepts in a structured form that can be interpreted by computational systems.
Synonyms: abstract meaning representation graph
Concept générique : théorie des langages formels
Broader concept: formal language theory
Terme : intervalle de réponse
Term: answer span
Définition : Séquence de mots ou de tokens dans un extrait ou un document donné qui apporte la réponse à une question spécifique, généralement dans des systèmes de questions-réponses.
Definition: A contiguous sequence of words or tokens within a given passage or document that provides the answer to a specific question, typically to tackle tasks such as question answering.
Concept générique : jeu de données
Broader concept: data set
Terme : distribution d'attention
Term: attention distribution
Définition : Manière dont les poids d'attention sont répartis dans la séquence d'entrée d'un modèle basé sur l'attention.
Definition: The distribution of attention weights across the input sequence in an attention-based model.
Concept générique : mécanisme d'attention
Broader concept: attention mechanism
Terme : tête d'attention
Term: attention head
Définition : Composant individuel d'un mécanisme d'attention multi-tête qui se concentre sur des parties spécifiques d'un texte d'entrée, aidant le modèle de langue à comprendre quels mots sont les plus importants pour répondre à une problématique particulière, comme la compréhension du sens du texte ou la réponse à une question.
Definition: An individual component in a multi-head attention mechanism which focuses on specific parts of input text, helping a language model to understand which words are most important for a particular task, like understanding meaning or answering a question.
Concept générique : mécanisme d'attention
Broader concept: attention mechanism
Terme : mécanisme d'attention
Term: attention mechanism
Définition : Capacité d'apprendre à se concentrer sur des parties spécifiques de données complexes, par exemple une partie d'une image ou certains mots dans une phrase. Des mécanismes d'attention peuvent être incorporés dans les architectures de traitement de la langue naturelle et de reconnaissance d'images pour aider un réseau de neurones artificiels à apprendre sur quoi "se concentrer" lorsqu'il fait des prédictions. (Data Franca)
Definition: A useful layer in neural networks, aiming to focus on specific parts of the input to get the result. (Jouis et al., A methodology to compare XAI explanations on natural language processing, in Explainable Deep Learning AI, 2023)
Synonymes : réseau attentionnel
Synonyms: attention network
Concept générique : couche
Broader concept: layer
Concepts spécifiques : distribution d'attention, tête d'attention, attention croisée, attention multi-tête, mécanisme d'auto-attention, mécanisme d'attention partagée
Narrower concepts: attention distribution, attention head, cross attention, multi-head attention, self-attention mechanism, shared attention mechanism
Terme : connaissances de base
Term: background knowledge
Définition : Informations supplémentaires ou compréhension du contexte qui ne sont pas explicitement présentes dans le texte analysé, mais qui sont tirées de sources externes telles que des bases de connaissances, des ontologies ou des corpus externes et intégrées dans les modèles et algorithmes afin d'améliorer la compréhension et l'interprétation des données textuelles.
Definition: Additional information or contextual understanding that is not explicitly present in the text being analyzed but is instead drawn from external sources such as knowledge bases, ontologies, or external corpora and integrated into models and algorithms to improve the understanding and interpretation of textual data.
Synonymes : connaissances de fond
Concept générique : jeu de données
Broader concept: data set
Terme : taille de lot
Term: batch size
Définition : Nombre d'exemples d'un lot. (Data Franca)
Definition: The number of data samples that are processed in a single iteration during the training of a model.
Synonymes : taille des lots
Concept générique : hyperparamètre
Broader concept: hyperparameter
Terme : jeu de données de référence
Term: benchmark dataset
Définition : Ensemble de données préalablement annotées utilisé comme référence pour évaluer ou comparer des modèles d'apprentissage automatique.
Definition: A static dataset that is used to evaluate and compare the performance of different algorithms, models, or methods. (Based on Gabor Melli's Research Knowledge Base)
Synonyms: benchmarking dataset
Concept générique : jeu de données
Broader concept: data set
Terme : oubli catastrophique
Term: catastrophic forgetting
Définition : Tendance d'un modèle de langue à oublier soudainement des informations importantes qu'il avait précédemment apprises, en général lorsqu'il est exposé à de nouvelles données différentes de celles sur lesquelles il a été entrainé, ce qui dégrade sa performance de manière significative.
Definition: The tendency of an artificial neural network to abruptly and drastically forget previously learned information upon learning new information. (Wikipedia)
Synonyms: catastrophic interference
Concept générique : problème d'apprentissage
Broader concept: learning problem
Terme : raisonnement de sens commun
Term: commonsense reasoning
Définition : Méthode qui tente de répliquer la pensée humaine à l'aide des bases de connaissances générales, des méthodes de raisonnement imitant la pensée humaine et du développement de nouveaux types d'architectures cognitives compatibles avec plusieurs méthodes et représentations de raisonnement. (Data Franca)
Definition: The ability of computational models to understand and deduce general knowledge and facts in a text that are considered common sense to the human being but are implicit in the text.
Synonymes : raisonnement de bon sens
Concept générique : intelligence artificielle
Broader concept: artificial intelligence
Terme : généralisation compositionnelle
Term: compositional generalization
Définition : Capacité d'un modèle à généraliser les schémas linguistiques appris à partir de données d'entrainement pour comprendre des constructions qu'il n'a pas rencontrées auparavant et ainsi produire de nouvelles chaines de mots en se basant sur sa compréhension des éléments individuels et de la structure syntaxique de la langue.
Definition: The ability of a model to combine known parts of a sentence, such as primitive tokens, to generate novel compositions of these primitive elements. (Ince et al., Harnessing Dataset Cartography for Improved Compositional Generalization in Transformers, 2023)
Concept générique : méthodes et outils de TAL
Broader concept: NLP methods and tools
Terme : plongement contextuel
Term: context embedding
Définition : Représentation vectorielle d'un mot ou d'une phrase qui prend en compte le contexte dans lequel il est utilisé afin de saisir les éventuelles nuances sémantiques et syntaxiques.
Definition: The process of generating embeddings of textual information that capture the surrounding context of words or sentences.
Concept générique : représentation contextuelle
Broader concept: context representation
Terme : représentation contextuelle
Term: context representation
Définition : Manière de représenter des mots ou des phrases en tenant compte du contexte dans lequel ils apparaissent.
Definition: The way in which textual information is encoded or represented in a manner that captures the surrounding context or meaning of words or sentences, for example through word embeddings.
Synonyms: contextual representation, contextualized representation
Concept générique : modèle de représentation
Broader concept: representation model
Concepts spécifiques : représentation des mots dépendant du contexte, plongement contextuel
Narrower concepts: context-dependent word representation, context embedding
Terme : apprentissage par contraste
Term: contrastive learning
Définition : Apprentissage non supervisé qui consiste à rapprocher les données similaires et à éloigner les données non similaires. (Data Franca)
Definition: A self-supervised paradigm where a model is trained to learn useful representations of input data by contrasting similar and dissimilar samples. (Aswath et al., Segmentation in large-scale cellular electron microscopy with deep learning: A literature survey, in Medical Image Analysis, 2023)
Concept générique : apprentissage auto-supervisé
Broader concept: self-supervised learning
Terme : perte contrastive
Term: contrastive loss
Définition : Fonction de perte qui vise à associer les représentations vectorielles d'entrées similaires et éloigner celles des entrées qui diffèrent, utilisée notamment dans le cadre de tâches de recherche de similarité ou de classification lorsque l'étiquetage des données d'entrainement n'est pas suffisant.
Definition: A loss function used in training neural network models which draws representations of similar inputs close to one another, while simultaneously pushing representations of different inputs apart, and is used for tasks such as sentence similarity, semantic textual similarity, and sentence embedding learning. (Based on Moayeri et al., A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes, 2022)
Concept générique : fonction de perte
Broader concept: training loss
Terme : attention croisée
Term: cross attention
Définition : Mécanisme d'attention utilisé dans les modèles basés sur des transformeurs qui se concentre simultanément sur différentes parties d'une séquence d'entrée lors de la génération de la sortie.
Definition: An attention mechanism employed in the decoder of transformers that allows the model to consider information from different parts of the input sequence while generating the output sequence. (Based on Bharti, Unraveling Transformers: A Deep Dive into Self-Attention and Cross-Attention Mechanisms, on medium.com, 2024)
Synonyms: cross-attention mechanism
Concept générique : mécanisme d'attention
Broader concept: attention mechanism
Terme : perte d'entropie croisée
Term: cross-entropy loss
Définition : Fonction de perte utilisée pour évaluer la différence entre la distribution de probabilité prédite par un modèle et la distribution de probabilité réelle des étiquettes dans un jeu de données afin d'optimiser les paramètres du modèle dans la tâche de classification.
Definition: A loss function used to optimize classification models in tasks like sentiment analysis, text classification, and language modeling that measures the dissimilarity between the predicted probability distribution and the true probability distribution of the target labels.
Concept générique : fonction de perte
Broader concept: training loss
Terme : transfert translingue
Term: cross-lingual transfer
Définition : Utilisation de modèles développés pour une langue donnée afin de traiter des tâches dans une autre langue en transférant les connaissances acquises de la langue source vers la langue cible, souvent en ajustant les modèles.
Definition: The use of models and data with abundant resources for one language to solve challenges in a less resource-rich language. (Menon and Konjengbam, X-ABI: Toward Parameter-Efficient Multilingual Adapter-Based Inference for Cross-Lingual Transfer, 2023)
Synonymes : transfert cross-langue, transfert cross-lingue
Concept générique : apprentissage par transfert
Broader concept: transfer learning
Concepts spécifiques : transfert syntaxique
Narrower concepts: syntactic transfer
Terme : division de données
Term: data split
Définition : Division du jeu de données d'entrée pour construire un modèle d'apprentissage automatique en trois jeux de données distincts : les données d'entrainement, de validation et de test. (Basé sur Wikipédia, Jeux d'entrainement, de validation et de test)
Definition: The way a dataset is divided into separate subsets for training, validation, and testing purposes in a model.
Synonymes : partition de données
Synonyms: train-test-validation data, train-test-validation set, train-test-validation split, train/test/validation set, train/test/validation split
Concept générique : jeu de données
Broader concept: data set
Terme : contexte de dialogue
Term: dialogue context
Définition : Informations sur l'ensemble des échanges verbaux et l'intention des participants d'une conversation, employées pour construire des interfaces homme-machine et des agents conversationnels.
Definition: System information and user information, which provides the user target and topic information of the current dialogue. (Yang et al., Multiturn dialogue generation by modeling sentence-level and discourse-level contexts, in Scientific Reports, 2022)
Synonymes : contexte de conversation
Synonyms: dialog context
Concept générique : pragmatique
Broader concept: pragmatics
Terme : historique de dialogue
Term: dialogue history
Définition : Ensemble des interactions verbales qui ont eu lieu entre les participants à une conversation de son début au moment actuel, utilisé dans la conception et l'évaluation de systèmes de dialogue ou d'agents conversationnels.
Definition: The storage of dialogue in the current state with information and entities before the current state, which promotes conceptual coherence. (Based on Magara, A Branchless banking multi-agent system to facilitate online-offline capabilities with consideration to the fourth industrial revolution (thesis), 2021)
Synonymes : historique de conversation
Synonyms: dialog history
Concept générique : pragmatique
Broader concept: pragmatics
Terme : modèle de dialogue
Term: dialogue model
Définition : Modèle théorique utilisé dans la conception de systèmes de dialogue pour analyser et représenter la structure d'une conversation entre des participants humains ou des machines.
Definition: An abstract model that is used to describe the structure of the dialogue between a user and an interactive computer system. (Green, A Survey of Three Dialogue Models, 1986)
Synonymes : modèle de conversation, modèle de dialogue homme-machine
Synonyms: dialog model
Concept générique : modèle
Broader concept: model
Terme : suivi des états de dialogue
Term: dialogue state tracking
Définition : Processus par lequel un système informatique maintient une représentation mise à jour de l'état courant d'une conversation entre un être humain et une machine, souvent dans le contexte d'un système de dialogue pour adapter les réponses générées en fonction de l'état actuel de l'interaction.
Definition: A task in task-oriented dialogue systems, which involves tracking of user’s goal and slot values based on dialogue context to accurately represent the current status or context of the conversation in order to facilitate more effective dialogue management and response generation. (Based on Maheshwari and Nangi, Pre-training and Data Augmentation for Dialogue State Tracking)
Synonyms: dialog state tracking
Concept générique : dialogue orienté tâche
Broader concept: task-oriented dialogue
Terme : tâche en aval
Term: downstream task
Définition : Tâche qui utilise les sorties d'un modèle d'apprentissage auto-supervisé comme entrées pour répondre à des besoins spécifiques, par exemple dans la classification d'images.
Definition: In the context of self-supervised learning, a task that uses the features learned through the self-supervised learning process as input, which can be any type of machine learning task that requires visual features, such as object detection, image classication, or segmentation. (Based on Attias, Vision Transformers for Analyzing High-Resolution Pathology Images (thesis), 2023)
Concept générique : apprentissage auto-supervisé
Broader concept: self-supervised learning
Terme : arrêt précoce
Term: early stopping
Définition : Méthode de régularisation qui implique d'interrompre l'entraînement d'un modèle d'apprentissage lorsque la perte d'un ensemble de données de validation commence à augmenter et que les performances de généralisation se dégradent. (Data Franca)
Definition: A method for regularization that involves ending training before training loss finishes decreasing. (Google for Developers, Machine Learning Glossary)
Concept générique : régularisation
Broader concept: regularization
Terme : dimension de plongement
Term: embedding dimension
Définition : Taille de l'espace vectoriel dans lequel les tokens sont représentés sous forme de vecteurs dans un modèle de langue.
Definition: The number of dimensions in a space where each token in the vocabulary is represented by a real valued vector in a language model. (Based on de Rijk, Classifying Legally Actionable Threats Using Language Models (thesis), 2022)
Synonymes : dimension d'embedding, taille d'embedding, taille de plongement
Synonyms: embedding size
Concept générique : hyperparamètre
Broader concept: hyperparameter
Terme : couche de plongement
Term: embedding layer
Définition : Couche d'un réseau neuronal placée comme première couche pour initialiser les représentations des tokens en entrée avant qu'elles ne soient propagées à travers le reste du réseau.
Definition: A special hidden layer placed at the beginning of a neural network to convert words or tokens into word embeddings.
Synonymes : couche d'embedding
Concept générique : plongement
Broader concept: embedding
Terme : matrice de plongement
Term: embedding matrix
Définition : Matrice qui associe des tokens à leurs représentations vectorielles en entrée d'un modèle d'apprentissage automatique.
Definition: In the context of word embedding techniques, a table that maps each word in a vocabulary to its corresponding dense vector representation, enabling machine learning models to effectively process and understand natural language text.
Synonymes : matrice d'embedding
Concept générique : plongement
Broader concept: embedding
Terme : phrase-témoin
Term: evidence sentence
Définition : Phrase d'un document ou un corpus qui témoigne d'une hypothèse ou d'une affirmation spécifique et joue un rôle important dans des tâches telles que l'extraction d'informations ou le résumé automatique.
Definition: A sentence or a piece of text within a document or corpus that provides support or evidence for a particular claim, hypothesis, or assertion, and plays an important role in tasks such as information extraction, question answering, summarization, and argumentation mining.
Concept générique : sémantique, phrase
Broader concept: semantics, sentence
Terme : résumé par extraction
Term: extractive summarization
Définition : Résumé automatique d'un texte par extraction des informations importantes ou des idées du document suivie de la génération du texte du résumé.
Definition: A process which aims at identifying the salient information that is then extracted and grouped together to form a concise summary. (Based on NithyaKalyani and Jothilakshmi, Speech Summarization for Tamil Language, in Intelligent Speech Signal Processing, 2019)
Concept générique : résumé automatique
Broader concept: automatic summarization
Terme : extracteur de caractéristiques
Term: feature extractor
Définition : Composant ou algorithme utilisé pour convertir des données textuelles brutes en représentations numériques pouvant être exploitées par des systèmes d'apprentissage automatique.
Definition: A piece of code responsible for transforming unstructured data into a numerical representation that can be utilized by machine learning algorithms.
Concept générique : algorithme de TAL
Broader concept: NLP algorithm
Terme : capacité de généralisation
Term: generalization ability
Définition : Mesure de la capacité d'un modèle à appliquer de manière fiable les connaissances acquises à partir des données d'entraînement à des données qu'il n'a pas rencontrées pendant l'entrainement.
Definition: A measure of how accurately the algorithm is able to predict outputs from previously unknown data. (Qi et al., Applying Neural-Network-Based Machine Learning to Additive Manufacturing: Current Applications, Challenges, and Future Perspectives, in Engineering, 2019)
Concept générique : mesure
Broader concept: measure
Note: Generalization ability can be evaluated using the bias and variance measurements. (Zaras et al., Neural networks and backpropagation, in Deep Learning for Robot Perception and Cognition, 2022)§§A model that can generalize is the opposite of a model that is overfitting. (Google for Developers - Machine Learning Glossary)
Terme : benchmark GLUE
Term: GLUE benchmark
Définition : Suite de tâches d'évaluation et d'entrainement pour les systèmes de compréhension de la langue naturelle.
Definition: A collection of resources for training, evaluating, and analyzing natural language understanding systems. (gluebenchmark.com)
Synonymes : repère GLUE
Synonyms: General Language Understanding Evaluation benchmark
Concept générique : ressources de TAL et évaluation
Broader concept: NLP resources and evaluation
Terme : étiquette de référence
Term: gold label
Définition : Catégorie préétablie qui sert de standard dans l'annotation d'éléments linguistiques ou de textes dans un contexte d'apprentissage automatique supervisé.
Definition: The correct reference label assigned to a piece of text or a linguistic element in a dataset in supervised learning settings.
Concept générique : étiquette
Broader concept: label
Terme : réseau d'attention de graphes
Term: graph attention network
Définition : Type de réseau neuronal qui utilise des mécanismes d'attention pour traiter des données structurées sous forme de graphes en y capturant efficacement les relations entre chaque élément.
Definition: A neural network architecture for graph-structured data that uses masked self-attentional layers to overcome the limitations of prior approaches based on graph convolutions and their approximations. (Based on Waikhom and Patgiri, Principles of Big Graph: In-depth Insight, in Advances in Computers, 2023)
Synonyms: GAT
Concept générique : modèle de réseaux de neurones
Broader concept: neural networks model
Terme : réseau neuronal de graphes
Term: graph neural network
Définition : Architecture de réseau de neurones pour l'apprentissage automatique à partir de données structurées en graphes. (Data Franca)
Definition: A type of neural network designed to operate on data that can be represented as graphs.
Synonymes : RNG
Synonyms: GNN
Concept générique : modèle de réseaux de neurones
Broader concept: neural networks model
Note : On recense 3 approches à l'apprentissage automatique à partir de graphes : 1) l'utilisation d'un réseau convolutif (c.-à-d. réseau de graphes convolutif), 2) l'utilisation d'un réseau récurrent (c.-à-d. réseau de graphes récurrent) et 3) l'utilisation d'un réseau auto-attentif (c.-à-d. réseau de graphes auto-attentif). (Data Franca)
Terme : recherche systématique
Term: grid search
Définition : Technique de recherche utilisée pour définir le meilleur ensemble d'hyperparamètres dans un modèle d'apprentissage automatique avec une grille de toutes les combinaisons possibles des valeurs de chaque hyperparamètre.
Definition: A searching technique used to define the best set of hyperparameters in a machine learning model with a grid of all possible combinations of hyperparameter values.
Concept générique : apprentissage automatique
Broader concept: machine learning
Terme : dimension latente
Term: hidden dimension
Définition : Taille des vecteurs d'état cachés dans un modèle de réseau neuronal.
Definition: The size of the hidden state vectors in a neural network model.
Synonymes : dimension cachée
Synonyms: hidden size, latent dimension
Concept générique : hyperparamètre
Broader concept: hyperparameter
Terme : représentation latente
Term: hidden representation
Définition : Représentation de l'apprentissage fait à partir des données brutes à la sortie des couches cachées d'un réseau de neurones. (Data Franca)
Definition: The abstract multidimensional space associated to each layer of a neural network where the representation of the learned data is implicitly built. Latent space contains the meaningful internal features representations of learned data, which makes it not directly interpretable. (Kaadoud et al., Explainable AI: a narrative review at the crossroad of Knowledge Discovery, Knowledge Representation and Representation Learning, 2021)
Synonymes : espace latent, représentation cachée, état caché, état latent
Synonyms: hidden embedding, hidden state, latent representation, latent space
Concept générique : modèle de représentation
Broader concept: representation model
Terme : module latent
Term: hidden unit
Définition : Nœud ou neurone situé au sein d'une couche cachée dans un modèle de réseau neuronal qui capture les relations de dépendances et les représentations des données d'entrée.
Definition: A node or neuron within a hidden layer in a neural network model that is responsible for capturing dependencies and representations of the input data.
Synonymes : module caché
Synonyms: latent unit
Concept générique : couche cachée
Broader concept: hidden layer
Terme : vecteur latent
Term: hidden vector
Définition : Vecteur représentant l'état caché appris par un modèle de réseau neuronal au moment où les données d'entrée sont traitées.
Definition: A vector representing the hidden state learned by a neural network model when the input data is processed.
Synonymes : vecteur caché
Synonyms: latent vector
Concept générique : espace de plongement
Broader concept: embedding space
Terme : biais inductif
Term: inductive bias
Définition : L’ensemble des hypothèses (implicites ou explicites), qui, additionnées aux données d’entraînement, conditionnent le comportement d’un modèle sur les échantillons de test hors des données d'entrainement. (D'après Siry, Théorie et algorithmes pour l’adaptation de domaine en apprentissage profond : application à la vision par ordinateur (thèse), 2024)
Definition: In deep learning, an hypothesis on the data at hand allowing to prioritize one solution or interpretation over another, independent of the observed data. (Based on Mialon, On Inductive Biases for Machine Learning in Data Constrained Settings (thesis), 2022)
Concept générique : paramètre entraînable
Broader concept: trainable parameter
Terme : représentation d'entrée
Term: input representation
Définition : Manière dont les données textuelles sont codées sous forme de vecteurs pouvant être traités par des modèles d'apprentissage automatique, tels que les plongements de mots, l'encodage un parmi n ou les mécanismes d'attention.
Definition: The way in which textual data is encoded as vectors that can be processed by machine learning models, such as word embeddings, one-hot encoding or attention mechanisms.
Synonymes : séquence d'entrée
Synonyms: input sequence
Concept générique : modèle de représentation
Broader concept: representation model
Terme : apprentissage multi-tâche
Term: joint training
Définition : Sous-domaine de l’apprentissage automatique qui vise à résoudre plusieurs tâches différentes en même temps, en tirant parti des similitudes qui existent entre elles. (Data Franca)
Definition: A training approach where closely related tasks can be trained simultaneously and share similar datasets. (Based on Lin et al., Predictive Prompts with Joint Training of Large Language Models for Explainable Recommendation, in Mathematics, 2023)
Synonyms: MTL, multi-task learning
Concept générique : approche d'apprentissage automatique
Broader concept: machine learning approach
Terme : divergence KL
Term: KL divergence
Définition : Mesure utilisée pour comparer deux distributions de probabilité, par exemple pour des mots générés par un modèle de langue ou dans un corpus de référence.
Definition: A measure used to compare two probability distributions, for example of words generated by a language model or in a reference corpus.
Synonymes : divergence de Kullback-Leibler
Concept générique : mesure
Broader concept: measure
Terme : graphe de connaissances
Term: knowledge graph
Définition : Représentation graphique des relations sémantiques entre des sujets tels que des notions, personnes, organismes ou lieux, qui permet d'exposer de manière synthétique un ensemble de connaissances. (Data Franca)
Definition: A semantic network graph that represents rich factual information among entities of diverse classifications in order to formally describe the entities and their associations in the real world. (Based on Ye et al., A Comprehensive Survey of Graph Neural Networks for Knowledge Graphs, 2022)
Synonyms: KG
Concept générique : source de connaissances
Broader concept: knowledge resource
Concepts spécifiques : entité rare, entité queue
Narrower concepts: long-tail entity, tail entity
Terme : lissage d'étiquette
Term: label smoothing
Définition : Technique utilisée dans les réseaux neuronaux pour des tâches tels que la classification d'images et la reconnaissance vocale afin d'empêcher le sur-ajustement du modèle et améliorer sa capacité de généralisation en distribuant la masse de probabilité à toutes les étiquettes, et pas uniquement à l'étiquette de référence.
Definition: A technique used in neural networks for tasks like image classification and speech recognition to prevent model overfitting and improve its generalization ability by distributing probability mass to all labels, not just the gold label.
Concept générique : approche d'apprentissage automatique
Broader concept: machine learning approach
Terme : normalisation des couches
Term: layer normalization
Définition : Technique employée pour stabiliser le processus d'apprentissage dans les réseaux de neurones profonds en normalisant l'activation des neurones à chaque couche.
Definition: A deep learning technique used to normalize the activations of neurons within each layer of a neural network independently in order to stabilize the training process and improve the performance of the neural network. (Based on Mudadla, Layer Normalization, on medium.com, 2023)
Concept générique : apprentissage profond
Broader concept: deep learning
Terme : couche linéaire
Term: linear layer
Définition : Type de couche dans un réseau neuronal composée de paramètres entrainables qui réalisent une transformation linéaire des données d'entrées.
Definition: A type of layer in a neural network that consists of learnable parameters which perform a linear transformation of the input data.
Concept générique : couche
Broader concept: layer
Terme : prédiction de lien
Term: link prediction
Définition : Tâche d'apprentissage automatique qui consiste à anticiper l'existence d'une relation entre deux éléments d'un réseau ou jeu de données incomplet.
Definition: A machine learning task basically used to forecast future possible links, or edges, in a network, or to predict possible missing links in an incomplete network or incomplete set of data. (Based on Oluigbo et al., Evaluating Network Embedding Models for Machine Learning Tasks, 2019)
Concept générique : apprentissage automatique
Broader concept: machine learning
Terme : langue peu dotée
Term: low-resource language
Définition : Langue pour laquelle il existe peu de ressources linguistiques informatiques disponibles, comme des corpus annotés ou des modèles de langue pré-entrainés, en général du fait de leur manque de déploiement géographique ou de leur marginalisation.
Definition: A language for which there are few, if any, documenting resources such as lexicons, grammars, or written texts. (Lane, Natural Language Processing for Low Resource Languages (project description), Charles Darwin University)
Synonyms: resource-poor language
Concept générique : multilinguisme, TAL responsable
Broader concept: multilingualism, responsible NLP
Terme : cadre linguistique faiblement sourcé
Term: low-resource setting
Definition: A setting where available resources such as annotated data and algorithms are inadequate for particular analysis tasks in NLP. (Based on Dima and Massey, Keyphrase Extraction for Technical Language Processing, in the Journal of Research of National Institute of Standards and Technology, 2021)
Concept générique : multilinguisme
Broader concept: multilingualism
Terme : lecture automatique de documents
Term: machine reading comprehension
Définition : Cas particulier de la tâche de question/réponse où une machine répond à des questions portant sur un document écrit particulier, chaque réponse se présentant sous la forme d’un passage du document. (D'après Bechet et al., CALOR-QUEST : un corpus d’entraînement et d’évaluation pour la compréhension automatique de textes, TALN, 2019)
Definition: A task that requires machines to read a text, comprehend given passages and answer questions related to the text. (Cui et al., ExpMRC: explainability evaluation for machine reading comprehension, in Heliyon, 2022)
Synonymes : compréhension de texte, question-réponse
Synonyms: MRC, extractive question answering, reading comprehension
Concept générique : système de questions réponses
Broader concept: question answering system
Terme : attention multi-tête
Term: multi-head attention
Définition : Mécanisme d'attention qui consiste à diviser les données d'entrée en plusieurs mécanismes d'attention distincts se concentrant chacun sur un aspect différent de la séquence d'entrée.
Definition: An attention mechanism used in NLP tasks such as machine translation and summarization that involves dividing the input sequence into multiple heads and combining their outputs to produce a single output, allowing the attention mechanism to focus on different aspects and relationships in the input sequence. (Multi Head Attention, on medium.com, 2023)
Concept générique : mécanisme d'attention
Broader concept: attention mechanism
Terme : tâche auxiliaire multilingue
Term: multilingual auxiliary task
Définition : Tâche supplémentaire intégrée dans un modèle de langue et entrainée conjointement avec sa tâche principale afin d'exploiter les transferts de connaissances entre différentes langues.
Definition: An additional task or objective that is incorporated into a language model's training process to improve its ability to understand and process multiple languages, such as language identification or cross-lingual classification.
Concept générique : entraînement de modèle
Broader concept: model training
Terme : reconnaissance d'implication textuelle
Term: natural language inference
Définition : Tâche qui consiste à déterminer si un texte en implique un autre, par exemple, si une phrase est une réponse à une question ou détecter les phrases redondantes dans un résumé. (D'après Bedaride et Gardent, Réécriture et Détection d'Implication Textuelle, TALN, 2008)
Definition: A task which aims to determine whether a given hypothesis sentence is entailed by a given premise sentence. (Schuster, Neural Networks for Natural Language Inference)
Synonymes : détection d'implication textuelle, reconnaissance d'implications textuelles
Synonyms: NLI, recognizing textual entailment
Concept générique : extraction d'information
Broader concept: information extraction
Terme : échantillonnage d'exemples négatifs
Term: negative sampling
Définition : Technique utilisée en apprentissage supervisé pour fournir au modèle des exemples qui ne possèdent pas les caractéristiques de la classe positive pour une tâche donnée.
Definition: A technique used in word embedding models which involves randomly selecting negative examples to train the model to distinguish between positive and negative word pairs.
Concept générique : apprentissage supervisé
Broader concept: supervised learning
Terme : modèle de langue neuronal
Term: neural language model
Définition : Modèle de langue qui se base sur des représentations apprises par des réseaux de neurones. (Data Franca)
Definition: A language model based on a neural network architecture to understand and generate human-like language.
Concept générique : modèle de langue
Broader concept: language model
Terme : tâche de compréhension des langues
Term: NLU task
Synonyms: natural language understanding task
Concept générique : lecture automatique
Broader concept: automatic reading
Terme : représentation de nœuds
Term: node representation
Definition: A numerical representation of an entity, word, or token and its meaning, context, and relationships within a graph-based model or structure.
Concept générique : théorie des graphes
Broader concept: graph theory
Terme : réseau pointeur
Term: pointer network
Définition : Type d'architecture de réseau neuronal conçu pour traiter des tâches séquence-à-séquence dans lesquelles les éléments de sortie sont copiés directement à partir de la séquence d'entrée.
Definition: A type of neural network architecture designed to handle sequence-to-sequence tasks where the output sequence elements are copied directly from the input sequence.
Concept générique : architecture de réseaux neuronaux
Broader concept: neural network architecture
Terme : modèle de langue pré-entraîné
Term: pre-trained language model
Definition: A large language model or model components that have already been trained. (Based on Google for Developers, Machine Learning Glossary)
Synonyms: pretrained language model
Concept générique : modèle de langue
Broader concept: language model
Terme : tâche de sondage
Term: probing task
Definition: A parameter efficient tuning mechanism that learns task-specific vectors that the system prepends to the actual prompt. (Based on Google for Developers, Machine Learning Glossary)
Concept générique : entraînement de modèle
Broader concept: model training
Terme : ajustement de l'invite
Term: prompt tuning
Definition: The process of adapting LLMs to new tasks by training a small set of parameters, or prompts. (Shah, Prompt Tuning: A Powerful Technique for Adapting LLMs to New Tasks, on medium.com, 2023)
Concept générique : entraînement de modèle
Broader concept: model training