Évaluation de systèmes apprenant tout au long de la vie (Evaluation of lifelong learning systems ) (2020)

Abstract: Aujourd’hui les systèmes intelligents obtiennent d’excellentes performances dans de nombreux domaines lorsqu’ils sont entraînés par des experts en apprentissage automatique. Lorsque ces systèmes sont mis en production, leurs performances se dégradent au cours du temps du fait de l’évolution de leur environnement réel. Une adaptation de leur modèle par des experts en apprentissage automatique est possible mais très coûteuse alors que les sociétés utilisant ces systèmes disposent d’experts du domaine qui pourraient accompagner ces systèmes dans un apprentissage tout au long de la vie. Dans cet article nous proposons un cadre d’évaluation générique pour des systèmes apprenant tout au long de la vie (SATLV). Nous proposons d’évaluer l’apprentissage assisté par l’humain (actif ou interactif) et l’apprentissage au cours du temps.

## introduction les systèmes intelligents utilisent une représentation du monde, un modèle, dont l'apprentissage est réalisé en laboratoire par des experts en apprentissage automatique (eaa) @xcite . le rôle de ces experts est triple : (1) ils sélectionnent et annotent les données d'apprentissage ; (2) ils déterminent les méta-paramètres inhérents à la structure du système en utilisant des données de développement ;