# Hypothèse de la variété

L’hypothèse de la variété est l'idée considérant que de nombreux ensembles de données de grande dimension, issus d’observations du monde réel, sont en réalité contenus dans des variétés latentes de faible dimension$^,$$^,$. Autrement dit, malgré leur apparente complexité nécessitant de nombreuses variables pour être décrites, ces ensembles de données peuvent souvent être représentés par un nombre réduit de variables correspondant aux coordonnées locales de la variété sous-jacente. Ce principe est considéré comme l’une des raisons pour lesquelles les algorithmes d’apprentissage automatique parviennent à décrire efficacement des ensembles de données complexes en se basant sur quelques caractéristiques communes.
L’hypothèse de la variété est liée à l’efficacité des techniques de réduction de dimensionnalité non linéaire dans l’apprentissage automatique. De nombreuses techniques de réduction dimensionnelle partent du principe que les données se trouvent le long d'une sous-variété de faible dimension, comme la sculpture de variétés, l'alignement de variétés et la régularisation de variétés.
Les principales implications de cette hypothèse sont que :
* Les modèles d’apprentissage automatique doivent uniquement s’adapter à des sous-espaces relativement simples, de faible dimension et hautement structurés dans leur espace d’entrée potentiel (variétés latentes).
* Au sein d'une de ces variétés, il est toujours possible d'interpoler entre deux entrées, c'est-à-dire de transformer l'une en l'autre via un chemin continu le long duquel tous les points tombent sur la variété.
La capacité d’interpolation entre les échantillons est la clé de la généralisation dans l’apprentissage profond.

## La géométrie de l'information des variétés statistiques

Une approche empirique de l’hypothèse de la variété s’appuie sur l’idée qu’une théorie efficace pour l’apprentissage des variétés est nécessaire. Cela repose sur le principe qu’un apprentissage automatique robuste doit encoder les ensembles de données d’intérêt en utilisant des techniques de compression de données. Cette vision s’est développée progressivement grâce aux outils de la géométrie de l’information, en grande partie grâce à la collaboration de chercheurs travaillant sur l’hypothèse du codage efficace, le codage prédictif et les méthodes bayésiennes variationnelles.
L’argument principal pour l’utilisation de la géométrie de l’information dans l’espace latent des distributions repose sur l’existence et l’unicité de la métrique d’information de Fisher. Dans ce cadre général, l’objectif est de trouver une inclusion stochastique d’une variété statistique. Du point de vue des systèmes dynamiques, et dans le contexte des grands ensembles de données (big data), cette variété présente souvent des propriétés telles que l’homéostasie.
* Nous pouvons échantillonner de grandes quantités de données à partir du processus génératif sous-jacent.
* Les expériences d’apprentissage automatique sont reproductibles, de sorte que les statistiques du processus de génération présentent une stationnarité.
Dans un sens précisé par les neuroscientifiques théoriciens travaillant sur le principe de l'énergie libre, la variété statistique en question possède une couverture de Markov.