Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/06892.jsonl.gz/668

Tous les calculs effectués par le cerveau sont soumis à l’incertitude du fait de la nature bruitée et ambiguë des signaux sensoriels. Afin de prendre en considération cette incertitude de manière optimale, les neurones représentent l’information sous forme de distribution de probabilités et effectuent des inférences statistiques. Par exemple, lorsque les neurones encodent la couleur d’un objet, ils ne se contentent pas de représenter une couleur en particulier mais ils extraient de l’image une distribution de probabilités sur les couleurs étant donnée l’image.
Curieusement, ces théories probabilistes, qui sont pourtant bien établies, n’ont pas été encore appliquées à l’apprentissage. Dans les réseaux neuronaux, l’apprentissage est formalisé comme un problème d’ajustement de ce qu’on appelle les poids synaptiques. Ces poids déterminent l’influence d’un neurone sur l’autre et, par conséquent, la nature des calculs effectués par les neurones. Ils sont ajustés au cours de l’apprentissage en fonction de règles bien précises telle que la règle de Hebb. Néanmoins, dans toutes les théories de l’apprentissage, chaque synapse est caractérisée par la valeur de son poids synaptique sans considérer l’incertitude liée à ce poids. Or, dans la mesure où tous les signaux représentés pas le cerveau sont soumis à l’incertitude, les poids synaptiques qui en sont dérivés devraient eux-aussi être soumis à l’incertitude. Les synapses devraient donc représenter non des poids synaptiques mais des distributions de probabilités sur les poids synaptiques. C’est précisément cette hypothèse que nous allons explorer dans ce projet. Nous allons d’une part dériver les règles d’apprentissage qui permettent de mettre à jour les distributions de probabilités sur les poids, et d’autre part collaborer avec des laboratoires expérimentaux pour tester les prédictions de notre travail théorique.