Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou  en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Principe 

A partir des coordonnées d'un point (x, y) dans le plan, impossible de dire s'il est dans le disque orange de rayon 1 ou non, en disant s'il est à gauche ou droite d'une droite du plan. Par contre, si on ajoute  comme une troisième coordonnée, le point devient  dans un espace à trois dimensions. On peut affirmer qu'un point se trouve dans le disque s'il est en dessous du plan , c'est-à-dire si .

Description

Contexte et principe 
L'astuce du noyau s'utilise dans un algorithme qui ne dépend que du produit scalaire entre deux vecteurs d'entrée x et y. Après passage à un espace de redescription par une transformation , l'algorithme n'est plus dépendant que du produit scalaire :

Le problème de ce produit scalaire est qu'il est effectué dans un espace de grande dimension, ce qui conduit à des calculs impraticables. L'idée est donc de remplacer ce calcul par une fonction noyau de la forme :

Théorème de Mercer 
Pour réaliser cela, on utilise le théorème de Mercer, qui montre qu'une fonction noyau K continue, symétrique et semi-définie positive peut s'exprimer comme un produit scalaire dans un espace de grande dimension.  

Plus précisément, si les arguments de la fonction noyau sont à valeurs dans un espace mesurable X, et si le noyau est semi-défini positif — i. e. 

 

pour tout sous-ensemble {x1, …, xn} de X, et sous-ensemble {c1, …, cn} d'objets (en général des réels) —, alors il existe une fonction  dont l'image correspond à un espace préhilbertien possiblement de plus grande dimension tel que :

Mise en place et avantages 
L'astuce du noyau consiste donc à remplacer un produit scalaire dans un espace de grande dimension par une fonction noyau, facile à calculer.  De cette manière, un classifieur linéaire peut facilement être transformé en un classifieur non linéaire. Un autre avantage des fonctions noyau est qu'il n'est pas nécessaire d'expliciter la transformation . Celle-ci peut même transformer l'espace d'entrée en un espace de redescription infini, comme le noyau gaussien :

Applications 
Après avoir été longuement négligée après la publication d'Aizerman de 1964, l'astuce du noyau a été popularisée par Boser et al. dans leur papier fondateur sur les machines à vecteurs de support. L'idée a depuis été appliquée à plusieurs types d'algorithmes en apprentissage automatique et en statistiques :

 perceptrons ;
 machine à vecteurs de support ;
 analyse en composantes principales ;
 analyse discriminante linéaire ;
 classification automatique.

Histoire 
L'astuce du noyau a été publiée en 1964 par Aizerman et al.

Références

Voir aussi

Articles connexes 
 Espace de Hilbert
 Modèle de mélanges gaussiens
 Noyau polynomial
 Complexité de Rademacher
 Théorème de Cover

Bibliographie 
 Bernhard Schölkopf et Alexander J. Smola, , MIT Press, 2002

Apprentissage automatique