Introduction
Réseau de neurones
References.

.

Apprentissage profond: Raisons qui nous ont faitreconsidérer les réseaux de neurones.
Ludovic Trottier

April 8, 2016

Ludovic Trottier

Apprentissage profond

1/49

. Plan.

Introduction
Réseau de neurones
References

Introduction
Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Réseau de neurones
Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution

Ludovic Trottier

Apprentissage profond

2/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

.

. Apprentissage profond (Deep Learning)

Sur Wikipédia, on peut lire:
1. Deep structured learning, hierarchical learning, deep machinelearning
2. Attempt to model high-level abstractions in data by using
multiple processing layers.
3. Deep learning < Machine Learning < Representation Learning(replacing handcrafted features with learned representations)
4. Buzzword, rebranding of neural network
Est-ce vraiment un rebranding?

Ludovic Trottier

Apprentissage profond

3/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

4/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

"In this paper we describe our Go program, AlphaGo. This program
was based on general-purpose AI methods, using deep neuralnetworks to mimic expert players, and further improving the
program by learning from games played against itself."
Youtube: Google DeepMind Challenge Match: Lee Sedol vs AlphaGo

Ludovic Trottier

Apprentissage profond

5/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

"Recent improvements in speech recognition, made possible by the
introduction of deep neural networks combined with Microsofts
proven statistical machine translation technology, allow for bettertranslation outcomes, making meaningful one-on-one conversation
possible."
http://blogs.skype.com/2014/12/15/skype-translator-how-it-works/
Ludovic Trottier

Apprentissage profond

6/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

7/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

8/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

9/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

10/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

11/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

12/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

13/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

14/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

15/49

Introduction
Réseau de neurones
References

Ludovic Trottier

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Apprentissage profond

16/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

Tutoriel:
http://www.makeuseof.com/tag/create-neural-paintings-deepstyle-ubuntu/
Ludovic Trottier

Apprentissage profond

17/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

http://www.makeuseof.com/tag/create-neural-paintings-deepstyle-ubuntu/

Ludovic Trottier

Apprentissage profond

18/49

Introduction
Réseau de neurones
References

Qu’est-ce que l’apprentissage profond?
Qui s’y intéresse?

.

. Ce qu’on peut en retirer...

Le Deep Learning c’est:
1. Une technologie applicable dans plusieurs domaines
1.1 Jeu de Go
1.2 reconnaissance vocale (Cortana, Skype, Google Voice)
1.3 traitement automatique du langage naturel (Watson, Facebook,
Twitter)
1.4 vision numérique (DeepFace)
1.5 robotique (grasping, Google Car)
1.6 système d’aide à la décision (soins de santé)
1.7 art (Neural Style)
1.8 . . .

2. Une approche d’apprentissage automatique nécessitant GPU +données massives.
3. Un lien étroit entre la recherche et l’industrie.

Ludovic Trottier

Apprentissage profond

19/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Réseau de neurones pré 2006

Ludovic Trottier

Apprentissage profond

20/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Réseau de neurones pré 2006

Ludovic Trottier

Apprentissage profond

20/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Problème 1: Vanishing Gradient

Conséquence: Les niveaux inférieurs prennent un temps fou àconverger.

Ludovic Trottier

Apprentissage profond

21/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Problème 2: Sur-apprentissage

Conséquence: Pour la même quantité d’observations, plus il y a
de niveaux/neurones, plus le réseau sur-apprend.

Ludovic Trottier

Apprentissage profond

22/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Problème 3: Fonction objective truﬀée de minimums locaux

Conséquence: Plus il y a de niveaux/neurones, plus la fonction est
diﬃcile.
Ludovic Trottier

Apprentissage profond

23/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Problème 4: Malédiction de la dimensionalité

Conséquence: Plus la dimension de l’observation augmente, plus
il y a de connexions à apprendre.

Ludovic Trottier

Apprentissage profond

24/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Apprentissage vorace des niveaux de façon non-supervisée (Hinton
et al., 2006)

Ludovic Trottier

Apprentissage profond

25/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?

Ludovic Trottier

Apprentissage profond

26/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Machine de Boltzmann Restreinte
Au lieu d’avoir une distribution de probabilité conditionnelle Pr(y|x), on amaintenant une distribution de densité marginalep(x).

• Le but est maintenant de maximiser p(x) en fonction desconnexions.
• Classification → Estimation de densité

Ludovic Trottier

Apprentissage profond

27/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Machine de Boltzmann Restreinte
Au lieu d’avoir une distribution de probabilité conditionnelle Pr(y|x), on amaintenant une distribution de densité marginalep(x).

• Le but est maintenant de maximiser p(x) en fonction desconnexions.
• Classification → Estimation de densité

Ludovic Trottier

Apprentissage profond

28/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Machine de Boltzmann Restreinte
Au lieu d’avoir une distribution de probabilité conditionnelle Pr(y|x), on amaintenant une distribution de densité marginalep(x).

• Le but est maintenant de maximiser p(x) en fonction desconnexions.
• Classification → Estimation de densité

Ludovic Trottier

Apprentissage profond

29/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Machine de Boltzmann Restreinte
Au lieu d’avoir une distribution de probabilité conditionnelle Pr(y|x), on amaintenant une distribution de densité marginalep(x).

• Le but est maintenant de maximiser p(x) en fonction desconnexions.
• Classification → Estimation de densité

Ludovic Trottier

Apprentissage profond

30/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Qu’est-ce qui est arrivé en 2006 ?
Machine de Boltzmann Restreinte
Au lieu d’avoir une distribution de probabilité conditionnelle Pr(y|x), on amaintenant une distribution de densité marginalep(x).

Conséquence:
1. Possibilité d’apprendre sur des données non-étiquetées.
2. Excellente initialisation pour l’apprentissage supervisé.
3. Première fois que les réseaux profonds fonctionnent.

Ludovic Trottier

Apprentissage profond

31/49

. Impact majeur

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

Introduction
Réseau de neurones
References

1. Greedy layer-wise training of deep networks (Bengio et al.,2007).
2. Unsupervised learning of invariant feature hierarchies withapplications to object recognition (Ranzato et al., 2007).
3. Unsupervised feature learning for audio classification using
convolutional deep belief networks (Lee et al., 2009)
4. Sparse feature learning for deep belief networks (Boureau
et al., 2008)
5. Training restricted Boltzmann machines using approximations
to the likelihood gradient (Tieleman, 2008)
6. Large-scale deep unsupervised learning using graphics
processors (Raina et al., 2009)
7. Representational power of restricted Boltzmann machines anddeep belief networks (Le Roux and Bengio, 2008)

Ludovic Trottier

Apprentissage profond

32/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Pourquoi ça fonctionne?

Après 4 ans de recherche, on comprend que l’entraînement deHinton est une forme de régularisation (Erhan et al., 2010).

Ludovic Trottier

Apprentissage profond

33/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Exemple de vanishing gradient (Erhan et al., 2010)

Ludovic Trottier

Apprentissage profond

34/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Une nouvelle percée• Les nombreux travaux de recherche entre 2006 et 2010 nous

ont montré l’importance de contrôler le vanishing gradient.
• Le pré-entraînement est long et fastidieux.
• En 2010, une nouvelle fonction d’activation ayant despropriétés intéressantes est proposée: la Rectified Linear Unit
(ReLU) (Nair and Hinton, 2010):{
x si x ≥ 0
f (x) =
0 sinonLudovic Trottier

Apprentissage profond

35/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Propriétés intéressantes de la ReLU
La ReLU a plusieurs propriétés intéressantes:
1. Biologiquement plausible: one-sided comparé àl’anti-symétrique tanh.
2. Activations creuses: 50% des neurones ont une activation nulleaprès l’initialisation aléatoire des poids.
3. Pas de vanishing gradient: La dérivé vaut 1 partout dans laportion positive.
4. Complexité faible: comparaison.

ReLU

Sa dérivée
Ludovic Trottier

Apprentissage profond

36/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Impact majeur de (Nair and Hinton, 2010)
En 2011, pour la première fois on apprend un réseau de neurones
profond sans entraînement non-supervisé vorace (Glorot et al.,2011).
On peut lire dans le résumé de l’article:
Even though they [rectifying neurons] can take advantage ofsemi-supervised setups with extra-unlabeled data, deep rectifier
net can reach their best performance without requiring any
unsupervised pre-training on purely supervised tasks with large
labeled datasets. Hence, these results can be seen as a newmilestone in the attempts at understanding the diﬃculty intraining deep but purely supervised neural networks.

Ludovic Trottier

Apprentissage profond

37/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Observation empirique d’une autre propriété intéressante
Propriété: propagation de la sparsité à travers les niveaux (Glorot
et al., 2011).

Ludovic Trottier

Apprentissage profond

38/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Exemple de tâche d’apprentissage

Ludovic Trottier

Apprentissage profond

39/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Exemple de tâche d’apprentissage.
ImageNet Classification.
1.4 millions d’images couleur entraînement (138 Go), 50 000
validation (6.3 Go), 100 000 test (13 Go). 1000 classes. Dimensions
variables≈ 256 × 256.
.

Lichen des caribous

Lichen barbu
Ludovic Trottier

Apprentissage profond

39/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Une redécouverte majeure

Krizhevsky et al. (2012) entraînement un réseau profond à
convolution à 8 niveaux de 60 M paramètres et 650 000 neurones.

Trois approches expliquent leur succès:
1. Convolution (ReLU, Pooling)
2. GPU
3. Dropout
Ludovic Trottier

Apprentissage profond

40/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Approche #1: Réseau de neurones à convolution

Ludovic Trottier

Apprentissage profond

41/49

. Approche #2: GPU

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

Introduction
Réseau de neurones
References

Entraîner le réseau de Krizhevsky et al. (2012) demande 6 jours surdeux GPUs.

Ludovic Trottier

Apprentissage profond

42/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Approche #3: Dropout (Srivastava et al., 2014)

Ludovic Trottier

Apprentissage profond

43/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Dropout (Srivastava et al., 2014)

Ludovic Trottier

Apprentissage profond

44/49

Introduction
Réseau de neurones
References

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

. Pour aller plus loin...

.
IGGG Computer Vision + Applied Machine Learning Reading Group.
Vendredi 15 Avril, PLT-3904, 3:30 PM:
Recent Advances in Convolutional Neural Networks.
http://www2.ift.ulaval.ca/~pgiguere/rgroup/readingGroup2015.html.

Je parlerai des avancées entre 2012-2015 telle que:
1. Leaky ReLU, Noisy ReLU, Parametric ReLU, exponential LU
2. Drop-connect
3. Stochastic pooling, spatial pyramidal pooling
4. Batch Normalization
5. L’architecture Inception (oui, comme le film)

Ludovic Trottier

Apprentissage profond

45/49

. Conclusion

Problèmes des réseaux de neurones standardsÈre de l’entraînement non-supervisé voraceÈre de la ReLU
Ère des réseaux à convolution.

Introduction
Réseau de neurones
References.
Pas tant un rebranding...
.
Oui, il y a des réseaux de neurones, mais pré 2006, il n’y avait pas:
1. Apprentissage non-supervisé vorace.
2. Fonction d’activation non-saturée.
3. Régularisation stochastique.
4. Support matériel pour les convolutions.
5. Réduction de dimensionnalité.
.

6. Et bien d’autres (à suivre le 15 Avril).

Découvrez par vous-même: http://deeplearning.net/
Questions?

Ludovic Trottier

Apprentissage profond

46/49

. References I.

Introduction
Réseau de neurones
References

Bengio, Y., Lamblin, P., Popovici, D., Larochelle, H., et al. (2007).
Greedy layer-wise training of deep networks. Advances in neural
information processing systems, 19:153.
Boureau, Y.-l., Cun, Y. L., et al. (2008). Sparse feature learning fordeep belief networks. In Advances in neural information
processing systems, pages 1185–1192.
Erhan, D., Bengio, Y., Courville, A., Manzagol, P.-A., Vincent, P., andBengio, S. (2010). Why does unsupervised pre-training help deeplearning? The Journal of Machine Learning Research, 11:625–660.
Glorot, X., Bordes, A., and Bengio, Y. (2011). Deep sparse rectifier
neural networks. In International Conference on Artificial
Intelligence and Statistics, pages 315–323.
Hinton, G. E., Osindero, S., and Teh, Y.-W. (2006). A fast learningalgorithm for deep belief nets. Neural computation,
18(7):1527–1554.

Ludovic Trottier

Apprentissage profond

47/49

. References II.

Introduction
Réseau de neurones
References

Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012). Imagenet
classification with deep convolutional neural networks. In
Advances in neural information processing systems, pages
1097–1105.
Le Roux, N. and Bengio, Y. (2008). Representational power ofrestricted boltzmann machines and deep belief networks. Neuralcomputation, 20(6):1631–1649.
Lee, H., Pham, P., Largman, Y., and Ng, A. Y. (2009). Unsupervised
feature learning for audio classification using convolutional deep
belief networks. In Advances in neural information processing
systems, pages 1096–1104.
Nair, V. and Hinton, G. E. (2010). Rectified linear units improve
restricted boltzmann machines. In Proceedings of the 27th
International Conference on Machine Learning (ICML-10), pages
807–814.

Ludovic Trottier

Apprentissage profond

48/49

. References III.

Introduction
Réseau de neurones
References

Raina, R., Madhavan, A., and Ng, A. Y. (2009). Large-scale deep
unsupervised learning using graphics processors. In Proceedingsof the 26th annual international conference on machine learning,
pages 873–880. ACM.
Ranzato, M. A., Huang, F. J., Boureau, Y.-L., and LeCun, Y. (2007).
Unsupervised learning of invariant feature hierarchies withapplications to object recognition. In Computer Vision and Pattern
Recognition, 2007. CVPR’07. IEEE Conference on, pages 1–8. IEEE.
Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., andSalakhutdinov, R. (2014). Dropout: A simple way to preventneural networks from overfitting. The Journal of Machine Learning
Research, 15(1):1929–1958.
Tieleman, T. (2008). Training restricted boltzmann machines using
approximations to the likelihood gradient. In Proceedings of the25th international conference on Machine learning, pages
1064–1071. ACM.
Ludovic Trottier

Apprentissage profond

49/49