L’adaptation de domaine
en apprentissage automatique
Hana Ajakan
Groupe de recherche en apprentissage automatique de l’Université Laval (GRAAL)

22 Avril 2016

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

1 / 38Plan

1Introduction

2

L’adaptation de domaine

3

Fondement théorique

4Grands types d’algorithmes

5

Notre approche

6Résultas empiriques

7

Conclusion

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

2 / 38

Apprentissage automatiqueD’après T. Mitchel,
Un programme apprend d’une expérience E à faire une tâche T
en regard d’une mesure de performance P si sa performance àaccomplir la tâche T s’améliore avec l’expérience E.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

3 / 38

Exemple

Si on veut classifier des avis d’utilisateurs sur des produits trouvés sur lesite Amazon.com.
L’expérience E est que chaque utilisateur fournit son avis et exprime
son sentiment (J’aime, Je n’aime pas) par rapport à un produit.
La tâche T est que l’algorithme d’apprentissage va essayer de prédirele sentiment de l’utilisateur à partir de son avis.
La mesure de performance P peut être le nombre de fois quel’algorithme a réussi à prédir le bon sentiment sur le nombre total deprédictions effectuées.
On dit que le programme a réussi si le sentiment prédit correspond au
sentiment de l’utilisateur.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

4 / 38Avis sur les films
-1
+1

+1

Algorithmed'apprentissage-1???
Classificateur

Hana Ajakan (GRAAL)+1+
1

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

5 / 38

D’autres exemples...

Détection de Spams.
Classification de texte.
Reconnaissance d’objets.
Détection des applications malicieuses.
Prédiction de la météo.
Analyse du sentiment.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

6 / 38

Description du problème et notations
Tâche de classification binaire
Espace d’entrée: X ∈ Rd , Espace de sortie : Y = {0, 1}.
Une distribution D sur X × Y, Ensemble de classificateurs: H

Deux ensembles de données
m tiré i.i.d de la
Un ensemble d’apprentissage S = {(xi , yi )}m
i=1 ∼ (D)distribution D .
000m tiré i.i.d de la même
Un ensemble de test S = {(xi , yi )}m
i=1 ∼ (D)distribution D .

Tâche d’apprentissage
Minimiser le risque réel du classificateur h sur D.
def

RD (h) = Pr(xi ,yi ))∼D [h(xi ) 6= yi ] .
⇒ IL existe plusieurs méthodes peut estimer ce risque.
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

7 / 38

Principale problématique

Les données d’apprentissage et celles du test proviennent de deux
distributions (domaines) différentes.
Exemple : livres → films.
Objectif: On doit adapter le modèle d’apprentissage du premierdomaine (source) au deuxième domaine (cible)⇒ Adaptation de domaine.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

8 / 38Plan

1Introduction

2

L’adaptation de domaine

3

Fondement théorique

4Grands types d’algorithmes

5

Notre approche

6Résultas empiriques

7

Conclusion

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

9 / 38

Un sous domaine de l’apprentissage par transfert

Définition de l’apprentissage par transfert
L’apprentissage par transfert peut être vu comme la capacité d’un systèmeà reconnaı̂tre et appliquer des connaissances et des compétences, apprisesà partir de tâches antérieures, sur de nouvelles tâches ou domainespartageant des similitudes.

Quand est ce qu’on parle de l’adaptation de domaine?
Réponse: Lorsque la distribution d’apprentissage (domaine source) et ladistribution de test (domaine cible) sont différentes mais similaires.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201610 / 38

Motivation: Exemples+1-1

Domaine de photos étiquetées

Hana Ajakan (GRAAL)

Y-a-t'il une personne dans la vidéo?

Domaine de vidéos non étiquetées

L’adaptation de domaine en apprentissage automatique

22 Avril 201611 / 38

Exemple
Avis sur les films

Avis sur les livres

-1

???

+1

???

???

Algorithmed'apprentissage

+1

-1

???

???

Classificateur

Hana Ajakan (GRAAL)-11+

L’adaptation de domaine en apprentissage automatique

22 Avril 201612 / 38

Description formelle du problème
Tâche de classification binaire
Espace d’entrée: X ∈ Rd
Espace de sortie : Y = {0, 1}
ensemble de classificateurs: H
l’ensemble source étiquetém
S = {(xsi , y si )}m
i=1 ∼ (DS ) ,4

Deux différentes distributions
Domaine source: DS
Domaine cible: DT
l’ensemble cible non-étiquetém
T = {xti }mi=1 ∼ (DT ) .
4

3

3

2

2

1

1

0

0
1

1
2

2

3

3

4

4

3

2

1

0

1

2

3

4

4

4

3

2

1

0

1

2

3

4

L’objectif est de construire un classificateur η ∈ H minimisant le risquecible:def

RDT (η) = Pr(xt ,y t )∼DT [η(xt ) 6= y t ] .
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201613 / 38

Problème difficile à résoudre!!!
Quelques hypothèse particulières:
Covariate shift: Suppose que les deux domaines partagent la mêmefonction d’étiquetage. Autrement dit les distributions conditionnelles
de Y sachant X sont les mêmes dans toutes les distributions:X∀x ∈ X , PS (y |x) = PT (y |x) mais: DSX (x) 6= DT(x)λ-shift: Suppose que les points proches ont la même étiquette. Il
restreint le changement de la probabilité cible d’une étiquette, cechangement est d’au plus une proportion 1 − λ de la probabilité
source de l’étiquette. On dit que DS et DT sont liés par l’hypothèsedu λ-shift si.
∀y ∈ Y, PS (y |x)(1 − λ) ≤ PT (y |x) ≤ PS (y |x)(1 − λ) + λHana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201614 / 38

Quand est ce que c’est possible pour un classificateur des’adapter d’un domaine à un autre?
Question
Si le classificateur η est appris sur le domaine source, quelle sera sa
performance sur le domaine cible?
Réponse ⇒ Si les deux domaines sont ”proches”, alors un classificateur
ayant un risque source faible pourra avoir aussi un risque cible faible.

+++
+++

-- -- Hana Ajakan (GRAAL)-- +++--- +++- - - - +++
+
- --

+
++
-- +

-

+

-- + +- ++- - - +++- +++- - -- - +++- -- +-- - ++- - +--L’adaptation de domaine en apprentissage automatique++

22 Avril 201615 / 38

La Divergence entre les domaines source et cible
Definition (Ben David et al., 2006)
Étant donné deux distributions de probabilité DSX et DTX sur X , et une classed’hypothèses H, la H-divergence entre DSX et DTX est donnée par:dH (DSX , DTX )

def

=

2 sup
η∈H

=

2 sup
η∈H

Pr

 s



η(x ) = 1 − Pr η(xt ) = 1 .

Pr

 s



η(x ) = 1 + Pr η(xt ) = 0 − 1 .

xs ∼DSXxs ∼DSXxt ∼DTX

xt ∼DTX

4
3

La H-divergence mesure la capacité
d’une classe d’hypothèse H à discriminer entre les distributions source DSX etcible DTX .

2
1
0
1
2
3
4

Hana Ajakan (GRAAL)

4

3

2

1

L’adaptation de domaine en apprentissage automatique

0

1

2

3

4

22 Avril 201616 / 38

Borne sur le risque cible
Theorem (Ben David et al., 2006)
Soit H une classe d’hypothèse de VC-dim égale à d. Soit les échantillons
X )m . Avec probabilité 1 − δ, pour tout η ∈ H on a:S ∼ (DS )m et T ∼ (DTRDT (η) ≤ RS (η)+

4
m

q
q
4
d log 2edm + log δ4 + dˆH (S, T )+ 2 d log 2dm + log δ4 +βmavec β ≥ ∗inf [RDS (η ∗ )+RDT (η ∗ )] , et e est la base du logarithme népérien.
η ∈H

Avec, RS (η) est le risque empirique sur l’ensemble source:m

RS (η)def=

1X
I [η(xsi ) 6= y si ] .
m
i=1

Et la H-divergence empirique:
"
#
m
m
X
X
1
1
def
dˆH (S, T ) = 2 max
I [η(xsi ) = 1] +I [η(xti ) = 0] − 1 .
η∈H m
m
i=1

Hana Ajakan (GRAAL)

i=1

L’adaptation de domaine en apprentissage automatique

22 Avril 201617 / 38

Borne sur le risque cible
Theorem (Ben David et al., 2006)
Soit H une classe d’hypothèse de VC-dim égale à d. Soit les échantillons
X )m . Avec probabilité 1 − δ, pour tout η ∈ H on a:S ∼ (DS )m et T ∼ (DTRDT (η) ≤ RS (η)+

4
m

q
q
4
d log 2edm + log δ4 + dˆH (S, T )+ 2 d log 2dm + log δ4 +βmavec β ≥ ∗inf [RDS (η ∗ )+RDT (η ∗ )] , et e est la base du logarithme népérien.
η ∈H

RDT (η) est petit
si, étant donné S et T ,
4

RS (η) est petit,
i.e., η ∈ H est bon pour
4

3

3

2

2

1

1

0

0

1

1

2

2

3

3

4

4

3

2

1

0

1

2

Hana Ajakan (GRAAL)

3

4

4

et dˆH (S, T ) est petit,
i.e., tout η 0 ∈ H sontmauvais sur la tâche
4
3
2
1
0
1
2
3

4

3

2

1

0

1

2

3

4
4

4
3
L’adaptation de domaine en apprentissage automatique

2

1

1
2
3
22 0 Avril
2016

4

18 / 38

Quelques méthodes de l’adaptation de domaine

Repondération: [HGB+ 06, MMR09, BHS12]
Auto-étiquetage: [BM10a]
Recherche d’un espace de représentation commun:[CWB11, BMP06, BM10b, GHLM13, BHLS13]

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201619 / 38

Plan

1

Introduction

2

L’adaptation de domaine

3

Fondement théorique

4Grands types d’algorithmes

5

Notre approche

6Résultas empiriques

7

Conclusion

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

20 / 38

Approche par réseau de neurones: Motivation

Depuis 2006, les réseaux de neurones ont fait un retour en force!
Initialisation judicieuse des paramètres,
Meilleure régularisation (Dropout, Maxout, etc.),
Innovation au niveau des fonctions d’activation,
Meilleurs algorithmes d’optimisation stochastique.
Aprentissage de la representation de données.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

21 / 38

Considérons une architecture de réseau de neurones à une seule couche
cachée:
La représentation cachée, h(x) = sigm(b + Wx)
La transformation, f(h(x)) = softmax(c + Vh(x))
Étant donné un ensemble source S = {(xsi , y si )}m
i=1 ∼(DS )m ,f(h(x))

L’objectif est de minimiser l’erreur empiriquerégularisée:"min

W,V,b,c

1
m

m
X

V

#
− log(fy si (xsi )) + λΩ(W, V)

.

...

h(x)1

h(x)j

...

h(x)n

i=1

{z
}
|
Risque source + Un eventuel régularisateurss
Avec, fy si (xsi ) = softmax v>
y si h(xi ) + cy i ,et cy si et vy si sont les i eme composantes de c et V respectivement.
Hana Ajakan (GRAAL)

W
x1

L’adaptation de domaine en apprentissage automatique

...

xj

...

22 Avril 2016xd

22 / 38f(h(x))

V
...

h(x)1

h(x)j

...

h(x)n

W
x1

...

xj

...

xd

1. Prendre un exemple (xs , y s ) ∈ S
2. Mettre à jour V pour avoir fy s (xs ) proche de 1.
3. Mettre à jour W pour avoir fy s (xs ) proche de 1.
La couche cachée apprend une représentation interne h(·) à partir delaquelle l’hypothèse linéaire f(·) peut classifier les exemples sources
correctement.
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201623 / 38

Notre approche: Domain-Adversarial
Neural Network (DANN)

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201624 / 38

Domain-Adversarial Neural Network (DANN)
La H-divergence empirique
#
m
m
X
X
1
1
I [η(xsi ) = 1] +I [η(xti ) = 0] − 1 .
dˆH (S, T ) = 2 max
η∈H m
m
"

def

i=1

i=1

On estime la H-divergence par une régression logistique qui modélise laprobabilité qu’une entrée donnée (soit xs ou xt ) est issue du domaine
source:defo(h(x)) = sigm(d + w> h(x)) .
Étant donnée une représentation h(·) :dˆH h(S), h(T )



"

#
m
m
X


1X
1
≈ 2 maxlog o(h(xsi )) +log 1−o(h(xti )) − 1 .
w,d m
m
i=1

Hana Ajakan (GRAAL)

i=1

L’adaptation de domaine en apprentissage automatique

22 Avril 201625 / 38

Domain-Adversarial Neural Network (DANN)"
1
W,V,b,c m

min

|

m
X

−log fy si (xsi ) +λ max
w,d

i=1

{z
}
Risque source

1
m

!#
m
m
X
X


log o(h(xsi )) + m1
log 1−o(h(xti )) ,
i=1

i=1

{z
Régularisateur d’adaptation|}où λ > 0 pondère le terme de régularisation de l’adaptation de domaine.

Étant donné un ensemble source S = {(xsi , y si )}m
i=1 ∼m(DS ) ,
f(h(x))
met un ensemble cible T = {(xti )}m
i=1 ∼ (DT ) ,1. prendre un exemple (xs , y s ) ∈ S et un exemple xt ∈ T
2. Mettre à jour V pour avoir fy s (xs ) proche de 1o(h(x))

w

V
...

h(x)1

h(x)j

...

h(x)n

s

3. Mettre à jour W pour avoir fy s (x ) proche de 1
4.
Mettre à jour w pour avoir o(h(xs )) = 1 et o(h(xt )) = 0

W
x1

...

xj

...

xd

5. Mettre à jour W pour avoir o(h(xs )) = 0 eto(h(xt )) = 1
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 2016

26 / 38

Problème jouet
Entrainé pour classifierl’ensemble source.

f(h(x))

Entrainé pour classifier lesdomaines.

2

V

2
1

...

h(x)1

h(x)j

...

1

h(x)n

0

0

W
...

x1

xj

...

1

1

xd

2
2
4

3

2

1

0

1

2

3

4

4

Sortie pour laclassification:f(h(x))

f(h(x))o(h(x))

V

w

2

h(x)n

1

3

2

1

0

1

2

3

4

Sortie pour la distinction
entre les domaines:o(h(x))
2

...

h(x)1

h(x)j

...

W
x1

...

xj

...

1

0

0

xd

1

1

2
2
4

Hana Ajakan (GRAAL)

3

2

1

0

1

2

3

4

4

3

L’adaptation de domaine en apprentissage automatique

2

1

0

1

2

22 Avril 20163

4

27 / 38

Ensemble de données Amazon
Input: Critiques sur produits d’amazon (bag of words) — Output: Une côte positive ou
négative.

DatasetDANN

NN

books → dvd
books → electronics
books → kitchen
dvd → books
dvd → electronics
dvd → kitchenelectronics → books
electronics → dvd
electronics → kitchen
kitchen → books
kitchen → dvd
kitchen → electronics

0.201
0.246
0.230
0.247
0.247
0.227
0.280
0.273
0.148
0.283
0.261
0.161

0.199
0.251
0.235
0.261
0.256
0.227
0.281
0.277
0.149
0.288
0.261
0.161

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201628 / 38

Marginalized Stacked Denoising Autoencoders (mSDA)
Question
Est ce que DANN peut être combiné avec une autre méthoded’apprentissage de représentation pour l’adaptation de domaines?
Les ”autoencoders” mSDA (Chen et al. 2012) fournissent une nouvelle
représentation communes pour les domaines source et cible
Avec mSDA+SVM, Chen et al. (2012) est devenu l’état de l’art sur lesdonnées d’Amazon:– Entrainé un SVM linéaire sur les représentations mSDA source+cible.
Nous avons essayé mSDA+DANN:– Entrainé notre algorithme DANN sur les représentations mSDA
source+cible.
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201629 / 38

Ensemble de données Amazon
Input: les critiques sur les produits (bag of words) — Output: Une côte positive ou
négative.

Datasetbooks → dvd
books → electronics
books → kitchen
dvd → books
dvd → electronics
dvd → kitchenelectronics → books
electronics → dvd
electronics → kitchen
kitchen → books
kitchen → dvd
kitchen → electronics
Hana Ajakan (GRAAL)mSDA+DANNmSDA+SVM

0.176
0.197
0.169
0.176
0.181
0.151
0.237
0.216
0.118
0.222
0.208
0.141

0.175
0.244
0.172
0.176
0.220
0.178
0.229
0.261
0.137
0.234
0.209
0.138

L’adaptation de domaine en apprentissage automatique

22 Avril 201630 / 38

Conclusion

Nous avons présenté:Le différence entre l’apprentissage supervisé standard et l’adaptation
de domaine.
Notre approche DANN pour l’adaptation de domaine qui trouve une
représentation de données h(·) qui est:
Performante sur la tâche de classification de l’ensemble source S;
Mais qui est incapable de discriminer entre les exemples provenants de
S et ceux provenants de T .
Devenu l’état de l’art sur les données d’Amazon utilisées dans lalittérature.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201631 / 38

Remerciement
Domain-adversarial neural networks [AGL+ 14]
Domain-Adversarial Training of Neural Networks [GUA+ 15]

Merci!
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201632 / 38

Plan

1

Introduction

2

L’adaptation de domaine

3

Fondement théorique

4Grands types d’algorithmes

5

Notre approche

6Résultas empiriques

7

Conclusion

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201633 / 38

Bibliographie I

Hana Ajakan, Pascal Germain, Hugo Larochelle, François Laviolette,and Mario Marchand, Domain-adversarial neural networks, arXiv
preprint arXiv:1412.4446 (2014).
Mahsa Baktashmotlagh, Mehrtash Harandi, Brian Lovell, and Mathieu
Salzmann, Unsupervised domain adaptation by domain invariant
projection, Proceedings of the 2013 IEEE International Conference on
Computer Vision, 2013, pp. 769–776.
Aurélien Bellet, Amaury Habrard, and Marc Sebban, Apprentissage debonnes similarités pour la classification linéaire parcimonieuse,
Conférence Francophone sur l’Apprentissage Automatique-CAp 2012,2012, pp. 16–p.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201634 / 38

Bibliographie II
Lorenzo Bruzzone and Mattia Marconcini, Domain adaptation
problems: A dasvm classification technique and a circular validation
strategy, Pattern Analysis and Machine Intelligence, IEEE
Transactions on 32 (2010), no. 5, 770–787.
Lorenzo Bruzzone and Mattia Marconcini, Domain adaptation
problems: A DASVM classification technique and a circular validation
strategy, IEEE Transaction Pattern Analysis and Machine Intelligence
32 (2010), no. 5, 770–787.
John Blitzer, Ryan T. McDonald, and Fernando Pereira, Domain
adaptation with structural correspondence learning, Conference on
Empirical Methods in Natural Language Processing, 2006,
pp. 120–128.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201635 / 38

Bibliographie III
Minmin Chen, Kilian Q Weinberger, and John Blitzer, Co-training fordomain adaptation, Advances in neural information processing
systems, 2011, pp. 2456–2464.
Pascal Germain, Amaury Habrard, François Laviolette, and Emilie
Morvant, A PAC-Bayesian approach for domain adaptation withspecialization to linear classifiers, ICML, 2013, pp. 738–746.
Yaroslav Gani, Evgeniya Ustinova, Hana Ajakan, Pascal Germain,
Hugo Larochelle, François Laviolette, Mario Marchand, and Victor
Lempitsky, Domain-adversarial training of neural networks, arXiv
preprint arXiv:1505.07818 (2015).
Jiayuan Huang, Arthur Gretton, Karsten M Borgwardt, Bernhard
Schölkopf, and Alex J Smola, Correcting sample selection bias byunlabeled data, Advances in neural information processing systems,
2006, pp. 601–608.
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201636 / 38

Bibliographie IV

Yishay Mansour, Mehryar Mohri, and Afshin Rostamizadeh, Multiple
source adaptation and the rényi divergence, Proceedings of theTwenty-Fifth Conference on Uncertainty in Artificial Intelligence,
AUAI Press, 2009, pp. 367–374.

Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201637 / 38

Sélection de modèleAlgorithm 1

Validation inversemÉtant donné un ensemble source étiqueté S = (xSi , yiS )i=1 et un ensemble ciblemnon-étiqueté T = (xTi )i=1 .
1

On sépare les ensembles S et T respectivement en ensembles d’entraı̂nement(Str et Ttr ) et en ensembles de validation (SV et TV respectivement.)2

Construire le classificateur h à l’aide de l’ensemble d’entraı̂nement sourceétiqueté Str et de l’ensemble d’entraı̂nement cible non étiqueté Ttr . On adefalors h = A(Str + Ttr ).

3

Auto-étiqueter Ttr à l’aide du classificateur h. Soit h (Ttr ) les étiquettes
prédites pour l’ensemble cible.

4

Construire un autre classificateur hr à partir de l’ensemble d’entraı̂nementmsource non étiqueté S = (xSi )i=1 et de l’ensemble d’entraı̂nement cible
 m
def
T
auto-étiqueté
T = { xT
i , h(xi ) }i=1 .

5Finalement, évaluer le risque RSV (hr ) du classificateur hr sur SV .
Hana Ajakan (GRAAL)

L’adaptation de domaine en apprentissage automatique

22 Avril 201638 / 38