Transfer Learning for Image Classification

Lors de l’apprentissage d’un modele de classification pour un nouveau domaine cible avec seulement une petite quantite d’echantillons de formation, l’application des algorithmes d’apprentissage automatiques conduit generalement a des classifieurs surdimensionnes avec de mauvaises competences de generalisation. D’autre part, recueillir un nombre suffisant d’echantillons de formation etiquetes manuellement peut s’averer tres couteux. Les methodes de transfert d’apprentissage visent a resoudre ce type de problemes en transferant des connaissances provenant d’un domaine source associe qui contient beaucoup plus de donnees pour faciliter la classification dans le domaine cible. Selon les differentes hypotheses sur le domaine cible et le domaine source, l’apprentissage par transfert peut etre classe en trois categories: apprentissage par transfert inductif, apprentissage par transfert transducteur (adaptation du domaine) et apprentissage par transfert non surveille. Nous nous concentrons sur le premier qui suppose que la tâche cible et la tâche source sont differentes mais liees. Plus precisement, nous supposons que la tâche cible et la tâche source sont des tâches de classification, tandis que les categories cible et les categories source sont differentes mais liees. Nous proposons deux methodes differentes pour aborder ce probleme. Dans le premier travail, nous proposons une nouvelle methode d’apprentissage par transfert discriminatif, a savoir DTL(Discriminative Transfer Learning), combinant une serie d’hypotheses faites a la fois par le modele appris avec les echantillons de cible et les modeles supplementaires appris avec des echantillons des categories sources. Plus precisement, nous utilisons le residu de reconstruction creuse comme discriminant de base et ameliore son pouvoir discriminatif en comparant deux residus d’un dictionnaire positif et d’un dictionnaire negatif. Sur cette base, nous utilisons des similitudes et des dissemblances en choisissant des categories sources positivement correlees et negativement correlees pour former des dictionnaires supplementaires. Une nouvelle fonction de cout basee sur la statistique de Wilcoxon-Mann-Whitney est proposee pour choisir les dictionnaires supplementaires avec des donnees non equilibrees. En outre, deux processus de Boosting paralleles sont appliques a la fois aux distributions de donnees positives et negatives pour ameliorer encore les performances du classificateur. Sur deux bases de donnees de classification d’images differentes, la DTL proposee surpasse de maniere constante les autres methodes de l’etat de l’art du transfert de connaissances, tout en maintenant un temps d’execution tres efficace. Dans le deuxieme travail, nous combinons le pouvoir du transport optimal (OT) et des reseaux de neurones profond (DNN) pour resoudre le probleme ITL. Plus precisement, nous proposons une nouvelle methode pour affiner conjointement un reseau de neurones avec des donnees source et des donnees cibles. En ajoutant une fonction de perte du transfert optimal (OT loss) entre les predictions du classificateur source et cible comme une contrainte sur le classificateur source, le reseau JTLN (Joint Transfer Learning Network) propose peut effectivement apprendre des connaissances utiles pour la classification cible a partir des donnees source. En outre, en utilisant differents metriques comme matrice de cout pour la fonction de perte du transfert optimal, JTLN peut integrer differentes connaissances anterieures sur la relation entre les categories cibles et les categories sources. Nous avons effectue des experimentations avec JTLN basees sur Alexnet sur les jeux de donnees de classification d’image et les resultats verifient l’efficacite du JTLN propose. A notre connaissances, ce JTLN propose est le premier travail a aborder ITL avec des reseaux de neurones profond (DNN) tout en integrant des connaissances anterieures sur la relation entre les categories cible et source.