Effective and annotation efficient deep learning for image understanding

Le developpement recent de l'apprentissage profond a permis une importante amelioration des resultats dans le domaine de l'analyse d'image. Cependant, la conception d'architectures d'apprentissage profond a meme de resoudre efficacement les tâches d'analyse d'image est loin d'etre simple. De plus, le succes des approches d'apprentissage profond depend fortement de la disponibilite de donnees en grande quantite etiquetees manuellement (par des humains), ce qui est a la fois couteux et peu pratique lors du passage a grande echelle. Dans ce contexte, l'objectif de cette these est d'explorer des approches basees sur l'apprentissage profond pour certaines tâches de comprehension de l'image qui permettraient d'augmenter l'efficacite avec laquelle celles-ci sont effectuees ainsi que de rendre le processus d'apprentissage moins dependant a la disponibilite d'une grande quantite de donnees annotees a la main. Nous nous sommes d'abord concentres sur l'amelioration de l'etat de l'art en matiere de detection d'objets. Plus specifiquement, nous avons tente d'ameliorer la capacite des systemes de detection d'objets a reconnaitre des instances d'objets (meme difficiles a distinguer) en proposant une representation basee sur des reseaux de neurone convolutionnels prenant en compte le aspects multi-region et de segmentation semantique, et capable de capturer un ensemble diversifie de facteurs d'apparence discriminants. De plus, nous avons vise a ameliorer la precision de localisation des systemes de detection d'objets en proposant des schemas iteratifs de detection d'objets et un nouveau modele de localisation pour estimer la boite de delimitation d'un objet. En ce qui concerne le probleme de l'etiquetage des images a l'echelle du pixel, nous avons explore une famille d'architectures de reseaux de neurones profonds qui effectuent une prediction structuree des etiquettes de sortie en apprenant a ameliorer (iterativement) une estimation initiale de celles-ci. L'objectif est d'identifier l'architecture optimale pour la mise en œuvre de tels modeles profonds de prevision structuree. Dans ce contexte, nous avons propose de decomposer la tâche d'amelioration de l'etiquetage en trois etapes : 1) detecter les estimations initialement incorrectes des etiquettes, 2) remplacer les etiquettes incorrectes par de nouvelles etiquettes, et finalement 3) affiner les etiquettes renouvelees en predisant les corrections residuelles. Afin de reduire la dependance a l'effort d'annotation humaine, nous avons propose une approche d'apprentissage auto-supervisee qui apprend les representations semantiques d'images a l'aide d'un reseau de neurones convolutionnel en entrainant ce dernier a reconnaitre la rotation 2d qui est appliquee a l'image qu'il recoit en entree. Plus precisement, les caracteristiques de l'image tirees de cette tâche de prediction de rotation donnent de tres bons resultats lorsqu'elles sont transferees sur les autres tâches de detection d'objets et de segmentation semantique, surpassant les approches d'apprentissage anterieures non supervisees et reduisant ainsi l'ecart avec le cas supervise. Enfin, nous avons propose un nouveau systeme de reconnaissance d'objets qui, apres son entrainement, est capable d'apprendre dynamiquement de nouvelles categories a partir de quelques exemples seulement (typiquement, seulement un ou cinq), sans oublier les categories sur lesquelles il a ete forme. Afin de mettre en œuvre le systeme de reconnaissance propose, nous avons introduit deux nouveautes techniques, un generateur de poids de classification base sur l'attention et un modele de reconnaissance base sur un reseau neuronal convolutionnel dont le classificateur est implemente comme une fonction de similarite cosinusienne entre les representations de caracteristiques et les vecteurs de classification