Face recognition from caption-based supervision

In this report, we present methods for face recognition using a collection of images with captions. We consider two tasks: retrieving all faces of a particular person in a data set, and establishing the correct association between the names in the captions and the faces in the images. This is challenging because of the very large appearance variation in the images, as well as the potential mismatch between images and their captions. We survey graph-based, generative and discriminative approaches for both tasks. We extend them by considering different metric learning techniques to obtain appropriate face representations that reduce intra person variability and increase inter person separation. For the retrieval task, we also study the benefit of query expansion. To evaluate performance, we use a new fully labeled data set of 31147 faces which extends the recent Labeled Faces in the Wild data set. We present extensive experimental results which show that metric learning significantly improves the performance of all approaches on both tasks. Key-words: Face recognition, Metric Learning, Weakly supervised learning, Face retrieval, Constrained clustering This research is partially funded by the Cognitive-Level Annotation using Latent Statistical Structure (CLASS) project of the European Union Information Society Technologies unit E5 (Cognition). We would also like to thank Tamara Berg, Mark Everingham, and Gary Huang for their help by providing data and code. We also thank Benoı̂t Mordelet, Nicolas Breitner and Lucie Daubigney for their participation in the annotation effort. Reconnaissance de visage partir d’images lgendes Résumé : Dans ce rapport, nous présentons des méthodes pour la reconnaissance de visages qui utilisent des images accompagnées de légendes. Nous considérons deux applications: la recherche dans une base d’image de tous les visages d’une personne donnée, et l’établissement des correspondences correctes entre les noms qui apparaissent dans les légendes et les visages dans les images. Ces tâches sont difficiles à cause des très grandes variations d’apparence dans les images, et de la possible inadéquation entre les images et leurs légendes. Nous comparons des approches génératives, discriminatives et à base de graphes pour les deux objectifs. Nous étendons ces approches en considérant l’utilisation de techniques d’apprentissage de distance pour obtenir des représentations vectorielles de visages qui réduisent la variabilité intra-personne tout en augmentant la séparation entre personnes. Pour la tâche de recherche, nous examinons également les gains apportés par les méthodes déxpansion de requête. Pour évaluer la performance de nos systèmes, nous introduisons une nouvelle base de données de 31147 visages que nous avons manuellement annotés, et qui étend la base Labeled Faces in the Wild. Nous présentons des résultats expérimentaux exhaustifs qui montrent que l’utilisation de l’apprentissage de distance améliore significativement les performances de toutes les approaches considérées. Mots-clés : Reconnaissance de visage, Apprentissage de distance, Apprentissage faiblement supervisé, Recherche de visage, Agglomération de données contrainte Face recognition from caption-based supervision 3 Figure 1: Two example images with captions. Detected named entities are in bold font, and detected faces are marked by yellow rectangles.