Local Features and Kernels for Classification of Texture and Object Categories : An In-Depth Study

Recently, methods based on local image features have shown promise for texture and object recognition tasks. This paper presents a large-scale evaluation of an approach that represents images as distributions (signatures or histograms) of features extracted from a sparse set of keypoint locations and learns a Support Vector Machine classifier with kernels based on two effective measures for comparing distributions, the Earth Mover’s Distance and the chi-square distance. We first evaluate the performance of our approach with different keypoint detectors and descriptors, as well as different kernels and classifiers. We then conduct a comparative evaluation with several state-of-the-art recognition methods on four texture and five object databases. On most of these databases, our implementation exceeds the best reported results and achieves comparable performance on the rest. Finally, we investigate the influence of background correlations on recognition performance via extensive tests on the PASCAL database, for which ground-truth object localization information is available. Our experiments demonstrate that image representations based on distributions of local features are surprisingly effective for classification of texture and object images under challenging real-world conditions, including significant intra-class variations and substantial background clutter. Key-words: texture recognition, object recognition, scaleand affine-invariant keypoints, support vector machines, kernel methods ∗ LEAR, GRAVIR, INRIA-CNRS-INPG-UJF, 655 av. de l’Europe, 38330 Montbonnot, France † Beckman Institute, University of Illinois, 405 N. Mathews Ave., Urbana, IL 61801, USA Descripteurs d’images locaux et méthodes par noyaux pour la classification de textures et de catégories d’objets: une étude approfondie Résumé : Les méthodes basées sur des descripteurs d’images locaux ont récemment donné de bons résultats en reconnaissance d’objets et de textures. Cet article évalue la pertinence d’une représentation d’image par une distribution (signature, histogramme) de descripteurs calculés en des points d’intérêt, et d’une classification par Machine à Vecteur Support dont les noyaux utilisent des mesures adaptées à la comparaison de distributions (Earth Mover Distance, chi-square). Dans un premier temps nous évaluons la performance de notre approche avec différentes combinaisons de détecteurs de points d’intérêt, de descripteurs, de noyaux et de classifieurs. Puis nous comparons nos résultats avec des méthodes de l’état de l’art sur quatre bases de textures et cinq bases d’objets. Sur la plupart de ces bases, nos performances sont meilleures que celles de l’état de l’art et comparables pour le reste. Enfin, nous mesurons l’influence de la corrélation des fonds sur les performances de reconnaissance sur la base PASCAL, pour laquelle on dispose de la localisation exacte des objets. Nos expérimentations démontrent que la représentation d’images à base de distribution de descripteurs locaux est très efficace pour la classification d’objets et de textures, dans des conditions réelles telles que de fortes variations intra-classes et un fond complexe. Mots-clés : reconnaissance de textures, reconnaissance d’objets, détecteurs de points d’intérêt invariants aux transformations affines et à l’échelle, machines à vecteurs support, méthodes par noyaux Local Features and Kernels for Classification of Texture and Object Categories 3