Similarity-based learning and its extensions

This paper synthesizes a number of approaches to concept representation and learning in a multilayered model. The paper emphasizes what has been called similarity-based learning (SBL) from examples, although this review is extended to address wider issues. The paper pays particular attention to requirements for incremental and uncertain environments, and to interrelationships among concept purpose, concept representation, and concept learning. One goal of the paper is to unite some of the notions underlying recent research, in an attempt to construct a more complete and extensible framework. This framework is designed to capture representations and methods such as those based on hypothesis search and bias selection, and to extend the ideas for greater system capability. This leads to a specific perspective for multilayered learning which has several advantages, such as greater clarity, more uniform learning, and more powerful induction. The approach clarifies and unifies various aspects of the problem of concept learning. Some results'are (1) Various concept representations (such as logic, prototypes, and decision trees) are subsumed by a standard form which is well suited to learning, particularly in incremental and uncertain environments; (2) Concept learning may be enhanced by exploiting a particular phenomenon in many spaces-this phenomenon is a certain kind of smoothness or regularity, one instance of which underlies the similarity in SBL systems; (3) The paper treats the phenomenon in a general way and applies it hierarchically. This has various advantages of uniformity. For example the model allows layered learning algorithms for concept learning all to be instantiations of one basic algorithm. A single kind of representation (an instantiation of the standard form) is prominent at each level. The combination of representation and algorithm allows fast, accurate, concise, and robust concept learning. Le present article fait la synthese d'un certain nombre de methodes de representation et d'apprentissage des concepts dans un modele multicouche. l'auteur insiste sur ce qu'on a appele l'apprentissage par detection de similarites (ADS) en presentant des exemples; son point de vue s'etend toutefois a des sujets plus vastes. n prěte particulierement attention aux exigences relatives aux environnements incrementiels et incertains, ainsi qu'a la correlation entre le but, la representation et l'apprentissage des concepts. Cet article vise notamment a unifier certaines des notions qui sont a la base des recherches recentes, afin que soit edifiee un cadre plus complet et plus extensible. Cette structure est concue pour reproduire des representations et des methodes, comme celles basees sur la recherche d'hypotheses et la selection de polarisations, et pour elargir les idees ayant pour but d'accroitre le potentiel des systemes. Cela conduit a envisager une perspective specifique au niveau de l'apprentissage multicouche, ce qui presente plusieurs avantages: plus grande precision, uniformisation de l'apprentissage et augmentation de la puissance d'induction. Cette methode permet de clarifier et d'unifier divers aspects du probleme que pose l'apprentissage des concepts. Voici quelques resultats: (1) Diverses representations de concepts comme la logique, les prototypes et les arbres decisionals sont subsumees par une forme conventionnelle qui convient a l'apprentissage, particulierement dans les environnements incrementiels et incertains. (2) II est possible d'ameliorer l'apprentissage des concepts en exploitant un phenomene paiticulier dans de nombreux espaces – ce phenomene presente une certaine forme de regularite et constitue un exemple ou sous-tend la similarite dans les systemes ADS. (3) l'auteur traite le phenomene de facon generate et l'applique par hierarchic Cette optique comprend divers avantages quant a l'uniformite. Par exemple, le modele permet de constituer des algorithmes d'apprentissage en couche des concepts, tous les algorithmes devant ětre les instanciations d'un algorithme de base. II n'y a qu'une seule sorte de representation (une instanciation de la forme conventionnelle) qui soit marquante a chacun des niveaux de la hierarchie. Grace a la combinaison de la representation et de l'algorithme, l'apprentissage des concepts devient rapide, precis, concis et solide.