[en] The goal of this work is to improve the efficiency and effectiveness of classifier ensembles using clustering techniques. In particular we aim to identify clusters of classifiers according to pattern of their predictions in a data set that is independent from the one used for training; for instance, in the test set or in a validation set. From these clusters we can select the one that yields the most accurate predictions on a validation set, with the expectation that it will have good generalization capacity. The smaller size of this subensemble entails an improvement of the system's efficiency. In particular, the memory requirements for storage are lowered, and the system's predictions faster. The original ensembles taken as a starting point in this study are heterogeneous. In particular, they consist of multilayer perceptrons, random trees and, for some parts of the empirical analysis, CART decision tress. The ensembles are built using bagging. The classification problems analyzed in the empirical evaluation come from the UCI Machine Learning repository (Bache & Lichman, s.f.). As clustering algorithms, we consider fuzzy K-Means and an algorithm based on deterministic annealing, which was originally proposed by (Bakker & Heskes, 2003). In a first batch of experiments, we analyze the homogeneity of the clusters identified by each of these algorithms. In the remainder of the empirical analysis we use the algorithm introduced by Bakker & Heskes, because, according to the results obtained, it yields clusters that are quite homogeneous in an efficient manner. Once those clusters have been identified, the goal of the study is to select the cluster that has the best generalization capacity. The accuracy of the predictions given by the selected clusters is compared with the original heterogeneous ensemble and with the homogeneous subensembles of which it is composed. According to the results obtained, in the classification problems analyzed, the accuracy rates of the selected clusters are comparable to the reference ensembles. This indicates that using the clustering technique that has been proposed it is possible to improve the efficiency of the classification system: lower storage requirements and faster predictions are obtained. Nonetheless, these improvements do come at a cost: There is some overhead in training, because both bagging are clustering are computationally costly processes.

[es] El objetivo de este Trabajo de Fin de Grado es mejorar la eficacia y la eficiencia de los conjuntos de clasificadores mediante técnicas de clustering. .En concreto, se trata de identificar conglomerados o clústeres de clasificadores de acuerdo con sus patrones de predicción en un conjunto de datos independiente del de entrenamiento; por ejemplo, en el conjunto de test o en un conjunto de validación). De entre estos conglomerados podemos seleccionar el que proporciona predicciones más precisas en un conjunto de validación, con la expectativa de que tenga una buena capacidad de generalización. El menor tamaño de este subconjunto de clasificadores implica una mejora de la eficiencia del sistema de predicción. En concreto, se reducen los requisitos de memoria para almacenamiento del sistema y el tiempo de predicción, Los conjuntos de clasificadores de los que se parte en este estudio son heterogéneos. En concreto, están formados por perceptrones multicapa, árboles aleatorios y en algunas partes del análisis empírico de árboles de decisión de tipo CART. Para la construcción de los conjuntos se utiliza bagging. Los problemas de clasificación que se utilizan en la parte de evaluación empírica han sido obtenidos del repositorio web UCI Machine Learning (Bache & Lichman, s.f.). Para realizar el análisis de conglomerados utilizaremos fuzzy K-Means y un algoritmo de clustering basado en un proceso de templado determinista (deterministic annealing) propuesto originalmente por (Bakker & Heskes, 2003). En un primer bloque de experimentos se analiza la homogeneidad de los clústeres identificados por cada uno de estos algoritmos. Para el resto del análisis empírico se utiliza el método propuesto por Bakker & Heskes, ya que, de acuerdo a los resultados obtenidos, permite identificar clústeres homogéneos de manera eficiente. Finalmente, una vez identificado los clústeres, el estudio se centra en la selección del clúster con mejor capacidad de generalización. La precisión de las predicciones del clúster seleccionado será comparada al conjunto de predictores heterogéneo original y a los subconjuntos homogéneos de los que está compuesto. De acuerdo con los resultados obtenidos, en los problemas de clasificación analizados los clústeres seleccionados obtener tasas de acierto comparables a las de los conjuntos de referencia. Esto indica que, mediante la técnica de clustering propuesta, es posible mejorar la eficacia del sistema de predicción, ya que se reducen los requisitos de almacenamiento y se mejoran los tiempos de respuesta en la etapa de predicción, y, de manera simultánea, se mantienen las tasas de acierto en niveles comparables a los del conjunto original. No obstante, las mejoras obtenidas conllevan una contrapartida, ya que hay un coste añadido durante el entrenamiento debido a que tanto bagging como clustering son procesos computacionalmente complejos.