Computación evolutiva multi-objetivo para selección de atributos y clasificación interpretable (2019)

espanolEn el contexto del aprendizaje supervisado, en esta Tesis Doctoral se han desarrollado modelos de optimizacion multi-objetivo para los problemas de seleccion de atributos y de clasificacion interpretable, asi como algoritmos evolutivos multi-objetivo para sus resoluciones. El problema de la seleccion de atributos se enmarca dentro de un proceso mas general que es la reduccion de la dimensionalidad de los datos. Este proceso es fundamental hoy dia debido a la gran cantidad de datos que cada vez mas se generan con el desarrollo imparable de las tecnologias de la informacion. El problema de la clasificacion o prediccion interpretable juega tambien un papel crucial hoy dia, ya que no siempre es aceptable un modelo automatico si este no es entendible y validable por un experto, sobre todo en contextos donde la etica profesional lo requiere, como por ejemplo, la medicina o los negocios. Por otro lado, la Computacion Evolutiva Multi-objetivo se ha mostrado como un metaheuristica muy potente para resolver ambos tipos de problemas, y aunque no garantiza soluciones optimas, estas pueden resultar mas satisfactorias que las proporcionadas con las tecnicas clasicas de busqueda, optimizacion y aprendizaje. Los algoritmos evolutivos multi-objetivo desarrollados en esta tesis han sido implementados en la plataforma Weka de machine learning con los nombres MultiObjectiveEvolutionarySearch y MultiObjectiveEvolutionaryFuzzyClassifier respectivamente. Para el problema de seleccion de atributos, la estrategia de busqueda MultiObjectiveEvolutionarySearch puede combinarse con distintos evaluadores para configurar metodos de seleccion de atributos tanto filter como wrapper, con diferentes medidas estadisticas, clasificadores y metricas de evaluacion, lo que hace que la tecnica sea muy flexible y robusta. Los algoritmos ENORA y NSGA-II han sido implementados como estrategia de busqueda, resolviendo un problema de optimizacion booleana con los objetivos de precision y de cardinalidad de los subconjuntos de atributos. Para el problema de clasificacion interpretable, el clasificador MultiObjectiveEvolutionaryFuzzyClassifier permite construir clasificadores basados en reglas, tanto fuzzy (gaussianos) como crisp, con datos numericos y categoricos, en problemas de clasificacion multi-clase, permitiendo configurar distintos evaluadores en la fase de aprendizaje. Los algoritmos ENORA y NSGA-II han sido implementados para la construccion de clasificadores basados en reglas, resolviendo un problema de optimizacion combinatoria mixta con restricciones, con los objetivos de precision y de complejidad del conjunto de reglas, y restricciones de similaridad de los conjuntos fuzzy gaussianos. Para los experimentos se han utilizado dos campos de fundamentales de aplicacion, en el screening virtual para el descubrimiento de farmacos, y en la gestion de las habilidades profesionales de agentes en un centro de contacto con datos extraidos de la empresa GAP S.R.L. en el norte de Italia. Tambien se han utilizado bases de datos publicas del UCI Machine Learning Repository por razones de reproducibilidad. Los resultados han sido analizados siguiendo metodologias propias del analisis inteligente de datos, y las conclusiones estan abaladas por tests estadisticos, los cuales muestran un excelente comportamiento de las tecnicas propuestas tanto para seleccion de atributos como para clasificacion basada en reglas, en comparacion con otras tecnicas, algoritmos y clasificadores del estado del arte ampliamente consolidados. EnglishIn the context of supervised learning, in this Doctoral Thesis, multi-objective optimization models have been developed for the problems of feature selection and interpretable classification, as well as multi-objective evolutionary algorithms for their resolutions. The problem of feature selection is framed within a more general process that is the dimensionality reduction of data. This process is fundamental today due to the large amount of data that is increasingly generated with the unstoppable development of information technologies. The problem of interpretable classification (or prediction) also plays a crucial role today, since an automatic model is not always acceptable if it is not understandable and validated by an expert, especially in contexts where professional ethics requires it, such as, for example, medicine or business. On the other hand, the Multi-objective Evolutionary Computation has been shown as a very powerful metaheuristic to solve both types of problems, and although it does not guarantee optimal solutions, these can be more satisfactory than those provided with the classic search, optimization and learning techniques. The multi-objective evolutionary algorithms developed in this thesis have been implemented in the Weka platform of machine learning with the names MultiObjectiveEvolutionarySearch and MultiObjectiveEvolutionaryFuzzyClassifier respectively. For the feature selection problem, the search strategy MultiObjectiveEvolutionarySearch can be combined with diferent evaluators to configure feature selection methods both filter and wrapper, with diferent statistical measures, classifiers and evaluation metrics, which makes the technique very exible and robust. The algorithms ENORA and NSGA-II have been implemented as search strategy, solving a boolean optimization problem with objectives of precision and attribute subset cardinality. For the problem of interpretable classification, the classifier MultiObjectiveEvolutionaryFuzzyClassifier allows to build rule-based classi_ers, both fuzzy (Gaussian) and crisp, with numerical and categorical data, in multi-class classification problems, allowing to configure diferent evaluators in the learning phase. The algorithms ENORA and NSGA-II have been again implemented for the construction of rule-based classifiers, solving a mixed combinatorial constrained optimization problema in this case, with the objectives of precision and rule set complexity, and similarity constraints of Gaussian fuzzy sets. Two fundamental application areas have been used for the experiments, in virtual screening for the discovery of drugs, and for the management of the professional skills of agents in a contact center with data extracted from the company GAP SRL in the north of Italy. Public databases of the UCI Machine Learning Repository have also been used for reproducibility reasons. The results have been analyzed following the methodologies of intelligent analysis of data, and the conclusions are supported by statistical tests, which show an excellent behavior of the proposed techniques both for feature selection and for rule-based classification, in comparison with other techniques, algorithms and classifiers of the state-of-the-art widely consolidated.