Nuevos modelos de redes neuronales evolutivas para clasificación: aplicación a unidades producto y unidades sigmoide.

El tema de investigacion en el que se circunscribe nuestra Tesis Doctoral se incluye dentro de la extraccion automatica de conocimiento. Existen distintas formas de realizar razonamiento inductivo, centrandonos aqui en aprendizaje supervisado. En concreto, los modelos de clasificacion que manejamos son Redes Neuronales Artificiales (RNAs) y el aprendizaje de los mismos se realiza mediante Computacion Evolutiva. Este tipo de redes se conocen como Redes Neuronales Artificiales Evolutivas (RNAEs). En las RNAEs, el entrenamiento de la red neuronal se lleva a cabo mediante un algoritmo evolutivo. La razon es que, al tratarse de un metodo de optimizacion global, no posee la limitacion de los metodos locales de quedarse facilmente estancado en optimos locales. El algoritmo evolutivo usado pertenece al paradigma de Programacion Evolutiva, que se basa en emplear solo dos operadores: replicacion y mutacion. Al tratarse de modelos de RNAs, se aplican dos tipos de mutacion: estructural y parametrica para modificar tanto la estructura del modelo de red, esto es, el numero de nodos en la capa intermedia, como los pesos de las conexiones. No se hace uso del operador de cruce debido al conocido problema de la permutacion, que consiste en que diferentes representaciones pueden corresponder al mismo modelo de RNA. Merece ser resenado que en todas las propuestas realizadas en la presente Tesis Doctoral se lleva a cabo una evolucion simultanea de las arquitecturas de red y de los pesos y coeficientes asociados al modelo de red. Los modelos de red que empleamos en la Tesis Doctoral estan formados por tres capas: la capa de entrada, la capa intermedia o capa oculta y la capa de salida. El tipo de unidades en la capa oculta son unidades de tipo producto o unidades de tipo sigmoide. En la Tesis Doctoral se presentan varios modelos de Redes Neuronales Evolutivas para Clasificacion que podemos discernir a grandes rasgos bajo las siguientes categorias: a) Distribucion del Diseno Experimental, denominado EDD (Experimental Design Distribution). La idea basica es aplicar el algoritmo evolutivo de manera automatica a una serie de configuraciones diferentes y evaluar que combinacion de parametros es mas idonea para cada problema. La propuesta inicial se llevo a cabo con unidades producto y recientemente ha sido extendida al uso de unidades sigmoide, dando lugar a EDDSig (Experimental Design Distribution with Sigmoidal units). La metodologia EDD se ha empleado en muchos trabajos posteriores para poder evaluar la eficacia de las propuestas. En total, se ha empleado en 25 bases de datos, 23 procedentes del UCI [Frank y Asuncion, 2010] y 2 problemas reales, uno de Microbiologia Predictiva y otro de Medio Ambiente. b) Algoritmo Evolutivo en dos fases, cuyo acronimo es TSEA (Two-Stage Evolutionary Algorithm). La metodologia TSEA emplea un algoritmo evolutivo refinado con dos fases, que trabaja con dos poblaciones iniciales de individuos, cada una de ellas con individuos con topologias diferentes, que en la primera fase son entrenadas durante un numero pequeno de generaciones, para posteriormente seleccionar la mitad mejor de cada poblacion y fusionarlas en una nueva poblacion. A esta ultima se le aplica, en la segunda fase, el ciclo evolutivo completo, salvo la fase de inicializacion aleatoria de la poblacion inicial. Experimentalmente, se concluyo que para el numero de generaciones de la primera fase el 10% es un valor muy apropiado, pues permite combinar de una manera muy adecuada una mayor exploracion de soluciones en la primera fase y una explotacion de soluciones con mayor calidad respecto a las que se obtendrian aleatoriamente sin ser sometidas a ningun tipo de evolucion parcial. Los resultados obtenidos con la metodologia TSEA son mejores y mas eficientes, respecto a los obtenidos con EDD. Con el proposito de validar la metodologia en dos fases, se ha ampliado al uso de unidades de tipo sigmoide, generando la metodologia TSEASig (Two- Stage Evolutionary Algorithm for neural networks with Sigmoidal units). Se ha llevado a cabo una comparacion entre las metodologias TSEA, EDDSig y TSEASig aplicadas a 14 bases de datos, 12 disponibles en el repositorio UCI y 2 problemas complejos del mundo real: BTX y Listeria monocytogenes. BTX es un problema de clasificacion multiclase relativo al Medio Ambiente que considera diferentes tipos de agua contaminadas. Listeria monocytogenes es un problema biclase en Microbiologia Predictiva. c) Aplicacion de Seleccion de Atributos de manera independiente a las metodologias EDD y TSEA. Las metodologias mencionadas previamente son muy utiles y efectivas, sin embargo, la idea de mejorar debe ir mas alla. Por tanto, en este caso se inicio una linea de investigacion muy prometedora que aplica un preprocesamiento a las diferentes bases de datos o, mejor dicho, al conjunto de entrenamiento, mediante el uso de metodos de seleccion de atributos basados en filtros. Las nuevas metodologias se han denominado EDDFS (Experimental Design Distribution with Feature Selection) y TSEAFS (Two-Stage Evolutionary Algorithm with Feature Selection) y han sido aplicadas a problemas de especial complejidad, tomando como referencia que la tasa de error con los clasificadores C4.5 o 1-NN este al menos en el 20%, aproximadamente. La metodologia EDDFS ha sido evaluada con 14 bases de datos del UCI y se ha experimentado con 6 filtros de manera independiente. Los resultados obtenidos han mejorado significativamente en cuanto a tasa de acierto en clasificacion, respecto a los de EDD. En estos momentos el trabajo esta sometido a revision en una revista. Por otra parte, en la experimentacion de TSEAFS se hace uso de 4 filtros y 19 bases de datos, 18 del UCI y un problema real de Biomedicina de Trasplantes, Liver-transplantation, en Espana. La precision de TSEAFS supera significativamente a la de TSEA. El dominio de aplicacion de los algoritmos propuestos ha sido bastante amplio. Concretamente, se han empleado 31 bases de datos de problemas de clasificacion, 28 procedentes del UCI y 3 de problemas del mundo real, del ambito de Microbiologia Predictiva, Medio Ambiente y de Trasplantes Hepaticos en Medicina. Este documento presenta nuestros objetivos, hipotesis de partida, publicaciones, estado del arte, modelos implementados, resultados, conclusiones y referencias bibliograficas.