[en] During the last years, semi-supervised learning has become one of the most important topics for research in machine learning. Dealing with the situation where few labeled training points are available, but a large number of unlabeled points are given, it is directly relevant to a multitude of practical problems. Indeed, many situations of life can be explained from that perspective, where the majority of the data is unlabeled. For instance, when babies learn to speak, they do not know the meaning of the words they listen to, but learn that after a subject there always comes an action. Namely, they take profit of the structure of the input data. As for neural networks, unregularized artificial neural networks (ANNs) can be easily overfit with a limited sample size. This is due to the discriminative nature of ANNs which directly model the conditional probability p(yjx) of labels given the input. The ignorance of input distribution p(x) makes ANNs difficult to generalize to unseen data. Recent advances in regularization techniques indicate that modeling input data distribution (either explicitly or implicitly) greatly improves the generalization ability of a ANN. In this work, I explore the manifold hypothesis which assumes that instances within the same class lie in a smooth manifold. This idea is carried out by imposing manifold based locality preserving constraints on the outputs of the network. This thesis basically focuses on the training of a 1-hidden layer NN for a binary classification problem. The basic idea is to take profit of data structure based on the assumption it lies on a submanifold in a high dimensional space. In this thesis, based on previous works related to the topic, I model this idea using the Laplacian graph as a constrain in the objective function of the NN. Experimental results show that, having chosen good hyperparameters for the NN and in the datasets under consideration, there is always an improvement in the algorithm performance when applying manifold regularization, represented in the form of a lower missclassification error. This results can be used as a proof-of-concept for more advanced studies in the field.

[es] En los últimos años, semi-supervised learning se ha convertido en uno de los temas más escogidos en investigaciones sobre machine learning. En multitud de situaciones prácticas solo se conocen etiquetas de un grupo minoritario de datos mientras que, en comparación, el conjunto de datos a entrenar es grande. De hecho, muchas experiencias de la vida pueden explicarse desde esta perspectiva. Por ejemplo, cuando los recién nacidos aprenden a hablar no conocen el significado de las palabras que escuchan pero llegan a aprender que después de un sujeto siempre viene un predicado. Es decir, aprovechan la estructura de los datos. En relación a las NN, las artificial neural networks no regularizadas (ANNs) pueden fácilmente estar overfitted a causa de la condición discriminativa que tienen estas redes por naturaleza, las cuales modelan directamente la probabilidad condicional p(yjx) de los datos a entrenar. Sin embargo, la ignorancia de la distribución de probabilidad de los datos de entrada p(x) hace de las ANNs unos algoritmos difíciles de generalizar para datos no usados en el entrenamiento. Algunas investigaciones recientes indican que el poder modelar esta distribución de probabilidad de los datos de entrada mejora sustancialmente esta generalización del comportamiento del algoritmo para nuevos datos. En este proyecto estudio la hipótesis que asume que los datos de una misma clase se encuentran en un manifold de bajas dimensiones, en comparación con la alta dimensión del espacio en el que se encuentra el conjunto de datos de entrada. Esta idea es llevada a cabo mediante la imposición de unas limitaciones geométricas sobre los resultados de la red neuronal propuesta. La tesis se centra en el entrenamiento de una 1-hidden fully connected layer NN para un problema de clasificación binaria. La idea básica es aprovechar la estructura geométrica de los datos de entrada a partir de la asunción que esta en realidad se encuentra en un manifold de dimensiones bajas. Basándome en trabajos previos sobre el tema, modelo la idea de usar el Laplacian graph como limitación en la objective function que define la red neuronal propuesta. Los resultados de los experimentos demuestran que, con una buena elección de los hyperparámetros de la red y dependiendo del conjunto de datos usado en el entrenamiento, siempre hay una mejora en el comportamiento de la NN cuando se aplica la técnica en cuestión, en términos de un error de clasificación más bajo. Estos resultados pueden ser usados como una prueba de concepto para investigaciones sobre este campo más avanzadas .