[en] This Thesis is framed in the topic of Supervised Machine Learning, where we present a theoretical study with applications. Specifically, contributions have been made at the different moments of the Machine Learning life cycle from an integral point of view, focusing our attention on the three fundamental stages of the cycle: preprocessing of the dataset, construction of the predictive model (classifier), and validation of the model using performance metrics. The first work focuses on the preprocessing phase. We have proposed a novel oversampling method that uses a Bayesian network constructed as the probabilistic model for the relationships of dependence between the features in the minority class setting, to generate artificial instances of the minority class for a dataset with both categorical and/or continuous variables. It relies on the fact that the likelihood is a measure of the goodness of fit of a model to a set of instances, which is a paradigm different from that in which the existing oversampling methods are based: the idea of distance between the features, which turns out to be a weakness when applied to datasets with non-continuous variables. The second paper is related to the construction of a predictive model, specifically, a classifier. We have implemented an expert system based on an ensemble of Bayesian classifiers to help in decision making in the Intensive Care Unit of the Hospital of Mataró. The system predicts the vital outcome of the patient admitted to the ICU (live/die) as well as the destination upon discharge from the ICU, if the prediction is ''live'', or the cause of death if it is ''die''. The combination rule to decide the prediction provided by the ensemble, from the predictions given by the base classifiers, is a Weighted Average with specific weights based on the Area Under the Precision-Recall curve (AUPR), suitable for deal with unbalanced datasets, which is compatible with the MAP criterion. The last contribution attends to the validation phase. We have introduced an improvement of the original definition of the Confusion ENtropy (CEN) metric, which is based on the Shannon's entropy from the field of Information Theory, as a measure of the uncertainty entailed by the result of a classification process. This modification allows to avoid the undesired behaviour showed by CEN, which in some cases is "out-of-range'', and in some others shows a lack of monotonicity when the situation monotonically goes from perfect to completely wrong classification.

[es] Esta Tesis se enmarca en el ámbito del Aprendizaje Automático Supervisado, en el que presentamos un estudio teórico con aplicaciones. En concreto, hemos realizado aportaciones a los distintos momentos del ciclo de vida del Aprendizaje Automático desde un punto de vista integral, centrando nuestra atención en las tres etapas fundamentales del ciclo: preprocesamiento del conjunto de datos, construcción del modelo predictivo (clasificador), y validación del modelo utilizando métricas de comportamiento. El primer trabajo se centra en la fase de preprocesamiento. Hemos propuesto un nuevo método de sobremuestreo que utiliza una red Bayesiana construida como el modelo probabilístico para las relaciones de dependencia entre las características en el contexto de la clase minoritaria, para generar instancias artificiales de la clase minoritaria en un conjunto de datos con variables categóricas y/o continuas. Se basa en que la verosimilitud es una medida de la bondad de ajuste de un modelo a un conjunto de casos, lo que es un paradigma diferente a aquél en el que se basan los métodos de sobremuestreo existentes: la idea de distancia entre las características, que resulta ser incoherente cuando se aplica a conjuntos de datos con variables no continuas. El segundo trabajo está relacionado con la construcción de un modelo predictivo, específicamente, un clasificador. Hemos implementado un sistema experto basado en un conjunto de clasificadores Bayesianos para ayudar en la toma de decisiones en la Unidad de Cuidados Intensivos del Hospital de Mataró. El sistema predice el desenlace vital del paciente ingresado en la UCI (vivo/muerto) así como el destino al alta de la UCI, si la predicción es "vivo'', o la causa de la muerte si es "muerto''. La regla de combinación para decidir la predicción proporcionada por el conjunto, a partir de las predicciones dadas por los clasificadores base, es un promedio ponderado con pesos específicos basados en el área bajo la curva de precisión-recuperación (AUPR), adecuado para tratar con conjuntos de datos desequilibrados, compatible con el criterio MAP. La última contribución atiende a la fase de validación. Hemos introducido una mejora en la definición original de la métrica Confusion ENtropy (CEN), que se basa en la entropía de Shannon del campo de la Teoría de la Información, como medida de la incertidumbre que conlleva el resultado de un proceso de clasificación. Esta modificación permite evitar el comportamiento indeseable que muestra CEN, que en algunos casos está "fuera de rango", y en otros muestra falta de monotonicidad cuando la situación pasa monótonamente de una clasificación perfecta a una completamente errónea.