Boosting con árboles de decisión y random forest 
Autor: Luis Carlos Cortés Ruiz
Año: 2022
Carrera: Actuaría

El paso veloz de los avances del internet y poder computacional en el siglo XXI han traído a la puerta de la estadística nuevos retos y oportunidades, particularmente en el área de la exploración, análisis y predicción de datos. Las herramientas y conocimientos que obtenemos en la licenciatura en actuaría en la Facultad de Ciencias de la UNAM nos hacen los candidatos ideales para enfrentar esta nueva era de información, y uno de los campos con perspectivas muy prometedoras es el aprendizaje estadístico automatizado o statistical machine learning. En esta tesis se abordarán dos algoritmos eficaces para la predicción que, aunque surgieron afinales del siglo XX, son usados ampliamente en la industria y la investigación actuales. Estos son Random Forest, propuesto por Leo Breiman, y boosting por gradiente, desarrollado por Jerome Friedman. Ambos métodos se basan en un algoritmo antecesor, los árboles de decisión CART (Classificación and Regression Trees), introducidos por los dos autores arriba mencionados, junto conRichard Olsen y Charles Stone. La decisión de presentar este tema surgió de una fascinaciónpersonal con el mecanismo de los árboles de decisión de llegar a predicciones, por medio dela división de una base de datos heterogénea en subconjuntos homogéneos. Dicha idea también permite una interpretación simple e intuitiva de la base de datos a la mano, a través desu representación gráfica. Esta fascinación continuó con el conocimiento de Random Forest y boosting: el primero es un conjunto de árboles, todos idénticamente distribuidos, donde se hace la predicción siguiendo un principio de democracia; el segundo construye árboles sucesivamente, cada uno con base en los que lo precedieron, para que, al terminar, la suma de todos sea la predicción final. Aunque el enfoque es únicamente en estos dos algoritmos, las técnicas mostradas de preparación de los datos, aplicación de los algoritmos y selección y evaluación de los ajustes sonestándares en la comunidad demachine learning, por lo que los mismos pasos puestos en práctica pueden ser usados en otros algoritmos, aquellos donde se busque predecir una nueva observación ya partir de una o más variables explicativas x, con base en un conjunto de datos observados. En este sentido, el primer capítulo tocará una breve historia de la evolución del aprendizaje estadístico, empezando con un ejemplo familiar para los estudiantes y enseñantes de estadística: el modelo de regresión lineal. Esto da entrada a las diferentes metas de esta disciplina que, inspirado en el trabajo de Efron (2020), se discuten como estimación, atribución y predicción. La regresión lineal ajusta un modelo queestimacoeficientes que expliquen un fenómeno através de las variables explicativas, atribuye una significancia a dichos coeficientes y sirve para predecir información nueva. Con un enfoque en la predicción, se hablará de las funciones depérdida, útiles para construir y evaluar algoritmos de predicción, además de su aplicación en la estimación del error de predicción. Serán explicadas las diferentes versiones de esa estimación: error aparente, errores de conjuntos de entrenamiento y de prueba, error porrepeated trainingtest(referida en Jameset al. (2016) como validation set approach) y error por validación cruzada. Además, se mencionarán componentes importantes en los ajustes: el sesgo y la varianza. El segundo capítulo es donde se presentan los algoritmos centrales de la tesis. Empezando por los árboles de decisión, tanto en el caso de clasificación (cuando la variable a predecir escategórica) como en el de regresión (cuando pertenece a los números reales). Se hablará de su construcción y técnicas para controlar su tamaño, y se complementará con imágenes parailustrar la mecánica de los árboles. Aunque los árboles son altamente interpretables y con bajosesgo (es decir, el valor esperado de la estimación no es muy diferente al valor real), pueden ser muy inestables, afectando la predicción datos nuevos. Por ello, el capítulo continuará con la propuesta para tomar el bajo sesgo de los árboles y reducir su varianza: Random Forest, además de su antecesor bagging. Ambos se basan en boostrap, una herramienta de remuestreo poderosa, y se basan en una colección de árboles, cuyo promedio reduce dramáticamente la varianza.