Experimentos computacionales en un estudio de simulación de modelos de series temporales para una mejor comprensión de las herramientas Random Forest y Conditional Trees

A lo largo de este trabajo se estudiara la posibilidad de introducir los algoritmos de aprendizaje automatico, conocidos como random forest en el campo de la prediccion de series temporales. El objetivo no es solo probar la eficacia de dichos algoritmos para la prediccion puntual en regresion dinamica, sino tambien investigar su capacidad a la hora de determinar las propiedades de las series y su aplicabilidad a la hora de estimar intervalos de confianza para las predicciones. El desarrollo que ha vivido el campo del machine learning en los ultimos anos ha sido enorme. Los algoritmos que se engloban dentro del mismo han demostrado una gran habilidad en la resolucion de gran variedad de problemas de muy diferente tipologia gracias a su capacidad de adaptacion a los mismos. El principal atractivo de estos modelos radica en su naturaleza flexible, ya que no son disenados, en principio, para hallar la solucion de un problema concreto, sino que se disenan de tal manera que puedan aprender sobre la marcha en funcion de las caracteristicas del problema. De hecho es frecuente referirse a estos como modelos no parametricos, en el sentido de que no tienen una expresion cerrada que dependa de unos parametros que deban ajustarse para la resolucion de problemas concretos. Si bien es verdad que constan de ciertos parametros de diseno que pueden modificarse, estos unicamente guian el proceso de aprendizaje del algoritmo, sin restringir su aplicabilidad a un problema concreto. Esta cualidad los capacita para resolver problemas sobre los que se carece de suficiente informacion o bien son tan cambiantes que los modelos rigidos no obtienen resultados aceptables. Por esta razon, la busqueda de nuevos problemas que puedan ser abordados por estas tecnicas esta a la orden del dia y promete estarlo durante mucho tiempo. Mientras en otros ambitos de prediccion ya es frecuente la utilizacion de dichas tecnicas. La aplicacion de los algoritmos de random forest, los cuales estan basados en los algoritmos de arboles de decision, a la prediccion de series temporales, es una linea de investigacion que se encuentra muy poco desarrollada. Por esa razon, en este trabajo se pretende llevar a cabo una serie de experimentos computacionales que arrojen luz acerca de la aplicabilidad de los algoritmos de bosques es esta area. El estudio se realizara sobre dos algoritmos diferentes: los bosques basados en arboles de decision tipo CART (Classification and Regression Trees) y los bosques basados en los arboles de inferencia condicional (Conditional inference tres). El desarrollo del primero se debe a las investigaciones de Leo Breiman, el cual introdujo en 1984 el algoritmo CART, en los cuales se baso posteriormente la formulacion de Random forest. El nacimiento del segundo es mas reciente y se debio a la necesidad de afrontar problemas en los que las variables explicativas de los modelos eran muy diferentes o se encontraban muy correlacionadas. Este ultimo aspecto sera fundamental a lo largo de este trabajo, ya que por su propia naturaleza los elementos de una serie temporal tienen estas caracteristicas. Ambos algoritmos se basan en la creacion de un numero elevado de arboles de decision individuales cuya informacion es posteriormente agregada de varias maneras posibles. Puesto que se trata de un trabajo de investigacion acerca de los modelos mencionados anteriormente, mas alla de su aplicacion concreta a un caso particular, interesa adquirir un conocimiento general acerca del funcionamiento y las posibilidades de estos algoritmos. Por ese motivo, el documento incluye un capitulo dedicado a la comprension del funcionamiento de estos modelos. Se intentara estudiar el nivel de acierto a la hora de determinar el orden de las series utilizando modelos que no presuponen ninguna estructura particular de las mismas. Tras este apartado se comenzara la realizacion de los experimentos de prediccion, que constituyen el cuerpo de este trabajo. El objetivo es estudiar la dependencia de los algoritmos random forest con ciertos parametros de diseno. Dichos parametros rigen la forma en que los algoritmos desarrollan su labor de prediccion, siendo fundamental su ajuste para evitar ciertos problemas, principalmente el del sobreajuste. Como ocurre con todos los modelos, el objetivo no sera que el modelo se ajuste muy bien a los datos disponibles, sino que sera que el modelo sea capaz de predecir la respuesta correspondiente a valores de las variables explicativas para los cuales se carece de datos. Mediante la simulacion de experimentos que cubran los valores mas relevantes de los parametros de los modelos sera posible obtener informacion acerca de la influencia de los mismos sobre los resultados. Todos los resultados relativos a la prediccion en funcion de estos parametros se compararan con los resultados obtenidos con los modelos ARIMA, lo cual se hara en terminos del MAPE (Mean absolute percentage error) correspondiente. De manera paralela al analisis de las predicciones se realizara un estudio de la importancia de las variables en las series temporales. Por ultimo, se estudiara la posibilidad de estimar intervalos de confianza para las predicciones en uso, en este caso, unicamente de los random forest basados en CART. Este aspecto resulta de enorme utilidad ya que a menudo se hace necesario conocer no unicamente la prediccion puntual de una serie, sino el rango de valores probable de la misma. Existen multiples situaciones de la vida real, como puede ocurrir en las previsiones de demanda de bienes de todo tipo, en que la situacion requiere estar preparado para hacer frente a picos que pueden estar muy alejados de la media. Por ese motivo se ha decidido incluir esta seccion en la que se presenta un metodo novedoso para el calculo de los intervalos. Se empleara la tecnica del bootstrap para obtener anchuras de los intervalos fieles a la realidad. Sin embargo, al trabajar con series temporales, sera necesario recurrir a un caso particular de este metodo: el bootstrap de los residuos. El cual permite desestimar la estructura propia de la serie para centrarse en el analisis de la variabilidad de la misma. Se comparara a su vez este metodo con otros bootstraps realizados sobre las predicciones, tanto agregadas como individuales(de cada arbol),para comprobar su eficacia. Todo lo anterior permitira adquirir un conocimiento mas o menos amplio de las posibles aplicaciones de los algoritmos de random forest a problemas de muy diversa indole. Ademas abrira nuevas posibles lineas de investigacion que todavia no han sido exploradas debido a la relativa novedad de estos modelos.