[ca] L'ús de l'aprenentatge profund ha crescut en popularitat els darrers anys en molts camps d'aplicació com el de la visió per computador i el processament del llenguatge natural. Actualment, la majoria de les tasques en aquests camps es resolen de manera més eficaç mitjançant l'aprenentatge profund que amb tècniques clàssiques, sempre que hi hagi prou dades disponibles. No obstant això, els algorismes d'aprenentatge profund manquen encara d'una propietat crucial, no són capaços d'acumular eficaçment nous coneixements en un model existent. En lloc d'això, quan aprenen amb noves dades sense revisar les dades passades, experimenten un oblit catastròfic. Aquesta propietat és el principal focus dels subcamps de l'Aprenentatge Continu. L'absència d'aquesta propietat porta a diverses conseqüències pràctiques. Entre elles, la naturalesa computacionalment cara dels algorismes d'aprenentatge que revisiten totes les dades vistes anteriorment, el que comporta un cost energètic no negligible, i els problemes de privadesa relacionats amb la necessitat d'emmagatzemar dades antigues per a un entrenament posterior. En aquesta tesi, investiguem l'impacte de l'aprenentatge continu en el rendiment de les xarxes neuronals, en especial, per a tasques de classificació en visió per ordinador. Investiguem les causes de l'oblit catastròfic dins de diversos escenaris comuns d'aprenentatge continu. Estudiem l'entorn d'aprenentatge continu on les dades associades a conjunts diferents de classes arriben incrementalment. En aquest context, investiguem com la dificultat d'aprendre característiques entre tasques explica la pèrdua de rendiment. Part de la tesi està dedicada a l'entorn més complex de l'aprenentatge continu en línia, i al problema de la pèrdua d'estabilitat. Investiguem l'impacte de l'agrupament temporal en la pèrdua d'estabilitat i observem que podem reduir-lo dràsticament aplicant un mètode d'assemblatge durant l'avaluació, sense influir en el procés d'entrenament. A més, realitzem una revisió dels mètodes d'aprenentatge continu en línia i concloem que podrien estar més afectats per un problema de subajust que pel procediment d'entrenament no iid. Finalment, ens centrem en models més grans que han tingut una primera experiència d'aprenentatge sòlida, i estudiem l'impacte de l'aprenentatge continu en experiències més petites utilitzant actualitzacions de paràmetres de baix rang.

[es] El uso del aprendizaje profundo se ha vuelto muy popular en los últimos años en muchos campos de aplicación como la visión por computador o el procesamiento del lenguaje natural. La mayoría de las tareas en estos campos se resuelven de manera más eficiente usando estas técnicas en comparación con métodos clásicos, siempre y cuando haya suficientes datos disponibles. Sin embargo, los algoritmos de aprendizaje profundo carecen de una propiedad crucial: no son capaces de acumular conocimiento de manera eficiente sobre un modelo existente. En lugar de eso, cuando estos métodos aprenden con nuevos datos sin revisitar los previos, sufren de olvido catastrófico. Esta propiedad es el objeto principal de estudio del campo del aprendizaje continuo. La ausencia de esta propiedad conlleva varias consecuencias a la práctica. Entre ellas, el aumento de complejidad de cálculo por la necesidad de incorporar datos prévios para aprender con nuevos datos, lo que conlleva un costo energético importante, o la falta de privacidad por tener que guardar datos antiguos. En esta tesis, investigamos el impacto del aprendizaje continuo en el rendimiento de las redes neuronales, más específicamente en tareas de clasificación usando visión por computador. Investigamos las causas del olvido catastrófico dentro de varios escenarios comúnmente estudiados en el aprendizaje continuo. Analizamos el entorno de aprendizaje continuo donde los datos asociados a conjuntos de distintas clases llegan incrementalmente. En este contexto, investigamos cómo la dificultad para aprender características entre tareas afecta la pérdida de rendimiento. Parte de la tesis se dedica al entorno más complejo del aprendizaje continuo en línea y al problema de la brecha de estabilidad. Estudiamos el impacto de los conjuntos temporales de modelos en la brecha de estabilidad y observamos que, durante la evaluación, podemos reducirla drásticamente aplicando un método de ensamblado de modelos, sin influir en el proceso de entrenamiento. Además, realizamos una revisión de métodos de aprendizaje continuo en línea y concluimos que pueden verse más afectados por un problema de subajuste que por el procedimiento de entrenamiento con un flujo de datos no independiente e idénticamente distribuido (i.i.d). Finalmente, nos centramos en modelos más grandes que han tenido una experiencia de aprendizaje inicial sólida, y estudiamos el impacto del aprendizaje continuo en experiencias más pequeñas al usar actualizaciones de parámetros de bajo rango.