[en] Though they achieve great success, deep neural networks typically require a huge amount of labeled data for training. However, collecting labeled data is often laborious and expensive. It would, therefore, be ideal if the knowledge obtained from label-rich datasets could be transferred to unlabeled data. However, deep networks are weak at generalizing to unseen domains, even when the differences are only subtle between the datasets. In real-world situations, a typical factor impairing the model generalization ability is the distribution shift between data from different domains, which is a long-standing problem usually termed as (unsupervised) domain adaptation. A crucial requirement in the methodology of these domain adaptation methods is that they require access to source domain data during the adaptation process to the target domain. Accessibility to the source data of a trained source model is often impossible in real-world applications, for example, when deploying domain adaptation algorithms on mobile devices where the computational capacity is limited or in situations where data privacy rules limit access to the source domain data. Without access to the source domain data, existing methods suffer from inferior performance. Thus, in this thesis, we investigate domain adaptation without source data (termed as source-free domain adaptation) in multiple different scenarios that focus on image classification tasks. We first study the source-free domain adaptation problem in a closed-set setting, where the label space of different domains is identical. Only accessing the pretrained source model, we propose to address source-free domain adaptation from the perspective of unsupervised clustering. We achieve this based on nearest neighborhood clustering. In this way, we can transfer the challenging source-free domain adaptation task to a type of clustering problem. The final optimization objective is an upper bound containing only two simple terms, which can be explained as discriminability and diversity. We show that this allows us to relate several other methods in domain adaptation, unsupervised clustering and contrastive learning via the perspective of discriminability and diversity. Following the source-free domain adaptation setting, we also investigate the catastrophic forgetting issue after adaptation, where the adapted model should keep good performance on the source or all trained domains. To address the forgetting issue, we propose to use randomly generated domain attention masks to regularize the model updating during adaptation. This succeeds to keep the knowledge on old domains while not influence adaptation to new target domains. In real-world applications, there could be some unseen categories in the target data; without extra processing, the model cannot handle these open classes. To prepare the method to generalize to target environments where there may exist unseen categories, we propose an elegant and simple solution by inserting an additional dimension into the classifier head. Together with an additional cross-entropy loss during source pretraining, the model is empowered with strong open-set recognition performance, which could be directly used for target adaptation and excels at distinguishing open classes during adaptation.

[es] Aunque las redes neuronales profundas logran un gran éxito, suelen requerir una enorme cantidad de datos etiquetados para su entrenamiento. Sin embargo, la recopilación de datos etiquetados a menudo es laboriosa y costosa. Sería ideal si el conocimiento obtenido de conjuntos de datos ricos en etiquetas pudiera transferirse a datos no etiquetados. Sin embargo, las redes profundas son débiles para generalizarse a dominios no vistos, incluso cuando las diferencias entre los conjuntos de datos sean sutiles. En situaciones reales, un factor típico que afecta a la capacidad de generalización del modelo es el cambio de distribución entre los datos de diferentes dominios, lo que es un problema de larga data generalmente denominado adaptación de dominio (no supervisada). Un requisito crucial en la metodología de estos métodos de adaptación de dominio es que requieren acceso a los datos del dominio fuente durante el proceso de adaptación al dominio objetivo. El acceso a los datos fuente de un modelo fuente entrenado a menudo es imposible en aplicaciones del mundo real, por ejemplo, al implementar algoritmos de adaptación de dominio en dispositivos móviles donde la capacidad computacional es limitada o en situaciones donde las reglas de privacidad de los datos limitan el acceso a los datos del dominio fuente. Sin acceso a los datos del dominio fuente, los métodos existentes sufren un rendimiento inferior. Por lo tanto, en esta tesis, investigamos la adaptación de dominio sin datos fuente (denominada como adaptación de dominio sin fuente) en múltiples escenarios diferentes que se centran en tareas de clasificación de imágenes. Primero estudiamos el problema de adaptación de dominio sin fuente en un entorno de conjunto cerrado, donde el espacio de etiquetas de diferentes dominios es idéntico. Solo accediendo al modelo fuente pre-entrenado, proponemos abordar la adaptación de dominio sin fuente desde la perspectiva de la agrupación no supervisada. Lo logramos basándonos en la agrupación de vecinos más cercanos. De esta manera, podemos transferir la desafiante tarea de adaptación de dominio sin fuente a un tipo de problema de agrupamiento. El objetivo de optimización final es una cota superior que contiene solo dos términos simples, que pueden explicarse como discriminabilidad y diversidad. Mostramos que esto nos permite relacionar varios otros métodos en la adaptación de dominio, la agrupación no supervisada y el aprendizaje contrastivo a través de la perspectiva de discriminabilidad y diversidad. Siguiendo la configuración de adaptación de dominio sin fuente, también investigamos el problema de olvido catastrófico después de la adaptación, donde el modelo adaptado debe mantener un buen rendimiento en el dominio fuente o en todos los dominios entrenados. Para abordar el problema de olvido, proponemos utilizar máscaras de atención de dominio generadas al azar para regularizar la actualización del modelo durante la adaptación. Esto logra mantener el conocimiento de los dominios antiguos sin influir en la adaptación a los nuevos dominios objetivo. En aplicaciones del mundo real, puede haber algunas categorías no vistas en los datos objetivo; sin un procesamiento adicional, el modelo no puede manejar estas clases abiertas. Para preparar el método para generalizarse a entornos objetivo donde puedan existir categorías no vistas, proponemos una solución elegante y simple mediante la inserción de una dimensión adicional en la cabeza del clasificador. Junto con una pérdida adicional de entropía cruzada durante el preentrenamiento de origen, el modelo está capacitado con un fuerte desempeño de reconocimiento de conjunto abierto, que se puede utilizar directamente para la adaptación del objetivo y sobresale en la distinción de clases abiertas durante la adaptación.