[ca] En el context de l'aprenentatge profund, la robustesa es refereix a la capacitat d'un model per mantenir el seu rendiment quan s'enfronta a diverses formes de pertorbacions. Aquestes pertorbacions podrien ser en forma de soroll d'entrada, atacs adversaris o canvis en la distribució de dades. Per tant, un model robust és aquell que pot generalitzar de manera efectiva des de les seves dades d'entrenament a dades no vistes, mantenir el seu rendiment en diferents condicions de funcionament i resistir la manipulació per part d'entrades adversàries. La millora dels casos extrems, com ara la detecció d'objectes petits a les imatges, contribueix a la robustesa millorant la capacitat del model per gestionar una gamma més àmplia d'escenaris. En aplicacions del món real, els objectes d'interès poden variar significativament en mida i sovint poden ser petits en relació a la mida de la imatge. En millorar el rendiment del model en aquests casos de vora, ens assegurem que el rendiment del model no depèn massa de la mida dels objectes, millorant així la seva robustesa. El rendiment fora de la distribució és un altre aspecte crític de la robustesa. A les aplicacions del món real, les dades que troba un model poden no seguir sempre la mateixa distribució que les dades d'entrenament. Millorar el rendiment fora de la distribució d'un model garanteix que pugui mantenir el seu rendiment fins i tot davant d'aquestes dades, millorant així la seva robustesa. L'explicabilitat en els models d'aprenentatge profund és un factor crucial en la robustesa. Tot i que els models d'aprenentatge profund sovint es consideren "caixes negres" a causa de les seves arquitectures complexes i en capes, els esforços per millorar la seva explicabilitat poden conduir a models més robusts. En entendre com un model pren les seves decisions, podem identificar possibles debilitats o biaixos del model i abordar-los, millorant així la seva robustesa. Finalment, la creació de models de fonamentació també pot contribuir a la robustesa. Els models de fundació són models a gran escala entrenats en dades diverses, destinats a servir com a punt de partida per a models més específics. Començant amb un model bàsic, podem aprofitar les àmplies capacitats de generalització que aquests models han après. Això pot ajudar a crear models més robusts, ja que el model de base ja ha après a gestionar una àmplia gamma de variacions de dades. En aquesta tesi s'aprofundeix en cadascuna d'aquestes àrees, explorant els reptes i oportunitats que presenten, i proposant noves solucions per millorar la robustesa dels models de visió per computador. A través de les nostres investigacions, pretenem superar els límits del que es pot aconseguir actualment en visió per ordinador, obrint el camí per a aplicacions més fiables i robustes en el futur.

[es] En el contexto del aprendizaje profundo, la robustez se refiere a la capacidad de un modelo para mantener su rendimiento cuando se enfrenta a diversas formas de perturbaciones. Estas perturbaciones pueden tener la forma de ruido de entrada, ataques de adversarios o cambios en la distribución de datos. Un modelo robusto, por lo tanto, es aquel que puede generalizar efectivamente desde sus datos de entrenamiento a datos no vistos, mantener su desempeño bajo diferentes condiciones operativas y resistir la manipulación por parte de los adversarios. Mejorar los casos límite, como la detección de objetos pequeños en las imágenes, contribuye a la solidez al mejorar la capacidad del modelo para manejar una gama más amplia de escenarios. En las aplicaciones del mundo real, los objetos de interés pueden variar significativamente en tamaño y, a menudo, pueden ser pequeños en relación con el tamaño de la imagen. Al mejorar el rendimiento del modelo en estos casos extremos, nos aseguramos de que el rendimiento del modelo no dependa demasiado del tamaño de los objetos, mejorando así su solidez. El rendimiento fuera de distribución es otro aspecto crítico de la robustez. En las aplicaciones del mundo real, es posible que los datos que encuentra un modelo no siempre sigan la misma distribución que los datos de entrenamiento. Mejorar el rendimiento fuera de distribución de un modelo garantiza que pueda mantener su rendimiento incluso cuando se enfrenta a dichos datos, lo que mejora su solidez. La explicabilidad en los modelos de aprendizaje profundo es un factor crucial en la robustez. Si bien los modelos de aprendizaje profundo a menudo se ven como "cajas negras" debido a sus arquitecturas complejas y en capas, los esfuerzos para mejorar su explicabilidad pueden conducir a modelos más sólidos. Al comprender cómo un modelo toma sus decisiones, podemos identificar posibles debilidades o sesgos en el modelo y abordarlos, mejorando así su solidez. Finalmente, la creación de modelos de base también puede contribuir a la solidez. Los modelos básicos son modelos a gran escala entrenados en diversos datos, destinados a servir como punto de partida para modelos más específicos. Al comenzar con un modelo básico, podemos aprovechar las amplias capacidades de generalización que han aprendido estos modelos. Esto puede ayudar a crear modelos más sólidos, ya que el modelo base ya ha aprendido a manejar una amplia gama de variaciones de datos. En esta disertación, profundizamos en cada una de estas áreas, explorando los desafíos y oportunidades que presentan, y proponiendo soluciones novedosas para mejorar la solidez de los modelos de visión artificial. A través de nuestras investigaciones, nuestro objetivo es ampliar los límites de lo que se puede lograr actualmente en la visión por computadora, allanando el camino para aplicaciones más confiables y sólidas en el futuro.