[ca] Els avenços de la darrera dècada en l'aprenentatge profund han suposat un gran salt en els resultats d'última generació pel que fa a tasques com la classificació d'imatges, la traducció d'idiomes i moltes altres. Tanmateix, amb aquest èxit, hi ha hagut un augment relacionat en la complexitat i la mida del model, que ha incrementat els requisits de maquinari tant per a la formació com per a la inferència (tant generalment com inicialment limitats a les GPU). A més, les capacitats del maquinari (rendiment OPS, memòria, rendiment, latència, energia) han suposat una limitació inicial per desplegar aplicacions en plataformes i aplicacions amb recursos limitats, com ara plataformes mòbils o incrustades. Hi ha hagut moltes iniciatives per reduir el temps de formació i els costos energètics, i millorar l'eficiència de les dades durant la fase de desenvolupament. Igualment, també hi ha hagut una investigació profunda per optimitzar els models d'aprenentatge profund amb un enfocament en la inferència i el desplegament: disminució de la complexitat del model, la mida, la latència i el consum de memòria. En aquesta direcció, hi ha cinc mètodes d'optimització que han destacat: poda, quantificació, cerca d'arquitectura neuronal, operacions eficients i destil·lació. Paral·lelament, per tal de permetre el desplegament d'inferència en plataformes de maquinari especialitzades, han aparegut nous frameworks (com ara CMSIS-NN o uTensor per a MCUS, i TF Lite per a plataformes mòbils). Aquests marcs inclouen diverses característiques per al desplegament de models, però el més important, el punt crucial és si admeten les operacions i optimitzacions específiques del model, assegurant el desplegament final de l'aplicació. Tot plegat, des dels procediments d'optimització fins als marcs de conversió i desplegament, el procediment per desenvolupar models eficients basats en NN i desplegar-los en maquinari restringit ha millorat sens dubte, encara que amb algunes limitacions. En aquest sentit, aquesta tesi s'emmarca en aquestes millores i limitacions: en primer lloc, amb el desenvolupament i millora de tècniques d'optimització de NN, i en segon lloc, amb l'ús i desenvolupament de programari per portar els models optimitzats. Tot amb un focus especial en tres casos industrials i pràctics que són els principals motors dels desenvolupaments: la interacció home-màquina d'automoció, ITM en dispositius mòbils i guia broncoscòpia. En el primer cas, mostrem el desplegament i l'optimització de RNN a les MCU, així com l'ús i la millora de l'optimització bayesiana i els mètodes NAS per oferir xarxes mínimes però de bon rendiment. En conjunt, oferim un marc per convertir i desplegar xarxes automàticament en MCU basades en Cortex-M. En el segon entorn, utilitzem operacions de quantificació i eficients per portar una xarxa ITM als dispositius mòbils per a una inferència eficient, proporcionant millores en la latència fins a 100 vegades amb només una pèrdua de precisió del 3%. Finalment, desenvolupem una xarxa de guia de broncoscòpia eficient amb poda estructurada i operacions eficients, que proporciona una reducció de x4 de mida NN i una millora del ~14% en la precisió per a la localització de la posició.

[es] Los avances de la última década en el aprendizaje profundo han supuesto un gran salto en los resultados del estado del arte en tareas como la clasificación de imágenes, la traducción de idiomas y muchas otras. Sin embargo, con tal éxito, ha habido un aumento en la complejidad y el tamaño de los modelos, lo que ha incrementado los requisitos de hardware tanto para el entrenamiento como para la inferencia. Además, las capacidades del hardware (rendimiento OPS, memoria, rendimiento, latencia, energía) han supuesto una limitación inicial para implementar aplicaciones en plataformas y aplicaciones con recursos limitados, como plataformas móviles o integradas. Ha habido muchas iniciativas para reducir el tiempo de capacitación y los costos de energía, y mejorar la eficiencia de los datos durante la fase de desarrollo. Del mismo modo, también ha habido una investigación profunda para optimizar los modelos de aprendizaje profundo con un enfoque en la inferencia y el despliegue: la disminución de la complejidad, el tamaño, la latencia y el consumo de memoria del modelo. En esa dirección, se han destacado cinco métodos de optimización: poda, cuantización, búsqueda de arquitectura neuronal, operaciones eficientes y destilación. Paralelamente, con el fin de permitir el despliegue de la inferencia en plataformas de hardware especializadas, han aparecido nuevos marcos (como CMSIS-NN o uTensor para MCUS y TF Lite para plataformas móviles). Esos marcos incluyen varias características para la implementación de modelos, pero lo más importante es que el punto crucial es si admiten las operaciones y optimizaciones específicas del modelo, lo que garantiza la implementación final de la aplicación. En general, desde los procedimientos de optimización hasta los marcos de conversión e implementación, el procedimiento para desarrollar modelos eficientes basados en NN e implementarlos en hardware restringido sin duda ha mejorado, aunque todavía con algunas limitaciones. En tal sentido, esta tesis se enmarca en dichas mejoras y limitaciones: primero, con el desarrollo y mejora de técnicas de optimización de NN, y segundo, con el uso y desarrollo de software para portar los modelos optimizados. Todo ello con especial foco en tres casos industriales y prácticos que son los principales impulsores de los desarrollos: interacción hombre-máquina en automoción, ITM en dispositivos móviles y guía broncoscópica. En el primer caso, mostramos la implementación y optimización de RNN en MCU, así como el uso y la mejora de la optimización bayesiana y los métodos NAS para ofrecer redes mínimas pero de buen rendimiento. En total, ofrecemos un marco para convertir e implementar automáticamente redes en MCU basadas en Cortex-M. En el segundo entorno, empleamos la cuantificación y operaciones eficientes para llevar una red ITM a dispositivos móviles para una inferencia eficiente, proporcionando mejoras en la latencia de hasta 100x con solo una pérdida de precisión del 3 %. Finalmente, desarrollamos una red de guía de broncoscopia eficiente con poda estructurada y operaciones eficientes, que proporciona una reducción de x4 del tamaño de NN y una mejora de ~ 14% en la precisión para la localización de la posición.