[ca] La percepció i comprensió del món que ens envolta, representen objectius a llarg termini de la Intel·ligència Artificial (IA). En els darrers anys, els avenços en el camp de l'Aprenentatge Automàtic (AA), específicament en Aprenentatge Profund (AP), han portat al desenvolupament de models molt potents basats en Xarxes Neuronals Profundes, capaces d'interpretar dades multi-dimensionals, donant lloc fins i tot a un major rendiment en tasques relacionades amb la percepció. Les Xarxes Neuronals Porfundes dissenyades sota un esquema d'aprenentatge supervisat, com les Xarxes Neuronals Convolucionals, i les Xarxes Neuronals Recurrents de Memòria de Curt i Llarg Termini (XNR-MCLT), contribueixen en gran part a l'estat de l'art en reconeixement d'imatges i en el processament de seqüències llargues de dades, respectivament. Això es deu al fet que les Xarxes Neuronals Convolucionals sobresurten en la modelització de dades amb estructura espacial, mentre que les XNR-MCLT destaquen en la modelització de dades amb estructura temporal. Tots dos tipus de xarxes neuronals representen els blocs de construcció per modelitzar l'estructura espai-temporal de dades, com les seqüències de vídeo. No obstant això, aquests models no han sigut explotats en l'àmbit mèdic, on normalment es disposa d'imatges i seqüències de vídeo, com és normal en cirurgia mínima invasiva. Així mateix, gran part de la investigació que es realitza s'orienta al disseny d'Xarxes Neuronals Profundes com classificadors (és a dir, el resultat és una categoria discreta) en lloc de regressors (és a dir, el resultat és un conjunt de valors reals continus). Recentment, en el context de l'aprenentatge no-supervisat, les Xarxes Adversàries Generatives, han guanyat popularitat com una poderosa tècnica per dissenyar models generatius. Aquestes xarxes consten de dos models, una xarxa neuronal generadora (G) i una xarxa neuronal discriminant (D), cadascuna amb un objectiu diferent. Les mostres produïdes per G tenen una distribució PG, mentre que les que provenen de dades de reals tenen una distribució PDATA. La tasca de D és classificar com a veritables i falses les mostres de dades reals i les que produïdes per G, respectivament. D'altra banda, l'objectiu de G és "enganyar" a D, en aprendre a generar mostres que s'assemblen a les dades reals. A mesura que el procés d'optimització evoluciona, G aprèn la distribució de les dades reals, PDATA. Aquesta tècnica és flexible i es pot aplicar a diferents arquitectures de xarxes neuronals, per exemple en el disseny d'Auto-Codificadors de Convolució, resultant en una millor qualitat de reconstrucció d'imatges. En aquesta dissertació, es descriu un model de regressió basat en Xarxes Neuronals Profundes, amb aplicacions en el context de la Cirurgia Robòtica Mínima Invasiva. En primer lloc, aquest model es desenvolupa sota un esquema d'aprenentatge supervisat. Posteriorment, s'estén a un enfocament d'aprenentatge semi-supervisat fent servir un Auto Codificador de Convolució i aprofitant els avantatges del model definit per les Xarxes Adversàries Generatives. El model de regressió està dissenyat per aprendre la complexa relació entre seqüències de vídeo (com a dades d'entrada) i l'evolució de variables contínues al llarg del temps (com dades de sortida). L'objectiu d'aquesta investigació és realitzar la Substitució Sensorial per Visió. Per tant, la Xarxa Neuronal Profunda representa un "sensor virtual" que estima l'evolució de les variables físiques al llarg del temps. Les aplicacions d'interès són aquelles en les que l'únic sensor disponible consisteix en un sistema de visió (per exemple una càmera monocular o estèreo), mentre que altres sensors i dispositius electrònics estan restringits. En el context de la cirurgia robotitzada, els sistemes robòtics dissenyats amb capacitat de realimentació de forces representen una gran ajuda, proporcionant al cirurgià informació essencial per a un millor rendiment. Específicament, l'estimació de les forces d'interacció entre els instruments quirúrgics i els materials biològics, com els teixits tous, és un tema central que s'investiga en aquesta dissertació. En els escenaris de cirurgia robotitzada, l'únic sensor disponible és la càmera (és a dir, l'endoscopi monocular o estèreo), que proporciona dades fàcils d'adquirir (és a dir, seqüències de vídeo), però la seva interpretació és un complexa. Així doncs, en aquest treball doctoral es descriu una Xarxa Neuronal Profunda com un model de regressió que implementa el concepte d'Estimació de Força Sense-Sensor, sota un enfocament basat en visió. En aquest enfocament, les forces d'interacció s'estimen a partir de seqüències de vídeo (com senyals continus variables en el temps), en lloc de dependre de la mesura d'un sensor en contacte directe amb materials biològics (és a dir, teixit tou). La Xarxa Neuronal Profunda descrita per a aquesta aplicació està dissenyada en un esquema d'aprenentatge supervisat i, posteriorment, s'estén a un semi-supervisat monocular. El model de regressió dissenyat per aquesta estimació de força és prou genèric com per usar-se en altres dominis amb una formulació matemàtica equivalent. Per tant, també s'ha estudiat i avaluat en l'aplicació del seguiment d'instruments quirúrgics. Específicament, en l'estimació de la posició i la velocitat de la punta de l'eina (en l'espai 3D) a partir de seqüències de vídeo. Aquesta informació és útil en tasques relacionades amb la classificació de gestos quirúrgics. El model de regressió utilitzat en aquesta aplicació es descriu en un entorn d'aprenentatge supervisat. L'objectiu d'aquesta dissertació és presentar les Xarxes Neuronals Profundes com a models de regressió en el context de la cirurgia robotitzada, sent l'aplicació principal la Substitució Sensorial per Visió. Aquest enfocament ha estat estudiat en dos problemes matemàticament equivalents (descrits anteriorment): (i) Estimació de forces basat en la visió i (ii) seguiment d'instruments quirúrgics. A més, els resultats d'aquesta investigació suggereixen que el model de regressió és genèric i prou robust per ser utilitzat en les dues aplicacions. Axí doncs, aquest model es pot fer servir per abordar problemes en què es requereix l'estimació de senyals continus variables en el temps a partir de seqüències de vídeo.

[es] La percepción y comprensión del mundo que nos rodea, representan objetivos a largo término de la Inteligencia Artificial (IA). En años recientes, los avances en el campo del Aprendizaje Automático (AA), específicamente en Aprendizaje Profundo (AP), han llevado al desarrollo de poderosos modelos basados en Redes Neuronales Profundas, capaces de interpretar datos multi-dimensionales, dando lugar hacia un mayor rendimiento en tareas relacionadas con la percepción. Las Redes Neuronales Profundas diseñadas bajo un esquema de aprendizaje supervisado, como las Redes Neuronales Convolucionales, y las Redes Neuronales Recurrentes de Memoria de Corto y Largo Plazo (RNR-MCLP), contribuyen grandemente al estado del arte en reconocimiento de imágenes y en el procesamiento de largas secuencias de datos, respetivamente. Esto es debido a que las Redes Neuronales Convolucionales sobresalen en el modelado de datos con estructura espacial, mientras que las RNR-MCLP destacan en el modelado de datos con estructura temporal. Ambos tipos de redes neuronales representan los bloques de construcción para modelar la estructura espacio-temporal de datos, como las secuencias de video. No obstante, estos modelos no han sido explotados en el ámbito médico, donde normalmente se dispone de imágenes y secuencias de video, como es el caso de cirugía mínima invasiva. Además de esto, la mayor parte de la investigación que se realiza se orienta hacia el diseño de Redes Neuronales Profundas como clasificadores (es decir, el resultado es una categoría discreta) en lugar de regresores (es decir, el resultado es un conjunto de valores reales continuos). Recientemente, en el contexto del aprendizaje no-supervisado, las Redes de Adversarias Generativas, han ganado popularidad como una poderosa técnica para diseñar modelos generativos. Estas redes neuronales constan de dos modelos, una red neuronal generadora (G) y una red neuronal discriminante (D), cada una con un objetivo diferente. Las muestras producidas por G tienen una distribución PG, mientras que las que provienen de datos de reales tienen una distribución PDATA. La tarea de D es clasificar como verdaderas y falsas las muestras de datos reales y las que producidas por G, respectivamente. Por otro lado, el objetivo de G es "engañar" a D, al aprender a generar muestras que se asemejan a los datos reales. A medida que el proceso de optimización evoluciona, G aprende la distribución de los datos reales, PDATA. Esta técnica es flexible y se puede aplicar a diferentes arquitecturas de redes neuronales, por ejemplo en el diseño de Auto-Codificadores de Convolución, resultando en una mejor calidad en reconstrucción de imágenes. En esta disertación, se describe un modelo de regresión basado en Redes Neuronales Profundas, con aplicaciones en el contexto de la Cirugía Robótica Mínima Invasiva. En primer lugar, este modelo se desarrolla bajo un esquema de aprendizaje supervisado. Posteriormente, se extiende a un enfoque de aprendizaje semi-supervisado utilizando un Auto-Codificador de Convolución y aprovechando las ventajas del modelo definido por las Redes de Adversarias Generativas. El modelo de regresión está diseñado para aprender la compleja relación entre secuencias de video (como datos de entrada) y la evolución de variables continuas a lo largo del tiempo (como datos de salida). El objetivo de esta investigación es realizar la Sustitución Sensorial por Visión. Por tanto, la Red Neuronal Profunda representa un "sensor virtual" que estima la evolución de las variables físicas a lo largo del tiempo. Las aplicaciones de interés son aquellas en las que el único sensor disponible consiste en un sistema de visión (por ejemplo una cámara monocular o estéreo), mientras que otros sensores y dispositivos electrónicos están restringidos. En el contexto de la cirugía robotizada, sistemas robóticos diseñados con capacidad de realimentación de fuerzas representan una gran ayuda, proporcionando al cirujano información esencial para un mejor rendimiento. Específicamente, la estimación de las fuerzas de interacción entre los instrumentos quirúrgicos y los materiales biológicos, como los tejidos blandos, es un tema central que se investiga en esta disertación. En los escenarios de cirugía robotizada, el único sensor disponible es la cámara (es decir, el endoscopio monocular o estéreo), que proporciona datos fáciles de adquirir (es decir, secuencias de video), pero su interpretación es un compleja. Por lo tanto, en el presente trabajo doctoral se describe una Red Neuronal Profunda como un modelo de regresión que implementa el concepto de Estimación de Fuerza Sin-Sensor, bajo un enfoque basado en visión. En dicho enfoque, las fuerzas de interacción se estiman a partir de secuencias de video (como señales continuas variables en el tiempo), en lugar de depender de la medición de un sensor en contacto directo con materiales biológicos (es decir, tejido blando). La Red Neuronal Profunda descrita para esta aplicación está diseñada en una esquema de aprendizaje supervisado y, posteriormente, se extiende a uno semi-supervisado. El modelo de regresión diseñado para la estimación de fuerza es lo suficientemente genérico como para usarse en otros dominios con una formulación matemática equivalente. Por lo tanto, también se ha estudiado y evaluado en la aplicación del seguimiento de instrumentos quirúrgicos. Específicamente, en la estimación de la posición y la velocidad de la punta de la herramienta (en el espacio 3D) a partir de secuencias de video monoculares. Tal información es útil en tareas relacionadas con la clasificación de gestos quirúrgicos. El modelo de regresión utilizado en esta aplicación se describe en un entorno de aprendizaje supervisado. El objetivo de esta disertación es presentar Redes Neuronales Profundas como modelos de regresión en el contexto de cirugía robotizada, siendo la aplicación principal Susbtitución Sensorial por Visión. Este enfoque ha sido estudiado en dos problemas matemáticamente equivalentes (descritos anteriormente): (i) Estimación de fuerzas basado en la visión y (ii) seguimiento de instrumentos quirúrgicos. Además, los resultados de esta investigación sugieren que el modelo de regresión es genérico y lo suficientemente robusto para ser utilizado en ambas aplicaciones. Por lo tanto, este modelo se puede usar para abordar problemas en los que se requiere la estimación de señales continuas variables en el tiempo a partir de secuencias de video