Modelo Visión-Linguaxe (VLM)

Un **modelo visión-linguaxe**, tamén chamado **sistema multimodal de texto-visión** ou **VLM** (polas súas siglas en inglés, *Vision language model*), é un modelo que pode procesar texto e imaxes (ou vídeos), xa que no seu adestramento recibe unha entrada visual e o seu texto asociado. Poden realizar numerosas tarefas como pode ser describir unha imaxe ou responder preguntas sobre un vídeo.

## Definición 
Os modelos visión-linguaxe son modelos multimodais que no seu adestramento emprega unha entrada visual e o seu texto asociado. Son un subtipo de modelos xerativos que reciben unha entrada visual, como pode ser unha imaxe ou un vídeo, e unha entrada de texto, xerando unha saída de texto. Teñen boas capacidades de xeneralización e poden procesar moitos tipos de formatos de imaxes, ademais de documentos, páxinas web, etc. En xeral poden realizar moitos tipos de tarefas, como poden ser describir imaxes, responder preguntas sobre un vídeo, comprensión de documentos, etc. Algúns modelos tamén son capaces de capturar propiedades espaciais nunha imaxe ou indicar as coordenadas dun obxecto na imaxe. Estes modelos poden utilizar caixas delimitadoras (*bounding box*, do inglés) ou segmentación para indicar o obxecto que corresponde á saída proporcionada.

## Arquitectura 
Os modelos visión-linguaxe adoitan estar compostos por un codificador de linguaxe e outro de visión. O codificador de linguaxe captura o significado e as asociacións entre palabras e oracións, converténdoas en *embeddings* para poder usarse no modelo. En xeral, utilízase unha arquitectura de transformador. O codificador de visión extrae propiedades visuais da imaxe ou vídeo e convérteas tamén en *embeddings* para seren procesadas. Para este propósito adóitanse empregar redes neurais convolucionais ou a arquitectura dun transformador de visión.

Despois de pasar as entradas de texto e visual a *embeddings*, realízase unha fase de aliñación intermodal, que aliña as características visuais e textuais nun espazo compartido para poder relacionar as partes relevantes dunha imaxe co texto específico.

Por último, as características aliñadas fusiónanse para o seu procesamento. Existen tres tipos de fusión: a fusión tardía, a temperá e a de atención cruzada. Na fusión tardía as características visuais e textuais procésanse por separado e despois se combinan. Na fusión temperá as características fusiónanse ao principio e procésanse xuntas. Na fusión de atención cruzada as características compleméntanse durante o procesamento.
*Enmascaramento: adéstrase ao VLM para reconstruír elementos que faltan na entrada dada. Adóitase empregar para que constrúa o texto enmascarado a partir da imaxe dada.
*Adestramento xerativo: adéstrase ao modelo para xerar imaxes ou textos longos. Son os que teñen un maior tempo de adestramento.
*Modelos preadestrados: neste tipo de aprendizaxe cóllese un modelo de linguaxe e un modelo de visión adestrados e o VLM aprende a relacionar imaxes con textos, mais non ten que aprender a crear ou entender as imaxes e textos.

## Limitacións 
Os VLM teñen moitas das limitacións que arrastran os modelos de aprendizaxe automática. En primeiro lugar, sempre terán un nesgo de datos, pois proporcionarán respostas relacionadas cos datos de adestramento. Isto deriva nas alucinacións do modelo, é dicir, cando o modelo proporciona resultados que non teñen que ver coa realidade. Porén, este nesgo pódese evitar publicando cales foron os datos de adestramento do modelo, e limitando o uso do modelo para os ámbitos nos que realmente obtén bos resultados.

Relacionado co anterior sae á luz o problema da xeneralización, é dicir, ao modelo vaille custar obter resultados cuxa entrada é moi distinta aos datos de adestramento. Isto limita o seu rendemento nas aplicacións do mundo real, onde a entrada pode variar. De novo, un adestramento cun conxunto de datos máis amplo ou variado pode solucionar este problema. A dificultade aquí radica na obtención deses datos, xa que non hai sempre datos accesibles ou suficientes.

En terceiro lugar, aparece o problema da interpretabilidade, pois é complicado saber como o VLM chegou á decisión tomada, xa que se trata dun modelo de caixa negra.

Por último, a escalabilidade é un problema esencial. Os VLM, ao igual que moitos modelos de aprendizaxe automática teñen moitos parámetros e no adestramento realizan numerosas iteracións. Deste xeito, para facer modelos máis grandes precísanse recursos computacionais maiores, o que fai que estes modelos sexan máis custosos, máis prexudiciais para o medio ambiente e menos accesibles para o público xeral.

Existen páxinas para comparar modelos en función de distintas características. Isto pode ser útil para que o usuario seleccione o modelo que mellor se adapta ao seu caso.

### *Benchmarks* 
Moitos dos resultados das comparativas ás que nos anteriormente obtivéronse mediante *benchmarks*, cada un dos cales compara diferentes características. Cada *benchmark* ten a súa clasificación, aínda que hai algunhas comparativas que son independentes e non teñen *benchmarks* asociados. Algúns dos *benchmarks* máis utilizados para VLM son o MMMU, o MM-Vet, o OCRBench e o VQA.

## Aplicacións 
Os VLM teñen numerosas aplicacións, xa que non só poden traballar con imaxes, senón tamén con vídeos. A continuación cítanse algunhas das tarefas máis comúns para as que se utilizan VLM.
*Etiquetar ou describir imaxes.
*Identificar o texto escrito nunha imaxe.
*Buscar imaxes nunha base de datos en función dun texto de entrada.
*Segmentación de imaxes segundo unha entrada en linguaxe natural.
*Creación de caixas delimitadoras en obxectos descritos con linguaxe natural.
*Xeración de imaxes dado un texto de entrada.
*Detección de obxectos dada unha descrición.
*Resposta a preguntas sobre unha entrada visual (imaxe ou vídeo).

### Accesibilidade 
Os VLM permiten facer Internet máis accesible, por exemplo, describindo imaxes para que as persoas cunha diversidade funcional que lles impida comprendelas poidan entender o que hai nelas. Ademais, poderíase adestrar un VLM para recoñecer a lingua de signos e pasala a texto, o que axudaría a reducir a fenda dixital para as persoas xordas.

## Notas 
## Véxase tamén 
### Outros artigos 
*Transformador (modelo de aprendizaxe automática)
*Transformador de visión
*Modelo de texto a imaxe
*Procesamento da linguaxe natural
*Modelo de linguaxe a grande escala