# Incrustació de frases

En el processament del llenguatge natural, una incrustació de frases és una representació d'una frase com un vector de nombres que codifica informació semàntica significativa.
Les incrustacions d'última generació es basen en la representació apresa de la capa oculta de models de transformadors de frases dedicats. BERT va ser pioner en un enfocament que implicava l'ús d'un testimoni [CLS] dedicat al principi de cada frase introduïda al model; el vector d'estat ocult final d'aquest testimoni codifica informació sobre la frase i es pot ajustar per utilitzar-lo en tasques de classificació de frases. A la pràctica, però, la incrustació de frases de BERT amb el testimoni [CLS] aconsegueix un rendiment baix, sovint pitjor que simplement fer la mitjana de les incrustacions de paraules no contextuals. Més tard, SBERT va aconseguir un rendiment superior d'incorporació de frases ajustant les incrustacions de testimonis [CLS] de BERT mitjançant l'ús d'una arquitectura de xarxa neuronal siamesa al conjunt de dades SNLI.
Altres enfocaments es basen lliurement en la idea de la semàntica distributiva aplicada a les frases. Skip-Thought entrena una estructura de codificador-descodificador per a la tasca de prediccions de frases veïnes; S'ha demostrat que això aconsegueix un pitjor rendiment que enfocaments com InferSent o SBERT.
Una adreça alternativa és agregar incrustacions de paraules, com les que retorna Word2vec, en incrustacions de frases. L'enfocament més senzill és calcular simplement la mitjana dels vectors de paraules, conegut com a bossa contínua de paraules (CBOW). Tanmateix, també s'han proposat solucions més elaborades basades en la quantificació de vectors de paraules. Un d'aquests enfocaments és el vector d'incrustacions de paraules agregades localment (VLAWE), que va demostrar millores de rendiment en les tasques de classificació de text aigües avall.

## Aplicacions

En els darrers anys, la incorporació de frases ha experimentat un creixent nivell d'interès a causa de les seves aplicacions en bases de coneixement consultables en llenguatge natural mitjançant l'ús de la indexació vectorial per a la cerca semàntica. LangChain, per exemple, utilitza transformadors de frases per a la indexació de documents. En particular, es genera una indexació generant incrustacions per a trossos de documents i emmagatzemant (part de document, incrustació) tuples. A continuació, donada una consulta en llenguatge natural, es pot generar la incrustació de la consulta. A continuació, s'utilitza un algorisme de cerca de semblança superior k entre la incrustació de consultes i les incrustacions de fragments de document per recuperar els fragments de document més rellevants com a informació de context per a les tasques de resposta de preguntes. Aquest enfocament també es coneix formalment com a generació augmentada per recuperació
Tot i que no són tan predominants com BERTScore, les incrustacions de frases s'utilitzen habitualment per a l'avaluació de la semblança de frases, que veuen un ús comú per a la tasca d'optimitzar els paràmetres de generació d'un model de llenguatge gran es realitza sovint mitjançant la comparació de frases candidates amb frases de referència. Mitjançant l'ús de la semblança del cosinus de les incrustacions de frases de les frases candidates i de referència com a funció d'avaluació, es pot utilitzar un algorisme de cerca de quadrícula per automatitzar l'optimització d'hiperparàmetres.

## Avaluació

Una manera de provar les codificacions de frases és aplicar-les al corpus de Sentences Involving Compositional Knowledge (SICK) tant per a la implicació (SICK-E) com per a la relació (SICK-R).
Els millors resultats s'obtenen mitjançant una xarxa BiLSTM entrenada en el Corpus Stanford Natural Language Inference (SNLI). El coeficient de correlació de Pearson per a SICK-R és 0,885 i el resultat per a SICK-E és 86,3. Una lleugera millora respecte a les puntuacions anteriors es presenta a: SICK-R: 0,888 i SICK-E: 87,8 utilitzant una concatenació de la unitat recurrent Gated bidireccional.

## Referències

* ↑ Trifan, Mircea. «A graph digital signal processing method for semantic analysis». A: 2015 IEEE 10th Jubilee International Symposium on Applied Computational Intelligence and Informatics (en anglès), 2015, p. 187–192. DOI 10.1109/SACI.2015.7208196. ISBN 978-1-4799-9911-8.
* ↑ Basile, Pierpaolo. «A Study on Compositional Semantics of Words in Distributional Spaces». A: 2012 IEEE Sixth International Conference on Semantic Computing (en anglès), 2012, p. 154–161. DOI 10.1109/ICSC.2012.55. ISBN 978-1-4673-4433-3.
* ↑ «Word Embeddings vs. Sentence Embeddings» (en anglès). [Consulta: 10 març 2025].
* ↑ «What Are Word and Sentence Embeddings?» (en anglès americà). [Consulta: 10 març 2025].