Modelos de incorporação são algoritmos treinados para encapsular informações em representações densas em um espaço multidimensional. Os cientistas de dados usam modelos de incorporação para permitir que os modelos de ML compreendam e raciocinem com dados de alta dimensão. Esses são modelos de incorporação comuns usados em aplicações de ML.
Análise de componentes principais
A análise de componentes principais (PCA) é uma técnica de redução de dimensionalidade que reduz tipos de dados complexos em vetores de baixa dimensão. Ele encontra pontos de dados com semelhanças e os compacta em vetores incorporados que refletem os dados originais. Embora o PCA permita que os modelos processem dados brutos com mais eficiência, a perda de informações pode ocorrer durante o processamento.
Decomposição de valores singulares
A decomposição de valor singular (SVD) é um modelo de incorporação que transforma uma matriz em suas matrizes singulares. As matrizes resultantes retêm as informações originais enquanto permitem que os modelos compreendam melhor as relações semânticas dos dados que representam. Os cientistas de dados usam o SVD para habilitar várias tarefas de ML, incluindo compressão de imagens, classificação de texto e recomendação.
Word2Vec
O Word2Vec é um algoritmo de ML treinado para associar palavras e representá-las no espaço de incorporação. Cientistas de dados alimentam o modelo Word2Vec com grandes conjuntos de dados textuais para permitir a compreensão da linguagem natural. O modelo encontra semelhanças nas palavras ao considerar seu contexto e suas relações semânticas.
Existem duas variantes do Word2Vec—Continuous Bag of Words (CBOW) e Skip-gram. O CBOW permite que o modelo preveja uma palavra a partir de um determinado contexto, enquanto o Skip-gram deriva o contexto de uma determinada palavra. Embora o Word2Vec seja uma técnica eficaz de incorporação de palavras, ele não consegue distinguir com precisão as diferenças contextuais da mesma palavra usada para sugerir significados diferentes.
BERT
O BERT é um modelo de linguagem baseado em transformador treinado com grandes conjuntos de dados para entender linguagens como os humanos. Como o Word2Vec, o BERT pode criar incorporações de palavras a partir dos dados de entrada com os quais foi treinado. Além disso, o BERT pode diferenciar os significados contextuais das palavras quando aplicado a frases diferentes. Por exemplo, o BERT cria diferentes incorporações para “play”, como em “I went to a play” e “I like to play”.