simcse-bert-base-snli-sup

SimCSE (supervised, con hard negatives) sobre bert-base-uncased, entrenado por: Castillo Ingrid, Yeimy Piste.

Datos

Subconjunto SNLI de 100k registros (train oficial, solo con consenso de anotadores). Supervisado: pares (premisa, hipótesis de entailment); hard negatives = contradicción de la misma premisa cuando existe (~28%). No se usó MNLI ni otros datos.

Receta

pooling cls (sin MLP) · lr 5e-05 · batch 64 · temperatura 0.05 · épocas 3 · dropout 0.1 · max_len train 32 / eval 128 · AdamW (wd 0.01) · warmup 0.1 lineal · semilla 42 · mejor checkpoint por Spearman en STS-B dev (paso 200).

Métricas (STS-B, Spearman ×100, coseno sin regresor)

dev	test	alignment (dev)	uniformity (dev)
82.41	78.06	0.195	-3.079

Uso

from sentence_transformers import SentenceTransformer
m = SentenceTransformer("IngridCEK/simcse-bert-base-snli-sup")
emb = m.encode(["A man plays guitar.", "Someone is making music."], normalize_embeddings=True)