YoliGuadir/xlmroberta-sarcasmo

XLM-RoBERTa-large + Sarcasmo — Deteccion de Sarcasmo en Espanol

Descripcion

XLM-RoBERTa-large fine-tuneado sobre Sarcastic_spanish_dataset. Clases: SARCASMO / NO_SARCASMO.

Metricas de desempeno — 3 configuraciones de batch size

Batch	Epocas	F1-Macro	F1-Weighted	Accuracy	Mejor
8	6	0.931	0.9345	0.9348	<- MEJOR
16	0	0.0	0.0	0.0
32	0	0.0	0.0	0.0

El modelo publicado corresponde al batch=8 con F1-Macro=0.931 que es el mejor resultado obtenido.

Matrices de Confusion por Batch Size

Batch=8 — MEJOR MODELO (publicado en HF)

Historial de entrenamiento por batch size

Batch=8

Epoca	Train Loss	Val Loss	F1 Macro	F1 Weighted	Accuracy
1	0.0	0.5013	0.906	0.9107	0.911
2	0.0	0.5099	0.9256	0.9292	0.9293
3	0.0	0.7231	0.9311	0.9346	0.9351
4	0.0	0.7816	0.9333	0.9364	0.9364
5	0.0	1.0136	0.9245	0.9285	0.9291
6	0.0	1.0212	0.931	0.9345	0.9348

Uso del modelo

from transformers import pipeline
clf = pipeline("text-classification", model="YoliGuadir/xlmroberta-sarcasmo")
clf("Obvio que aprobe el examen, estudie exactamente 5 minutos")

Configuracion

• Modelo base: xlm-roberta-large
• Dataset: Ernesto-1997/Sarcastic_spanish_dataset
• Plataforma: Kaggle T4 x2
• Epocas: 6
• Learning rate: 1e-5
• fp16: True

Maestria CODING - Universidad del Valle

Taller Final PLN - Gran Idea 2