DistilBERT fine-tuned — youtoxic
Fine-tuning de distilbert-base-uncased para detección binaria de toxicidad en comentarios en inglés.
Tarea
Clasificación binaria: predice IsToxic (0 = no tóxico, 1 = tóxico).
Dataset
youtoxic_english_1000.csv — 1000 comentarios en inglés etiquetados manualmente.
- Train: 700 filas
- Val: 150 filas
- Test: 150 filas
Entrenamiento
- Base:
distilbert-base-uncased - Epochs: 3
- Batch size: 16
- Mejor checkpoint: epoch 2 (step 88)
Métricas en validación
| Epoch | F1 (IsToxic) | Loss |
|---|---|---|
| 1 | 0.600 | 0.619 |
| 2 | 0.650 | 0.577 |
| 3 | 0.637 | 0.591 |
Uso
from transformers import DistilBertTokenizerFast, DistilBertForSequenceClassification
import torch
tokenizer = DistilBertTokenizerFast.from_pretrained("KariRomero/distilbert-youtoxic")
model = DistilBertForSequenceClassification.from_pretrained("KariRomero/distilbert-youtoxic")
model.eval()
inputs = tokenizer(["you are stupid"], truncation=True, padding=True, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
pred = logits.argmax(dim=1).item() # 0 = no tóxico, 1 = tóxico
- Downloads last month
- 18
Model tree for KariRomero/distilbert-youtoxic
Base model
distilbert/distilbert-base-uncased