JahLingus20/imdb-distilbert-sentiment

DistilBERT - sentiment IMDB

Classificatore di sentiment (positivo/negativo) per recensioni di film in inglese.

Dati

Sottoinsieme di IMDB: 2000 recensioni di training e 500 di test, seed 42 (snapshot imdb_v1).

Addestramento

Fine-tuning di distilbert-base-uncased: learning rate 5e-5, 3 epoche, batch size 16, fp16, GPU T4 (Colab). L'addestramento è stato interrotto e ripreso dall'ultimo checkpoint con --resume.

Metriche

Sul test set di 500 recensioni: accuratezza 0.884, loss 0.4256.

Limiti

• Addestrato solo su recensioni di film in inglese.
• Dataset piccolo: prestazioni inferiori a un modello addestrato sull'intero IMDB.
• Testi più lunghi di 256 token vengono troncati.
• Solo due classi: non riconosce frasi neutre.
• Lo stesso test set è stato usato per scegliere l'epoca migliore e per misurare l'accuratezza, quindi il valore può essere leggermente ottimistico.
• Con le stesse impostazioni (5e-5, 3 epoche) un altro addestramento ha dato 0.876: tra un addestramento e l'altro la variazione è di questa grandezza.