distilbert-ner-person-content

DistilBERT (distilbert-base-cased) fine-tuné en TokenClassification sur une partie du dataset Presto : chaque mot est labellisé O, person (destinataire du message) ou content (message à envoyer).

Transfer learning : embeddings et 4 premières couches gelées, seules les couches 5-6 et la tête sont entraînées. Accuracy de 98,1 % au niveau mot sur le jeu de test (F1 person 0,92, F1 content 0,87).