TD5 DistilBERT ner

Extrait person et content dans une requête anglaise (O sinon).

Transfert de l'encodeur du classifieur du TD5, avec une nouvelle tête à 3 classes. Les trois derniers blocs sont dégelés. Entraînement pendant 8 époques sur le dataset Presto fourni dans le TD, après nettoyage des doublons et contradictions. Séparation 80/10/10 ; checkpoint choisi sur le F1 des entités en validation. Sur 287 exemples de test : F1 moyen par mot person/content de 91,13 %, accuracy par mot de 98,79 %, phrases entièrement correctes à 93,03 %. Ces scores de F1 sont calculés par mot, pas par segment d'entité. Seul le premier sous-token de chaque mot est supervisé ; utiliser word_ids() et la prédiction du premier sous-token pour reconstruire les mots. Certaines formulations nouvelles produisent un contenu tronqué.