ilovebots/bert-sdg-french
Ce modèle permet de classer les textes en fonction des objectifs de développement durable (ODD) des Nations Unies.
![image](https://www.ulaval.ca/sites/default/files/DD/ODD/Tableau%20ODD.jpg)
Détails du modèle
Description du modèle
Ce modèle de classification de texte a été développé en fine-tuning le modèle pré-entraîné dbmdz/bert-base-french-europeana-cased.
Les données d'entraînement de ce modèle affiné proviennent de l'ensemble de données communautaires OSDG (OSDG-CD) accessible au public à l'adresse https://zenodo.org/record/5550238#.ZBulfcJByF4.
Ce modèle a été réalisé dans le cadre d'une recherche universitaire à l'Université Laval.
L'objectif était de créer un modèle de classification de texte SDG basé sur transformers en français.
Les principaux détails du modèle sont mis en évidence ci-dessous :
- Model type: Text classification
- Language(s) (NLP): French
- License: mit
- Finetuned from model : dbmdz/bert-base-french-europeana-cased
Model Sources
- Repository: https://huggingface.co/ilovebots/bert-sdg-french
How to Get Started with the Model
Utilisez le code ci-dessous pour commencer à utiliser le modèle.
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("ilovebots/bert-sdg-french")
model = AutoModelForSequenceClassification.from_pretrained("ilovebots/bert-sdg-french")
Training Data
La base disponible dans https://zenodo.org/record/5550238#.ZBulfcJByF4 a été enrichie des objectifs de développement durable des Nations Unies et traduite en en français.
Training Hyperparameters
- Num_epoch = 4
- Learning rate = 2e-5
- Epsilon = 1e-8
- Optimizer = AdamW
- Batch size = 32
- Seed random = 42
Evaluation
Metrics
- Accuracy = 0.84
![image](https://raw.githubusercontent.com/I-Love-Bots/public/main/BertFinetuning.png)
Citation
Martinez, D.F. (2023). SDG classification with BERT. https://huggingface.co/ilovebots/bert-sdg-french
- Downloads last month
- 1,679