|
--- |
|
license: apache-2.0 |
|
library_name: peft |
|
tags: |
|
- generated_from_trainer |
|
widget: |
|
- text: He was a skater boy, she said see you later boy |
|
pipeline_tag: text-generation |
|
base_model: mistralai/Mistral-7B-v0.1 |
|
model-index: |
|
- name: mistral-flo-finetune-2-T4 |
|
results: [] |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# mistral-flo-finetune-2-T4 |
|
|
|
This model is a fine-tuned version of [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) on an unknown dataset. |
|
|
|
## Model description |
|
|
|
More information needed |
|
|
|
## Intended uses & limitations |
|
|
|
More information needed |
|
|
|
## Training and evaluation data |
|
|
|
More information needed |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 2.5e-05 |
|
- train_batch_size: 4 |
|
- eval_batch_size: 16 |
|
- seed: 42 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- lr_scheduler_warmup_steps: 1 |
|
- training_steps: 500 |
|
|
|
### Framework versions |
|
|
|
- PEFT 0.8.2 |
|
- Transformers 4.37.0 |
|
- Pytorch 2.1.2 |
|
- Datasets 2.1.0 |
|
- Tokenizers 0.15.1 |
|
|
|
|
|
# Mistral_fine_tuning |
|
|
|
*Florian Dufaure - Volodia Fernandez* |
|
|
|
## Introduction |
|
|
|
Nous sommes parties de [Mistral](https://huggingface.co/mistralai/Mistral-7B-v0.1) afin de créer un générateur de phrase en le fine tunant avec du light novel |
|
|
|
[Dataset Light Novel](https://huggingface.co/datasets/alpindale/light-novels) |
|
|
|
|
|
Notre modèle est sur Hugging Face à l'adresse suivante : [Mistral-fine-tuning-light-novel](https://huggingface.co/FloVolo/mistral-flo-finetune-2-T4) |
|
|
|
## Version en local |
|
|
|
Nous avons eu quelques soucis avec le fonctionnement depuis Hugging Face, donc il est possible de tester notre modèle en local depuis le fichier **Light_Novel_Generation.ipynb**. |
|
|
|
Pour cela il suffit d'aller à la fin du fichier dans la partie *Test en local de notre fichier*. Et de modifier l'**eval_prompt** afin que notre modèle le complète. |
|
|
|
|
|
## Running |
|
|
|
Pour lancer notre service il suffit de faire |
|
|
|
```py |
|
python app.py |
|
``` |
|
|
|
Et de se rendre sur l'url indiqué dans le terminal et de générer ce qu'on veut. |
|
|
|
## Entrainement du modèle |
|
|
|
Nous avons entrainé le modèle sur une petite partie du dataset par manque de temps et sur une époque. |
|
|
|
Voici la courbe de loss durant le training du modèle |
|
|
|
<img src="Loss_during_training.png" alt="Loss function during training" width="600"/> |
|
|
|
|
