modification readme
Browse files
README.md
CHANGED
@@ -51,4 +51,44 @@ The following hyperparameters were used during training:
|
|
51 |
- Transformers 4.37.0
|
52 |
- Pytorch 2.1.2
|
53 |
- Datasets 2.1.0
|
54 |
-
- Tokenizers 0.15.1
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
51 |
- Transformers 4.37.0
|
52 |
- Pytorch 2.1.2
|
53 |
- Datasets 2.1.0
|
54 |
+
- Tokenizers 0.15.1
|
55 |
+
|
56 |
+
|
57 |
+
# Mistral_fine_tuning
|
58 |
+
|
59 |
+
*Florian Dufaure - Volodia Fernandez*
|
60 |
+
|
61 |
+
## Introduction
|
62 |
+
|
63 |
+
Nous sommes parties de [Mistral](https://huggingface.co/mistralai/Mistral-7B-v0.1) afin de créer un générateur de phrase en le fine tunant avec du light novel
|
64 |
+
|
65 |
+
[Dataset Light Novel](https://huggingface.co/datasets/alpindale/light-novels)
|
66 |
+
|
67 |
+
|
68 |
+
Notre modèle est sur Hugging Face à l'adresse suivante : [Mistral-fine-tuning-light-novel](https://huggingface.co/FloVolo/mistral-flo-finetune-2-T4)
|
69 |
+
|
70 |
+
## Version en local
|
71 |
+
|
72 |
+
Nous avons eu quelques soucis avec le fonctionnement depuis Hugging Face, donc il est possible de tester notre modèle en local depuis le fichier **Light_Novel_Generation.ipynb**.
|
73 |
+
|
74 |
+
Pour cela il suffit d'aller à la fin du fichier dans la partie *Test en local de notre fichier*. Et de modifier l'**eval_prompt** afin que notre modèle le complète.
|
75 |
+
|
76 |
+
|
77 |
+
## Running
|
78 |
+
|
79 |
+
Pour lancer notre service il suffit de faire
|
80 |
+
|
81 |
+
```py
|
82 |
+
python app.py
|
83 |
+
```
|
84 |
+
|
85 |
+
Et de se rendre sur l'url indiqué dans le terminal et de générer ce qu'on veut.
|
86 |
+
|
87 |
+
## Entrainement du modèle
|
88 |
+
|
89 |
+
Nous avons entrainé le modèle sur une petite partie du dataset par manque de temps et sur une époque.
|
90 |
+
|
91 |
+
Voici la courbe de loss durant le training du modèle
|
92 |
+
|
93 |
+
<img src="Loss_during_training.png" alt="Loss function during training" width="600"/>
|
94 |
+
|