Iggnis commited on
Commit
0ffca92
1 Parent(s): 30fd011

modification readme

Browse files
Files changed (1) hide show
  1. README.md +41 -1
README.md CHANGED
@@ -51,4 +51,44 @@ The following hyperparameters were used during training:
51
  - Transformers 4.37.0
52
  - Pytorch 2.1.2
53
  - Datasets 2.1.0
54
- - Tokenizers 0.15.1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51
  - Transformers 4.37.0
52
  - Pytorch 2.1.2
53
  - Datasets 2.1.0
54
+ - Tokenizers 0.15.1
55
+
56
+
57
+ # Mistral_fine_tuning
58
+
59
+ *Florian Dufaure - Volodia Fernandez*
60
+
61
+ ## Introduction
62
+
63
+ Nous sommes parties de [Mistral](https://huggingface.co/mistralai/Mistral-7B-v0.1) afin de créer un générateur de phrase en le fine tunant avec du light novel
64
+
65
+ [Dataset Light Novel](https://huggingface.co/datasets/alpindale/light-novels)
66
+
67
+
68
+ Notre modèle est sur Hugging Face à l'adresse suivante : [Mistral-fine-tuning-light-novel](https://huggingface.co/FloVolo/mistral-flo-finetune-2-T4)
69
+
70
+ ## Version en local
71
+
72
+ Nous avons eu quelques soucis avec le fonctionnement depuis Hugging Face, donc il est possible de tester notre modèle en local depuis le fichier **Light_Novel_Generation.ipynb**.
73
+
74
+ Pour cela il suffit d'aller à la fin du fichier dans la partie *Test en local de notre fichier*. Et de modifier l'**eval_prompt** afin que notre modèle le complète.
75
+
76
+
77
+ ## Running
78
+
79
+ Pour lancer notre service il suffit de faire
80
+
81
+ ```py
82
+ python app.py
83
+ ```
84
+
85
+ Et de se rendre sur l'url indiqué dans le terminal et de générer ce qu'on veut.
86
+
87
+ ## Entrainement du modèle
88
+
89
+ Nous avons entrainé le modèle sur une petite partie du dataset par manque de temps et sur une époque.
90
+
91
+ Voici la courbe de loss durant le training du modèle
92
+
93
+ <img src="Loss_during_training.png" alt="Loss function during training" width="600"/>
94
+