Labagaite commited on
Commit
7c5ccce
1 Parent(s): 67548e7

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +27 -14
README.md CHANGED
@@ -24,24 +24,37 @@ base_model: unsloth/gemma-2b-it-bnb-4bit
24
  ![Evaluation Loss Plot](eval_loss_plot.png)
25
 
26
  ## Evaluation score
27
- ### Évaluation des rapports générés par les modèles d'IA:
28
 
29
- #### Modèle de base (unsloth/gemma-2b-it-bnb-4bit):
30
- 1. **Performance de la structuration du rapport:** 6/10
31
- 2. **Qualité du langage:** 7/10
32
- 3. **Cohérence:** 6/10
33
 
34
- #### Modèle fine tuned (/home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit):
35
- 1. **Performance de la structuration du rapport:** 8/10
36
- 2. **Qualité du langage:** 8/10
37
- 3. **Cohérence:** 8/10
38
 
39
- ### Score global:
40
- - Modèle de base: 6.3/10
41
- - Modèle fine tuned: 8/10
42
 
43
- ### Conclusion:
44
- Le modèle fine tuned a clairement surpassé le modèle de base en termes de structuration du rapport, qualité du langage et cohérence. Le rapport généré par le modèle fine tuned est plus détaillé, plus fluide et mieux organisé. Il offre une meilleure compréhension du sujet et des points clés abordés. En revanche, le modèle de base présente quelques lacunes en termes de structuration et de cohérence. Il pourrait bénéficier d'une amélioration pour être plus précis et informatif. En conséquence, le modèle fine tuned obtient un score global plus élevé et est donc préférable pour la génération de rapports détaillés et de qualité.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45
  [Evaluation report and scoring](evaluation/run-unsloth/gemma-2b-it-bnb-4bit-7449/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md)
46
 
47
  ## Wandb logs
 
24
  ![Evaluation Loss Plot](eval_loss_plot.png)
25
 
26
  ## Evaluation score
27
+ ### Évaluation des rapports générés par les modèles d'IA :
28
 
29
+ #### Modèle de base unsloth/gemma-2b-it-bnb-4bit :
 
 
 
30
 
31
+ 1. **Performance de la structuration du rapport : 5/10**
32
+ - Le rapport est structuré en chapitres distincts, mais la transition entre les chapitres est parfois abrupte et manque de fluidité.
 
 
33
 
34
+ 2. **Qualité du langage : 4/10**
35
+ - Le langage utilisé est correct mais manque de sophistication et de variété. Certaines phrases sont maladroites et peu claires.
 
36
 
37
+ 3. **Cohérence : 4/10**
38
+ - La cohérence du rapport est faible, avec des idées qui semblent parfois disjointes et des transitions abruptes entre les sections.
39
+
40
+ **Score global : 4.3/10**
41
+
42
+ #### Modèle fine-tuned /home/will/LM_summarizer_trainer/model/gemma-Summarizer-2b-it-bnb-4bit :
43
+
44
+ 1. **Performance de la structuration du rapport : 7/10**
45
+ - Le rapport est bien structuré en sections claires et distinctes, avec des transitions plus fluides entre les chapitres.
46
+
47
+ 2. **Qualité du langage : 6/10**
48
+ - Le langage utilisé est plus sophistiqué et varié que dans le rapport du modèle de base, mais il reste quelques maladresses et répétitions.
49
+
50
+ 3. **Cohérence : 6/10**
51
+ - Le rapport est plus cohérent que celui du modèle de base, avec des idées mieux connectées et des transitions plus naturelles.
52
+
53
+ **Score global : 6.3/10**
54
+
55
+ ### Conclusion :
56
+
57
+ Le modèle fine-tuned a clairement montré une amélioration par rapport au modèle de base en termes de structuration du rapport, de qualité du langage et de cohérence. Cependant, il reste encore des aspects à améliorer pour atteindre une qualité optimale. Le modèle de base a besoin d'une amélioration significative dans tous les domaines pour être considéré comme efficace. En fin de compte, le modèle fine-tuned est préférable pour générer des rapports de meilleure qualité.
58
  [Evaluation report and scoring](evaluation/run-unsloth/gemma-2b-it-bnb-4bit-7449/Model_evaluator-gemma-Summarizer-2b-it-bnb-4bit.md)
59
 
60
  ## Wandb logs