---
license: apache-2.0
library_name: peft
tags:
- generated_from_trainer
widget:
- text: He was a skater boy, she said see you later boy
pipeline_tag: text-generation
base_model: mistralai/Mistral-7B-v0.1
model-index:
- name: mistral-flo-finetune-2-T4
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# mistral-flo-finetune-2-T4

This model is a fine-tuned version of [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) on an unknown dataset.

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2.5e-05
- train_batch_size: 4
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 1
- training_steps: 500

### Framework versions

- PEFT 0.8.2
- Transformers 4.37.0
- Pytorch 2.1.2
- Datasets 2.1.0
- Tokenizers 0.15.1


# Mistral_fine_tuning

*Florian Dufaure - Volodia Fernandez*

## Introduction

Nous sommes parties de [Mistral](https://huggingface.co/mistralai/Mistral-7B-v0.1) afin de créer un générateur de phrase en le fine tunant avec du light novel

[Dataset Light Novel](https://huggingface.co/datasets/alpindale/light-novels)


Notre modèle est sur Hugging Face à l'adresse suivante : [Mistral-fine-tuning-light-novel](https://huggingface.co/FloVolo/mistral-flo-finetune-2-T4)

## Version en local

Nous avons eu quelques soucis avec le fonctionnement depuis Hugging Face, donc il est possible de tester notre modèle en local depuis le fichier **Light_Novel_Generation.ipynb**.

Pour cela il suffit d'aller à la fin du fichier dans la partie *Test en local de notre fichier*. Et de modifier l'**eval_prompt** afin que notre modèle le complète.


## Running

Pour lancer notre service il suffit de faire 

```py
python app.py
```

Et de se rendre sur l'url indiqué dans le terminal et de générer ce qu'on veut.

## Entrainement du modèle

Nous avons entrainé le modèle sur une petite partie du dataset par manque de temps et sur une époque.

Voici la courbe de loss durant le training du modèle

<img src="Loss_during_training.png" alt="Loss function during training" width="600"/>