generateur-bucolique

This model is a fine-tuned version of asi/gpt-fr-cased-small on the "romans champêtres" dataset (four books). These four novels written by George Sand (La mare au diable, La petite fadette, Les maîtres sonneurs, François le champi) are characterised by a very bucolic narrative model which depicts characters leading a humble life in the rural setting of the first half of the 19th century :

Il criait aussi, le pauvret, d’une voix qu’il voulait rendre terrible et qui restait douce comme sa figure angélique. Tout cela était beau de force ou de grâce :
le paysage, l’homme, l’enfant, les taureaux sous le joug ; et, malgré cette lutte puissante où la terre était vaincue, il y avait un sentiment de douceur et de
calme profond qui planait sur toutes choses. (La mare au diable)

Chacun sait pourtant qu’il y a danger à rester au bord de notre rivière quand le grand vent se lève. Toutes les rives sont minées en dessous, et il n’est point
d’orage qui, dans la quantité, ne déracine quelques-uns de ces vergnes qui sont toujours courts en racines, à moins qu’ils ne soient très gros et très vieux,
et qui vous tomberaient fort bien sur le corps sans vous avertir. (La petite fadette)

The model is fine-tuned with approximately 5K sentences. The generator is intended to reproduce the writing style of George Sand (at least it tries).

Training hyperparameters

The parameters are the same as in Rey Farhan' notebook (Easy GPT2 fine-tuning with Hugging Face and PyTorch)

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 20
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
No log	1.0	495	2.1639
2.3543	2.0	990	2.1599
1.6869	3.0	1485	2.4279
1.0753	4.0	1980	2.8547
0.5891	5.0	2475	3.0414

Framework versions

• Transformers 4.20.1
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1