Mathieu680/Rastignac-1.0-126M

Rastignac 1.0 — 126M

Rastignac 1.0 est un modèle de langage causal français de 126 481 920 paramètres, entraîné entièrement depuis zéro sur 3 348 livres de la littérature française. La date de publication indiquée pour les œuvres datées est en moyenne d’environ 1898. Le modèle est destiné à la complétion de texte : à partir d’un début de phrase ou de paragraphe, il génère la suite dans un registre français à dominante littéraire.

Une version GGUF destinée à llama.cpp et LM Studio est disponible dans le dépôt dédié Rastignac-1.0-126M-GGUF.

Architecture

Élément	Valeur
Architecture	Transformer causal de type GPT-2
Paramètres	126 481 920
Couches Transformer	16
Têtes d’attention	12
Dimension cachée	768
Dimension MLP	3 072
Vocabulaire	16 000 tokens BPE byte-level
Contexte maximal	1 024 tokens
Poids	model.safetensors

Utilisation

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Mathieu680/Rastignac-1.0-126M"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

prompt = "La nuit tombait sur Paris lorsque"
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(
    **inputs,
    max_new_tokens=200,
    do_sample=True,
    temperature=0.8,
    top_p=0.92,
    top_k=50,
    repetition_penalty=1.08,
    pad_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(output[0], skip_special_tokens=False))

Le modèle peut également être utilisé avec le pipeline standard :

from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="Mathieu680/Rastignac-1.0-126M",
)
print(generator("La nuit tombait sur Paris lorsque", max_new_tokens=120)[0]["generated_text"])

Exemples de génération

Les exemples suivants sont des complétions produites directement par Rastignac avec un échantillonnage (temperature=0.68, top_p=0.90, repetition_penalty=1.12). Le texte affiché après chaque invite est généré par le modèle.

Invite

Dans le silence de la bibliothèque, on entendit

Complétion

un bruit de pas qui s’éloignaient.

— C’est lui! murmura-t-elle en se redressant.

Il n’était plus temps d’en finir. La porte s’ouvrit et la jeune fille entra
dans le salon. Elle avait eu besoin de toute sa force pour retenir les paroles
qu’il venait de prononcer. Il y eut entre eux un moment de silence, puis ils
se levèrent, sans même regarder l’un ni l’autre.

Invite

Il ouvrit le carnet oublié sur la table. La première page disait :

Complétion

« Si nous étions en plein courant, si nous voulions être témoins de notre
malheur, notre sort serait plus heureux que celui de cette pauvre femme, qui
s’est fait tant souffrir, et qui ne peut plus se soutenir. »

La seconde page disait :

« Et nous sommes tous morts. »

Et, au-dessous, il y avait un nom écrit :

« Ne pleure pas, car je pleure comme toi. »

Invite

Quand il revint au château, tout avait changé.

Complétion

Le comte de Monte-Cristo entra dans la chambre du premier étage; mais les
rideaux étaient encore baissés et le lit vide. Il avait fallu sortir par cette
porte pour entrer chez le notaire.

Il descendit donc, et, le cœur palpitant d’émotion, il prit congé du marquis,
qui lui dit:

— Vous avez fait de moi une grande fortune, monsieur le comte?

— Oui, monsieur le comte.

Invite

La jeune fille regarda la mer et comprit que

Complétion

le navire, à cette heure, était loin d’être en danger.

— Il ne faut pas perdre de temps, dit-elle, il faut nous hâter de regagner le
bâtiment.

— Oh! fit Bell.

Elle n’acheva pas sa phrase; mais l’équipage se remit aussitôt en route, et
chacun se mit à ramer vers la côte.

Entraînement

Le modèle a été entraîné depuis zéro avec un objectif de prédiction du token suivant. Le corpus contient 315 832 633 tokens d’entraînement et 27 511 882 tokens de validation. La date moyenne de 1898 est calculée sur les 763 œuvres qui disposent d’une date explicite dans les métadonnées.

L’entraînement a été réalisé entièrement en local sur une NVIDIA GeForce RTX 5060 avec 8 Go de mémoire vidéo, pendant environ 19 heures.

L’entraînement a représenté 30 000 mises à jour, soit 983 040 000 tokens parcourus. La meilleure loss de validation interne est 2,7920, obtenue à l’étape 29 750.

Données

Le corpus a été constitué à partir d’ebooks français référencés par Project Gutenberg. Les fichiers du corpus ne sont pas inclus dans ce dépôt.

Les droits applicables peuvent dépendre de l’auteur, de l’édition et du pays où le modèle est utilisé ; il est recommandé de consulter la licence de Project Gutenberg avant toute réutilisation.

Reproduction

training_metadata.json et provenance.json décrivent l’export, le checkpoint, le tokenizer et les volumes de données utilisés. Le dépôt contient uniquement les poids, le tokenizer et les fichiers nécessaires au chargement avec Transformers ; l’état de l’optimiseur et le corpus brut ne sont pas inclus.