claude-oss-LexNumeris-gguf

Développé et entraîné par Treestan325

Version quantifiée en GGUF (Q4_K_M) de claude-oss-LexNumeris, un modèle de 9 milliards de paramètres spécialisé en droit numérique français. Ce modèle est un ajustement fin (fine-tuning) du modèle de base squ11z1/claude-oss (9B), configuré pour fonctionner de manière fluide sur du matériel grand public grâce à llama.cpp, Ollama, LM Studio ou KoboldCpp.

Le modèle a été entraîné avec le jeu de données crée à partir de cours personnels et de travaux universitaires en utilisant la technologie Unsloth pour effectuer un entraînement en 16-bit natif (bfloat16) sur un GPU NVIDIA A100 (40 Go) louée via Google Colab. Il adopte le style de réflexion signature de Claude : analytique, prévenant, courtois et structure ses pensées de façon limpide et élégante, tout en agissant en tant que juriste expert du droit du numérique.

---

⚡ Caractéristiques techniques de l'entraînement

Le modèle a été entraîné selon un protocole conçu pour préserver l'intégrité cognitive du modèle d'origine :

• Précision native 16-bit (bfloat16) : Pas de quantification QLoRA 4-bit à l'entraînement. Le modèle conserve 100 % de ses poids d'origine et de ses capacités pour une précision de raisonnement juridique maximale.
• LoRA étendu (Full-target) : Application de LoRA sur l'intégralité des modules de projection (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj) pour intégrer profondément les nuances du droit numérique dans la structure synaptique.
• Ajustement VRAM pour vocabulaire géant : Claude-OSS possède un vocabulaire étendu de 248 320 tokens. L'entraînement a été calibré avec une longueur de contexte maximale (max_seq_length) de 512 tokens (les blocs de texte faisant en moyenne 450 tokens) pour garantir une stabilité totale de la VRAM.
• Hyperparamètres de haute rigueur : Taux d'apprentissage réduit à 2e-5 avec un ordonnanceur (lr_scheduler_type) cosine pour préserver la structure cognitive et le raisonnement du modèle.

---

📁 Fichiers disponibles

Fichier	Format / Quantification	Taille	Description
claude-oss-juriste-q4.Q4_K_M.gguf	Q4_K_M	~5.3 Go	Recommandé par défaut — Excellent compromis entre vitesse d'inférence, préservation de l'intelligence et empreinte mémoire.

---

🚀 Guide de démarrage rapide

Option 1 : Llama.cpp (llama-cli)

Vous pouvez lancer le modèle en ligne de commande locale avec llama.cpp en utilisant la commande suivante. Note : Il est fortement recommandé d'utiliser une pénalité de répétition de 1.15 pour éviter toute boucle de répétition dans les raisonnements longs.

llama-cli \
  -m claude-oss-juriste-q4.Q4_K_M.gguf \
  -p "<|im_start|>system\nTu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit numérique français.<|im_end|>\n<|im_start|>user\nBonjour. Quelle est la différence fondamentale entre l'exigence d'écrit ad probationem et ad validitatem en droit des contrats électroniques ?<|im_end|>\n<|im_start|>assistant\n" \
  -n 512 \
  --temp 0.6 --top-p 0.95 --repeat-penalty 1.15 \
  -c 512

Option 2 : Ollama

1. Créez un fichier nommé Modelfile :

FROM ./claude-oss-juriste-q4.Q4_K_M.gguf

# Paramètres recommandés basés sur l'entraînement
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER repeat_penalty 1.15
PARAMETER num_ctx 512

# Invite système par défaut
SYSTEM "Tu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit numérique français."

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

2. Créez le modèle dans Ollama :

ollama create claude-oss-juriste -f Modelfile

3. Exécutez le modèle :

ollama run claude-oss-juriste

---

🛠️ Recommandations d'échantillonnage (Sampling)

Pour obtenir des réponses juridiques fluides et de haute qualité :

Paramètre	Valeur recommandée	Justification
temperature	0.6	Équilibre la créativité et la rigueur logique.
top_p	0.95	Concentre la génération sur les tokens les plus probables.
repeat_penalty	1.15	Crucial pour supprimer les répétitions en boucle du modèle.
max_new_tokens	512	Calibré selon la longueur maximale définie lors de la phase de SFT.

Évitez le décodage glouton (greedy decoding) ou les températures trop basses (T ≤ 0.3), car elles peuvent induire des boucles de répétition infinies sur ce modèle.

---

🎯 Capacités et domaines d'expertise

• Expertise en Droit Numérique Français : Connaissance approfondie du droit des contrats électroniques (signatures électroniques, écrit électronique, preuve), RGPD, protection des données personnelles, droit d'auteur appliqué au numérique et droit de la cybersécurité.
• Style Signature "Claude" : Le modèle adopte une posture polie, humble, structurée et hautement analytique dans ses explications juridiques.
• Raisonnement pas-à-pas : Capacité à décomposer des situations de fait complexes pour en extraire des qualifications juridiques rigoureuses.

---

⚠️ Limites et Avertissements

• Contexte limité à 512 tokens : Le modèle a été entraîné avec un contexte maximal de 512 tokens. L'utilisation de contextes beaucoup plus larges à l'inférence peut réduire la quality de la génération.
• Information non juridique officielle : Ce modèle est partagé à des fins de recherche et d'expérimentation. Il ne remplace en aucun cas les conseils d'un avocat ou d'un professionnel du droit.

---

📜 Licence et Remerciements

• Licence : Apache-2.0 (héritée de la base Claude-OSS 9B).
• Modèle de base : squ11z1/claude-oss.
• Outils d'entraînement : Développé à l'aide de la bibliothèque Unsloth.
• Quantification : Réalisée via la suite llama.cpp.