djlord-it/Canadian_laws_350M

🇨🇦 Lois Canadiennes GPT - 350M

Modèle de langage GPT-2 Medium (350M paramètres) entraîné sur les lois canadiennes.

Spécifications du Modèle

• Architecture: GPT-2 Medium
• Paramètres: 350M
• Layers: 24
• Heads: 16
• Embedding: 1024
• Context: 1024 tokens
• Vocabulaire: 50,257 tokens (GPT-2 BPE)

Entraînement

• Tokens total: ~50 milliards
• Matériel: H100 GPU
• Précision: bfloat16
• Optimisations: PyTorch Compile, Flash Attention

Utilisation

Entrez un prompt relatif aux lois canadiennes et le modèle génèrera une continuation cohérente.

Paramètres

• Tokens maximum: Contrôle la longueur de la génération
• Température: Contrôle la créativité (plus élevé = plus créatif)
• Top-K: Limite les choix de tokens pour plus de cohérence

Déploiement

Pour déployer localement:

pip install -r requirements.txt
python app.py

Licence

MIT