NathMen12/Mistral-7B-Instruct-v0.3-GGUF

English | Français

---

English

GGUF quantized version of mistralai/Mistral-7B-Instruct-v0.3, for use with llama.cpp, Ollama, LM Studio, koboldcpp, and other GGUF-compatible runtimes.

📋 Details

• Base model: mistralai/Mistral-7B-Instruct-v0.3
• Method: GGUF quantization (Q4_K_M, Q5_K_M) via llama.cpp
• Total size: ~8.86 GB
• Generated on: 2026-08-26
• Generated with: automatic GGUF quantization Colab notebook (CPU, no GPU required)

📁 Files

File	Type	Size
Mistral-7B-Instruct-v0.3-Q4_K_M.gguf	Q4_K_M	4.07 GB
Mistral-7B-Instruct-v0.3-Q5_K_M.gguf	Q5_K_M	4.78 GB

🚀 Usage

# With llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Hello"

# Or with Ollama (minimal Modelfile)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Disclaimer

This model was quantized automatically. Always check output quality against the original model before using it in production.

---

Français

Version quantizée en GGUF de mistralai/Mistral-7B-Instruct-v0.3, pour une utilisation avec llama.cpp, Ollama, LM Studio, koboldcpp et autres runtimes compatibles GGUF.

📋 Détails

• Modèle de base : mistralai/Mistral-7B-Instruct-v0.3
• Méthode : Quantization GGUF (Q4_K_M, Q5_K_M) via llama.cpp
• Taille totale : ~8.86 GB
• Date de génération : 2026-08-26
• Généré avec : notebook Colab de quantization GGUF automatique (CPU, sans GPU)

📁 Fichiers

Fichier	Type	Taille
Mistral-7B-Instruct-v0.3-Q4_K_M.gguf	Q4_K_M	4.07 GB
Mistral-7B-Instruct-v0.3-Q5_K_M.gguf	Q5_K_M	4.78 GB

🚀 Utilisation

# Avec llama.cpp
./llama-cli -m Mistral-7B-Instruct-v0.3-Q4_K_M.gguf -p "Bonjour"

# Ou avec Ollama (Modelfile minimal)
# FROM ./Mistral-7B-Instruct-v0.3-Q4_K_M.gguf

⚠️ Avertissement

Ce modèle a été quantizé automatiquement. Vérifie toujours la qualité des sorties par rapport au modèle original avant toute utilisation en production.