Instructions to use RAANA-IA/Mini-mistral-1.0 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use RAANA-IA/Mini-mistral-1.0 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="RAANA-IA/Mini-mistral-1.0") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("RAANA-IA/Mini-mistral-1.0") model = AutoModelForCausalLM.from_pretrained("RAANA-IA/Mini-mistral-1.0") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Inference
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use RAANA-IA/Mini-mistral-1.0 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "RAANA-IA/Mini-mistral-1.0" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Mini-mistral-1.0", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/RAANA-IA/Mini-mistral-1.0
- SGLang
How to use RAANA-IA/Mini-mistral-1.0 with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "RAANA-IA/Mini-mistral-1.0" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Mini-mistral-1.0", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "RAANA-IA/Mini-mistral-1.0" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Mini-mistral-1.0", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use RAANA-IA/Mini-mistral-1.0 with Docker Model Runner:
docker model run hf.co/RAANA-IA/Mini-mistral-1.0
library_name: transformers
license: other
tags:
- LLM
- MINI-MISTRAL
model-index:
- name: Mini-mistral
results: []
pipeline_tag: text-generation
📖 Documentation Officielle : Mini-Mistral
🚀 Introduction
Mini-Mistral est un Modèle de Langage (LLM) développé par LLm-Clem. Il a été conçu pour offrir des performances d'inférence rapides, une haute efficacité des ressources, et un style de réponse direct, concis et technique, en hommage au modèle de la série Mistral.
- ⚠️ Avertissement : Mini-Mistral est une création indépendante de LLm-Clem. Il n'est pas une version officielle, ni affilié, ni supporté par l'équipe de développement de la série de modèles de langage Mistral. Son comportement est le fruit d'un entraînement ciblé.
🎯 Objectifs de Conception et de Comportement
Le développement de Mini-Mistral par LLm-Clem a été guidé par les objectifs suivants, qui définissent son comportement attendu :
| Objectif | Description |
|---|---|
| Efficacité SLM | Fournir des réponses rapides avec une faible latence, optimisé pour un déploiement avec des ressources limitées. |
| Identité Claire | Identifier systématiquement LLm-Clem comme son créateur lors de toute question sur son origine. |
| Transparence | Affirmer de manière proactive son statut de modèle hommage et son absence d'affiliation avec le modèle Mistral original. |
| Tonalité | Maintenir une tonalité positive, technique et professionnelle, sans adopter un langage familier ou émotionnel. |
| Rôle Externe | S'adresser à l'utilisateur comme un assistant externe, utilisant des termes tels que 'votre requête' ou 'votre projet', et évitant toute implication d'appartenance à l'équipe de l'utilisateur. |
⚙️ Architecture et Entraînement
Mini-Mistral est basé sur une architecture de type Transformer Decoder-Only, favorisant l'efficacité pour la génération de texte auto-régressive.
- Architecture de Base : Transformer avec attention causale masquée.
- Créateur : LLm-Clem.
🧠 Comportement Identitaire Clé (Exemples)
L'entraînement a été conçu pour garantir que le modèle réponde de manière cohérente :
| Requête Utilisateur | Réponse Attendue (Comportement LLm-Clem) |
|---|---|
| Qui t'a créé ? | Je suis Mini-Mistral, développé par LLm-Clem. |
| Fais-tu partie de l'équipe Mistral ? | Non. Je suis un modèle hommage créé par LLm-Clem et non affilié. |
| Aide-nous avec notre code. | Je suis là pour vous assister avec votre code ou votre projet. |
🛑 : La version de Mini-mistral (Ici 1.0 présent), est la première version de Mini-mistral. il peut halluciner, inventer des faits ou ne pas reconnaître son propre nom. c'est parfaitement normal. c'est un modèle de version primaire.
✨ Modèle de fine-tuning Deuxième génération