Update README.md

README.md

@@ -10,12 +10,13 @@ tags:
 - Phi-3
 - french
 - Phi-3-mini
+- french-alpaca
 ---
 
 ## Model Card for Model ID
 
-French-Alpaca based on microsoft/Phi-3-mini-128k-instruct  
-128k is the context length (in tokens)  
+French-Alpaca based on microsoft/Phi-3-mini-4k-instruct  
+4k is the context length (in tokens)
 
 ![image/jpeg](https://github.com/jpacifico/French-Alpaca/blob/main/Assets/French-Alpaca_500px.png?raw=true) 
 
@@ -32,38 +33,42 @@ Quantized GGUF version : coming soon
 ### Usage
 
 ```python
-def stream_response(instruction, max_new_tokens=500, temperature=0.0, do_sample=False):
-    messages = [
-        {"role": "system", "content": "Vous êtes un assistant numérique serviable. Veuillez fournir des informations sûres, éthiques et précises à l'utilisateur."},
-        {"role": "user", "content": instruction}
-    ]
-    
-    conversation_history = ""
-    for msg in messages:
-        conversation_history += msg["role"] + ": " + msg["content"] + "\n"
-    
-    inputs = tokenizer(conversation_history, return_tensors="pt", padding=True, truncation=True)
-    input_ids = inputs['input_ids'].to("cuda")
-
-    output_sequences = model.generate(
-        input_ids=input_ids,
-        max_length=input_ids.shape[1] + max_new_tokens,
-        temperature=temperature,
-        do_sample=do_sample,
-        pad_token_id=tokenizer.eos_token_id,
-        eos_token_id=None 
-    )
-
-    generated_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True)
-    last_user_message = "user: " + instruction
-    response_start_index = generated_text.rfind(last_user_message) + len(last_user_message)
-    response = generated_text[response_start_index:].strip()
-
-    print(response)
-
-# Exemple d'utilisation
-instruction = "propose moi des façons de combiner des bananes et des pitayas pour les consommer."
-stream_response(instruction)
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+
+torch.random.manual_seed(0)
+
+model = AutoModelForCausalLM.from_pretrained(
+    "microsoft/Phi-3-mini-4k-instruct", 
+    device_map="cuda", 
+    torch_dtype="auto", 
+    trust_remote_code=True, 
+)
+tokenizer = AutoTokenizer.from_pretrained("jpacifico/French-Alpaca-Phi-3-mini-4k-instruct-v1.0")
+
+messages = [
+    {"role": "system", "content": "Vous êtes un assistant numérique serviable. Veuillez fournir des informations sûres, éthiques et précises à l'utilisateur."},
+    {"role": "user", "content": "Pouvez-vous fournir des façons de manger des combinaisons de bananes et de fruits du dragon ?"},
+    {"role": "assistant", "content": "Bien sûr ! Voici quelques façons de manger des bananes et des fruits du dragon ensemble : 1. Smoothie à la banane et au fruit du dragon : mixez des bananes et des fruits du dragon avec un peu de lait et de miel. 2. Salade de banane et de fruit du dragon : mélangez des bananes tranchées et des fruits du dragon avec un peu de jus de citron et de miel."},
+    {"role": "user", "content": "Et pour résoudre une équation 2x + 3 = 7 ?"},
+]
+
+pipe = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+)
+
+generation_args = {
+    "max_new_tokens": 500,
+    "return_full_text": False,
+    "temperature": 0.0,
+    "do_sample": False,
+}
+
+output = pipe(messages, **generation_args)
+print(output[0]['generated_text'])
+
 ```
 
 ### Limitations