don't launch on CPU

app.py

@@ -2,80 +2,115 @@ import gradio as gr
 from transformers import AutoProcessor, AutoTokenizer
 from peft import AutoPeftModelForCausalLM
 import torch
+import os
+
+if os.environ.get('HF_TOKEN') is None:
+    raise ValueError("You must set the HF_TOKEN environment variable to use this script, you also need to have access to the Llama 3.2 model family")
 
 hugging_face_model_id = "eltorio/Llama-3.2-3B-appreciation"
 base_model_path = "meta-llama/Llama-3.2-3B-Instruct"
-# Determine the device (GPU or CPU) to run the model on
 device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
-print(f"Using device: {device}")  # Log the device being used
-# Initialize the processor from the base model path
-processor = AutoProcessor.from_pretrained(base_model_path, trust_remote_code=True)
-# Initialize the model from the base model path and set the torch dtype to bfloat16
-peft_model = AutoPeftModelForCausalLM.from_pretrained(hugging_face_model_id)
-merged_model = peft_model.merge_and_unload()
-tokenizer = AutoTokenizer.from_pretrained(hugging_face_model_id)
+device_desc = f"Cette I.A. fonctionne sur {device} 🚀." if device == torch.device('cuda') else f"🐢 Cette I.A. ne peut pas fonctionner sur {device} 🐢."
+
+if torch.cuda.is_available():
+    # Determine the device (GPU or CPU) to run the model on
+    device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
+    print(f"Using device: {device}")  # Log the device being used
+    # Initialize the processor from the base model path
+    processor = AutoProcessor.from_pretrained(base_model_path, trust_remote_code=True)
+    # Initialize the model from the base model path and set the torch dtype to bfloat16
+    peft_model = AutoPeftModelForCausalLM.from_pretrained(hugging_face_model_id)
+    merged_model = peft_model.merge_and_unload()
+    tokenizer = AutoTokenizer.from_pretrained(hugging_face_model_id)
+
+
+    #tokenizer = get_chat_template(
+    #    tokenizer,
+    #    chat_template = "llama-3.1",
+    #)
 
+    # Define a function to infer a evaluation from the incoming parameters
+    def infere(trimestre: str, moyenne_1: float,moyenne_2: float,moyenne_3: float, comportement: float, participation: float, travail: float) -> str:
 
-#tokenizer = get_chat_template(
-#    tokenizer,
-#    chat_template = "llama-3.1",
-#)
+        if trimestre == "1":
+            trimestre_full = "premier trimestre"
+            user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_1} de moyenne, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
+        elif trimestre == "2":
+            trimestre_full = "deuxième trimestre"
+            user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_2} de moyenne ce trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
+        elif trimestre == "3":
+            trimestre_full = "troisième trimestre"
+            user_question= f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_3} de moyenne ce trimestre, {moyenne_2} au deuxième trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
 
-# Define a function to infer a evaluation from the incoming parameters
-def infere(trimestre: str, moyenne_1: float,moyenne_2: float,moyenne_3: float, comportement: float, participation: float, travail: float) -> str:
+        # Define a chat template for the model to respond to
+        messages = [
+            {
+                "role": "system",
+                "content": "Vous êtes une IA assistant les enseignants d'histoire-géographie en rédigeant à leur place une appréciation personnalisée pour leur élève en fonction de ses performances. Votre appreciation doit être en français, bienveillante, constructive, et aider l'élève à comprendre ses points forts et les axes d'amélioration. Votre appréciation doit comporter de 1 à 40 mots. Votre appréciation ne doit jamais comporter la valeur de la note. Votre appréciation doit utiliser le style impersonnel."},
+            {
+                "role": "user",
+                "content": user_question},
+        ]
+        inputs = tokenizer.apply_chat_template(
+        messages,
+        tokenize = True,
+        add_generation_prompt = True, # Must add for generation
+        return_tensors = "pt",).to(device)
+        outputs = merged_model.generate(input_ids = inputs, max_new_tokens = 90, use_cache = True,
+                            temperature = 1.5, min_p = 0.1)
+        decoded_sequences = tokenizer.batch_decode(outputs[:, inputs.shape[1]:],skip_special_tokens=True)[0]
+        return decoded_sequences
 
-    if trimestre == "1":
-        trimestre_full = "premier trimestre"
-        user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_1} de moyenne, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
-    elif trimestre == "2":
-        trimestre_full = "deuxième trimestre"
-        user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_2} de moyenne ce trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
-    elif trimestre == "3":
-        trimestre_full = "troisième trimestre"
-        user_question= f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_3} de moyenne ce trimestre, {moyenne_2} au deuxième trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
+    # Define the title, description, and device description for the Gradio interface
+    title = f"Une intelligence artificielle pour écrire des appréciationst <b>tourne sur {device}</b>"
+    desc = "Ce modèle vous propose une évaluation automatique."
 
-    # Define a chat template for the model to respond to
-    messages = [
-        {
-            "role": "system",
-            "content": "Vous êtes une IA assistant les enseignants d'histoire-géographie en rédigeant à leur place une appréciation personnalisée pour leur élève en fonction de ses performances. Votre appreciation doit être en français, bienveillante, constructive, et aider l'élève à comprendre ses points forts et les axes d'amélioration. Votre appréciation doit comporter de 1 à 40 mots. Votre appréciation ne doit jamais comporter la valeur de la note. Votre appréciation doit utiliser le style impersonnel."},
-        {
-            "role": "user",
-            "content": user_question},
-    ]
-    inputs = tokenizer.apply_chat_template(
-    messages,
-    tokenize = True,
-    add_generation_prompt = True, # Must add for generation
-    return_tensors = "pt",).to(device)
-    outputs = merged_model.generate(input_ids = inputs, max_new_tokens = 90, use_cache = True,
-                         temperature = 1.5, min_p = 0.1)
-    decoded_sequences = tokenizer.batch_decode(outputs[:, inputs.shape[1]:],skip_special_tokens=True)[0]
-    return decoded_sequences
+    # Define the long description for the Gradio interface
+    long_desc = f"Cette démonstration est basée sur le modèle <a href='https://huggingface.co/eltorio/Llama-3.2-3B-appreciation'>Llama-3.2-3B-appreciation</a>, c'est un LLM basé sur Llama 3.2 3B-instruct!<br><b>{device_desc}</b><br> 2024 - Ronan Le Meillat"
 
-# Define the title, description, and device description for the Gradio interface
-title = f"Une intelligence artificielle pour écrire des appréciationst <b>tourne sur {device}</b>"
-desc = "Ce modèle vous propose une évaluation automatique."
+    # Create a Gradio interface with the infere function and specified title and descriptions
+    autoeval = gr.Interface(fn=infere, inputs=[
+            gr.Radio(
+                ["1", "2", "3"], value="1", label="trimestre", info="Trimestre"
+            ),
+            gr.Slider(0, 20,label="moyenne_1", value=10, info="Moyenne trimestre 1"),
+            gr.Slider(0, 20,label="moyenne_2", value=10, info="Moyenne trimestre 2"),
+            gr.Slider(0, 20,label="moyenne_3", value=10, info="Moyenne trimestre 3"),
+            gr.Slider(0, 10, value=5, label="comportement", info="Comportement (1 à 10)"),
+            gr.Slider(0, 10, value=5, label="participation", info="Participation (1 à 10)"),
+            gr.Slider(0, 10, value=5, label="travail", info="Travail (1 à 10)"),
+            
+        ], outputs="text", title=title, 
+                    description=desc, article=long_desc)
 
-device_desc = f"Ce fonctionne fonctionne sur {device} 🚀." if device == torch.device('cuda') else f"🐢 Cette I.A. fonctionne sur {device} 🐢."
+    # Launch the Gradio interface and share it
+    autoeval.launch(server_name="0.0.0.0",share=False)
+else:
+    print("No GPU available")
+    device = torch.device('cpu')
+    def infere(trimestre: str, moyenne_1: float,moyenne_2: float,moyenne_3: float, comportement: float, participation: float, travail: float) -> str:
+        return "No GPU available, please contact me"
+    
+    title = f"Une intelligence artificielle pour écrire des appréciationst <b>tourne sur {device}</b>"
+    desc = "Ce modèle vous propose une évaluation automatique."
 
-# Define the long description for the Gradio interface
-long_desc = f"Cette démonstration est basée sur le modèle <a href='https://huggingface.co/eltorio/Llama-3.2-3B-appreciation'>Llama-3.2-3B-appreciation</a>, c'est un LLM basé sur Llama 3.2 3B-instruct!<br><b>{device_desc}</b><br> 2024 - Ronan Le Meillat"
+    # Define the long description for the Gradio interface
+    long_desc = f"Cette démonstration est basée sur le modèle <a href='https://huggingface.co/eltorio/Llama-3.2-3B-appreciation'>Llama-3.2-3B-appreciation</a>, c'est un LLM basé sur Llama 3.2 3B-instruct!<br><b>{device_desc}</b><br> 2024 - Ronan Le Meillat"
 
-# Create a Gradio interface with the infere function and specified title and descriptions
-autoeval = gr.Interface(fn=infere, inputs=[
-        gr.Radio(
-            ["1", "2", "3"], value="1", label="trimestre", info="Trimestre"
-        ),
-        gr.Slider(0, 20,label="moyenne_1", value=10, info="Moyenne trimestre 1"),
-        gr.Slider(0, 20,label="moyenne_2", value=10, info="Moyenne trimestre 2"),
-        gr.Slider(0, 20,label="moyenne_3", value=10, info="Moyenne trimestre 3"),
-        gr.Slider(0, 10, value=5, label="comportement", info="Comportement (1 à 10)"),
-        gr.Slider(0, 10, value=5, label="participation", info="Participation (1 à 10)"),
-        gr.Slider(0, 10, value=5, label="travail", info="Travail (1 à 10)"),
-        
-    ], outputs="text", title=title, 
-                description=desc, article=long_desc)
+    # Create a Gradio interface with the infere function and specified title and descriptions
+    autoeval = gr.Interface(fn=infere, inputs=[
+            gr.Radio(
+                ["1", "2", "3"], value="1", label="trimestre", info="Trimestre"
+            ),
+            gr.Slider(0, 20,label="moyenne_1", value=10, info="Moyenne trimestre 1"),
+            gr.Slider(0, 20,label="moyenne_2", value=10, info="Moyenne trimestre 2"),
+            gr.Slider(0, 20,label="moyenne_3", value=10, info="Moyenne trimestre 3"),
+            gr.Slider(0, 10, value=5, label="comportement", info="Comportement (1 à 10)"),
+            gr.Slider(0, 10, value=5, label="participation", info="Participation (1 à 10)"),
+            gr.Slider(0, 10, value=5, label="travail", info="Travail (1 à 10)"),
+            
+        ], outputs="text", title=title, 
+                    description=desc, article=long_desc)
 
-# Launch the Gradio interface and share it
-autoeval.launch(server_name="0.0.0.0",share=False)
+    # Launch the Gradio interface and share it
+    autoeval.launch(server_name="0.0.0.0",share=False)