Update app.py

app.py

@@ -5,65 +5,6 @@ import os
 # 获取 Hugging Face 访问令牌
 hf_token = os.getenv("HF_API_TOKEN")
 
-# 定义模型名称
-model_name = "larry1129/WooWoof_AI"
-
-# 定义全局变量用于缓存模型和分词器
-model = None
-tokenizer = None
-
-# 定义提示生成函数
-def generate_prompt(instruction, input_text="", output_text=None):
-    if input_text:
-        prompt = f"""### Instruction:
-{instruction}
-### Input:
-{input_text}
-### Response:
-"""
-    else:
-        prompt = f"""### Instruction:
-{instruction}
-### Response:
-"""
-    if output_text:
-        prompt += f"{output_text}{tokenizer.eos_token}"
-    return prompt
-
-# 定义生成响应的函数，并使用 @spaces.GPU 装饰
-@spaces.GPU(duration=30)
-def generate_response(instruction, input_text):
-    global model, tokenizer
-
-    if model is None:
-        # 在函数内部导入需要 GPU 的库
-        import torch
-        from transformers import AutoTokenizer, AutoModelForCausalLM
-
-        # 加载分词器
-        tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
-
-        # 加载模型
-        model = AutoModelForCausalLM.from_pretrained(
-            model_name,
-            device_map="auto",
-            torch_dtype=torch.float16,
-            use_auth_token=hf_token,
-        )
-
-        # 设置 pad_token
-        tokenizer.pad_token = tokenizer.eos_token
-        model.config.pad_token_id = tokenizer.pad_token_id
-
-        # 切换到评估模式
-        model.eval()
-    else:import spaces  # 必须在最顶部导入
-import gradio as gr
-import os
-
-# 获取 Hugging Face 访问令牌
-hf_token = os.getenv("HF_API_TOKEN")
-
 # 定义基础模型名称
 base_model_name = "unsloth/meta-llama-3.1-8b-bnb-4bit"
 
@@ -91,7 +32,7 @@ def generate_prompt(instruction, input_text=""):
     return prompt
 
 # 定义生成响应的函数，并使用 @spaces.GPU 装饰
-@spaces.GPU(duration=120)
+@spaces.GPU(duration=30)
 def generate_response(instruction, input_text):
     global model, tokenizer