Update app.py

app.py

@@ -4,7 +4,6 @@ import gradio as gr
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
 
-# می‌تونی بعداً این دو تا رو عوض کنی تا مدل دیگه‌ای رو تست کنی:
 REPO_ID = "bartowski/SmolLM2-135M-Instruct-GGUF"
 FILENAME = "SmolLM2-135M-Instruct-Q4_K_M.gguf"
 
@@ -16,13 +15,12 @@ def load_llm():
         local_dir=".",
         local_dir_use_symlinks=False,
     )
-    # تغییرات سرعت: n_ctx کمتر و n_batch اضافه شد
     llm = Llama(
         model_path=model_path,
-        n_ctx=1024,                           # CHANGED: قبلاً 2048 بود
+        n_ctx=512
         n_threads=max(2, os.cpu_count() or 2),
         n_gpu_layers=0,
-        n_batch=64,                           # CHANGED: پردازش سریع‌تر روی CPU
+        n_batch=32
         verbose=False,
     )
     return llm
@@ -43,8 +41,8 @@ def respond(message, history):
     # تغییرات سرعت: max_tokens و temperature
     stream = llm.create_completion(
         prompt=prompt,
-        max_tokens=120,                       # CHANGED: قبلاً 256 بود
-        temperature=0.5,                      # کمی خنک‌تر تا جواب‌ها جمع‌وجورتر شوند
+        max_tokens=120,                      
+        temperature=0.5,                
         top_p=0.9,
         stop=["[/ASSISTANT]", "[USER]", "\n[USER]"],
         stream=True,