WaveCut commited on
Commit
95cba97
1 Parent(s): 91b791a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -0
app.py CHANGED
@@ -10,6 +10,8 @@ import sys
10
  from huggingface_hub import snapshot_download
11
  from llama_cpp import Llama
12
 
 
 
13
 
14
  SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
15
  SYSTEM_TOKEN = 1587
@@ -47,6 +49,7 @@ model = Llama(
47
  model_path=model_name,
48
  n_ctx=2000,
49
  n_parts=1,
 
50
  )
51
 
52
  max_new_tokens = 1500
 
10
  from huggingface_hub import snapshot_download
11
  from llama_cpp import Llama
12
 
13
+ device = "gpu"
14
+
15
 
16
  SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
17
  SYSTEM_TOKEN = 1587
 
49
  model_path=model_name,
50
  n_ctx=2000,
51
  n_parts=1,
52
+ n_gpu_layers=30,
53
  )
54
 
55
  max_new_tokens = 1500