IlyaGusev commited on
Commit
93fd4c4
1 Parent(s): 14f8ca3

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -8
app.py CHANGED
@@ -12,9 +12,9 @@ from llama_cpp import Llama
12
 
13
 
14
  SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
15
- SYSTEM_TOKEN = 1788
16
- USER_TOKEN = 1404
17
- BOT_TOKEN = 9225
18
  LINEBREAK_TOKEN = 13
19
 
20
 
@@ -38,7 +38,7 @@ def get_system_tokens(model):
38
  return get_message_tokens(model, **system_message)
39
 
40
 
41
- repo_name = "IlyaGusev/saiga2_13b_gguf"
42
  model_name = "model-q4_K.gguf"
43
 
44
  snapshot_download(repo_id=repo_name, local_dir=".", allow_patterns=model_name)
@@ -100,13 +100,13 @@ with gr.Blocks(
100
  ) as demo:
101
  favicon = '<img src="https://cdn.midjourney.com/b88e5beb-6324-4820-8504-a1a37a9ba36d/0_1.png" width="48px" style="display: inline">'
102
  gr.Markdown(
103
- f"""<h1><center>{favicon}Saiga2 13B GGUF Q4_K</center></h1>
104
 
105
- This is a demo of a **Russian**-speaking LLaMA2-based model. If you are interested in other languages, please check other models, such as [MPT-7B-Chat](https://huggingface.co/spaces/mosaicml/mpt-7b-chat).
106
 
107
- Это демонстрационная версия [квантованной Сайги-2 с 13 миллиардами параметров](https://huggingface.co/IlyaGusev/saiga2_13b_ggml), работающая на CPU.
108
 
109
- Сайга-2 — это разговорная языковая модель, которая основана на [LLaMA-2](https://ai.meta.com/llama/) и дообучена на корпусах, сгенерированных ChatGPT, таких как [ru_turbo_alpaca](https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca), [ru_turbo_saiga](https://huggingface.co/datasets/IlyaGusev/ru_turbo_saiga) и [gpt_roleplay_realm](https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm).
110
  """
111
  )
112
  with gr.Row():
 
12
 
13
 
14
  SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
15
+ SYSTEM_TOKEN = 1587
16
+ USER_TOKEN = 2188
17
+ BOT_TOKEN = 12435
18
  LINEBREAK_TOKEN = 13
19
 
20
 
 
38
  return get_message_tokens(model, **system_message)
39
 
40
 
41
+ repo_name = "IlyaGusev/saiga_mistral_7b_gguf"
42
  model_name = "model-q4_K.gguf"
43
 
44
  snapshot_download(repo_id=repo_name, local_dir=".", allow_patterns=model_name)
 
100
  ) as demo:
101
  favicon = '<img src="https://cdn.midjourney.com/b88e5beb-6324-4820-8504-a1a37a9ba36d/0_1.png" width="48px" style="display: inline">'
102
  gr.Markdown(
103
+ f"""<h1><center>{favicon}Saiga Mistral 7B GGUF Q4_K</center></h1>
104
 
105
+ This is a demo of a **Russian**-speaking Mistral-based model. If you are interested in other languages, please check other models, such as [MPT-7B-Chat](https://huggingface.co/spaces/mosaicml/mpt-7b-chat).
106
 
107
+ Это демонстрационная версия [квантованной Сайги/Мистраль с 7 миллиардами параметров](https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf), работающая на CPU.
108
 
109
+ Сайга — это разговорная языковая модель, дообученная на корпусах, сгенерированных ChatGPT, таких как [ru_turbo_alpaca](https://huggingface.co/datasets/IlyaGusev/ru_turbo_alpaca), [ru_turbo_saiga](https://huggingface.co/datasets/IlyaGusev/ru_turbo_saiga) и [gpt_roleplay_realm](https://huggingface.co/datasets/IlyaGusev/gpt_roleplay_realm).
110
  """
111
  )
112
  with gr.Row():