0x7o commited on
Commit
a475ce0
1 Parent(s): b94cdc8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -6
app.py CHANGED
@@ -1,6 +1,7 @@
1
  import gradio as gr
2
  from transformers import AutoTokenizer, AutoModelForCausalLM
3
  import torch
 
4
 
5
  model_id = "aeonium/Aeonium-v1.1-Chat-4B"
6
 
@@ -12,6 +13,7 @@ model = AutoModelForCausalLM.from_pretrained(
12
  torch_dtype=torch.bfloat16,
13
  )
14
 
 
15
  def predict(message, history, max_tokens, temperature, top_p):
16
  # Формирование чата из истории и нового сообщения
17
  chat = [{"role": "user" if i % 2 == 0 else "assistant", "content": m}
@@ -45,12 +47,6 @@ iface = gr.ChatInterface(
45
  title="Чат с Aeonium v1.1",
46
  description="Это чат-интерфейс для модели Aeonium v1.1 Chat 4B. Задавайте вопросы и получайте ответы!",
47
  theme="soft",
48
- examples=[
49
- "Привет! Как дела?",
50
- "Расскажи мне о квантовой физике",
51
- "Какие интересные книги ты можешь порекомендовать?",
52
- ],
53
- cache_examples=False,
54
  retry_btn="Повторить",
55
  undo_btn="Отменить последнее",
56
  clear_btn="Очистить",
 
1
  import gradio as gr
2
  from transformers import AutoTokenizer, AutoModelForCausalLM
3
  import torch
4
+ import spaces
5
 
6
  model_id = "aeonium/Aeonium-v1.1-Chat-4B"
7
 
 
13
  torch_dtype=torch.bfloat16,
14
  )
15
 
16
+ @spaces.GPU
17
  def predict(message, history, max_tokens, temperature, top_p):
18
  # Формирование чата из истории и нового сообщения
19
  chat = [{"role": "user" if i % 2 == 0 else "assistant", "content": m}
 
47
  title="Чат с Aeonium v1.1",
48
  description="Это чат-интерфейс для модели Aeonium v1.1 Chat 4B. Задавайте вопросы и получайте ответы!",
49
  theme="soft",
 
 
 
 
 
 
50
  retry_btn="Повторить",
51
  undo_btn="Отменить последнее",
52
  clear_btn="Очистить",