Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -1,6 +1,7 @@
|
|
1 |
import gradio as gr
|
2 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
3 |
import torch
|
|
|
4 |
|
5 |
model_id = "aeonium/Aeonium-v1.1-Chat-4B"
|
6 |
|
@@ -12,6 +13,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
12 |
torch_dtype=torch.bfloat16,
|
13 |
)
|
14 |
|
|
|
15 |
def predict(message, history, max_tokens, temperature, top_p):
|
16 |
# Формирование чата из истории и нового сообщения
|
17 |
chat = [{"role": "user" if i % 2 == 0 else "assistant", "content": m}
|
@@ -45,12 +47,6 @@ iface = gr.ChatInterface(
|
|
45 |
title="Чат с Aeonium v1.1",
|
46 |
description="Это чат-интерфейс для модели Aeonium v1.1 Chat 4B. Задавайте вопросы и получайте ответы!",
|
47 |
theme="soft",
|
48 |
-
examples=[
|
49 |
-
"Привет! Как дела?",
|
50 |
-
"Расскажи мне о квантовой физике",
|
51 |
-
"Какие интересные книги ты можешь порекомендовать?",
|
52 |
-
],
|
53 |
-
cache_examples=False,
|
54 |
retry_btn="Повторить",
|
55 |
undo_btn="Отменить последнее",
|
56 |
clear_btn="Очистить",
|
|
|
1 |
import gradio as gr
|
2 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
3 |
import torch
|
4 |
+
import spaces
|
5 |
|
6 |
model_id = "aeonium/Aeonium-v1.1-Chat-4B"
|
7 |
|
|
|
13 |
torch_dtype=torch.bfloat16,
|
14 |
)
|
15 |
|
16 |
+
@spaces.GPU
|
17 |
def predict(message, history, max_tokens, temperature, top_p):
|
18 |
# Формирование чата из истории и нового сообщения
|
19 |
chat = [{"role": "user" if i % 2 == 0 else "assistant", "content": m}
|
|
|
47 |
title="Чат с Aeonium v1.1",
|
48 |
description="Это чат-интерфейс для модели Aeonium v1.1 Chat 4B. Задавайте вопросы и получайте ответы!",
|
49 |
theme="soft",
|
|
|
|
|
|
|
|
|
|
|
|
|
50 |
retry_btn="Повторить",
|
51 |
undo_btn="Отменить последнее",
|
52 |
clear_btn="Очистить",
|