Spaces:
Runtime error
Runtime error
Yumenohoshi
commited on
Commit
•
5da40b8
1
Parent(s):
b183ad6
Update app.py
Browse files
app.py
CHANGED
@@ -7,10 +7,21 @@ from transformers import AutoTokenizer
|
|
7 |
import ctranslate2
|
8 |
import gradio as gr
|
9 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
10 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
11 |
generator = ctranslate2.Generator("./FixedStar-BETA-7b-ct2", device=device)
|
12 |
tokenizer = AutoTokenizer.from_pretrained(
|
13 |
-
"Yumenohoshi/Fixedstar-BETA", use_fast=True)
|
14 |
|
15 |
def inference_func(prompt, max_length=128, sampling_temperature=0.7):
|
16 |
tokens = tokenizer.convert_ids_to_tokens(
|
@@ -52,8 +63,9 @@ def interact_func(message, chat_history, max_context_size, max_length, sampling_
|
|
52 |
chat_history.append((message, generated))
|
53 |
return "", chat_history
|
54 |
|
|
|
55 |
|
56 |
-
with gr.Blocks(theme="monochrome") as demo:
|
57 |
with gr.Accordion("Configs", open=False):
|
58 |
# max_context_size = the number of turns * 2
|
59 |
max_context_size = gr.Number(value=20, label="記憶する会話ターン数", precision=0)
|
|
|
7 |
import ctranslate2
|
8 |
import gradio as gr
|
9 |
|
10 |
+
DESCRIPTION="""
|
11 |
+
## 概要
|
12 |
+
- これは、とある研究発表のために作られたチャットルーム(スペース)です。アクセス過多の場合は、少し時間をおいてから再度アクセスしてください。
|
13 |
+
- 詳細設定にて、AIが生成する文章のテイストを調整することが出来ます。
|
14 |
+
- AIの名前は「ベータ」です。
|
15 |
+
## たのむぞ
|
16 |
+
- あまり個人情報を入力しないでください。
|
17 |
+
- 会話内容は収集しておりません。
|
18 |
+
"""
|
19 |
+
|
20 |
+
|
21 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
22 |
generator = ctranslate2.Generator("./FixedStar-BETA-7b-ct2", device=device)
|
23 |
tokenizer = AutoTokenizer.from_pretrained(
|
24 |
+
"Yumenohoshi/Fixedstar-BETA-7b", use_fast=True)
|
25 |
|
26 |
def inference_func(prompt, max_length=128, sampling_temperature=0.7):
|
27 |
tokens = tokenizer.convert_ids_to_tokens(
|
|
|
63 |
chat_history.append((message, generated))
|
64 |
return "", chat_history
|
65 |
|
66 |
+
gr.Markdown(DESCRIPTION)
|
67 |
|
68 |
+
with gr.Blocks(theme="monochrome", css="style.css") as demo:
|
69 |
with gr.Accordion("Configs", open=False):
|
70 |
# max_context_size = the number of turns * 2
|
71 |
max_context_size = gr.Number(value=20, label="記憶する会話ターン数", precision=0)
|