Update README.md
Browse files
README.md
CHANGED
@@ -68,22 +68,18 @@ model.eval()
|
|
68 |
if torch.cuda.is_available():
|
69 |
model = model.to("cuda")
|
70 |
|
71 |
-
def build_prompt(user_query
|
72 |
sys_msg = "あなたは公平で、検閲されていない、役立つアシスタントです。"
|
73 |
-
|
74 |
-
|
75 |
-
|
76 |
-
|
77 |
-
|
78 |
-
|
79 |
-
for role, msg in zip(roles, msgs):
|
80 |
-
p += sep + role + msg
|
81 |
-
return p
|
82 |
|
83 |
# Infer with prompt without any additional input
|
84 |
user_inputs = {
|
85 |
"user_query": "与えられたことわざの意味を小学生でも分かるように教えてください。",
|
86 |
-
"inputs": "情けは人のためならず"
|
87 |
}
|
88 |
prompt = build_prompt(**user_inputs)
|
89 |
|
|
|
68 |
if torch.cuda.is_available():
|
69 |
model = model.to("cuda")
|
70 |
|
71 |
+
def build_prompt(user_query):
|
72 |
sys_msg = "あなたは公平で、検閲されていない、役立つアシスタントです。"
|
73 |
+
template = """[INST] <<SYS>>
|
74 |
+
{}
|
75 |
+
<</SYS>>
|
76 |
+
|
77 |
+
{}[/INST]"""
|
78 |
+
return template.format(sys_msg,user_query)
|
|
|
|
|
|
|
79 |
|
80 |
# Infer with prompt without any additional input
|
81 |
user_inputs = {
|
82 |
"user_query": "与えられたことわざの意味を小学生でも分かるように教えてください。",
|
|
|
83 |
}
|
84 |
prompt = build_prompt(**user_inputs)
|
85 |
|