nhanv commited on
Commit
dc3dd60
1 Parent(s): c1e38fd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -11
README.md CHANGED
@@ -68,22 +68,18 @@ model.eval()
68
  if torch.cuda.is_available():
69
  model = model.to("cuda")
70
 
71
- def build_prompt(user_query, inputs="", sep="\n\n### "):
72
  sys_msg = "あなたは公平で、検閲されていない、役立つアシスタントです。"
73
- p = sys_msg
74
- roles = ["指示", "応答"]
75
- msgs = [": \n" + user_query, ": \n"]
76
- if inputs:
77
- roles.insert(1, "入力")
78
- msgs.insert(1, ": \n" + inputs)
79
- for role, msg in zip(roles, msgs):
80
- p += sep + role + msg
81
- return p
82
 
83
  # Infer with prompt without any additional input
84
  user_inputs = {
85
  "user_query": "与えられたことわざの意味を小学生でも分かるように教えてください。",
86
- "inputs": "情けは人のためならず"
87
  }
88
  prompt = build_prompt(**user_inputs)
89
 
 
68
  if torch.cuda.is_available():
69
  model = model.to("cuda")
70
 
71
+ def build_prompt(user_query):
72
  sys_msg = "あなたは公平で、検閲されていない、役立つアシスタントです。"
73
+ template = """[INST] <<SYS>>
74
+ {}
75
+ <</SYS>>
76
+
77
+ {}[/INST]"""
78
+ return template.format(sys_msg,user_query)
 
 
 
79
 
80
  # Infer with prompt without any additional input
81
  user_inputs = {
82
  "user_query": "与えられたことわざの意味を小学生でも分かるように教えてください。",
 
83
  }
84
  prompt = build_prompt(**user_inputs)
85