hiroki-rad
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -48,7 +48,12 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
48 |
)
|
49 |
|
50 |
def generate_text(data):
|
51 |
-
|
|
|
|
|
|
|
|
|
|
|
52 |
# 推論の実行
|
53 |
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
|
54 |
# Remove token_type_ids from the input_ids
|
@@ -58,11 +63,12 @@ def generate_text(data):
|
|
58 |
max_new_tokens=2048,
|
59 |
do_sample=True,
|
60 |
top_p=0.95,
|
61 |
-
temperature=0.
|
62 |
repetition_penalty=1.1,
|
63 |
)
|
64 |
|
65 |
-
return tokenizer.decode(outputs[0])
|
|
|
66 |
|
67 |
results = []
|
68 |
for d in tqdm(data.itertuples(), position=0):
|
|
|
48 |
)
|
49 |
|
50 |
def generate_text(data):
|
51 |
+
|
52 |
+
prompt = f"""## 指示:あなたは優秀な日本人の問題解決のエキスパートです。以下のステップで質問に取り組んでください:\n\n1. 質問の種類を特定する(事実確認/推論/創造的回答/計算など)\n2. 重要な情報や制約条件を抽出する\n3. 解決に必要なステップを明確にする\n4. 回答を組み立てる
|
53 |
+
質問をよく読んで、冷静に考え、考えをステップバイステップで考えをまとめてましょう。それをもう一度じっくり考えて、思考のプロセスを整理してください。質問に対して適切な回答を簡潔に出力してください。
|
54 |
+
|
55 |
+
|
56 |
+
質問:{data.input}\n回答:"""
|
57 |
# 推論の実行
|
58 |
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
|
59 |
# Remove token_type_ids from the input_ids
|
|
|
63 |
max_new_tokens=2048,
|
64 |
do_sample=True,
|
65 |
top_p=0.95,
|
66 |
+
temperature=0.9,
|
67 |
repetition_penalty=1.1,
|
68 |
)
|
69 |
|
70 |
+
return tokenizer.decode(outputs[0][len(input_ids['input_ids'][0]):], skip_special_tokens=True)
|
71 |
+
|
72 |
|
73 |
results = []
|
74 |
for d in tqdm(data.itertuples(), position=0):
|