app.py修正

app.py

@@ -22,13 +22,33 @@ import torch
 
 # トークナイザーとモデルの準備
 tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
-model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")
+# model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")
+model = AutoModelForCausalLM.from_pretrained("output/")
 
 # 推論の実行
+#def Chat(prompt):
+#    input = tokenizer.encode(prompt, return_tensors="pt")
+#    output = model.generate(input, do_sample=True, max_length=100, num_return_sequences=5)
+#    return tokenizer.batch_decode(output)
 def Chat(prompt):
-    input = tokenizer.encode(prompt, return_tensors="pt")
-    output = model.generate(input, do_sample=True, max_length=100, num_return_sequences=5)
-    return tokenizer.batch_decode(output)
+  num = 3
+  input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
+  #with torch.no_grad():
+  output = model.generate(
+        input_ids,
+        max_length=300, # 最長の文章長
+        min_length=100, # 最短の文章長
+        do_sample=True,
+        top_k=500, # 上位{top_k}個の文章を保持
+        top_p=0.95, # 上位{top_p}%の単語から選択する。例）上位95%の単語から選んでくる
+        pad_token_id=tokenizer.pad_token_id,
+        bos_token_id=tokenizer.bos_token_id,
+        eos_token_id=tokenizer.eos_token_id,
+        #bad_word_ids=[[tokenizer.unk_token_id]],
+        num_return_sequences=num # 生成する文章の数
+    )
+  decoded = tokenizer.decode(output.tolist()[0])
+  return decoded
 
-app = gr.Interface(fn=Chat, inputs=gr.Textbox(lines=3, placeholder="文章を入力してください"), outputs="text" , title="りんな GPT-2 medium")
+app = gr.Interface(fn=Chat, inputs=gr.Textbox(lines=3, placeholder="文章を入力してください"), outputs="text" , title="夏目漱石GPT")
 app.launch()