Update app.py

app.py

@@ -75,24 +75,18 @@ def chat(id, npc, text):
         prom = f"""<s><<SYS>>
 {npc_data.system_message}<</SYS>>
 
-[INST]
-{npc_data}
-### 명령어:
-대화기록을 참고하여 Rabbit이 할 말을 자연스럽게 작성해주세요. 한 문장만 작성하세요.
+{npc_data.get_story(npc)}
 
-이전 대화기록:
-'''
-{history}
-'''
+{npc}(이)가 할 말을 자연스럽게 작성해주세요. 한 문장만 작성하세요.
 
-### User:
+[INST]
+User:
 {user_message}
-
-### Rabbit:[/INST]
+[/INST]
 """
 
         inputs = tokenizer(prom, return_tensors="pt")["input_ids"]
-        outputs = model.generate(inputs, max_new_tokens=100)
+        outputs = model.generate(inputs, max_new_tokens=80)
         print(tokenizer.decode(outputs[0]))
         output = tokenizer.decode(outputs[0])[len(prom):-1]
         print(output)