Update app.py

app.py

@@ -181,8 +181,6 @@ Slender는 말을 하지 못합니다.
 }
 
 
-from openai import OpenAI
-client = OpenAI()
 def cleanText(readData):
  
     #텍스트에 포함되어 있는 특수 문자 제거
@@ -264,25 +262,14 @@ def chat(id, npc, text):
 
 """
 
-        inputs = tokenizer("아", return_tensors="pt")["input_ids"]
-        outputs = model.generate(inputs, do_sample=True, temperature=0.6, top_p=0.75, max_new_tokens=2)
-        #output = tokenizer.decode(outputs[0])[len(prom)+3:-1].split("<")[0].split("###")[0].replace(". ", ".\n")
-        #output = cleanText(output)
-        #print(tokenizer.decode(outputs[0]))
+        inputs = tokenizer(prom+f"{npc}의 대답을 다음 문장에 맞춰 자연스럽게 작성해주세요. 한 문장만 작성하세요.\n\n{id}:" + text+f"\n\n{npc}:"},, return_tensors="pt")["input_ids"]
+        outputs = model.generate(inputs, do_sample=True, temperature=0.8, top_p=0.75, max_new_tokens=200)
+        output = tokenizer.decode(outputs[0])[len(prom)+3:-1].split("<")[0].split("###")[0].replace(". ", ".\n")
+        output = cleanText(output)
+        print(tokenizer.decode(outputs[0]))
         #output = f"{npc}의 응답입니다."
         
-        
-        response = client.chat.completions.create(
-        model=os.environ['MODEL'],
-        messages=[
-            {"role": "system", "content": prom},
-            {"role": "user", "content": f"{npc}의 대답을 다음 문장에 맞춰 자연스럽게 작성해주세요. 한 문장만 작성하세요.\n\n{id}:" + text+f"\n\n{npc}:"},
-        ]
-        )
-        output = response.choices[0].message.content
-        output = output.replace(".",".\n")
-        time.sleep(10)
-        print(output)
+        #print(output)
         history[npc][id] += f"{id}:{text}"
     else:
         output = "no model, GPU를 더 공유해주세요."