Update app.py

app.py

@@ -72,22 +72,26 @@ async def generate_response(message):
     conversation_history.append({"role": "user", "content": user_input})
     logging.debug(f'대화 히스토리 업데이트됨: {conversation_history}')
 
-    # 시스템 메시지와 사용자 대화 히스토리를 결합하여 모델에 보낼 메시지 구성
-    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}] + conversation_history
+    # 대화 내역이 너무 길 경우, 최대 길이를 유지하기 위해 앞부분을 잘라냄
+    if len(conversation_history) > 20:
+        conversation_history = conversation_history[-20:]
+
+    # 대화 내역에서 역할이 제대로 교차하도록 확인
+    filtered_conversation = []
+    last_role = None
+    for message in conversation_history:
+        if message['role'] != last_role:
+            filtered_conversation.append(message)
+            last_role = message['role']
+
+    # 시스템 메시지와 필터링된 대화 히스토리를 결합하여 모델에 보낼 메시지 구성
+    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}] + filtered_conversation
     logging.debug(f'모델에 보낼 메시지: {messages}')
 
-    # 올바르게 교차하도록 대화 내역을 필터링
-    filtered_messages = []
-    for i in range(len(messages)):
-        if i == 0 or (messages[i]['role'] != messages[i-1]['role']):
-            filtered_messages.append(messages[i])
-
-    logging.debug(f'필터링된 메시지: {filtered_messages}')
-
     # 모델 호출
     loop = asyncio.get_event_loop()
     response = await loop.run_in_executor(None, lambda: hf_client.chat_completion(
-        messages=filtered_messages, max_tokens=1000, temperature=0.7, top_p=0.85))
+        messages=messages, max_tokens=1000, temperature=0.7, top_p=0.85))
 
     full_response = []
     for part in response: