Update app.py

app.py

@@ -30,13 +30,13 @@ default_generation_config = GenerationConfig(
 
 # 응답 생성 함수
 def respond(message, history, system_message, max_tokens, temperature, top_p):
-    # 생성 설정 업데이트
+    # 생성 설정
     generation_config = GenerationConfig(
         temperature=temperature,
         top_p=top_p,
-        max_new_tokens=max_tokens,
         **default_generation_config.to_dict()  # 기본 설정과 병합
     )
+    generation_config.max_new_tokens = max_tokens  # max_tokens만 따로 설정
     
     # 대화 히스토리와 시스템 메시지를 포함한 프롬프트 구성
     prompt = prompt_template.safe_substitute({"inst": system_message})
@@ -58,6 +58,7 @@ def respond(message, history, system_message, max_tokens, temperature, top_p):
         response += token
         yield response
 
+
 # Gradio Chat Interface 설정
 demo = gr.ChatInterface(
     respond,