Update app.py

app.py

@@ -146,20 +146,36 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
 
 def preprocess_text_with_llm(input_text: str) -> str:
     # LLM에게 입력 텍스트를 전처리하도록 요청
-    system_prompt = """당신은 입력된 긴 텍스트를 데이터셋 형식에 맞게 전처리하는 역할을 합니다.
-- 데이터셋 형식은 id,text,label,metadata입니다.
-- 각 행은 쉼표로 구분되며, **텍스트나 다른 필드 내에 쉼표가 있을 경우 해당 필드를 반드시 큰따옴표(")로 감쌉니다.**
-- **필드 내에 큰따옴표가 포함된 경우, 해당 큰따옴표 앞에 백슬래시(\\)를 추가하여 이스케이프 처리합니다.**
-- 텍스트를 의미 단위로 분할하고, 적절히 문장을 재구성하고 편집하여 최적화된 문장으로 만듭니다.
-- 각 문장에 대해 id를 부여하고, 적절한 label(카테고리)을 지정합니다.
-- metadata에는 출처나 날짜 등의 추가 정보를 포함할 수 있습니다.
-- 최종 결과는 각 행이 'id,text,label,metadata' 형식의 CSV 형태가 되도록 합니다.
-"""
-    prompt = system_prompt + "\n\n입력 텍스트:\n" + input_text + "\n\n전처리된 데이터셋:"
+    system_prompt = """당신은 데이터 전처리 전문가입니다. 입력된 긴 텍스트를 아래와 같은 데이터셋 형식으로 전처리하세요:
+
+- **데이터셋 형식:** `id,text,label,metadata`
+- **각 행은 새로운 줄로 구분되고**, 필드는 쉼표로 구분됩니다.
+- **텍스트나 다른 필드 내에 쉼표가 있을 경우**, 해당 필드를 큰따옴표(")로 감싸세요.
+- **필드 내에 큰따옴표가 있을 경우**, 백슬래시(\\)로 이스케이프 처리하세요. 예: \\"
+- 텍스트를 **의미 단위로 분할**하고, 각 문장에 대해 **1부터 시작하는 연속된 id**를 부여하세요.
+- 각 문장에 대해 **적절한 label(카테고리)**을 지정하세요. 예: "기술", "사회", "경제"
+- **metadata**에는 출처나 날짜 등의 추가 정보를 포함하세요.
+- 최종 결과는 **각 행이 `id,text,label,metadata` 형식의 CSV**가 되도록 하세요.
+
+**예시:**
+
+입력 텍스트:
+
+"오늘은 날씨가 좋다. 내일은 비가 올 예정이다."
+
+전처리된 데이터셋:
+1,"오늘은 날씨가 좋다.","날씨","2023-10-05"
+2,"내일은 비가 올 예정이다.","날씨","2023-10-05"
+
+**이제 아래의 입력 텍스트를 처리하세요:**
+
+""" + input_text
+
+    # LLM 호출 및 응답 처리
     try:
         response = ""
         stream = hf_client.text_generation(
-            prompt=prompt,
+            prompt=system_prompt,
             max_new_tokens=2000,
             temperature=0.5,
             top_p=0.9,
@@ -168,7 +184,8 @@ def preprocess_text_with_llm(input_text: str) -> str:
         for msg in stream:
             if msg:
                 response += msg
-        # 응답에서 전처리된 데이터셋 부분만 추출
+        # 디버깅: LLM의 응답 출력
+        print("LLM 응답:\n", response)
         processed_text = response.strip()
         return processed_text
     except Exception as e:
@@ -176,6 +193,7 @@ def preprocess_text_with_llm(input_text: str) -> str:
         print(error_message)
         return error_message
 
+
 # CSS 설정
 css = """
 footer {
@@ -262,15 +280,7 @@ with gr.Blocks(css=css) as demo:
 
         send_data_upload.click(
             handle_message_data_upload,
-            inputs=[
-                msg_data_upload,
-                chatbot_data_upload,
-                system_message,
-                max_tokens,
-                temperature,
-                top_p,
-                parquet_data_state,  # parquet_data_state를 사용하여 업로드된 데이터를 전달
-            ],
+            inputs=[                msg_data_upload,                chatbot_data_upload,                system_message,                max_tokens,                temperature,                top_p,                parquet_data_state,  # parquet_data_state를 사용하여 업로드된 데이터를 전달            ],
             outputs=[chatbot_data_upload, msg_data_upload],
             queue=True
         )
@@ -406,3 +416,5 @@ if __name__ == "__main__":
 
 
 
+
+