Update app-backup1.py

app-backup1.py

@@ -5,48 +5,87 @@ import os
 from datetime import datetime, timedelta
 from huggingface_hub import InferenceClient
 
+
+    
 API_KEY = os.getenv("SERPHOUSE_API_KEY")
-hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN"))
+# hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN"))
 
 # 국가별 언어 코드 매핑
 COUNTRY_LANGUAGES = {
-    "South Korea": "ko",
+    "United States": "en",
+    "United Kingdom": "en",
+    "Taiwan": "zh-TW",  # 대만어(번체 중국어)
+    "Canada": "en",
+    "Australia": "en",
+    "Germany": "de",
+    "France": "fr",
     "Japan": "ja",
+    "South Korea": "ko",
     "China": "zh",
+    "India": "hi",
+    "Brazil": "pt",
+    "Mexico": "es",
     "Russia": "ru",
-    "France": "fr",
-    "Germany": "de",
-    "Spain": "es",
     "Italy": "it",
+    "Spain": "es",
     "Netherlands": "nl",
-    "Portugal": "pt",
-    "Thailand": "th",
-    "Vietnam": "vi",
+    "Singapore": "en",
+    "Hong Kong": "zh-HK",
     "Indonesia": "id",
     "Malaysia": "ms",
-    "Saudi Arabia": "ar",
-    "United Arab Emirates": "ar",
-    "Egypt": "ar",
-    "Morocco": "ar",
-    "Greece": "el",
+    "Philippines": "tl",
+    "Thailand": "th",
+    "Vietnam": "vi",
+    "Belgium": "nl",
+    "Denmark": "da",
+    "Finland": "fi",
+    "Ireland": "en",
+    "Norway": "no",
     "Poland": "pl",
+    "Sweden": "sv",
+    "Switzerland": "de",
+    "Austria": "de",
     "Czech Republic": "cs",
+    "Greece": "el",
     "Hungary": "hu",
-    "Turkey": "tr",
+    "Portugal": "pt",
     "Romania": "ro",
-    "Bulgaria": "bg",
+    "Turkey": "tr",
+    "Israel": "he",
+    "Saudi Arabia": "ar",
+    "United Arab Emirates": "ar",
+    "South Africa": "en",
+    "Argentina": "es",
+    "Chile": "es",
+    "Colombia": "es",
+    "Peru": "es",
+    "Venezuela": "es",
+    "New Zealand": "en",
+    "Bangladesh": "bn",
+    "Pakistan": "ur",
+    "Egypt": "ar",
+    "Morocco": "ar",
+    "Nigeria": "en",
+    "Kenya": "sw",
+    "Ukraine": "uk",
     "Croatia": "hr",
-    "Serbia": "sr",
     "Slovakia": "sk",
-    "Slovenia": "sl",
+    "Bulgaria": "bg",
+    "Serbia": "sr",
     "Estonia": "et",
     "Latvia": "lv",
-    "Lithuania": "lt"
+    "Lithuania": "lt",
+    "Slovenia": "sl",
+    "Luxembourg": "fr",
+    "Malta": "mt",
+    "Cyprus": "el",
+    "Iceland": "is"
 }
 
 COUNTRY_LOCATIONS = {
     "United States": "United States",
     "United Kingdom": "United Kingdom",
+    "Taiwan": "Taiwan",  # 국가명 사용
     "Canada": "Canada",
     "Australia": "Australia",
     "Germany": "Germany",
@@ -118,24 +157,66 @@ MAJOR_COUNTRIES = list(COUNTRY_LOCATIONS.keys())
 
 def translate_query(query, country):
     try:
+        # 영어 입력 확인
+        if is_english(query):
+            print(f"영어 검색어 감지 - 원본 사용: {query}")
+            return query
+            
+        # 선택된 국가가 번역 지원 국가인 경우    
         if country in COUNTRY_LANGUAGES:
+            # South Korea 선택시 한글 입력은 그대로 사용    
+            if country == "South Korea":
+                print(f"한국 선택 - 원본 사용: {query}")
+                return query
+                
             target_lang = COUNTRY_LANGUAGES[country]
-            prompt = f"Translate the following English text to {target_lang} language. Only output the translated text without any explanations or quotes: {query}"
+            print(f"번역 시도: {query} -> {country}({target_lang})")
+            
+            # Google Translate API URL
+            url = f"https://translate.googleapis.com/translate_a/single"
+            
+            params = {
+                "client": "gtx",
+                "sl": "auto",  # 자동 언어 감지
+                "tl": target_lang,  # 대상 언어
+                "dt": "t",
+                "q": query
+            }
+            
+            response = requests.get(url, params=params)
+            translated_text = response.json()[0][0][0]
+            
+            print(f"번역 완료: {query} -> {translated_text} ({country})")
+            return translated_text
             
-            translated = hf_client.text_generation(
-                prompt,
-                max_new_tokens=100,
-                temperature=0.3
-            )
-            return translated.strip()
         return query
+        
     except Exception as e:
-        print(f"Translation error: {str(e)}")
+        print(f"번역 오류: {str(e)}")
         return query
 
+def is_english(text):
+    # 영어와 일반적인 기호만 포함된 경우 True 반환
+    return all(ord(char) < 128 for char in text.replace(' ', '').replace('-', '').replace('_', ''))
+
+    
+def is_korean(text):
+    return any('\uAC00' <= char <= '\uD7A3' for char in text)
+
+def is_english(text):
+    return all(ord(char) < 128 for char in text.replace(' ', ''))
+    
+def is_korean(text):
+    return any('\uAC00' <= char <= '\uD7A3' for char in text)
+    
 def search_serphouse(query, country, page=1, num_result=10):
     url = "https://api.serphouse.com/serp/live"
     
+    # 24시간 이내 날짜 범위 설정
+    now = datetime.utcnow()
+    yesterday = now - timedelta(days=1)
+    date_range = f"{yesterday.strftime('%Y-%m-%d')},{now.strftime('%Y-%m-%d')}"
+    
     # 검색어 번역
     translated_query = translate_query(query, country)
     print(f"Original query: {query}")
@@ -143,14 +224,16 @@ def search_serphouse(query, country, page=1, num_result=10):
     
     payload = {
         "data": {
-            "q": query,
+            "q": translated_query,  # 여기를 번역된 검색어로 변경
             "domain": "google.com",
             "loc": COUNTRY_LOCATIONS.get(country, "United States"),
-            "lang": "en",
+            "lang": COUNTRY_LANGUAGES.get(country, "en"),  # 언어 코드도 해당 국가 언어로 변경
             "device": "desktop",
             "serp_type": "news",
             "page": "1",
-            "num": "10"
+            "num": "10",
+            "date_range": date_range,
+            "sort_by": "date"
         }
     }
 
@@ -162,7 +245,7 @@ def search_serphouse(query, country, page=1, num_result=10):
 
     try:
         response = requests.post(url, json=payload, headers=headers)
-        print("Request payload:", json.dumps(payload, indent=2))
+        print("Request payload:", json.dumps(payload, indent=2, ensure_ascii=False))  # ensure_ascii=False 추가
         print("Response status:", response.status_code)
         
         response.raise_for_status()
@@ -206,16 +289,19 @@ css = """
 footer {visibility: hidden;}
 """
 
-# Gradio 인터페이스 수정
 with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as iface:
-    gr.Markdown("검색어를 입력하고 원하는 국가를 선택하면, 검색어와 일치하는 24시간 이내 뉴스를 최대 100개 출력합니다.")
-
+    gr.Markdown("검색어를 입력하고 원하는 국가(67개국)를 선택하면, 검색어와 일치하는 24시간 이내 뉴스를 최대 100개 출력합니다.")
+    gr.Markdown("국가 선택후 검색어에 '한글'을 입력하면 현지 언어로 번역되어 검색합니다. 예: 'Taiwan' 국가 선택후 '삼성' 입력시 '三星'으로 자동 검색 ")
+    
     with gr.Column():
         with gr.Row():
             query = gr.Textbox(label="검색어")
             country = gr.Dropdown(MAJOR_COUNTRIES, label="국가", value="South Korea")
             
-        # 번역 결과를 보여주는 컴포넌트 추가
+        # 검색 상태 메시지 컴포넌트 추가
+        search_status = gr.Markdown(visible=False)
+        
+        # 번역 결과를 보여주는 컴포넌트
         translated_query_display = gr.Markdown(visible=False)
             
         search_button = gr.Button("검색", variant="primary")
@@ -242,6 +328,9 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
                 })
 
     def search_and_display(query, country, articles_state, progress=gr.Progress()):
+        # 검색 시작 메시지 표시
+        search_status_output = gr.update(value="검색을 진행중입니다. 잠시만 기다리세요...", visible=True)
+        
         progress(0, desc="검색어 번역 중...")
         
         # 검색어 번역
@@ -252,7 +341,10 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
         error_message, articles = serphouse_search(query, country)
         progress(0.5, desc="결과 처리 중...")
         
-        outputs = [gr.update(value=translated_display, visible=True)]  # 번역 결과 표시
+        outputs = [
+            search_status_output,  # 검색 상태 메시지
+            gr.update(value=translated_display, visible=True)  # 번역 결과 표시
+        ]
         
         if error_message:
             outputs.append(gr.update(value=error_message, visible=True))
@@ -289,9 +381,18 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
         progress(1.0, desc="완료!")
         outputs.append(articles_state)
         outputs.append(gr.update(visible=False))
+        
+        # 검색 완료 후 상태 메시지 숨김
+        search_status_output = gr.update(visible=False)
+        outputs[0] = search_status_output
+        
         return outputs
 
-    search_outputs = [translated_query_display, gr.Markdown(visible=False)]  # 번역 결과 컴포넌트 추가
+    search_outputs = [
+        search_status,  # 검색 상태 메시지 출력 추가
+        translated_query_display, 
+        gr.Markdown(visible=False)
+    ]
     for comp in article_components:
         search_outputs.extend([comp['group'], comp['title'], comp['image'],
                              comp['snippet'], comp['info']])