Update core/multilingual_manager.py

core/multilingual_manager.py

@@ -146,7 +146,8 @@
 import re
 from typing import Dict, Tuple, Optional
 from sentence_transformers import SentenceTransformer
-from langdetect import detect, detect_langs, LangDetectError
+from langdetect import detect, detect_langs
+from langdetect.lang_detect_exception import LangDetectException
 from config.settings import settings
 
 class MultilingualManager:
@@ -222,7 +223,7 @@ class MultilingualManager:
             print(f"🔍 Phát hiện ngôn ngữ: {detected_lang} (độ tin cậy: {confidence:.2f})")
             return detected_lang
             
-        except LangDetectError as e:
+        except LangDetectException as e:
             print(f"⚠️ LangDetect lỗi, sử dụng fallback: {e}")
             return self._fallback_language_detection(text) if fallback_method else 'vi'
         except Exception as e:
@@ -238,12 +239,14 @@ class MultilingualManager:
         # Vietnamese detection với các từ đặc trưng
         vietnamese_indicators = [
             'của', 'và', 'là', 'có', 'được', 'trong', 'cho', 'với', 'như', 'tôi',
-            'bạn', 'ông', 'bà', 'anh', 'chị', 'em', 'này', 'kia', 'đó', 'đây'
+            'bạn', 'ông', 'bà', 'anh', 'chị', 'em', 'này', 'kia', 'đó', 'đây',
+            'không', 'có', 'phải', 'rất', 'nhất', 'các', 'những', 'một', 'hai', 'ba'
         ]
         
         english_indicators = [
             'the', 'and', 'is', 'are', 'for', 'with', 'this', 'that', 'you', 'they',
-            'what', 'where', 'when', 'why', 'how', 'which', 'who', 'their', 'have', 'has'
+            'what', 'where', 'when', 'why', 'how', 'which', 'who', 'their', 'have', 'has',
+            'from', 'your', 'will', 'would', 'could', 'should', 'about', 'into', 'through'
         ]
         
         # Đếm số từ chỉ định
@@ -307,10 +310,36 @@ class MultilingualManager:
             
             return detected_lang, confidence_score
             
+        except LangDetectException as e:
+            print(f"⚠️ Lỗi phát hiện ngôn ngữ với confidence: {e}")
+            return 'vi', 0.5
         except Exception as e:
             print(f"⚠️ Lỗi phát hiện ngôn ngữ với confidence: {e}")
             return 'vi', 0.5
 
+    def detect_language_simple(self, text: str) -> str:
+        """
+        Phát hiện ngôn ngữ đơn giản (nhanh hơn, ít chính xác hơn)
+        """
+        if not text or len(text.strip()) < 3:
+            return 'vi'
+        
+        try:
+            # Sử dụng detect đơn giản thay vì detect_langs
+            lang_code = detect(text)
+            
+            lang_map = {
+                'vi': 'vi', 'en': 'en', 'fr': 'fr', 'es': 'es', 
+                'de': 'de', 'ja': 'ja', 'ko': 'ko', 'zh-cn': 'zh', 'zh-tw': 'zh'
+            }
+            
+            return lang_map.get(lang_code, 'en')
+            
+        except LangDetectException:
+            return self._fallback_language_detection(text)
+        except Exception:
+            return 'vi'
+
     def get_embedding_model(self, language: str = None) -> Optional[SentenceTransformer]:
         """Lấy mô hình embedding dựa trên ngôn ngữ đã phát hiện"""
         if language and language in settings.SUPPORTED_LANGUAGES:
@@ -372,4 +401,8 @@ class MultilingualManager:
             'ja': '日本語',
             'ko': '한국어',
             'zh': '中文'
-        }
+        }
+
+    def is_language_supported(self, language: str) -> bool:
+        """Kiểm tra xem ngôn ngữ có được hỗ trợ không"""
+        return language in self.get_supported_languages()