语言支持

app.py

@@ -65,6 +65,15 @@ FASTTEXT_TO_PADDLE = {
     "ja": "japan",  # 日语
 }
 
+# 语言特征检测 - 用于备用语言检测
+LANG_FEATURES = {
+    "ch": set("的一是不了人我在有他这为之大来以个中上们"),
+    "en": set("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"),
+    "fr": set("àâäæçéèêëîïôœùûüÿÀÂÄÆÇÉÈÊËÎÏÔŒÙÛÜŸ"),
+    "german": set("äöüßÄÖÜ"),
+    "japan": set("あいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもやゆよらりるれろわをんアイウエオカキクケコサシスセソタチツテト")
+}
+
 CONCURRENCY_LIMIT = 8
 
 
@@ -126,10 +135,14 @@ def create_model(lang):
         return PaddleOCR(lang=lang, use_angle_cls=True, use_gpu=False)
 
 
+# 预先加载所有语言的模型
+print("正在初始化多语言OCR模型...")
 model_managers = {}
 for lang, config in LANG_CONFIG.items():
+    print(f"加载 {LANG_MAP.get(lang, lang)} 模型...")
     model_manager = PaddleOCRModelManager(config["num_workers"], functools.partial(create_model, lang=lang))
     model_managers[lang] = model_manager
+print("所有OCR模型加载完成")
 
 
 def close_model_managers():
@@ -141,14 +154,43 @@ def close_model_managers():
 atexit.register(close_model_managers)
 
 
+def detect_language_by_features(text):
+    """基于特征字符集检测语言"""
+    if not text:
+        return "en"
+        
+    # 计算每种语言的特征字符出现比例
+    lang_scores = {}
+    for lang, char_set in LANG_FEATURES.items():
+        if not char_set:
+            continue
+        
+        # 计算文本中该语言特征字符的数量
+        count = sum(1 for char in text if char in char_set)
+        if count > 0:
+            lang_scores[lang] = count / len(text)
+    
+    # 特殊处理韩语（通过Unicode范围检测）
+    korean_count = sum(1 for char in text if '\uac00' <= char <= '\ud7a3')
+    if korean_count > 0:
+        lang_scores["korean"] = korean_count / len(text)
+    
+    # 如果没有检测到任何语言特征，默认为英语
+    if not lang_scores:
+        return "en"
+    
+    # 返回特征比例最高的语言
+    return max(lang_scores.items(), key=lambda x: x[1])[0]
+
+
 def detect_language_with_fasttext(text):
     """使用fasttext检测语言"""
     if not text or not text.strip():
         return "en"
         
     if lang_model is None:
-        # 如果fasttext模型加载失败，使用默认语言
-        return "en"
+        # 如果fasttext模型加载失败，使用基于特征的检测
+        return detect_language_by_features(text)
     
     try:
         # 预处理文本，保留一定长度
@@ -159,17 +201,58 @@ def detect_language_with_fasttext(text):
         lang_code = predictions[0][0].replace('__label__', '')
         
         # 映射到PaddleOCR支持的语言
-        return FASTTEXT_TO_PADDLE.get(lang_code, "en")
+        paddle_lang = FASTTEXT_TO_PADDLE.get(lang_code, None)
+        
+        # 如果无法映射，使用基于特征的检测作为备用
+        if paddle_lang is None:
+            return detect_language_by_features(text)
+            
+        return paddle_lang
     except Exception as e:
         print(f"语言检测错误: {e}")
-        return "en"  # 出错时默认使用英文
+        # 出错时使用基于特征的检测作为备用
+        return detect_language_by_features(text)
+
+
+def try_all_languages(image_path):
+    """尝试所有语言的OCR，返回最佳结果"""
+    best_result = None
+    best_lang = "en"
+    max_text_length = 0
+    
+    # 尝试所有语言
+    for lang in LANG_CONFIG.keys():
+        try:
+            ocr = model_managers[lang]
+            result = ocr.infer(image_path, cls=True)[0]
+            
+            if result:
+                # 提取所有文本
+                all_text = " ".join([line[1][0] for line in result])
+                text_length = len(all_text.strip())
+                
+                # 如果这个语言提取的文本更多，认为它更可能是正确的语言
+                if text_length > max_text_length:
+                    max_text_length = text_length
+                    best_result = result
+                    best_lang = lang
+                    
+                    # 如果是中文且提取了足够多的文本，直接返回
+                    if lang == "ch" and text_length > 10:
+                        return result, lang
+        except Exception as e:
+            print(f"OCR处理错误 ({lang}): {e}")
+            continue
+    
+    return best_result, best_lang
 
 
 def auto_detect_language(image_path):
     """使用多模型投票的方式检测语言"""
-    # 尝试不同语言的模型
-    languages_to_try = ["en", "ch"]  # 先尝试英文，然后是中文
+    # 先尝试中文和英文模型
+    languages_to_try = ["ch", "en"]
     results = {}
+    detected_texts = {}
     
     for lang in languages_to_try:
         try:
@@ -178,6 +261,8 @@ def auto_detect_language(image_path):
             if result:
                 # 提取所有文本
                 all_text = " ".join([line[1][0] for line in result])
+                detected_texts[lang] = all_text
+                
                 if all_text.strip():
                     # 使用fasttext检测语言
                     detected = detect_language_with_fasttext(all_text)
@@ -186,9 +271,17 @@ def auto_detect_language(image_path):
             print(f"OCR处理错误 ({lang}): {e}")
             continue
     
-    # 如果没有检测结果，默认使用英文
+    # 检查中文结果是否包含足够的中文字符
+    if "ch" in detected_texts:
+        chinese_chars = sum(1 for char in detected_texts["ch"] if '\u4e00' <= char <= '\u9fff')
+        if chinese_chars > 5:  # 如果有超过5个中文字符
+            return "ch"
+    
+    # 如果没有检测结果或者结果不可靠，尝试所有语言
     if not results:
-        return "en"
+        print("无法可靠检测语言，尝试所有语言...")
+        _, best_lang = try_all_languages(image_path)
+        return best_lang
     
     # 返回得票最多的语言
     return max(results.items(), key=lambda x: x[1])[0]
@@ -234,11 +327,19 @@ def inference(img, return_text_only=True):
         
         # 自动检测语言
         lang = auto_detect_language(img_path)
+        print(f"检测到的语言: {LANG_MAP.get(lang, lang)}")
         
         # 使用检测到的语言进行OCR
         ocr = model_managers[lang]
         result = ocr.infer(img_path, cls=True)[0]
         
+        # 如果结果为空或很少，尝试所有语言
+        all_text = " ".join([line[1][0] for line in result])
+        if len(all_text.strip()) < 5:
+            print("识别结果太少，尝试所有语言...")
+            result, lang = try_all_languages(img_path)
+            print(f"最佳语言: {LANG_MAP.get(lang, lang)}")
+        
         # 提取文本和位置信息
         boxes = [line[0] for line in result]
         txts = [line[1][0] for line in result]