fix: remove generator/queue, add api_name, add startup logs to diagnose No API Found

app.py

@@ -8,51 +8,55 @@ import traceback
 
 import gradio as gr
 
-sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
+# Ensure repo root is on the Python path so local packages resolve correctly
+_REPO_ROOT = os.path.dirname(os.path.abspath(__file__))
+sys.path.insert(0, _REPO_ROOT)
 
+print(f"[startup] repo root: {_REPO_ROOT}", flush=True)
+print(f"[startup] Python:    {sys.version}",  flush=True)
+print(f"[startup] Gradio:    {gr.__version__}", flush=True)
+
+
+# ── Backend function ──────────────────────────────────────────────────────────
 
 def run_vqa_extraction(
     pdf_files,
-    task_name: str,
-    api_url: str,
-    llm_api_key: str,
-    mineru_api_key: str,
-    model_name: str,
-    max_workers: int,
+    task_name,
+    api_url,
+    llm_api_key,
+    mineru_api_key,
+    model_name,
+    max_workers,
 ):
-    """Generator function — yields (file, status) so the UI stays alive during long runs."""
-
-    def err(msg):
-        return None, f"❌ {msg}"
-
-    # ── Input validation ──────────────────────────────────────────────────────
-    if not pdf_files:
-        yield err("请至少上传一个 PDF 文件。"); return
-    if not llm_api_key.strip():
-        yield err("请填写 LLM API Key（用于调用大模型提取 QA）。"); return
-    if not mineru_api_key.strip():
-        yield err("请填写 MinerU API Key（用于解析 PDF，与 LLM Key 不同）。"); return
-    if not task_name.strip():
-        task_name = "task1"
-
-    yield None, "⏳ [1/5] 设置环境变量…"
-
-    os.environ["DF_API_KEY"]      = llm_api_key.strip()
-    os.environ["MINERU_API_KEY"]  = mineru_api_key.strip()
-
-    workspace   = tempfile.mkdtemp(prefix="dataflow_vqa_")
-    cache_dir   = os.path.join(workspace, "cache")
+    # ── validation ──────────────────────────────────────────────────────────
+    if pdf_files is None or (isinstance(pdf_files, list) and len(pdf_files) == 0):
+        return None, "❌ 请至少上传一个 PDF 文件。"
+    if not str(llm_api_key).strip():
+        return None, "❌ 请填写 LLM API Key（用于调用大模型提取 QA）。"
+    if not str(mineru_api_key).strip():
+        return None, "❌ 请填写 MinerU API Key（与 LLM Key 完全不同，去 https://mineru.net/apiManage/token 申请）。"
+    task_name = str(task_name).strip() or "task1"
+
+    # ── env vars ─────────────────────────────────────────────────────────────
+    os.environ["DF_API_KEY"]     = str(llm_api_key).strip()
+    os.environ["MINERU_API_KEY"] = str(mineru_api_key).strip()
+
+    workspace    = tempfile.mkdtemp(prefix="dataflow_vqa_")
+    cache_dir    = os.path.join(workspace, "cache")
     os.makedirs(cache_dir, exist_ok=True)
     original_cwd = os.getcwd()
 
     try:
         os.chdir(workspace)
 
-        # ── Copy uploaded PDFs ────────────────────────────────────────────────
-        yield None, "⏳ [2/5] 整理上传的 PDF 文件…"
+        # ── copy uploaded PDFs ────────────────────────────────────────────
+        if not isinstance(pdf_files, list):
+            pdf_files = [pdf_files]
+
         pdf_paths = []
         for i, f in enumerate(pdf_files):
-            src = f if isinstance(f, str) else (f.name if hasattr(f, "name") else str(f))
+            src = f if isinstance(f, str) else (
+                  f.name if hasattr(f, "name") else str(f))
             dst = os.path.join(workspace, f"input_{i}.pdf")
             shutil.copy(src, dst)
             pdf_paths.append(dst)
@@ -61,58 +65,62 @@ def run_vqa_extraction(
         with open(input_jsonl, "w") as fout:
             entry = {
                 "input_pdf_paths": pdf_paths if len(pdf_paths) > 1 else pdf_paths[0],
-                "name": task_name.strip(),
+                "name": task_name,
             }
             fout.write(json.dumps(entry, ensure_ascii=False) + "\n")
 
-        # ── Import & initialise pipeline ──────────────────────────────────────
-        yield None, "⏳ [3/5] 加载 Pipeline 模块（首次可能需要 10–30 秒）…"
+        # ── import pipeline (lazy so startup stays fast) ──────────────────
         try:
-            from pipelines.vqa_extract_optimized_pipeline import PDF_VQA_extract_optimized_pipeline
+            from pipelines.vqa_extract_optimized_pipeline import (
+                PDF_VQA_extract_optimized_pipeline,
+            )
         except Exception:
-            tb = traceback.format_exc()
-            yield err(f"导入 Pipeline 失败，请检查依赖安装：\n{tb}"); return
+            return None, f"❌ 导入 Pipeline 失败（依赖未安装？）：\n{traceback.format_exc()}"
 
+        # ── build pipeline ────────────────────────────────────────────────
         try:
             pipeline = PDF_VQA_extract_optimized_pipeline(
-                input_file   = input_jsonl,
-                api_url      = api_url.rstrip("/"),
-                model_name   = model_name,
-                max_workers  = int(max_workers),
+                input_file  = input_jsonl,
+                api_url     = str(api_url).rstrip("/"),
+                model_name  = str(model_name),
+                max_workers = int(max_workers),
             )
             pipeline.compile()
         except ValueError as e:
             msg = str(e)
             if "DF_API_KEY" in msg:
-                yield err("LLM API Key 未能读取，请重新填写后点击运行。"); return
+                return None, "❌ LLM API Key 未能读取，请确认填写后重试。"
             if "MINERU_API_KEY" in msg:
-                yield err("MinerU API Key 未能读取，请重新填写后点击运行。"); return
-            yield err(f"Pipeline 初始化失败：{msg}"); return
+                return None, "❌ MinerU API Key 未能读取，请确认填写后重试。"
+            return None, f"❌ Pipeline 初始化失败：{msg}"
 
-        # ── Run pipeline ──────────────────────────────────────────────────────
-        yield None, "⏳ [4/5] 调用 MinerU 解析 PDF + LLM 提取 QA（可能需要数分钟，请耐心等待）…"
+        # ── run (this blocks until all steps complete) ────────────────────
         try:
             pipeline.forward()
         except RuntimeError as e:
             msg = str(e)
             if "no api found" in msg.lower() or "Apply upload urls failed" in msg:
-                yield err(
-                    "MinerU API Key 无效或已过期。\n"
-                    "请到 https://mineru.net/apiManage/token 重新申请，注意与 LLM Key 是两个不同的账号体系。\n\n"
+                return None, (
+                    "❌ MinerU API Key 无效或已过期。\n"
+                    "请到 https://mineru.net/apiManage/token 重新申请。\n\n"
                     f"原始错误：{msg}"
-                ); return
+                )
             if "Cannot connect to LLM server" in msg:
-                yield err(f"无法连接 LLM API，请检查 API Base URL 是否正确。\n\n原始错误：{msg}"); return
-            yield err(f"Pipeline 运行出错：{msg}"); return
-
-        # ── Collect output ────────────────────────────────────────────────────
-        yield None, "⏳ [5/5] 整理输出结果…"
-
-        step_files = [f for f in os.listdir(cache_dir) if re.match(r"vqa_step\d+\.jsonl", f)]
+                return None, f"❌ 无法连接 LLM API，请检查 Base URL。\n\n原始错误：{msg}"
+            return None, f"❌ Pipeline 运行出错：{msg}"
+
+        # ── collect output ────────────────────────────────────────────────
+        step_files = [
+            f for f in os.listdir(cache_dir)
+            if re.match(r"vqa_step\d+\.jsonl", f)
+        ]
         if not step_files:
-            yield err("Pipeline 完成但未找到输出文件，请检查 HF Space 日志。"); return
+            return None, "❌ Pipeline 完成但未找到输出文件，请检查 HF Space 的 Runtime 日志。"
 
-        max_step = max(int(re.findall(r"vqa_step(\d+)\.jsonl", f)[0]) for f in step_files)
+        max_step = max(
+            int(re.findall(r"vqa_step(\d+)\.jsonl", f)[0])
+            for f in step_files
+        )
         max_step_file = os.path.join(cache_dir, f"vqa_step{max_step}.jsonl")
 
         result_file = os.path.join(workspace, "raw_vqa.jsonl")
@@ -129,108 +137,89 @@ def run_vqa_extraction(
                 f_out.write(json.dumps(out, ensure_ascii=False) + "\n")
                 count += 1
 
-        yield result_file, f"✅ 完成！共提取 {count} 条 QA 对，点击上方下载 raw_vqa.jsonl。"
+        return result_file, f"✅ 完成！共提取 {count} 条 QA 对，点击上方下载 raw_vqa.jsonl。"
 
     except Exception:
-        tb = traceback.format_exc()
-        yield err(f"未知错误：\n{tb}")
+        return None, f"❌ 未知错误：\n{traceback.format_exc()}"
     finally:
         os.chdir(original_cwd)
 
 
-# ── Gradio UI ─────────────────────────────────────────────────────────────────
+# ── UI ────────────────────────────────────────────────────────────────────────
 
 with gr.Blocks(title="DataFlow-VQA · PDF 提取 Demo", theme=gr.themes.Soft()) as demo:
     gr.Markdown(
         """
 # 🔬 DataFlow-VQA — 从 PDF 提取 VQA 数据
 
-上传教材或试卷 PDF，自动用 [MinerU](https://mineru.net) 解析版面、再用 LLM 提取结构化 QA 对，输出 `raw_vqa.jsonl`。
+上传教材或试卷 PDF，用 [MinerU](https://mineru.net) 解析版面、再用 LLM 提取结构化 QA 对，输出 `raw_vqa.jsonl`。
 
-**流程：** PDF 合并 → MinerU 解析 → LLM 提取 QA → 后处理输出
+**流程：** PDF 上传 → MinerU 解析 → LLM 提取 QA → 下载结果
 
 > 所有 API 调用均通过您提供的密钥完成，本 Space 不存储任何数据或密钥。
         """
     )
 
     with gr.Row():
-        with gr.Column(scale=1):
+        with gr.Column():
             gr.Markdown("### 📄 上传 PDF")
             pdf_files = gr.File(
-                label="上传 PDF（单文件：题答混排；两文件：第1个为题，第2个为答案）",
+                label="上传 PDF（1 个：题答混排；2 个：第1题目第2答案）",
                 file_types=[".pdf"],
                 file_count="multiple",
             )
-            task_name = gr.Textbox(
-                label="任务名称（用于目录命名）",
-                value="task1",
-                placeholder="task1",
-            )
+            task_name = gr.Textbox(label="任务名称", value="task1")
 
-            gr.Markdown("### ⚙️ LLM API 配置")
+            gr.Markdown("### ⚙️ LLM 配置")
             api_url = gr.Textbox(
                 label="API Base URL",
                 value="https://generativelanguage.googleapis.com/v1beta/openai/",
-                placeholder="https://api.openai.com/v1",
             )
             llm_api_key = gr.Textbox(
                 label="LLM API Key（DF_API_KEY）",
-                placeholder="sk-... / AIzaSy...",
                 type="password",
+                placeholder="sk-... / AIzaSy...",
             )
             model_name = gr.Textbox(
-                label="模型名称（推荐强推理模型）",
+                label="模型名称",
                 value="gemini-2.5-pro",
-                placeholder="gemini-2.5-pro / gpt-4o / deepseek-r1",
             )
 
-            gr.Markdown("### 🏗️ MinerU API 配置")
+            gr.Markdown("### 🏗️ MinerU 配置")
             mineru_api_key = gr.Textbox(
                 label="MinerU API Key（MINERU_API_KEY）",
-                placeholder="sk2-...",
                 type="password",
-                info="⚠️ 独立于 LLM 的第二个 Key，用于 PDF 解析。去 https://mineru.net/apiManage/token 免费申请",
-            )
-            max_workers = gr.Slider(
-                label="并发 Worker 数",
-                minimum=1, maximum=30, value=5, step=1,
+                placeholder="sk2-...",
+                info="独立于 LLM 的 Key，去 https://mineru.net/apiManage/token 免费申请",
             )
-            run_btn = gr.Button("▶ 开始提取", variant="primary", size="lg")
+            max_workers = gr.Slider(label="并发数", minimum=1, maximum=30, value=5, step=1)
+            run_btn = gr.Button("▶ 开始提取", variant="primary")
 
-        with gr.Column(scale=1):
+        with gr.Column():
             gr.Markdown("### 📤 输出")
             status_box = gr.Textbox(
                 label="运行状态",
                 interactive=False,
                 lines=10,
-                placeholder="点击「开始提取」后，进度会实时显示在这里…",
-            )
-            output_file = gr.File(
-                label="下载提取结果（raw_vqa.jsonl）",
-                interactive=False,
+                placeholder="点击「开始提取」后状态显示在这里（运行需数分钟，请耐心等待）…",
             )
+            output_file = gr.File(label="下载结果（raw_vqa.jsonl）", interactive=False)
 
-    gr.Markdown(
-        """
+    gr.Markdown("""
 ---
-**两个 API Key 的区别：**
-
 | Key | 用途 | 申请地址 |
 |-----|------|---------|
-| LLM API Key | 调用 GPT / Gemini / DeepSeek 等大模型提取 QA | 对应 LLM 服务商 |
-| **MinerU API Key** | 调用 MinerU 服务解析 PDF 版面（完全独立） | [mineru.net/apiManage/token](https://mineru.net/apiManage/token) |
-
-**项目地址**：[OpenDCAI/DataFlow-VQA](https://github.com/OpenDCAI/DataFlow-VQA)
-        """
-    )
+| LLM API Key | 调用 GPT/Gemini 等大模型提取 QA | 对应 LLM 服务商 |
+| **MinerU API Key** | 解析 PDF 版面（与 LLM 完全独立） | [mineru.net/apiManage/token](https://mineru.net/apiManage/token) |
+""")
 
     run_btn.click(
         fn=run_vqa_extraction,
         inputs=[pdf_files, task_name, api_url, llm_api_key, mineru_api_key, model_name, max_workers],
         outputs=[output_file, status_box],
+        api_name="run_vqa_extraction",
+        show_progress="full",
     )
 
-demo.queue()
-
 if __name__ == "__main__":
     demo.launch()