Update app.py

app.py

@@ -1,31 +1,52 @@
 from transformers import pipeline
 import gradio as gr
+from PIL import Image
+import requests
+from io import BytesIO
 
 # 建立 pipeline
-pipe = pipeline("image-text-to-text", model="google/medgemma-4b-it")
+pipe = pipeline("image-to-text", model="google/medgemma-4b-it")
+
+# 檢查輸入是否為 URL，如果是，則下載並轉換為 PIL 圖片
+def load_image_from_input(image_input):
+    if image_input.startswith("http://") or image_input.startswith("https://"):
+        try:
+            response = requests.get(image_input)
+            img = Image.open(BytesIO(response.content))
+            return img
+        except Exception as e:
+            raise gr.Error(f"無法從 URL 下載圖片: {e}")
+    else:
+        # 如果不是 URL，就假設是檔案路徑，由 Gradio 自動處理
+        return Image.open(image_input)
 
 # 包裝成 API 函數
-def predict(image_url, question):
+def predict(image_input, question):
+    image = load_image_from_input(image_input)
+    
+    # 將輸入轉換為模型所需的 messages 格式
     messages = [
         {
             "role": "user",
             "content": [
-                {"type": "image", "url": image_url},
+                {"type": "image", "content": image},
                 {"type": "text", "text": question}
             ]
         },
     ]
-    result = pipe(text=messages)
+
+    result = pipe(messages)
     return result[0]["generated_text"]
 
 # Gradio 介面（同時支援 UI 和 API）
 iface = gr.Interface(
     fn=predict,
-    inputs=["text", "text"],  # image_url, question
+    inputs=[gr.Image(type="filepath"), "text"],
     outputs="text",
     title="MedGemma API + Demo",
-    description="呼叫 API 或用 UI 測試"
+    description="上傳圖片或輸入圖片 URL，以 API 或 UI 測試 MedGemma。"
 )
 
+# 啟動應用程式
 if __name__ == "__main__":
-    iface.launch()
+    iface.launch()