app.py

import os
# 環境変数からDIFY_BASE_URLとDIFY_API_KEY_MYWORKFLOWを取得
DIFY_BASE_URL = os.environ.get("DIFY_BASE_URL", "")
DIFY_API_KEY_MYWORKFLOW = os.environ.get("DIFY_API_KEY_MYWORKFLOW", "")
import gradio as gr
import requests
from langchain_community.document_loaders import YoutubeLoader, UnstructuredPDFLoader, WebBaseLoader
from langchain_community.document_loaders import OnlinePDFLoader
import json

def run_workflow(message,language='en'):
    try:
        if not message.get('text',''):
            file = message['files'][0]
            # PDFファイルをロードしてテキストを抽出
            loader = UnstructuredPDFLoader(file)
            data = loader.load()
            raw_text = data[0].page_content
        else:
          text_message = message.get('text','')
          if "youtube.com" in text_message or "youtu.be" in text_message:
              # YouTubeの場合
              loader = YoutubeLoader.from_youtube_url(
                  youtube_url=text_message,
                  add_video_info=True,
                  language=[language],
              )
              docs = loader.load()
              raw_text = str(docs)
          elif text_message.endswith(".pdf"):
              # PDFの場合
              loader = OnlinePDFLoader(text_message)
              docs = loader.load()
              raw_text = docs[0].page_content
          elif text_message.startswith("http") or text_message.startswith("https"):
              # それ以外の場合
              loader = WebBaseLoader(text_message)
              docs = loader.load()
              raw_text = docs[0].page_content
          else:
              raw_text = text_message


        # APIリクエストのための入力データを準備
        inputs = {
            "knowledge": raw_text
        }

        yield raw_text, "loading...", {}

        # APIエンドポイントURL
        url = DIFY_BASE_URL + "/workflows/run"

        # APIリクエストのヘッダー
        headers = {
            "Content-Type": "application/json",
            "Authorization": f"Bearer {DIFY_API_KEY_MYWORKFLOW}"
        }

        # APIリクエストのデータ
        data = {
            "inputs": inputs,
            "query": "",
            "response_mode": "streaming",
            "user": "abc_123",
        }

        # APIにリクエストを送信
        response = requests.post(url, headers=headers, json=data, stream=True)
        response.raise_for_status()

        assistant_message = ""
        outputs = {}

        # APIレスポンスのチャンク処理
        for chunk in response.iter_lines(delimiter=b"\n\n"):
            if chunk:
                chunk_data = chunk.decode("utf-8").strip()
                if chunk_data.startswith("data:"):
                    json_data = chunk_data[6:]  # "data: "を取り除く
                    if json_data:
                        result = json.loads(json_data)
                        if result.get("event") == "text_chunk":
                            answer = result.get("data", "").get("text", "")
                            assistant_message += str(answer)
                            yield raw_text, assistant_message, result.get("data", "")
                        elif result.get("event") == "workflow_finished":
                            outputs = result.get('data', "")
                            yield raw_text, assistant_message, outputs

    except Exception as e:
        error_message = str(e)
        print(f"Error: {error_message}")
        return "error", error_message, {}

# Gradioインターフェイスの設定
iface = gr.Interface(
    fn=run_workflow,
    inputs=[gr.MultimodalTextbox(label="PDFファイルをアップロード", file_types=[".pdf"], interactive=True),
            gr.Dropdown(label="Language",value="ja",choices=["en","en-US", "ja", "fr","de","it"],allow_custom_value=True)],
    outputs=[
        gr.Textbox(label="生テキスト", show_copy_button=True, max_lines=5),
        gr.Markdown(),
        gr.JSON()
    ],
    title="Documnet to Dify Workflow",
    description="このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。",
    article="""
    © 2024 @tregu0458. All rights reserved.
# PDF、YouTube、Web URLを入力としたDifyワークフロー
このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。PDFファイルをアップロードするか、YouTube URLを提供するか、Web URLを入力するだけで、ワークフローがテキストコンテンツを抽出し、Dify APIを使用して処理します。
## 特徴
- PDFファイル、YouTube動画、Webページを入力として対応
- `langchain_community.document_loaders`の`UnstructuredPDFLoader`と`OnlinePDFLoader`を使用してPDFファイルからテキストを抽出
- `langchain_community.document_loaders`の`YoutubeLoader`を使用してYouTube動画からテキストを抽出
- `langchain_community.document_loaders`の`WebBaseLoader`を使用してWebページからテキストを抽出
- 抽出されたテキストをDify APIワークフローで処理
- リアルタイム更新のためのストリーミングレスポンス処理
- 生テキスト、処理されたテキスト、JSON出力の表示
## 使用方法
1. 入力フィールドにPDFファイルをアップロードするか、YouTube URLを提供するか、Web URLを入力します。
2. ドロップダウンから希望の言語を選択します（デフォルトは "ja"）。
3. "Submit"ボタンをクリックして処理を開始します。
4. インターフェイスには、入力から抽出された生テキスト、Dify APIから処理されたテキスト、JSON出力が表示されます。
## 使用コンポーネント
- Dify API
- Gradio
- langchain_community.document_loaders
## ワークフローの仕様
### 入力
- Knowledge
### 出力
- Result
- Raw Content
### LLM
- gemini-1.5-flash-latest
## 注意事項
- 処理は非同期的に実行され、ワークフローの進行に合わせてリアルタイムで結果が表示されます。
- `yield`文を使用して、処理の途中経過を表示しながら、最終的な結果を返します。
- エラー処理は、処理中に発生する可能性のある例外をキャッチして表示するように実装されています。
`run_workflow`関数は、入力メッセージを受け取り、指定された言語でDify APIワークフローを使用して処理を実行します。関数内では、入力タイプ（PDFファイル、YouTube URL、Web URL）に応じて適切なローダーを使用してテキストを抽出し、Dify APIにリクエストを送信して処理を行います。処理の進行状況に応じて、`yield`文を使用して中間結果を表示し、最終的な結果を返します。エラーが発生した場合は、例外をキャッチして適切なエラーメッセージを表示します。
    """
)

if __name__ == "__main__":
    iface.queue().launch()