Update document_2_dify_workflow.ipynb

document_2_dify_workflow.ipynb

@@ -22,7 +22,8 @@
       },
       "outputs": [],
       "source": [
-        "!pip install gradio unstructured[pdf] langchain-community"
+        "!pip install gradio unstructured[pdf] langchain-community\n",
+        "!pip install youtube-transcript-api pytube"
       ]
     },
     {
@@ -40,84 +41,45 @@
       "execution_count": null,
       "outputs": []
     },
-    {
-      "cell_type": "code",
-      "source": [
-        "import requests\n",
-        "import json\n",
-        "url = DIFY_BASE_URL + \"/workflows/run\"\n",
-        "\n",
-        "headers = {\n",
-        "    \"Content-Type\": \"application/json\",\n",
-        "    \"Authorization\": f\"Bearer {DIFY_API_KEY_MYWORKFLOW}\"\n",
-        "}\n",
-        "\n",
-        "data = {\n",
-        "    \"inputs\": {\n",
-        "        \"knowledge\":\"\"\"\n",
-        "        本作の悪役。千年以上前に生まれた最初の鬼。鬼達の絶対的支配者で、自身の血を人間に与え大量の鬼を作り出した。炭治郎の家族を殺し、禰󠄀豆子を鬼に変えた仇である。\n",
-        "鬼達を血に仕込んだ呪いで支配し、「あの方」と呼ばれ恐れられている。外見や攻撃は自由自在で、不死身の鬼を殺すことができる。性格は冷酷非情かつ支配的で、自らの意志に沿わない者は決して許さず、忠実に従っていた下弦の鬼達を些細なことで何ら躊躇なく惨殺したり、報告に来た猗窩座に理不尽な叱責を与えるなどしている。珠世からはその人物像を「いつも何かに怯えている臆病者」と皮肉られている。癇癪で暴力を振るったり、自分を棚に上げた言動をすることも多い。\n",
-        "\n",
-        "        \"\"\",\n",
-        "    },\n",
-        "    \"query\": \"\",  # クエリ（オプション）\n",
-        "    \"response_mode\": \"streaming\",  # ストリーミング応答\n",
-        "    \"user\": \"abc_123\",  # ユーザーID\n",
-        "}\n",
-        "\n",
-        "response = requests.post(url, headers=headers, json=data, stream=True)\n",
-        "\n",
-        "response.raise_for_status()  # エラーチェック\n",
-        "\n",
-        "response = requests.post(url, headers=headers, json=data, stream=True)\n",
-        "response.raise_for_status()\n",
-        "\n",
-        "assistant_message = \"\"\n",
-        "outputs = {}\n",
-        "\n",
-        "# APIレスポンスのチャンク処理\n",
-        "for chunk in response.iter_lines(delimiter=b\"\\n\\n\"):\n",
-        "    if chunk:\n",
-        "        chunk_data = chunk.decode(\"utf-8\").strip()\n",
-        "        if chunk_data.startswith(\"data:\"):\n",
-        "            json_data = chunk_data[6:]  # \"data: \"を取り除く\n",
-        "            if json_data:\n",
-        "                result = json.loads(json_data)\n",
-        "                if result.get(\"event\") == \"text_chunk\":\n",
-        "                    answer = result.get(\"data\", \"\").get(\"text\", \"\")\n",
-        "                    assistant_message += str(answer)\n",
-        "                    print(str(answer), end=\"\", flush=True)\n",
-        "                elif result.get(\"event\") == \"workflow_finished\":\n",
-        "                    outputs = result.get('data', \"\")\n",
-        "                    print(assistant_message, outputs)"
-      ],
-      "metadata": {
-        "id": "_1LzsFX7rve1"
-      },
-      "execution_count": null,
-      "outputs": []
-    },
     {
       "cell_type": "code",
       "source": [
         "import gradio as gr\n",
         "import requests\n",
-        "from langchain_community.document_loaders import UnstructuredPDFLoader\n",
+        "from langchain_community.document_loaders import YoutubeLoader, UnstructuredPDFLoader, WebBaseLoader\n",
+        "from langchain_community.document_loaders import OnlinePDFLoader\n",
         "import json\n",
         "\n",
-        "def run_workflow(message):\n",
+        "def run_workflow(message,language='en'):\n",
         "    try:\n",
-        "        file = message['files'][0]\n",
-        "        text_message = message['text']\n",
+        "        if not message.get('text',''):\n",
+        "            file = message['files'][0]\n",
+        "            # PDFファイルをロードしてテキストを抽出\n",
+        "            loader = UnstructuredPDFLoader(file)\n",
+        "            data = loader.load()\n",
+        "            raw_text = data[0].page_content\n",
+        "        else:\n",
+        "          text_message = message.get('text','')\n",
+        "          if \"youtube.com\" in text_message or \"youtu.be\" in text_message:\n",
+        "              # YouTubeの場合\n",
+        "              loader = YoutubeLoader.from_youtube_url(\n",
+        "                  youtube_url=text_message,\n",
+        "                  add_video_info=True,\n",
+        "                  language=[language],\n",
+        "              )\n",
+        "              docs = loader.load()\n",
+        "              raw_text = str(docs)\n",
+        "          elif text_message.endswith(\".pdf\"):\n",
+        "              # PDFの場合\n",
+        "              loader = OnlinePDFLoader(text_message)\n",
+        "              docs = loader.load()\n",
+        "              raw_text = docs[0].page_content\n",
+        "          else:\n",
+        "              # それ以外の場合\n",
+        "              loader = WebBaseLoader(text_message)\n",
+        "              docs = loader.load()\n",
+        "              raw_text = docs[0].page_content\n",
         "\n",
-        "        # PDFファイルが選択されているかチェック\n",
-        "        if not file:\n",
-        "            return \"PDFファイルを選択してください。\", \"\"\n",
-        "\n",
-        "        # PDFファイルをロードしてテキストを抽出\n",
-        "        loader = UnstructuredPDFLoader(file)\n",
-        "        data = loader.load()\n",
-        "        raw_text = data[0].page_content\n",
         "\n",
         "        # APIリクエストのための入力データを準備\n",
         "        inputs = {\n",
@@ -174,53 +136,57 @@
         "# Gradioインターフェイスの設定\n",
         "iface = gr.Interface(\n",
         "    fn=run_workflow,\n",
-        "    inputs=[gr.MultimodalTextbox(label=\"PDFファイルをアップロード\", file_types=[\".pdf\"], interactive=True)],\n",
+        "    inputs=[gr.MultimodalTextbox(label=\"PDFファイルをアップロード\", file_types=[\".pdf\"], interactive=True),\n",
+        "            gr.Dropdown(label=\"Language\",value=\"ja\",choices=[\"en\",\"en-US\", \"ja\", \"fr\",\"de\",\"it\"],allow_custom_value=True)],\n",
         "    outputs=[\n",
         "        gr.Textbox(label=\"生テキスト\", show_copy_button=True, max_lines=5),\n",
         "        gr.Markdown(),\n",
         "        gr.JSON()\n",
         "    ],\n",
-        "    title=\"PDF to Dify Workflow\",\n",
-        "    description=\"PDFファイルを入力すると、Dify APIのワークフローによって処理された結果が表示されます。\",\n",
+        "    title=\"Documnet to Dify Workflow\",\n",
+        "    description=\"このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。\",\n",
         "    article=\"\"\"\n",
         "\n",
         "    © 2024 @tregu0458. All rights reserved.\n",
         "\n",
-        "    ## 使用コンポーネント\n",
-        "    - dify\n",
-        "    - gradio\n",
-        "    - langchain_community.document_loaders\n",
-        "\n",
-        "    ## 今回のworkflowの仕様\n",
-        "    ### 入力\n",
-        "    - knowledge\n",
-        "    ### 出力\n",
-        "    - result\n",
-        "    - row_content\n",
-        "    ### LLM\n",
-        "    - gemini-1.5-flash\n",
-        "    ```\n",
-        "        PDFファイルを入力として受け取り、Dify APIのワークフローを使用してファイルを処理し、結果を返す関数。\n",
-        "        Args:\n",
-        "            message (dict): 入力メッセージ。以下のキーを含む辞書。\n",
-        "                - 'files' (list): アップロードされたPDFファイルのリスト。\n",
-        "                - 'text' (str): テキストメッセージ。\n",
-        "        Yields:\n",
-        "            tuple: 以下の要素を含むタプル。\n",
-        "                - raw_text (str): PDFファイルから抽出された生テキスト。\n",
-        "                - assistant_message (str): アシスタントからのメッセージ。\n",
-        "                - outputs (dict): APIレスポンスのデータ。\n",
-        "        Returns:\n",
-        "            tuple: 以下の要素を含むタプル。\n",
-        "                - status (str): 処理の状態。\"error\" または \"\" (空文字列)。\n",
-        "                - error_message (str): エラーメッセージ (エラーが発生した場合)。\n",
-        "                - data (dict): APIレスポンスのデータ。\n",
-        "        Raises:\n",
-        "            Exception: 処理中にエラーが発生した場合。\n",
-        "        Notes:\n",
-        "            - 関数は非同期的に実行され、処理の進行状況に応じて段階的に結果を返す。\n",
-        "            - `yield` を使用して、処理の途中経過を表示しながら、最終的な結果を返す。\n",
-        "    ```\n",
+        "# PDF、YouTube、Web URLを入力としたDifyワークフロー\n",
+        "\n",
+        "このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。PDFファイルをアップロードす��か、YouTube URLを提供するか、Web URLを入力するだけで、ワークフローがテキストコンテンツを抽出し、Dify APIを使用して処理します。\n",
+        "\n",
+        "## 特徴\n",
+        "- PDFファイル、YouTube動画、Webページを入力として対応\n",
+        "- `langchain_community.document_loaders`の`UnstructuredPDFLoader`と`OnlinePDFLoader`を使用してPDFファイルからテキストを抽出\n",
+        "- `langchain_community.document_loaders`の`YoutubeLoader`を使用してYouTube動画からテキストを抽出\n",
+        "- `langchain_community.document_loaders`の`WebBaseLoader`を使用してWebページからテキストを抽出\n",
+        "- 抽出されたテキストをDify APIワークフローで処理\n",
+        "- リアルタイム更新のためのストリーミングレスポンス処理\n",
+        "- 生テキスト、処理されたテキスト、JSON出力の表示\n",
+        "\n",
+        "## 使用方法\n",
+        "1. 入力フィールドにPDFファイルをアップロードするか、YouTube URLを提供するか、Web URLを入力します。\n",
+        "2. ドロップダウンから希望の言語を選択します（デフォルトは \"ja\"）。\n",
+        "3. \"Submit\"ボタンをクリックして処理を開始します。\n",
+        "4. インターフェイスには、入力から抽出された生テキスト、Dify APIから処理されたテキスト、JSON出力が表示されます。\n",
+        "\n",
+        "## 使用コンポーネント\n",
+        "- Dify API\n",
+        "- Gradio\n",
+        "- langchain_community.document_loaders\n",
+        "\n",
+        "## ワークフローの仕様\n",
+        "### 入力\n",
+        "- Knowledge\n",
+        "### 出力\n",
+        "- Result\n",
+        "- Raw Content\n",
+        "### LLM\n",
+        "- gemini-1.5-flash-latest\n",
+        "\n",
+        "## 注意事項\n",
+        "- 処理は非同期的に実行され、ワークフローの進行に合わせてリアルタイムで結果が表示されます。\n",
+        "- `yield`文を使用して、処理の途中経過を表示しながら、最終的な結果を返します。\n",
+        "- エラー処理は、処理中に発生する可能性のある例外をキャッチして表示するように実装されています。\n",
+        "`run_workflow`関数は、入力メッセージを受け取り、指定された言語でDify APIワークフローを使用して処理を実行します。関数内では、入力タイプ（PDFファイル、YouTube URL、Web URL）に応じて適切なローダーを使用してテキストを抽出し、Dify APIにリクエストを送信して処理を行います。処理の進行状況に応じて、`yield`文を使用して中間結果を表示し、最終的な結果を返します。エラーが発生した場合は、例外をキャッチして適切なエラーメッセージを表示します。\n",
         "    \"\"\"\n",
         ")\n",
         "\n",
@@ -232,6 +198,54 @@
       },
       "execution_count": null,
       "outputs": []
+    },
+    {
+      "cell_type": "markdown",
+      "source": [
+        "# 利用規約\n",
+        "\n",
+        "本利用規約（以下、「本規約」といいます。）は、@tregu0458(以下、「私」といいます。)が提供するWebアプリケーション「tregu0458/document_2_dify_workflow」（以下、「本スクリプト」といいます。）の利用に関する条件を定めるものです。ユーザーは、本スクリプトを利用することにより、本規約に同意したものとみなされます。\n",
+        "\n",
+        "## 1. ライセンス\n",
+        "\n",
+        "1.1 本スクリプトは、商用・非商用を問わず利用することができます。\n",
+        "\n",
+        "1.2 本スクリプトは、複製、継承、改変することができます。\n",
+        "\n",
+        "1.3 本スクリプト、および複製、継承、改変したものを有償で再配布もしくは販売を行う場合は、事前に私にご相談ください。[X @ tregu0458](https://twitter.com/tregu0458)\n",
+        "\n",
+        "1.4 本スクリプトの利用にあたり、クレジットの表示は必須ではありません。ただし、\"@tregu0458\"の表示は、私の励みになります。\n",
+        "\n",
+        "## 2. 免責事項\n",
+        "\n",
+        "2.1 私は、本スクリプトの内容、情報の正確性、完全性、有用性、最新性、信頼性、安全性等について、いかなる保証も行いません。\n",
+        "\n",
+        "2.2 私は、ユーザーが本スクリプトを利用したことに起因して生じた損害について、一切の責任を負いません。\n",
+        "\n",
+        "## 3. 利用規約の変更\n",
+        "\n",
+        "私は、必要に応じて、本規約を変更することがあります。変更後の本規約は、���スクリプト上に表示された時点から効力を生じるものとします。\n",
+        "\n",
+        "## 4. 準拠法と管轄裁判所\n",
+        "\n",
+        "本規約は、日本法に準拠するものとします。本スクリプトに関して紛争が生じた場合は、[管轄裁判所]を第一審の専属的合意管轄裁判所とします。\n",
+        "\n",
+        "以上\n",
+        "\n",
+        "---\n",
+        "## OK例(相談不要)\n",
+        "1. 個人の勉強用に利用\n",
+        "   - 学生が本スクリプトを参考に、youtube要約ワークフロー作成。\n",
+        "\n",
+        "2. 改変して無償公開\n",
+        "   - エンジニアが本スクリプトを改変し、新機能を追加。Huggingface Spaceにデプロイし、MITラインセンスにて公開。\n",
+        "\n",
+        "3. 社内ツールとして利用\n",
+        "   - 企業が業務効率化のため、本スクリプトを社内ツールに組み込んで使用。\n"
+      ],
+      "metadata": {
+        "id": "8bbAxlNBMn4d"
+      }
     }
   ]
 }