DupDubプラグイン、次世代音声 AI 機能で Dify.ai のワークフローを革新

> 著者：Dify & DupDub の共同創造

DupDub の AI 音声プラグインが Dify マーケットプレイスに正式登場しました。このプラグインは音声翻訳・音声クローニング・話者識別・テキスト読み上げ機能を統合し、ユーザーがより高度な AI アプリケーションを構築するための強力なツールセットを提供します。

## DupDub ツールの統合：Dify における高度音声処理の実現

DupDub ツールの Dify 統合により、洗練された音声処理機能を AI ワークフローにシームレスに組み込むことが可能になりました。主な機能は以下の四つ：

- **音声文字変換**：音声/動画コンテンツを高精度でテキスト化。字幕生成やデータ分析の効率化、アクセシビリティ向上を実現する
- **声紋クローニング**：特定話者の音声特性を忠実に再現。ブランド統一性の確保やパーソナライズドアシスタント、地域特化コンテンツの制作に最適です
- **話者識別**：音声ファイル内の複数会話者を自動識別。会議議事録作成・カスタマーサポート分析に活用可能
- **テキスト音声合成（TTS）**：自然な音声を生成。クローンボイス/標準ボイス選択・速度/ピッチ調整で多様な用途に対応する

![dupdub_plugin.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/54db1c5d-025b-4708-8b7d-b0327073039a.png)

これらの機能は Dify のビジュアルワークフロービルダー上で直感的に操作可能。手作業を最小限に抑えつつ、音声関連タスクの自動化・効率化を実現します。

## 事前準備

1. [Difyマーケットプレイス](https://marketplace.dify.ai/plugins/dupdub-dify/dupdub)でDupdubを検索し、インストールします
![dupdub.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/593206b0-163e-4525-8f26-91fd11eaa0de.png)

2. [Dupdub公式サイト](https://app.dupdub.com/tools/personal-center)でAPIキーをゲットします
![dupdub_api.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/88520df1-440b-4ca3-bc0f-1083ced4adbf.png)

3. ステップ２からのAPIキーを入力します
![dupdub_api.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/7bddace6-ee1d-4605-9604-cf527de4d053.png)

## Dupdubツール

### 音声文字変換ツール

1. **ワークフローへの追加**
   - 左メニュー「オーケストレーション」選択
   - 「ツール」メニューから DupDub プラグイン配下の「音声文字変換（TranscibeSpeech）」を検索
   - ツールをワークフローエリアへドラッグ＆ドロップ

2. **基本設定**
   - 開始ノードと音声文字変換ノードを接続
   - 入力変数を設定：
     - **時長（必須）**：動画/音声の長さ（秒数）
     - **リンク（必須）**：ファイルの直リンクURL
     - **言語（必須）**："en"（英語）/"ja"（日本語）などISOコード指定

3. **詳細設定**
   - エラー発生時の再試行回数設定
   - エラーハンドリング方法の選択

4. **後続処理**
   - 文字起こしデータの活用方法を設計（例：自然言語処理モジュールへの連携）

5. **実行と公開**
   - 「実行」で動作確認後、「公開する」で本番環境へ反映
![dupdub1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/5d2dccd4-5516-480d-a061-fb4e7e07e61a.png)

### 音声クローニングツール

1. **ワークフローへの追加**
   - 上記同様の手順で「音声クローニング（Voice Cloning）」ツールを追加

2. **基本設定**
   - 入力変数を設定：
     - **話者名（必須）**：任意の識別名称
     - **リンク（必須）**：WAV/MP3/MP4形式の音声サンプルURL
     - **言語（必須）**：サンプル音声の言語指定
     - **性別（必須）**：男性/女性
     - **年齢層（必須）**：子供/若年/成人/高齢者

3. **詳細設定**
   - 再試行設定とエラーハンドリングの選択

4. **後続処理定義**
   - 生成ボイスの活用方法を設計（例：TTSモジュールとの連携）

5. **実行とデプロイ**
   - クローンボイスの品質確認後、本番環境へ公開
![dupdub2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/fb662647-7c2c-4aee-9a64-71f647d9bd86.png)

### 話者識別ツール

1. **ワークフローへの追加**
   - 「話者識別（Get Speaker ID）」ツールを追加

2. **基本設定**
   - 入力変数不要（自動でオーディオ解析）

3. **詳細設定**
   - 再試行設定とエラーハンドリング

4. **後続処理定義**
   - 識別結果の活用方法を設計（例：話者別発言の分類）

5. **実行とデプロイ**
   - 解析精度確認後、本番環境へ反映
![dupdub3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/5e390943-228c-4a49-b149-ef3dfdbc90b2.png)

### 音声合成ツール

1. **ワークフローへの追加**
   - 「音声合成（Speech Synthesis）」ツールを追加

2. **基本設定**
   - 入力変数を設定：
     - **話者名（必須）**：任意の識別名称
     - **話者ID（必須）**：クローンボイス/標準ボイスの識別子
     - **速度（任意）**：0.5-2.0範囲で設定（デフォルト1.0）
     - **音調（任意）**：-20～+20範囲で調整（デフォルト0）
     - **テキスト（必須）**：合成対象テキスト

3. **詳細設定**
   - 再試行設定とエラーハンドリング

4. **後続処理定義**
   - 生成音声の保存/配信方法を設計

5. **実行とデプロイ**
   - 音声品質確認後、本番環境へ公開
![dupdub4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3924419/45d5a611-cd96-42e5-b015-444d64a9f104.png)

## 実践ユースケース：構築可能なソリューション例

DupDub ツールの導入により実現する代表的なユースケース：

- **多言語コンテンツ工場**
  - 動画字幕自動生成 → 音声クローンでブランド音声維持 → 音声合成ツールで多言語ナレーションを自動生成

- **次世代のe教育システム**
  - 講義音声の自動文字に変換 → 講師音声クローンによる個別フィードバック → 音声合成教材の自動生成バック生成

- **企業DX加速キット**
  - 通話録音の自動文字に変換 → 話者IDで担当者特定 → 音声分析によるクオリティ管理

## 参考

### DupDub
- [公式サイト](https://www.dupdub.com/?wn=c2hpcWlrZTAxMTVAMTYzLmNvbQ==) | [Discord](https://discord.com/invite/Pa5Q8wP3ku) | [Instagram](https://www.instagram.com/dupdub_mobvoi/) | [YouTube](https://www.youtube.com/channel/UClDPHDJ7C9x7FEIO-XiFuvw/videos) | [X](https://x.com/i/flow/login?redirect_after_login=%2FDupdub_Mobvoi)

### Dify.AI
- [公式サイト](https://dify.ai/jp) | [Github](https://github.com/langgenius/dify) | [Docs](https://docs.dify.ai/) | [X](https://x.com/DifyJapan) | [Discord](https://discord.gg/bHc2rYXf) | [Linkedin](https://www.linkedin.com/company/langgenius) | [Youtube](https://www.youtube.com/@dify_ai)