DiaFill:短い発話でフィラーが豊富な音声対話台本の自動生成ツールキット

音声対話は，会話の流れを維持するために話し言葉特有の発話行為を不可欠としている点で，テキストチャットとは本質的に異なる．具体的には，フィラー（例．「えーっと」「あのー」），相槌（例．「うん」「はい」），そして短い発話（例．「わかった」「なるほど」）などが挙げられ，これらは円滑で協調的なコミュニケーションを支える役割を果たす．フィラーは単なるノイズではなく，発話の遅延を予告するシグナルとして機能し，話者が発話権を保持するのを助ける[1]．相槌は，話し手に対しリアルタイムなフィードバックを提供し，ターンの調整を促進する[2,3]．さらに，短い発話は，会話の漸進的かつ協調的な性質に寄与している[4]．これらの特徴は，音声対話のリズムや自然さを形成するものであり，テキストチャットに見られる長く整ったターンとは明確に区別される．テキスト対話⾳声対話こんにちは。本日届くはずの荷物がまだ届いていないのですが、確認していただけますか？あ、もしもし。えーと、今日届くはずの荷物がまだ来ないんですけど…本人確認のため、お名前、電話番号、注文番号をお願いいたします。はい。ありがとうございます。お名前をいただけますか？XXXです。電話番号はYYY、注文番号はZZZ-111です。あ、えーっと、XXXです。ありがとうございます。次にお電話番号をお願いできますか？えっと、YYYですはい。承知しました。では、注文番号もよろしいでしょうか？あー、ZZZ-111ですありがとうございます。ただいま確認いたしますので、少々お待ちください。はい、ありがとうございます。あ、では確認しますので、少々お待ちください。ラー，下線は相槌，斜体は短い発話をそれぞれ表す．ト対話と音声対話の違いを示す．音声対話の例にはフィラー，相槌，短い発話が含まれており，より漸進的なやり取りとなっている．テキスト対話では情報が一度にまとめて要求されることが多いが，音声対話においては，情報はターンを細かく重ねながら段階的に引き出されるのが一般的である．しかし，このような特徴があるにもかかわらず，既存の対話データセットの多くは書き言葉のスタイルに偏重しており[5,6,7,8]，フィラーや相槌，短い発話といった音声対話特有の要素が欠如している．その結果，これらのコーパスで学習されたモデルは，文脈的な一貫性はあるものの，実際の音声対話としては不自然な，書き言葉の応答を生成する傾向にある[9,10]．自然な話し言葉による対話モデルを構築するためには，大規模な話し言葉スタイルの対話データが必要不可欠である．音声対話データの構築に関する先行研究では，主に手作業によるコーパス作成が行われてきた[11,12,13]．これらのコーパスは自然な音声対話の現象を捉えているものの，音声収録や書き起こしに多大なコストを要するため，大規模でかつ多様性のあるデータの構築は困難である．この制約を克服するため，近年では大規模言語モデル（LLM）を用Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).0-910-1920-2930-3940+1.001.000.750.750.500.500.250.250.000.00gpt-ossgpt-ossqwenqwensarashina(FT)sarashina(FT)llm-jp(FT)llm-jp(FT)各棒グラフは，異なるターン数に含まれる対話の割合を表す．「金融」「物流」などの具体的な業界カテゴリを指定する．トピックは3つのキーワードからなり，概要にはそれらに関連する簡潔な説明を記述する．二つ目は，話者情報であり各話者の名前と口調が含まれる．多種多様なシードを手動で大量に作成することは大変なため，次節で述べるシードを自動で生成するためのスクリプトも提供する．音声対話台本生成モデルは，日本語の指示チューニング済みモデルをベースに，音声対話データの書き起こしを用い，標準的な教師ありファインチューニング設定で訓練した．パラメータサイズが小さく取り回しが良い点，多様な用途での利用が可能であるライセンスにするため，ベースモデルには“sarashina2.2-3b-instruct-v0.1”および“llm-jp-3-13b-instruct3”を採用した．訓練データには，NEDOのプロジェクトで構築された音声対話データを使用した．このデータは，Zoomを通じて収録され，自動で書き起こしし，人手修正がされており，訓練には約20,000件を使用した．10種類の業界カテゴリを模したコールセンター対話が約8,000件，雑談対話が約12,000件からなる．元のデータには，話者名などの生成のシードとなる情報は付与されていないため，Qwen2.5-32B-Instructを用いて対話テキストから自動で抽出した．