LLMの生成する方言テキストを音声合成したデータによる音声言語モデルの方言理解能力向上

近年，LLMを基盤とした音声言語モデル（SpeechLanguageModel;SLM）[1]の発展は著しい[2,3,4,5]．LLMを用いたパイプラインの採用により，音声認識，音声翻訳，音声対話などのタスクで従来手法を凌駕している．しかしその一方で，方言音声に対する理解能力は，標準語音声と比較して低下する問題が存在する[6]．この標準語と方言間での技術格差は，モデルの学習に必要な各方言の実音声データが不足していることに主として起因している．従来このようなデータ不足に対しては，低リソース言語の研究分野において，音声合成によるデータ拡張アプローチが取られてきた．主な手法として，LLMやウェブ収集により得たテキストを，対象言語の実音声で学習した音声合成モデルを用いて音声化する方法[7,8]が挙げられる．しかしこれらの手法を方言に適用する場合，音声合成モデルの学習に十分な実音声収集を全方言で行うことは困難であり，このデータ依存性は依然として対応方言拡大の障壁となっている．そこで我々は，テキストから得る言語的特徴のみでSLMを方言に適応させられるという仮説に基づき，実方言音声を一切用いずに合成する擬似方言音声によるSLMの方言適応を提案する．具体的には，LLMを用いて合成した方言テキストを一般的な音声合成モデルで音声合成を行い，言語的特徴は方言であるが韻律的特徴は標準語の擬似方言音声を作成する．最終的に，得られた擬似方言音声を学習データに追加してSLMを学習する．本手法は音声合成モデルの訓練に実方言音声は用いないため，実音声が皆無の方言に対してもデータ拡張が可能となる．本研究では日本語の方言を対象に，方言音声を入力として標準語テキストへの翻訳及び英語テキストへの翻訳タスクでBLEUスコアを測ることで，提案手法の有効性を検証した．実験の結果，標準語翻訳タスクにおいて平均でBLEUスコアが48.89から52.64（+3.75）に，英語翻訳タスクにおいて平均でBLEUスコアが24.21から26.24（+2.01）に向上した．これにより我々は，方言実音声を一切用いずに合成した標準語韻律の擬似方言音声を用いることで，SLMの方言理解能力を改善できることを我々が知る限り初めて示した．