音声・テキストペアが存在しない状況におけるTTSおよびSTTによる合成データ混合を用いたASR学習

近年，Whisperを代表とする大規模音声認識モデルのファインチューニングは広く用いられている．高精度化には，大量の音声とテキストのペアが必要であるが，収録や文字起こしを人手で行うにはコストがかかる．この課題に対し，TTSを用いたデータ拡張の研究が盛んである．近年のTTSモデルの性能向上によって，高品質な合成音声・テキストペアデータが作成可能になっている．一方でTTSデータのみを用いた学習は，ASR性能低下を招きやすいことが報告されており，自然音声データとの組み合わせが必要となっている．日本語ASRを対象とした研究では，TTSの入力テキストに，既存の音声コーパスに付随の書き起こIndependentSpeechDataGeneratedTextDataSTTPairMixPairTTSSyntheticSpeechDataIndependentTextDataし文を用いる例が多数である．しかし実運用では，自然音声と書き起こし文のペアを大量に収集することは難しく，日本語の大規模音声コーパスも限られている．一方で，テキストデータは比較的容易に収集可能である．自然音声と書き起こし文が存在しない場合であっても，テキストから作成したTTSデータを有効に活用できることが望ましい．そこで本研究では，音声・テキストのペアデータが存在しない場合を想定し，(i)新聞記事テキストを用いて合成音声を作成したTTSペアデータと，(ii)自然音声データからSTTによってテキストを作成したSTTペアデータを混合したデータセットを構築する．このデータを用いた学習を行い，ASR性能向上が可能であるかを検証する．さらに，TTSデータとSTTデータの混合比率を変化させることで，自然音声データがどの程度必要かを調査する．加えて，新聞記事テキストをTTSデータに用いた際の影響を把握するため，推論結果の誤り傾向（置換誤り）についても分析し，無制限に作成可能なTTSデータを有効に活用するための適切な設計が必要であることの示唆を得る．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).4.2TTS音声合成にはVOICEVOX2）を使用した．合成音声に音響的多様性を持たせるため，話者数は許諾上問題のない範囲で最大話者数である26話者を使用した．TTSデータを作成するにあたって，発話の区切りの良い箇所で分割するため，記事テキストを句点で分割し音声合成した．またWhisperでは推論時に音声を30秒に分割するため，それに合わせて，30秒を超えてしまうものは分割し，ファインチューニングに使用した.VOICEVOXによる音声合成では，句読点やかぎ括弧部分で自然な間をとった発話となるため，これらの記号（、。「」）は残し，その他の記号は削除して音声合成とファインチューニングデータに使用した．1サンプルにランダムに1話者を割り当て，テキストと音声のペアを作成した．4.3STTSTTデータの作成には，大量の音声データを高速に推論する実運用の観点から，ベースラインモデルとは異なるnvidia/parakeet-tdt_ctc-0.6b-ja3）を使用した．推論する音声には，ReazonSpeechv1コーパス[6]の音声データを使用した．4.4データセット設計ファインチューニングには，ReazonSpeechv1コーパスの約18,000時間中，自然音声・書き起こしテキストペアのOrigデータ5,000時間分と，記事テキストから作成したTTSデータ5,000時間分，そしてReazonSpeechv1コーパスの音声部分を用いて作成したSTTデータ5,000時間分を使用した．データセット設計は以下のようにした．TTSデータとSTTデータの混合比率を変化させることで，TTSデータの性能悪化がどれくらいのSTTデータとの混合で抑えられるかも調査する．•Orig5,000時間分•TTS5,000時間分•STT5,000時間分•TTS2,500時間分+STT2,500時間分•TTS3,500時間分+STT1,500時間分•TTS4,500時間分+STT500時間分2）https://voicevox.hiroshiba.jp/3）https://huggingface.co/nvidia/parakeet-tdt_ctc-0.6b-ja実験では比較のため，ReazonSpeechのペアデータ（Orig）も用いるが，本研究の主眼は音声とテキストのペアがない場合に，由来の異なる音声のみ・テキストのみからTTSやSTTから作成したデータの混合データが有効かを検証する点にある．5評価方法5.1評価データセット本研究では，評価データセットとして，JSUTBasic5000[7]，CommonVoiceCorpus6.1(CV6.1)[8]，In-houseテストデータ[9]を使用する．JSUTは，単一女性話者によって無響室で収録された音声コーパスである．CV6.1は，録音環境や話者はサンプルによって異なり，1サンプル中の話者数は1人である．Inhouseテストデータは，自社で公開前提で収録されたインタビュー音声がメインとなっており，1サンプル中の話者数が複数のものが含まれている．録音環境や話者はサンプルによって異なる．各データセットのノイズ各データセットのノイズを可視化するために，参照音声を必要としない音声品質推定モデルNISQA4）[10]で評価データセットとReazonSpeechの音声，TTSデータの音声についてノイズスコアを算出した．これは数値が大きいほどノイズが少ないことを表す．分布図は付録Bに記載している．TTSデータ・JSUT・CV6.1は数値が大きい方に分布が寄っており，ノイズの少ない音声が中心になっている．一方でReazonSpeechとInhouseテストデータは数値が小さい方に分布がよっており，ノイズの多い音声が中心になっていることがわかる．5.2文字誤り率：CER文字誤り率（CharacterErrorRate:CER)とは，正解テキストとASRモデルによる推論テキストを比較し，正解テキストに対して文字単位での挿入誤り，削除誤り，および置換誤りの文字数を数え，総文字数に対するその誤り数を正規化した指標である．CERが小さいほど正確に文字起こしできていると言える．以降，CERは百分率（%）で表記する．記号（、。「」）の出力傾向が条件間で大きく異なるため，CERは正解・推論テキストから記号を除去した上で算出した．4）https://github.com/gabrielmittag/NISQAorg/licenses/by/4.0/).JSUTCV6.1InhouseBaseline10.45%22.46%35.45%Orig5k9.03%10.05%31.06%TTS5k10.09%25.08%96.40%STT5k8.73%10.23%24.11%TTS2.5k+STT2.5k7.60%10.19%23.63%TTS3.5k+STT1.5k8.38%10.10%25.44%TTS4.5k+STT0.5k9.52%11.43%28.40%5.3置換誤り分析TTSに新聞記事テキストを使用した影響を調査するために，トークン単位での置換誤りを分析した．正解・推論テキストにおいて，アラインメントが正しく取れているサンプルを使用するため，推論テキストのCERが10％以下のサンプルにフィルタリングした．正解・推論テキスト，どちらにもトークンが存在しているが一致しない場合を置換誤りとし，全評価データセットでの品詞別割合を算出した．記事テキストは名詞の割合が高いため，名詞の置換割合が少なくなっていることを期待する．6実験結果とその考察6.1CER結果ファインチューニングにおけるCER結果である．TTSデータTTSデータのみでのファインチューニングはJSUT以外でベースラインより性能が低下している．5.1節より，TTSデータとJSUTのノイズ状況が似ていることから，音響的特徴や録音環境がテストデータと似ているTTSデータではそれほど性能が悪化しないと考えられる．しかし，工夫のない合成音声だけでは，性能向上に繋がらないということが改めて確認できた．STTデータSTTデータのみでのファインチューニングにおいては，JSUTとInhouseにおいて，Origデータのみの場合よりCERが小さくなっている．これはReazonSpeechの元のラベルの品質に悪い部分があり，STTにより適切なラベルになったのではないかと考えられる．TTSデータ+STTデータ1:1で混合した時，いずれのデータセットにおいても，CERはOrigデータと同等かそれ以下になった．この結果から，由来の異なるTTSデータとSTTデータを組み合わせた場合でも性能向上可能であることが示唆される．また，TTSの比率を上げた場合においてもベースラインを上回る結果となった．総合的にみると，STTの比率が大きいほどCERが小さくなる傾向があり，STTの自然音声がTTSの音響的な弱みを補完している可能性が考えられる．一方で，これらの結果は，一定量の自然音声さえあれば，大量のTTSデータとの組み合わせによってASR性能向上ができることを示唆している．6.2置換誤り分析置換誤りの品詞別割合には条件間で大きな差は見られなかった．記事テキストの名詞の多さを生かすには，TTSに入力するテキストの適切な設計が必要だと考えられる．結果については，付録Cの表4に記載している．6.3その他の記事テキストの影響合成音声の，記号位置での間をとった発話により，TTSデータでのファインチューニングの推論結果に，かぎ括弧や句読点が多く現れた．特に句読点は多く出力された．このことから，ファインチューニングに用いるデータに句読点やかぎ括弧を残しておくことで，推論後の後処理をしなくても自然な位置に句読点等を挿入できることが期待できる．7まとめ本研究では，音声・テキストのペアデータが存在しない場合を想定し，自然音声から作成したSTTデータと，新聞記事テキストから作成したTTSデータの混合データのファインチューニングで，Origデータでのファインチューニングと同等以上の性能向上ができることを示した．一方で，記事テキストの特徴が生かされたような推論結果とはならなかった．このことから，ドメイン適応などにおいてテキストの特徴を生かしたい場合には，TTSに入力するテキストの適切な設計が必要だと考えられる．今後は，低リソース言語や方言に焦点をおき，10時間程度など，より少量の自然音声での実験を行う予定である．また，異なるTTSモデルや，大規模言語モデルとの組み合わせにについても，今後の検討課題である．org/licenses/by/4.0/).