概要

1　はじめに
人間の自然発話においてはフィラーや言い淀みといった非流暢性がしばしば含まれ，それらの現象を取り扱うことのできる音声認識(ASR)，音声翻訳(ST)が実用上求められている．通常，発話に非流暢性が含まれていると， ASRの出力テキストも非流暢性を含み，機械翻訳(MT)での翻訳が難しい. その結果， ASRとMTを繋ぎ合わせたパイプライン型音声翻訳での最終的な性能低下につながる．それを防ぐため，非流暢性検出器によりASRの出力から検出された非流暢性を取り除いてからMTに入力する手法が主流である[1].近年の音声翻訳では，非流暢性を含む音声と非流暢性を含む目的言語テキスト[2]，もしくは流暢な目的言語テキスト[3]により構成される音声翻訳データにより，明示的な非流暢性検出器を用いずにEnd-to-End音声翻訳モデルを学習する手法が主流になりつつある[3] .本研究では，可読性が高い出力をより低遅延で得られる音声翻訳を想定し，非流暢性を含む音声から流暢なテキストへの翻訳の性能向上を目指す.非流暢性を含む音声翻訳での課題として，データが少量である上，特に非流暢な音声から流暢なテキストへの翻訳では，翻訳時に非流暢性を除去し，可読性が高く要約された出力を得る必要があるため，非流暢性を含むテキストへの翻訳と比較して難易度が高い.このような限られたデータを最大限に利用し,非流暢性を含むテキストへの翻訳モデルを作成し,そのモデルを用いて流暢なテキストへの翻訳を学習することで，流暢なテキストへの翻訳性能の向上が期待できる.しかし，非流暢性を含むテキストで学習したモデルを直接利用して流暢なテキストへの翻訳を学習した場合，非流暢性の表記が複数ある上，どの部分が非流暢性であるかという情報を含まないため，曖昧性が高く性能向上の妨げとなり得る. Horiiらは日本語音声認識において非流暢性をグループに分類し，それぞれの非流暢性を意味する非流暢性タグを用いて該当部分を置き換え学習することにより，音声認識の性能を向上させた[4]. この方法では，多様な非流暢性をタグにまとめることによりタスクを簡略化している．また、出力がタグ付きのテキストになるため非流暢性の位置の特定が可能であり，タグを取り除くことで流暢なテキストに近いテキストを生成することも可能である.本研究は，非流暢性タグを音声翻訳データの目的言語テキストで取り入れ，タグを含む学習データを用いてモデルを学習する.その後，このデータで学習したモデルを用いて流暢なテキストへの翻訳を学習する.  Horiiらの研究では，音声認識の性能向上を目的とし，原言語テキストに含まれる，あらかじめ人手で非流暢性とアノテーションされた部分をタグで置き換えている.本研究では、音声翻訳の性能向上を目的とし，目的言語テキストに含まれる非流暢性をタグで置き換えて学習し，その際に，目的言語テキストがアノテーションされた非流暢性の情報を持たないことを想定し，非流暢性検出器で非流暢性と検出された部分をタグで置き換える手法を取り入れる. 実験により，非流暢性タグを用いたデータを用いて学習したモデルにより，非流暢性を含む音声から流暢なテキストへの翻訳での性能向上が期待できることが示された.
2 音声翻訳
X = (x 1, ...,x )を原言語の入力音声に対する音響特徴量の系列,  S = (s 1,….,s м)を原言語テキストのトークン系列, T = ( t 1 ,…., t N )を目的言語テキストのトークン系列とする.  νを語彙集合Vの元とすると、t;の事後確率は以下の式で表される. PsT(t; = v) = p(v|X, t<i). (1) STの学習時の損失関数LsTは，Cross-entropy lossを用いて以下の式で表される

関数である.
3　非流暢性タグを用いたデータの生
成と学習
提案手法で用いる非流暢性タグを用いたデータの生成過程を図1に示す.提案手法では，目的言語テキストのどの単語が非流暢性かという情報が明示的に付与されていない音声翻訳データを用いることを前提とし，Louらによる，BERTを用いて事前学習された非流暢性検出器[5, 6]を用いて非流暢性タグを付与する.この非流暢性検出器は、構文解析と非流暢性検出のタスクをマルチタスク学習により同時に学習することで得られたモデルであり，本研究では，本検出器により得られたタグ付きの音声翻訳データを学習データとして用いる.モデルの学習で利用するデータは，非流暢性検出器から得られた非流暢性の情報をもとに，以下二種類のものを作成するみ. • D2DTag:目的言語テキストの非流暢性をタグで置き換えたデータ• D2D NoTag：目的言語テキストの非流暢性を取り除いたデータまた，学習済みモデルに対してFine-tuningをするためのデータとして，非流暢性が検出された文のみで構成されたデータΔD2Dταg,ΔD2D NoTagも作成する.
4
実験
非流暢性を含む音声から流暢なテキストへの翻訳で，提案手法である非流暢性タグを用いたデータで学習したモデルによる性能向上がみられるかを検証するため、以下の実験を行った.
4.1 データセット
本研究では音声翻訳データとして， Fisher Spanish Corpus (Spanish-English)を用いた[2, 3]. 本研究におけるFisher Spanish Corpusは，以下からなるデータで構成されたものを用いた. • D2D:非流暢性を含む音声から非流暢性を含む
モデルはFairseq [7]を用いて実装し, Trans- former [8]をベースに作成した．音響特徴量は80次元のメルフィルタバンク特徴量を用い，学習データではSpecAugument [9]によるデータ拡張手法を用いた。 TokenizerはSentencePiece [ 10 ]を用い，最大語彙数は8000とした．提案手法においては，非流暢性を扱うために新たに定義した< # >を非流暢性ラベルとして定義し，それを含めた語彙数8000の辞書を作成した.学習データからは，文字数が400より大きく，フレーム数が3000より大きいペアは取り
除いた.学習データの内訳を表1に示す.
4.2  End-to-End音声翻訳モデル
本研究では、ベースラインと提案手法として以下のモデルを用いた.ベースラインと提案手法モデルの学習過程を図2に示す.
4.2.1 ベースラインモデル
本実験では，以下モデルをベースラインとした. ・D2D:非流暢性を含む音声から非流暢性を含む目的言語テキストへの翻訳を学習したモデル• D2F:非流暢性を含む音声から流暢な目的言語テキストへの翻訳を学習したモデル• D2D + D2F:  D2D をもとに流暢な目的言語テキストへの翻訳をFine-tuningで学習したモデル
4.2.2　提案手法モデル
提案手法では，図１で作成したデータを用いてモデルを作成した.非流暢性を含む目的言語テキストから非流暢性検出器により検出されたタグの内訳を表2に示す. D2Dταg,D2DNoTagは，非非流暢性を含む目的言語テキストと同じ数のデータとなっており，学習されたモデルは，タグ情報を用いていない非流暢性を含むテキストをもとにしたベースラインのD2Dモデルと比較できる. D2Dταg,D2D NoTagを用いたモデルとして, D2DTag, D2DTag+D2F, D2DNoTag, D2DNoTag+D2F

を作成した.
また, ΔD2Dτag,ΔD2DNoTagデータを用いて, D2DモデルでFine-tuningしたモデルを作成した. AD2DTag, AD2DNoTagデータを用いたモデルとして， D2D + ΔD2DTag, D2D + ΔD2DTag + D2F, D2D + △D2D NoTag, D2D + △D2D NoTag + D2Fを作成した.
4.3評価
本研究では，以下の評価データを用いてSacre- BLEU [11]により評価した. • D2F test :非流暢性を含む音声から流暢な目的言語テキスト• D2D NoTag test :非流暢性を含む音声から非流暢性タグを除いた目的言語テキスト• D2DTag test :非流暢性を含む音声から非流暢性タグを含む目的言語テキストD2F test, D2D NoTag testを用いる際には，予測結果の非流暢性タグは除去した.
5　実験結果と議論
ベースラインと提案手法のBLEUの結果を表4に示す. 実験結果から，提案手法による非流暢性タグの情報を用いたモデルを流暢なテキストで学習したモデルで， D2D Tag + D2F, D2D NoTag + D2F, D2D + △D2F NoTag + D2Fが，いずれもベースラインと比較してD2F testでのBLEUの向上が見られることがわかった.この結果から，非流暢性タグの情報を取り入れた非流暢性を含むテキストへの翻訳を学習した場合の方が，流暢な目的言語テキストへの翻訳において有効だと分かった. ー方で，流暢なテキストでFine-tuningをしない場合の，非流暢性タグの情報を用いたモデルD2DTag, D2D + ∆D2DTag, D2DNoTag, D2D + △D2D NoTagでは,  D2F testでの評価値がベースラインであるD2D + D2Fの評価値を上回らなかった.このことから，非流暢性タグを付与した，もしくは除いて学習したモデルは，非流暢性部分が予測されるよう，もしくは除かれるよう学習されるものの,
流暢な翻訳に最適化されていないことが分かった. D2DNoTag testでの評価では，提案手法であるD2D NoTagとD2D + ΔD2D NoTagで，ベースラインであるD2Dと比較して性能向上が見られており,非流暢性を除去したテキストへの翻訳をする上では，非流暢性を除去してから学習したモデルが最も最適化されていることが分かった.その一方で, D2DTagとD2D + ΔD2DTagのようなタグを含むテキストで学習したモデルで出力に含まれるタグを除去しD2D NoTag testでの評価もしたが，ベースラインと比べて性能向上は見られなかった.タグを含むデータで学習したモデルであるD2DTagとD2D + AD2DTagをD2DTag testで評価した結果と，出力に含まれる非流暢性タグの割合を表5に示す. D2Dτag testでの評価値は,ベースラインのD2Dを含めほとんどのモデルでの表5　D2Dτag,D2D + ∆D2DτagモデルをD2Dτag test T評価した際のBLEUと出力に含まれる非流暢性タグの
D2D NoTag testでの評価値と比較し低い値となっている.出力に含まれる非流暢性タグの割合をみると，参照文であるD2DTag testでは4.5%のみタグが含まれているのに対し，D2D + AD2DTagでは38.0%,  D2DTag では21.5%とより多くの非流暢性タグが含まれており，参照文中に含まれるタグと出力文に含まれるタグの数の差が大きいことが，評価値の低下の要因だと考えられる.タグを付与したデータで学習したモデルはは，このようなタグの過剰生成の傾向があるものの, D2Dτag + D2Fでは性能の向上が見られた.ベースラインと提案手法の一つであるD2DTag,D2DTag + D2Fでの出力文の例を表3に示す. D2Dταgの出力例では，非流暢性である連続した“that’s”の部分に，適切に非流暢性タグが付与されていることが分かる.また，その後流暢なテキストでFine-tuningしたD2DTag + D2Fでは，ベースラインであるD2D+D2Fで見られた“that’s”の繰り返しを防げており，提案手法の有効性が確認できた.
まとめと今後の課題
6
本研究では，目的言語テキストに対して非流暢性タグを付与したデータを用い，非流暢性を含む音声から流暢な目的言語テキストの翻訳を学習した．実験により，流暢な目的言語テキストへの翻訳での性能向上が期待できることが分かった. 今後の課題として，出力文に含まれる非流暢性タグの数をコントロールできるような学習と，出力位置の予測精度の向上を考えている.本研究の一部はJSPS科研費JP21H05054とJST SPRINGプログラムJPMJSP2140の助成を受けたものである.