Simul-COMET:原発話との語順差を考慮した同時通訳評価指標

同時通訳(SI)は原発話をリアルタイムで翻訳する手法である．この時間的制約の中で高品質な翻訳を実現するため，同時通訳者は原発話を短い単位(チャンク)に分割し，順次訳出を行なっている[1]．同時音声翻訳(SiST)モデルも同様に，decodingpolicyによって現時点までの入力で翻訳を出力するか，追加の入力を待つかを決定している[2,3]．その結果，SI文は原発話文の語順に沿った，単調性が高い翻訳となる．図1の例では，オフライン翻訳の参照文(oﬀ-ref)は原発話文(src)と大きく異なる語順となっているのに対して，SIの参照文(si-ref)はsrcの語順に沿った翻訳となっている．この単調性は，特に統語構造が大きく異なる言語対において，SI文の品質評価の重要な側面である[4,5]．SiSTモデルの翻訳品質はBLEU[6]やBLEURT[7]，COMET[8]などの指標で評価されるが，参照文にoﬀ-refが用いられることも多く，単調性は十分に評評価スコア付きのオフライン翻訳データsrc:IamsogratefultoEmmerdale.off-ref:エマーデイルには本当に感謝しているんだ。スコア:99→85.42off-tgt:エマーデールには本当に感謝しています。翻訳の単調性を考慮してスコアを調整(1)si-refを生成(2)off-tgtを並び換えsrc:IamsogratefultoEmmerdale.si-ref:私はとても感謝していますエマーデイルに。スコア:99→93.03si-tgt:本当に感謝しています。エマーデールには同時通訳調データ(提案手法)訳データの参照文(oﬀ-ref)と対象言語文(oﬀ-tgt)は原言語文(src)からチャンク順の入れ替わりがある．大規模言語モデルを用い，同時通訳調の参照文(si-ref)は[5]の手法，対象言語文(si-tgt)はoﬀ-tgtを並び替えることで作成する．価されていない．参照文にsi-refを用いることで，BLEUやBLEURTはより正確にSI文を評価できるようになるが，COMETは単調性の高いSI調の翻訳(si-tgt)よりもオフライン翻訳(oﬀ-tgt)に高いスコアを付与するという課題がある[4]．そこで本研究では，翻訳の単調性を考慮した品質評価指標Simul-COMETを提案する．COMETは原言語文，人手評価付き対象言語文，参照文から学習されるニューラル評価指標であり，デフォルトモデル1）(wmt22-comet-da)は，オフライン機械翻訳モデルの出力を人間が0～100点で評価したDirectAssessment(DA)データで学習されている．しかし，SI調の翻訳に対する人手評価データの新規作成は高コストであるため，本研究では大規模言語モデル(LLM)を用いて，既存のDAデータのオフライン翻訳文(oﬀ-tgt)を内容と誤りを保持したままSI調の翻訳文(si-tgt)に変換する(図1)．また，DAスコアは対象言語文の原言語文に対する単調性の度合いに基1）https://huggingface.co/Unbabel/wmt22-comet-daThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).si-tgtsi-refと異なり，oﬀ-tgtの内容と誤りを保持したままSI調に変換する必要がある．そのため，si-refの作成ではsrcのみを用いたが，si-tgtの作成にはsrcとoﬀ-tgtを用いる．si-tgtを作成するプロンプトを図2に示す．はじめに，srcとoﬀ-tgtをチャンクに分割する．本研究は英日間のSIが対象のため，srcは[5]の手法，oﬀ-tgtは文節に基づいて分割する．次に，oﬀ-tgtの各チャンクをsrcのチャンクのひとつに対応づける．誤訳などのエラーのために明確な対応関係がない場合であってもいずれかのsrcのチャンクに対応づけるようにしている．最後に，OpenAIのStructuredOutput3）の指定によりJSON形式で出力を得る．フィルタリングLLMは一般に高い指示追従能力を持つが，誤りが生じる場合もある[20]．前節の方法で作成したsi-tgtが元のoﬀ-tgtと同一の意味を保持していることを保証するため，BERTScore[21]によるフィルタリングを行う．oﬀ-tgtを参照文とし，si-tgtとのprecision，recall，F1スコアを算出し，いずれかが閾値𝛼を下回る場合，その文対を除外する．devデータ500文を人手で評価し，候補値{0.80,0.85,0.90,0.95}を比較した結果，𝛼=0.90が最適となり，最終的にtrain/dev/testにそれぞれ6,078/352/330文を得た．3.2DAスコアの調整srcに対する単調性をDAスコアに反映するため，[0,1]の範囲に正規化したDAスコア4）DA=𝐷𝐴1,...,𝐷𝐴𝑖,...,𝐷𝐴𝐼(𝐼は文の数を表す)を以下の式に基づき調整した:𝐷𝐴𝑚𝑖=𝐷𝐴𝑖−𝑝𝑒𝑛𝑎𝑙𝑡𝑦𝑚𝑖(1)𝑝𝑒𝑛𝑎𝑙𝑡𝑦𝑚𝑖=0.25×(1−𝑀𝑆𝑖)(2)𝐷𝐴𝑚𝑖は単調性スコア𝑀𝑆𝑖により調整された𝑖番目の文の翻訳品質スコアを表す．𝑀𝑆𝑖は[5]の手法に従い，srcと対象言語文(oﬀ-tgtまたはsi-tgt)の単語アライメントに基づいて算出したスピアマンの順位相関係数を[0,1]の範囲に変換した値である．srcと対象言語文の語順が完全に一致する場合𝑀𝑆𝑖は1となるため，語順差が大きいほど𝐷𝐴𝑚𝑖は元の𝐷𝐴𝑖より低くなる．DARelativeRanksdataset[22]の作成ルールを参考に，ペナルティの最大値を0.25とした．3）https://platform.openai.com/docs/guides/structured-outputs4）COMET学習のためのDAスコアの準備は，公開されている手順を参照した:https://github.com/Unbabel/COMET/issues/1313.3モデルの学習3.1，3.2節で述べたデータを用い，Simul-COMETモデルを学習する．低資源言語や未対応言語へ既存COMETを適応させる研究[23,24]を参考に，(1)モデルをスクラッチで学習する方法，(2)wmt22-comet-daをファインチューニングする方法の2種類の学習方略を以下の３種類のデータ条件下で行う:(a)Oﬄine:オフラインDAデータの英日部分．対象言語文:oﬀ-tgt，参照文:oﬀ-ref．(b)SI:構築したSI-DAデータ．対象言語文:si-tgt，参照文:si-ref．(c)Mixed:対象言語文のみoﬀ-tgtとsi-tgtを混ぜる．対象言語文:oﬀ-tgt+si-tgt，参照文:si-refこれらの各データタイプに対して，2種類のDAスコアを用いる:(i)オフラインDAスコア(da)，(ii)単調性で調整したDAスコア(mono)．従って，2種類の学習方略，3種類のデータ条件，2種類のDAスコア条件を組み合わせた合計12種類のモデルを学習する(表1参照)．oﬀ-tgtとsi-tgtに同一のDAスコア調整手法を用いているため，oﬀ-tgtのほうがsi-tgtより低いスコアとなる．そのため，学習時に対象言語文のタイプを明示的にモデルに提示するタグは用いなかった．全ての設定において，モデルは平均二乗誤差を用いて5エポック学習し，devセットにおけるケンドールの順位相関係数の値が最も高いチェックポイントを保存した．ハイパーパラメータはwmt20-comet-daの設定5）に従った．4実験4.1Simul-COMETスコアSimul-COMETがSI調の単調性が高い翻訳文に，オフライン調の翻訳文よりも高いスコアを付与するかを検証するために，テストセットのoﬀ-tgtとsi-tgtを用いて評価実験を行なった．いずれの場合でも，参照文にはsi-refを用いた．るスコアを引いた差を示している．正の値はモデルがoﬀ-tgtよりsi-tgtに高いスコアを付与していることを表し，負の値はその逆を表す．デフォルトのCOMETモデル(wmt22-comet-da)，およびオフライ5）https://github.com/Unbabel/COMET/ﬁles/8502021/wmt20-comet-da-hyper-parameters.ziporg/licenses/by/4.0/).全ての差は統計的に有意な差であった(𝑝<.05)．ModelsScratchFine-tuningwmt22-comet-da−0.0366–oﬀ-da−0.0284−0.0373oﬀ-mono−0.0328−0.0286si-da−0.0083−0.0109si-mono−0.0105−0.0068mix-da−0.0073−0.0083mix-mono+0.0087+0.0030CategoriesPre.Rec.F1QWK翻訳品質0.76040.79840.76090.4488流暢さ0.93330.93000.93160.1540単調性0.82570.83130.82430.6260ンデータで学習されたoﬀ-daは，si-tgtよりもoﬀ-tgtに高いスコアを付与しており，これは[4]で報告されている結果と一致する．しかし，mix-mono設定を除く全てのSimul-COMETモデルも同様に，oﬀ-tgtに高いスコアを付与した．si-mono設定の結果は，SI調のデータのみでSimul-COMETを学習することは不十分であることを示唆している6）．Simul-COMETモデルがoﬀ-tgtよりもsi-tgtに高いスコアを付与するようになるには，学習時に両タイプの文を使用し，それらのスコア差を学習することが必要であると考えられる．4.2人手評価Simul-COMETがSIの人手評価と整合することを示すために，プロの同時通訳者による実際の英日間のSI文を用いた評価を行なった．日本記者クラブで行われたアウンサンスーチー氏の記者会見7）から243文を抽出し，記者会見のSIを担当した同時通訳者とは別の，20年以上の経験を有するプロの同時通訳者2名による人手評価を行なった．評価にあたっては，MultidimensionalQualityMetrics(MQM)8）に基づく評価ガイドラインを作成し，翻訳品質，流暢さ，単調性の3観点を独立して評価した．3つの評価観点において，大多数の文(約75%以上)は「エラーなし」という評価を受けており，本SI文が比較的高品質であったことを示唆してい6）各設定での学習の効果は付録Aを参照．7）https://www.jnpc.or.jp/archive/conferences/34352/report#8）https://themqm.org/の順位相関係数．Avg.scoreはRaterAとBのスコア平均との相関係数である．*は相関係数が統計的に有意であることを示す(𝑝<.05)．ModelRaterARaterBAvg.scorewmt22-comet-da0.12500.08740.1324*mix-mono(scratch)0.08170.08930.0903mix-mono(ﬁne-tuning)0.1418*0.1556*0.1719*る9）．多クラス分類のprecision,recall,F1スコアと2次重み付きカッパ係数(QWK)を用いて算出した評価者間信頼性を表2に示す．F1スコアは比較的高く，全ての評価観点で0.75を超えているのに対して，QWKは翻訳品質と流暢さで低い値となっている．単調性はsrcとの語順の比較で比較的客観的に評価できるのに対して，他の2観点は主に評価者の主観に基づく評価であったためと考えられる．人手評価との相関係数の算出には，oﬀ-tgtよりsi-tgtに高いスコアを付与することができたmix-mono設定のSimul-COMETモデルと，デフォルトモデルのwmt22-comet-daを用いた．スピアマンの順位相関係数の結果を表3に示す．mix-mono(ﬁne-tuning)が最も高い相関を示し，wmt22-comet-daが続いた．mix-mono(scratch)の相関係数は統計的に有意でなかった．Pairdbootstrapresampling[25]でmix-mono(ﬁne-tuning)とwmt22-comet-daを比較したところ，10,000回の試行中9,195回でmix-mono(ﬁne-tuning)が上回り，90%信頼区間は[0.004,0.160]であった．また，mix-mono(ﬁne-tuning)はRaterAとBのスコアの両方と有意な相関があった．これらの結果は，Simul-COMETがデフォルトのCOMETモデルに比べ，人手評価との相関が高いことを示唆している．5おわりに本研究では，翻訳の単調性を考慮した品質評価指標Simul-COMETを提案した．英日翻訳での実験の結果，oﬀ-tgtとsi-tgtを混ぜて学習したモデルが，SI調の文に高いスコアを付与することを示した．また，Simul-COMETはデフォルトのCOMETモデルよりも，SIの人手評価と高い相関を示した．今後は，より多くの言語対で提案手法の有効性を確認することが課題である．また，本研究ではSIの単調性のみに焦点を当てたが，要約や省略といった他の側面も考慮できるようにすることで，人手評価との相関係数の値を高めていくことも今後の課題である．9）詳細は付録Bを参照org/licenses/by/4.0/).