文法誤り訂正における編集ベクトルの最適輸送に基づく性能評価尺度

文法誤り訂正の参照あり評価では，図1に示すように，システム出力である仮説文と人手の訂正結果である参照文を比較する．この比較は誤り文からの変化を抽出した編集の単位を用いることが代表的であり，より多くの編集が仮説と参照の間で一致することが望ましい．この評価方法はERRANT[1,2]やPT-ERRANT[3]といった既存尺度で採用されている．しかし，いずれも編集の一致を表層の完全一致で判定していることがしばしば問題となる．図1では，仮説編集[“to”→“basedon”]と参照編集[“to”→“given”]はニュアンスが一致するため仮説は完全な誤りではないと考えられるが，表層が異なるため誤りと評価されてしまう．他にも，削除するスパンの微妙な違いによっても同様の問題が生じる．本研究では編集ベクトルを提案し，意味的な類似度を考慮しながら編集の一致を評価することでこの問題を解決する．編集ベクトルは編集前後における文埋め込みの差分として定義され，テキストに生じた変化をベクトル化する概念である．次に，仮説編(省略)...andtakanappropriateactiontotheresults.誤り文参照編集仮説編集[tak→take][to→basedon][tak→take][to→given]ベクトル化ベクトル化最適輸送仮説文参照文...andtakeanappropriate...andtakeanappropriateactionbasedontheresults.actiongiventheresults.集と参照編集をそれぞれ抽出したのち，本稿で提案する編集ベクトルに変換し，仮説編集から参照編集にベクトルを最適輸送する．実際には，得られた輸送行列からさらに𝐹値を計算するが，この図では割愛した．集と参照編集の要素をそれぞれベクトル化し，不均衡最適輸送（UnbalancedOptimalTransport,UOT）[4]を用いて仮説から参照に編集ベクトルを輸送する評価尺度UOT-ERRANTを提案する．計算される輸送計画は編集間のソフトアライメントとして解釈することができ，単純な正解・不正解の二値評価ではなく，部分点を適宜与えるような評価が可能である．最後に，輸送できた量とできなかった量の両方に注目することで適合率・再現率・𝐹𝛽を計算し，スコアの解釈性を高める．実験ではSEEDA[5]を用いたメタ評価を実施し，UOT-ERRANTは編集レベルの尺度の中では最も高い人手評価との相関を示すこと，および輸送計画の可視化がスコアの解釈性に寄与することを示す．さらに，編集を分類した体系である誤りタイプ[2]に基づいて編集ベクトルの性質を分析したところ，類似した編集は類似したベクトルとなる結果や，ベクトルのノルムが正書法の訂正では小さく接続詞の訂正では大きいというような結果を得た．また，これらの結果はUOT-ERRANTが良い尺度となることの理由として解釈できることを議論する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).結果．𝑟はピアソン相関，𝜌はスピアマン順位相関である太字は各列における最大値を，下線は2番目に高い値を示す．↑SEEDA-EBase↑SEEDA-E+FluencyOﬃcial10RefsE-FluencyNE-FluencyMetrics𝑟𝜌𝑟𝜌𝑟𝜌𝑟𝜌𝑛-gramレベル尺度GLEU.909.965.949.958.278.600.781.921GREEN.912.965.910.979.547.802.745.908編集レベル尺度ERRANT.881.895.952.951-.005.424.114.508PT-ERRANT.924.951.957.986.005.310.276.578CLEME.910.930.932.937-.043.297.473.653UOT-ERRANT.950.979.942.993.445.684.705.851は(i)人手評価の粒度：文レベル評価のSEEDA-Sか編集レベル評価のSEEDA-E，(ii)ドメイン：Base設定か+Fluency設定，の項目である．(i)については，Kobayashiら[5]が指摘した評価の粒度を人手評価と自動評価で一致させることの重要性に基づき，提案尺度が編集レベルの尺度であることからSEEDA-Eを用いる．(ii)については両方のドメインを用いる．ドメインは，訂正システムとしてGPT-3.5[7]の出力と流暢な参照文[8]を含むかどうかに応じて異なり，+Fluency設定の方がより積極的に訂正するシステムを含めて評価する必要がある．参照文Kobayashiら[5]が実施したように，複数の参照セットを用いてUOT-ERRANTをメタ評価する．SEEDAのBase設定では，CoNLL-2014共通タスク[9]の公式参照（Oﬃcial）と，Bryant[10]らが公開する10種類の追加参照セット（10Refs）をそれぞれ独立に用いる．+Fluency設定では，Sakaguchiら[8]が公開するE-ﬂunecyとNE-Flunecyの参照セットを用いる．ただし，E-Flunecyに含まれる参照の一つはSEEDAのシステムセットとして使用されているため除いてから使用する．UOT-ERRANTの実験設定．式1の文表現を計算するモデルEnc(·)にELECTRA-large[11]を用いた．この理由は，原文から置き換えられた単語を識別するという事前学習タスクが誤り検出に類似しており，誤り訂正の評価に有用な表現を計算できることを期待するからである．式4の𝜖,𝜆1,𝜆2については，Araseら[12]に発想を得て𝜖は0.1に固定した．𝜆1,𝜆2はGJG15[13]と呼ばれる別のメタ評0.50.390.000.00[16,17,"is"]0.40.010.050.020.3[24,25,""]0.20.000.000.04[26,27,"throughout"]0.10.000.000.06[27,29,"their"]0.0[16,17,"is"][24,27,""][27,28,"their"]軸）とのソフトアライメント．実際の誤り文，参照文，仮説文は次のとおりである．誤り文:“Itisstillearlyforparentstodecidewhethertheycanfosteranewlifethatarenotabletoworkandmaysuﬀerthepainintheentirelife.”参照文:“（省略）...newlifethatisnotabletoworkandmaysuﬀertheirentirelife.”仮説文:“（省略）...newlifethatisnotabletoworkandmaysuﬀerpainthroughouttheirlife.”価データセットを開発データとして決定し，共に0.1とした．実装には，UOT部分にはPOTライブラリ[14,15]2），メタ評価部分にはgec-metricsライブラリ[16]を用いる．システムレベルのスコアの計算方法は，SEEDAがTrueSkill[17]を採用していることからUOT-ERRANTでも同じくTrueSkillを用いる．これはGotoら[18]が指摘した人手評価と自動評価で計算方法を一致させることの重要性に基づく．比較対象の評価尺度．既存の参照あり評価尺度と比較するために，編集レベルの既存尺度である[1,2]，PT-ERRANT[3]，CLEME[19]，𝑛グラムレベルの既存尺度であるGLEU[20,21]，GREEN[22]を用いる．各尺度の詳細な実験設定は付録Aにある．3.2実験結果SEEDA-Eにおけるメタ評価結果を表1に示す．提案法のUOT-ERRANTは，SEEDA-EのBase設定では他の尺度を上回る相関を達成した．+Fluency設定ではGLEUやGREENといった𝑛-gramレベルの尺度には劣るものの，編集レベル尺度の中では最も高い相関を達成した．編集レベル尺度はその他の粒度の尺2）https://github.com/PythonOT/POTorg/licenses/by/4.0/).プの上位3件（左列）と下位3件（右列）．ノルムは平均±標準偏差として示した．誤りタイプノルム誤りタイプノルム正書法0.170±0.406接続詞1.247±0.556句読点0.835±0.597その他1.318±0.685副詞0.944±0.485綴り1.409±0.610度と比較して編集単位での良し悪しを評価できるため解釈性が高く，誤りタイプに基づいて評価できるなどの説明性に関する利点がある．UOT-ERRANTはこの説明性の利点を維持しながら，特に+Fluency設定において相関を向上させていることがわかる．また，輸送計画Tの可視化はスコアの解釈に有用である．図2は輸送計画の実例であり，縦軸に示される仮説編集と，横軸に示される参照編集とのアライメントを示す．各編集は，誤り文への単語レベルスパンとその訂正後の文字列として表記した．従来の評価は誤り文へのスパンと訂正後の文字列の完全一致に基づくため，[16,17,“is”]の仮説編集しか正しいと評価できなかった．一方，提案法では仮説編集[24,25,“”]と参照編集[24,27,“”]，もしくは仮説編集[27,29,“their”]と参照編集[28,29,“their”]のように訂正後の文字列は一致するがスパンが僅かに異なる編集にも評価値を与える．このように部分点を与えられる仕組みが，人間の直感とより一致する評価に繋がったと考えられる．4分析：編集ベクトルの性質編集ベクトルの性質をERRANTが定義する誤りタイプ[2]に従い分析する．誤りタイプは名詞の数や冠詞，動詞の時制などの編集の分類を示すものである．まず，誤りタイプごとにノルムの平均を計算した．表2にノルムの大きさが上位と下位の3件である誤りタイプを示した．正書法（空白や文字の大小）や句読点に関する編集のノルムは小さく，接続詞や綴りに関する編集のノルムは大きい結果であった．この結果から，ノルムは編集が持つ意味変化の度合いを暗黙的に示していると言える3）．UOT-ERRANTでは，各編集の輸送量𝒂,𝒃にこのノルムを用いることで編集を暗黙的に重み付けていると解釈できる．特に，表2に見られる正書法を軽視する傾向はニューラルモデルに基づく参照なし尺度3）綴りは誤り方によっては文意の把握に影響すると考えられる．864