文法誤り訂正における参照なし評価尺度を用いた分析的評価法

文法誤り訂正は入力に含まれる文法的もしくは表層的な誤りを自動的に訂正するタスクである．同タスクの評価は参照あり評価と参照なし評価に大別され，特に後者は人手による訂正文を必要としない．このことから，低コストで評価可能な点が利点である．この他にも，仮にシステムの訂正が正しくても，参照あり評価では人手の訂正に含まれない訂正は誤りとなってしまうが，参照なし評価ではそのような問題は起こりづらいと考えられる．さらに，ある特定の観点から評価することで，単なる正誤に留まらない評価が可能である．例えば，Asanoら[1]やYoshimuraら[2]は文法性・流暢性・意味保存性を対象とした観点別の評価を可能にしている．こうした尺度のほとんどはニューラルベースであるが，これらの尺度は文単位の評価値のみを提供するため，評価値が向上もしくは低下した場合に，システムのどのような訂正によって評価値が向上（低下）したのかを分析することはできない．このことから，システムをどのように改良すればよいのかという知見が得られない．本研究では，参照なし評価尺度を用いて，どのような訂正によって評価値が向上もしくは低下したのかを分析可能にするため，訂正前および訂正後の文の評価値の差分を，訂正単位の評価値に分配する方法を提案する．得られる訂正単位の評価値は実数値であり，正負が評価尺度にとっての善し悪しを表し，絶対値の大きさが善し悪しの強度を表す．分配方法には，協力ゲーム理論の文脈で発展してきたシャープレイ値[3]を応用し，シャープレイ値が持つ理論的な性質が提案法にとってうまく解釈できることを議論する．提案法は，参照なし評価の利点を維持しながら，個々の訂正の質を分析する分析的評価法を提供するものである．実験では，ニューラルベースの参照なし評価尺度としてSOME[2]とIMPARA[4]を用いて提案法を適用し，どのような解釈が可能であるかを例示する（§4.3）．分析では，提案法の妥当性について議論し（§5.1），また提案法が分析的評価法以外の用途でも有効に機能することを議論することで，提案法の展望について述べる（§5.2）．具体的には，メタ評価法，脆弱性やバイアスを発見する手法，説明性手法の観点から議論する．