文法誤りにおける一般誤りの分離可能性と解説文生成への応用

本稿では，一般誤りの分離可能性という仮説を導入し，その仮説を文法誤り解説に応用する手法を提案する．仮説の概要は，一般誤りとその他の誤りでは，誤り検出器における検出規則の獲得過程が異なり，その性質を利用することで一般誤りのみを分離できるというものである．ここで，一般誤りとは，特定の内容語に依存しない規則で同定される文法誤りと定義する（便宜的に，その他の誤りを単語固有誤りと呼ぶ）．例えば，*Inthiscaf´eservesgoodcoﬀee.は，規則「主語は前置詞を伴わない」で誤りと同定できるが，この規則はどのような主語や前置詞の組み合わせにも適用できる．一方，単語固有誤り（例：*Theyprotestedonthesituation.）では，特定単語（この例ではprotestとon）により誤りと同定される．本稿では，上述の仮説を利用して，前置詞の用法に関する文法誤りについて，与えられた学習者コーパスから一般誤りのみを分離できることを示す（§3）．本仮説は，BERTベースの誤り検出器の性能に関する報告[1]に着想を得ている．同報告では，この検出器の性能曲線が図1の実線のようになることを示している．図1から，数百文の訓練データで性能が劇的に改善し，それ以降性能向上は緩やかになることがわかる．この理由を，我々は次のように予想する．BERTベースの検出器ではごく少量の訓練データから一般誤りの検出規則が獲得され，一方で，単語固有誤りについてはより多くの訓練データが必要となる．一般誤りの同定規則は汎用的であるため，異なる単語からなる複数の訓練事例から獲得可能である．特に，BERTのように文法知識を有するモデル[1,2,3]では，一般誤りの検出規則の獲得が容易になる．そのため，一般誤りに関する性能曲線は図1の赤い曲線（破線）のような形になる．一方，単語固有誤りについては，特定の単語を含んだ訓練事例が必要となり，相対的に訓練事例が少ない．また，汎化がより難しい．結果，図1のように直線的に性能が改善する．結果として観測される性能曲線は，二種類の破線の重ね合わせとなる．もしこの仮説が完全に成り立つのであれば，BERTベースの検出器を少量のデータで訓練し，誤り検出を行えば一般誤りのみが得られるはずである．本稿では，このアイデアを拡張し一般誤りの事例を得る手法を提案する．また，獲得された一般誤りにクラスタリングを適用することで，詳細なサブタイプを効率よく発見できることも示す（§4）．更に，得られたサブタイプにより解説文生成[4]を分類問題として解くことが可能になることも示す（§5）．これは，解説文生成における大きな二つの課題（1）訓練データが大量に必要となる，（2）フェイク解説文が生成されてしまう，の解決に繋がる．