入力文と自然言語処理モデルの相性判定

深層学習の技術の発展に伴い，機械翻訳[1]や感情極性分類[2]など，多くの自然言語処理タスクの性能が向上している．しかし，全体的な性能が向上しているとはいえ，機械翻訳における流暢な誤訳[3,4]のように，個々の事例の中には依然として大きな課題が残されている．そのため，文単位での品質推定の技術に大きな期待が寄せられている．機械翻訳[5]やテキスト平易化[6]などのテキスト生成タスクにおいて研究されている文単位の品質推定は，入力文および出力文の文対が与えられ，出力文の品質を推定する．入力文とともに出力文を用いるため，既存の品質推定の手法[7,8]は感情極性分類などのテキスト分類タスクには適用できない．本研究では，任意の自然言語処理タスクに対して共通に適用可能な文単位の品質推定のフレームワークを提案する．提案手法は，入力文のみから自然言語処理モデルの出力品質を推定する．つまり，自然言語処理モデルを評価するのではなく，入力文が自然言語処理に適しているか否かを評価する．入力文のみを用いるため，提案手法は機械翻訳などのテキスト生成タスクだけでなく，感情極性分類などのテキスト分類タスクにも適用できる．また，対象タス梶原智之愛媛大学大学院理工学研究科kajiwara@cs.ehime-u.ac.jpクにおける自然言語処理モデルの実行が不要なため，大規模なコーパスに対しても高速に文単位の品質推定を実施できるという利点を持つ．機械翻訳および感情極性分類のタスクを対象に，高品質な出力が期待できる入力文か否かの2値分類として文単位の品質推定の評価実験を行った．実験の結果，タスクやドメインに依存せず，7割以上の正解率で入力文のみから文単位の品質推定を実現できた．また，高品質な出力が期待できると判定された文集合と低品質な出力が予想されると判定された文集合の間で，Transformer[1]またはBERT[9]を用いてタスクを解いた際の実際の出力品質を評価したところ，機械翻訳においては最大で14.6ポイントのBLEU[10]，感情極性分類においては最大で27.8ポイントの正解率という大きな差が見られ，提案手法の有効性を確認できた．