自然言語生成タスクの自動評価指標のためのドメイン外検出

機械翻訳や要約生成などの自然言語生成（NLG）タスクにおいて，NLGモデルの評価方法の研究が注目されている．その評価方法は，人手評価と自動評価に大きく分類される．人手評価は，人がモデルの性能を評価する方法であり，多くのタスクにおいてゴールドスタンダードとされている．しかしながら，人手評価は一般に時間的・金銭的なコストが高く，再現性の観点でも課題がある．そのため，代替手法として時間的・金銭的なコストが低く再現性も高い自動評価指標が用いられる．さらに，自動評価指標は参照あり評価指標と参照なし評価指標に大きく分類することができる．「参照」とは，各NLGタスクの評価事例に対して人が作成した解答例となるテキストである．参照あり手法とは，参照テキストとシステムが生成したテキストを比べることで評価をする手法である．一方，参照なし評価指標とは参照テキストを使用しない評価方法である．つまり，参照なし評価指標は，評価事例としてNLGモデルへの入力データとモデルの出力があれば適用可能である．新たなドメインの評価事例などに対して，より低コストでNLGモデルを評価できる可能性を秘めており，評価のスケールアップが期待されている．以前は，参照あり手法に比べて，評価性能が劣っているとされていたが，近年参照あり手法と競争的な評価性能を達成する手法がいくつか提案されてきている[1]．1）また，参照なし評価指標はNLGモデルの評価だけでなく，NLGモデルの推論時のリランキングなどにも使用されるなど，その応用範囲も広い[2]．こうした参照なし評価指標の発展の背景には，ニューラルベースの教師あり評価指標の発展がある．2）特に，人が付与した品質評価スコアを教師に，BERTなどの言語モデルをベースとした回帰モデルを学習する手法がよく提案されている[3]．しかし，こうした学習が伴う手法では，機械学習一般の課題であるが，学習データ中に評価事例の類似事例がない場合に，その評価事例の評価性能（或いは評価の信頼性）が低くなるという課題がある．実際，機械翻訳の多くの評価指標が，ドメインに対して頑健でないことが報告されている[4]．さらに，学習済みのモデルだけが配布されることが多々あり，モデルの学習に使用したデータの詳細が評価指標の利用者からは特定できない場合も少なくない．評価指標の使用方法を誤ったり，本来使用すべきではないデータに対して使用すると，NLGモデルの開発の失敗に繋がることや，誤った研究の結論を導く可能性がある．本稿では，評価指標に対して評価するデータが学習データに含まれるドメインかどうかを検出する（ドメイン外検出と呼ぶ）機能を組み込むことを目指す．参照なし評価指標は学習データ外のドメインのデータに対して適用するされる可能性が高いため，本稿では参照なし評価指標に焦点を当てる．評1）NLGの評価指標は一般に，人手評価と相関（人手相関）が高いものほど高性能な指標とされている．2）ニューラルベースのNLG評価指標は参照あり評価指標においても主流となっている．.価指標としての性能を維持したままドメイン外検出を実現することができれば，より公平で正確なNLGモデルの評価につながる．さらに，ドメイン外検出は評価指標の解釈性[5]の向上にも貢献しうる．