自然言語生成タスクの自動評価指標のためのドメイン外検出

自然言語生成タスクの評価指標として，ニューラルベースの評価指標が急速に発展している．しかし，これらの評価指標は，学習を伴う指標であり，評価するデータが評価指標の学習データのドメイン外の場合，誤ったスコアを付与する可能性がある．本稿では，機械翻訳のための参照なし評価指標であるCOMET-QEに対して，1クラス分類器を評価指標に適用することで，ドメイン外検出をする方法を提案する．さらに，1クラス分類器の分類精度向上を目指し，特徴量空間においてドメイン内とドメイン外のデータ点を分離できるように，評価指標の学習時に距離学習を適用した．実験の結果，既存手法であるモンテカルロドロップアウトを用いた手法を上回るドメイン外検出能力を達成した．