文分類問題における精度と解釈性向上のための近傍事例の活用

BERT[1]やGPT-2[2]，T5[3]のように大量のテキストデータで事前学習された大規模言語モデルが，様々な下流タスクに適用され成功を収めている．これらの言語モデルの性能評価を様々なタスクおよびドメインで行うことは実応用において重要である．評価方法の一つに下流タスクでファインチューニングを行わないzero-shot/few-shot評価がある[4]．これらは，下流タスクを言語モデルタスクに変換して評価を行う方法である．この評価方法は，ファインチューニングの学習アルゴリズムや，そのハイパーパラメタ，モデルパラメタの更新などファインチューニング由来の要因を排除して言語モデルの性能評価を行うことができるという特長がある．一方で，これらの評価方法において，使用するプロンプトに評価結果が大きく左右されたり[5,6]，言語モデルの予測にバイアスが乗るといった問題が報告されている[7]．Zhaoらはこれらの問題の調査・分析を行い，バイアスを除去することで，複数の下流タスクにおいて言語モデルの性能向上を達成した[7]．しかしながら，性能面においてはまだ改善の余地が残されており，また，予測結果からモデ⽂分類問題のデータセット(例︓極性分類問題)訓練セット評価セット⼤規模⾔語モデル(パラメタ固定)!!"#!!!$%&'!近傍法バイアス除去バイアス除去済み確率分布!近傍確率分布ポジティブネガティブポジティブネガティブ出⼒確率分布ポジティブネガティブルの予測理由を推察することが困難である．そこで本稿では，評価対象である大規模言語モデルから抽出した特徴量を用いてk近傍法[8,9]を行うことで，下流タスクでの更なる性能向上を目指す．具体的には，図1に示すように，バイアス除去を行う既存手法の予測確率と，近傍事例からの予測確率を線形補完することで最終的な予測結果を得る．また，本手法は近傍事例を参照することで，モデルが入力文をどう解釈したかを推測することができるという点で，解釈性の向上にも寄与する．本手法を多様なドメインのテキスト，および，極性分類[10]，トピック分類[11,12]，含意関係認識[13,14]を含む複数の文分類問題に適用し評価実験を行ったところ，近傍事例を活用することで性能が大幅に向上すること確認した．また，定性分析により，たとえ提案手法が予測を誤った場合でも，近傍事例からその理由を推測できることもわかった．.