逆学習による言語モデルの解析

大規模言語モデル（LLM）は驚異的な汎化・推論能力を示し、社会に衝撃を与えている。一方で、差別やバイアスを含む文章を生成するなど、その安全性もまた憂慮されている。LLMの高い能力を引き出しつつ、有害性を除去するには、それらの原因となる学習データの特定が不可欠である。しかしLLMは大量のコーパスで学習されており、どの学習データに起因するのか特定するには困難を極める。ある評価データに対する学習データの影響を知るための理想的な方法は、各学習データを除いてモデルを再学習し、その評価データにおける性能変化を測ることである（leave-one-out）。しかし、この方法は計算コストが膨大で現実的ではない。そこで学習データの影響を推定する手法として、Hessian-basedinﬂuencefunctions(HIF)[1,2,3]や、TracIn[4]が提案されてきた。しかしHIFはヘッセ行列の逆行列計算に多大な計算量を要し、TracInもまた多数のチェックポイントを必要とする。また、これらの手法は一次近似を伴うため、大量のデータを学習したモデルには有効でないことが報告されている[5,6,7]。・Leave-one-out(GroundTruth)学習評価→評価データ学習データ2学習データ3++→評価データ学習データ1学習データ3++・UnTrac学習逆学習評価→評価データ学習データ1学習データ2学習データ3学習データ1++−→評価データ学習データ1学習データ2学習データ3学習データ2++−・UnTrac-Inv学習逆学習評価→評価データ学習データ1学習データ2学習データ3学習データ1++−→評価データ学習データ1学習データ2学習データ3学習データ2++−本稿では、学習データを除く代わりに、学習済モデルから逆学習して、学習データの影響を推定するUnTracを提案する（図1）。Leave-one-outは、学習データを除く前後でのモデルの性能を比較し、その影響を推定する。同様に、UnTracは学習データを逆学習し、逆学習前後でのモデルの性能を比較して、その影響を推定する。逆学習はモデルから有害な学習データを忘却させる方法として注目されており[8,9]、本稿はこれを学習データの影響推定に応用する。本手法で要する計算量は通常の学習と同等で、HIFやTracInに必要な多大な計算量やチェックポイントを要しない。また一次近似を伴わないため、大量のデータを学習する場合にも有効である。UnTracは、複数の学習データの影響を測る場合、その数だけ逆学習を実行しなくてはならず、計算コストが嵩む。そこで、本研究ではよりスケーラブルな方法としてUnTrac-Invを提案する。UnTrac-Invは学習データの代わりに評価データを逆学習し、逆学習前後のモデルを学習データで評価する。UnTrac-Invは幾つかの仮定・条件のもとでUnTracと等価である。また、UnTracとUnTrac-Invは、HIFなどの既存手法の一般化としてみなせることを示す。実験では、複数のモデル（エンコーダデコーダ/デコーダ）及び実験設定（事前学習/ファインチューニング）にて、提案手法の有効性を検証する。.