大規模言語モデルの高い能力を発揮させ、かつ有害な生成を抑えるには、その原因となる学習データの特定が不可欠である。理想的には、各学習データを除いて再学習したモデルを評価することで各データの影響を測ることができるが、計算コストが膨大になり現実的ではない。本稿では学習データを除く代わりに、学習済モデルから各データを逆学習してその影響を測る手法を提案する。本手法は極めて単純で、勾配上昇法で学習データを逆学習し、逆学習後のモデルの性能が悪化するほど、その学習データの影響が大きいと推定する。本手法は既存手法に比べ膨大なメモリやチェックポイントの保存を必要とせず、かつ評価実験で高い性能を示した。

大規模言語モデル（LLM）は驚異的な汎化・推論能力を示し、社会に衝撃を与えている。一方で、差別やバイアスを含む文章を生成するなど、その安全性もまた憂慮されている。LLMの高い能力を引き出しつつ、有害性を除去するには、それらの原因となる学習データの特定が不可欠である。しかしLLMは大量のコーパスで学習されており、どの学習データに起因するのか特定するには困難を極める。ある評価データに対する学習データの影響を知るための理想的な方法は、各学習データを除いてモデルを再学習し、その評価データにおける性能変化を測ることである（leave-one-out）。しかし、この方法は計算コストが膨大で現実的ではない。そこで学習データの影響を推定する手法として、Hessian-basedinﬂuencefunctions(HIF)[1,2,3]や、TracIn[4]が提案されてきた。しかしHIFはヘッセ行列の逆行列計算に多大な計算量を要し、TracInもまた多数のチェックポイントを必要とする。また、これらの手法は一次近似を伴うため、大量のデータを学習したモデルには有効でないことが報告されている[5,6,7]。・Leave-one-out(GroundTruth)学習評価→評価データ学習データ2学習データ3++→評価データ学習データ1学習データ3++・UnTrac学習逆学習評価→評価データ学習データ1学習データ2学習データ3学習データ1++−→評価データ学習データ1学習データ2学習データ3学習データ2++−・UnTrac-Inv学習逆学習評価→評価データ学習データ1学習データ2学習データ3学習データ1++−→評価データ学習データ1学習データ2学習データ3学習データ2++−本稿では、学習データを除く代わりに、学習済モデルから逆学習して、学習データの影響を推定するUnTracを提案する（図1）。Leave-one-outは、学習データを除く前後でのモデルの性能を比較し、その影響を推定する。同様に、UnTracは学習データを逆学習し、逆学習前後でのモデルの性能を比較して、その影響を推定する。逆学習はモデルから有害な学習データを忘却させる方法として注目されており[8,9]、本稿はこれを学習データの影響推定に応用する。本手法で要する計算量は通常の学習と同等で、HIFやTracInに必要な多大な計算量やチェックポイントを要しない。また一次近似を伴わないため、大量のデータを学習する場合にも有効である。UnTracは、複数の学習データの影響を測る場合、その数だけ逆学習を実行しなくてはならず、計算コストが嵩む。そこで、本研究ではよりスケーラブルな方法としてUnTrac-Invを提案する。UnTrac-Invは学習データの代わりに評価データを逆学習し、逆学習前後のモデルを学習データで評価する。UnTrac-Invは幾つかの仮定・条件のもとでUnTracと等価である。また、UnTracとUnTrac-Invは、HIFなどの既存手法の一般化としてみなせることを示す。実験では、複数のモデル（エンコーダデコーダ/デコーダ）及び実験設定（事前学習/ファインチューニング）にて、提案手法の有効性を検証する。.