機械学習モデルは，モデルの構造やその最適化手法に加え，実際に学習する事例集合によって性能と挙動が特徴づけられる．それを踏まえ，ある訓練事例が学習後のモデルに与える影響の解析は，これまで広く研究がなされてきた\cite{cook1977detection,koh17understanding,zhang2018trust,hara19dataclean}．事例ごとの影響を正しく把握することで，学習後のモデルの挙動や予測を解釈することに役に立つほか，事例の貢献度を考慮したデータフィルタリングなどの応用にもつながる．特に，自然言語処理などの分野で幅広く使われているディープニューラルネットワークモデルについては，性能の向上が著しい\cite{devlin2019bert}．その一方で，学習後のモデルの挙動や特性を理解することが極めて困難であるブラックボックス性が応用上の課題となっており，データに紐付けて説明を行うアプローチはその解決手段の一つとして有望視されている\cite{koh17understanding,plumb2018example,ouchi2020instance}．この事例ごとの影響値の最も素朴な計算方法は，あるモデルをデータセット全体で訓練し，その後同様の訓練手続きを一事例だけ除いたデータセットの上でも実施することである．このような操作(leave-one-outretraining)で作成した2つのモデルの予測の差を比較することは，除外対象の一事例の影響値を計測することに概ね相当する．しかし，この方法は解析したい事例ごとにモデルを再訓練して保存する必要があり，データセット全体への解析や解釈などを行う際には，非常に長い計算時間とモデルの保存容量を要する．例えば，予測に最も寄与した事例をユーザーに提示することでモデルの解釈性を高めたい場合を考える．このとき，訓練事例数$|D|$に依存した回数の訓練と個数のモデルの保存が予め必要となる．さらに，実際に推論する際にも，事例ごとの$|D|$回分の推論のたびに新たにモデルを読み込む必要があり，BERT\cite{devlin2019bert}のような巨大なモデルの場合，読み込みにも無視できない時間がかかる．この単純なleave-one-outの再訓練を行う他に，影響値を近似的に推定する手法がこれまで提案されてきたが\cite{koh17understanding,hara19dataclean}，計算量の課題や適用可能なモデルの制約などが依然として存在するため，実用性を大きく損なっている．ニューラルネットワークを用いた実験も行われているが，典型的にモデルサイズが非常に小さく\cite{koh17understanding,hara19dataclean}，また，より大きいモデルに適用を試みた実験でも上述の計算量の課題が報告されている\cite{han2020explaining}．そこで，本論文では，訓練事例の影響の計算を巨大なニューラルネットワークモデルにおいても実用的にするため，新たな推定手法\emph{turn-overdropout}を提案する．turn-overdropoutはその名の通りdropout\cite{srivastava14dropout,hinton12dropout}を活用した手法であり，dropoutを事例ごとに決定的なサブネットワークのみを訓練する手法として新たに定式化したものである．訓練終了後には，各事例について，影響を受けていないサブネットワークと受けているサブネットワークの両方で予測が行えるため，その差分から事例ごとの影響を近似的に推定することができる．この推定では，ニューラルネットワークの前向き計算による予測を2回実行するだけであり，\cite{hara19dataclean}と\cite{koh17understanding}の手法に比べて大幅に高速である．また，訓練に関しても，通常通りに一つのデータセット上で訓練を一度行ったモデルを用意するだけで，そこに含まれる全事例に関して推定を行うことができ，再訓練も複数のモデルの保存も必要がない．本論文では，先行研究に対する計算量における優位性を議論するとともに，文書分類タスクと画像物体認識のタスクにおいて推定の有効性を示す実験を行った．提案手法を文書分類と画像物体認識におけるBERT\cite{devlin2019bert}およびVGGNet\cite{simonyan15vgg}に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを示した．また，サブネットワークの学習曲線の解析やデータフィルタリングの実験を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%