ロススパイクの影響分析

ニューラルネットワークの学習中に突然損失が発散する現象はロススパイクと呼ばれ，学習が破綻する原因として知られている.モデルの学習には大きなコストがかかるため,ロススパイクの発生を予防する方法が数多く提案されてきた一方で,スパイクがモデルに与える影響については十分に理解されていない.本稿では,ロススパイクのモデルへの影響について,2つのモデル間の損失地形における結びつきを表す線形峰接続性の観点から分析する.小規模な言語モデルをロススパイクが発生する設定を含む複数の学習設定で事前学習し,学習中のチェックポイントを用いてスパイクの影響を分析した.その結果,パラメータがスパイクの前後で大きく異なる位置に変化すること,及び線形峰接続性のパターンが変化することがわかった.