ロススパイクの影響分析

大規模言語モデル(LLM)はさまざまなベンチマークで専門家と同等,またはそれ以上の性能を示しており,その実用性の高さから開発が加速している[1].LLM開発の原動力となっているのは,モデルの良さを表す交差エントロピー損失がモデルサイズ,データセットサイズ,学習時の投入計算量に応じてべき乗則的減少を示すスケール則という経験則である[2].スケール則に従い開発が加速した結果,現在の最高性能のモデルは数100Bパラメータを超えるほど大規模化しており,事前学習単体が一大事業となるほどコストが巨大化している.LLMの事前学習において問題となるのは,学習途中で損失が突然発散するロススパイクと呼ばれる現象である．ロススパイク発生後のモデル学習は異常な経過を辿ることが多く,最終的に事前学習が失敗する可能性が高い[3,4].ロススパイクはモデルサイズが大きくなるほど発生しやすいことが実験的に確認されている[3,5].大きなモデルほど事前学習の時間的,金銭的コストが大きくなるため,ロススパイクの原理解明は,効率的な研究開発を進める上で重要である.このような背景により,ロススパイクの発生を抑制する研究が盛んに行われている[3,6,7].主なアプローチとしては,ロススパイクの原因を特定し,その要因を緩和する方法が挙げられる.現在までに,ロススパイクの原因として,学習データ中のノイズ[5],コンテキストサイズ[8],パラメータのノルムの不均一性[6],アテンションロジットの極端な増大[7],勾配ノルムの急激な増大[9]などが指摘されている.一方,ロススパイクがモデルに与える影響については十分に理解されていない.例えば,ロススパイクが発生した場合でもその後ロスが元に戻り学習を継続する場合があるが,このときスパイクの影響がモデルにどの程度残るのかは重要な疑問である.本稿では,ロススパイクの影響を線形峰接続性[10,11]の観点から分析する.線形峰接続は,2つの解が損失地形においてどのように関連しているかを表す.本稿では2つの解として,同一モデルの学習過程で生じる2つのチェックポイントを用いることで,学習中のモデルの挙動を観察する.実験では,Transformerデコーダベースの小規模な言語モデルを事前学習し,ロススパイクが発生する設定と発生しない設定における学習中のチェックポイントを記録・分析した.実験の結果,パラメータがスパイクの前後で大きく異なる位置に変化すること,及び線形峰接続性のパターンが変化することが確認された.