データマージ：平均化データを用いた学習効率化

近年の基盤モデルの成功は、大規模データセットを用いた事前学習に基づく大規模機械学習モデル[1]の発展によるところが大きい。基盤モデルは、事前学習時に含まれていなかった下流タスクに対しても高い転移性能を示している。一方で、これらのモデルは数億から数十億規模の画像やテキストデータを用いて学習されており[2,3]、モデルとデータのいずれも急速に肥大化している[4]。データセットの増大に伴う学習コストの増加は、物理的な計算資源の不足や、学習完了までのサイクルの長期化を招き[5]、モデルの改良における試行錯誤の回数を制限し、モデル開発の大きな障壁となる。本研究では、学習時の計算コストを削減しつつ、性能低下を抑制するデータマージを検討する。図1に示すように、データマージは複数のデータを平均化して得られる代表データを用いることで、損失計算の回数を削減し、学習効率を向上させるという単•通常の学習データ1損失1データ2損失2平均損失モデル::データN損失N•データマージデータ1データ2モデル平均データ平均損失:データN一方、データマージでは平均化した学習データを用いて損失を効率的に計算する。純な着想に基づいている。データの平均化は計算量削減の観点から有効である一方で、個々のデータが持つばらつきや、それに起因する損失の変動が失われる可能性があり、そのまま適用すると性能低下を招く恐れがある。本研究では、この問題に対処するため、平均データを用いた学習において失われる情報を補うように損失関数を改良する。平均データの周辺でデータがどの程度ばらついているかという統計的性質と、そのばらつきに対する損失の感度を二次近似に基づいて明示的に考慮することで、代表データのみを用いた単純化された損失を補正する。これにより、平均データを用いながらも、データ集合全体を反映した学習を可能にすることを目指す。まず予備実験として、多層パーセプトロン(MLP)を用いた単純な画像分類にて、データマージが適用可能なデータについて検討した。実験の結果、MNISTのようなクラス内のばらつきが比較的小さいデータセットでは、平均化によって有効な代表Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).を利用すると、データに関するヘッセ行列は勾配の自己相関行列の期待値として記述できる：∇2𝒙𝐿≈𝔼𝑦′∼𝜎(𝒕)[∇𝒙𝐿(𝜽,¯𝒙,𝑦′)∇𝒙𝐿(𝜽,¯𝒙,𝑦′)⊤](8)上記式を、現在のモデル予測に基づくサンプリングˆ𝑦∼𝜎(𝑓𝜽(¯𝒙))によって近似すると、ヘッセ行列の対角成分は勾配の2乗で置き換えられる。diag[∇2𝒙𝐿]≈∇𝒙𝐿(𝜽,¯𝒙,ˆ𝑦)◦2(9)最終的な目的関数以上より、データマージで近似した目的関数は以下の通りとなる。˜L(𝜽)≈𝐿(𝜽,¯𝒙,𝑦)+1