データマージ：平均化データを用いた学習効率化

機械学習では一般に各データごとに損失を計算し、その平均を最小化するように学習を行うため、データ数の増加に伴う計算コストが課題となる。本研究では、事前に平均化されたデータを用いて学習を行うデータマージを検討する。データの平均化は計算量削減に有効である一方、入力のばらつきやそれに起因する損失の変動が失われ、性能低下を招く恐れがある。そこで、入力の分散とその分散に対する損失の感度を二次近似に基づいて明示的に考慮することで、平均データを用いながらも入力集合全体を反映した学習を試みる。VLMにおける敵対的学習の実験では、マージするデータ数が少ない場合には通常の学習と同等の頑健性を示す一方、データ数が増加すると頑健性が低下し、大規模データ適用に向けた課題が明らかとなった。