どうして小さなバッチサイズでSGDを行うことで一般化性能が向上するのか
小さなバッチサイズでSGDを行うことで一般化性能が向上する理由は、論文の結果によると、小さなバッチサイズではより多くの「カタパルト」が発生しやすいためです。この「カタパルト」現象は、訓練中のスパイクが特徴学習を促進し、モデルのAGOP（平均勾配外積）と真のモデルまたはその最先端近似モデルとの整合性を高めることにつながります。したがって、小さなバッチサイズではこれらの効果が増幅されており、一般化性能が向上する傾向にあると考えられます。