質問: 現在、Tensorflow+Kerasでモデルの学習をおこなっています。 このモデルにはBatch normalization レイヤーが含まれています。 ただ、使用しているGPUのメモリが少ないため、バッチサイズが4くらいでしか学習できません。 このように、バッチサイズが小さい場合でもBatch normalizationはうまく機能するものなのでしょうか。 よろしくお願いいたします。
回答: バッチサイズを大きくできない場合のためのアルゴリズムもいくつか提案されています。 Layer Normalization: Group Normalization: Weight Standardization: TensorFlowでLayerNormalizationは提供されているようです。