質問: 現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。 モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。 しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。 このような場合に有効な学習を進める方法として何が考えられるのでしょうか? バッチ正規化が有効だと聞いたことがあるのですが、GPUのメモリの関係上、バッチサイズは1が限界でバッチ正規化はおそらく使うことができません。 それ以外の方法で学習を安定して進めることのできる方法を教えてくださると助かります。
回答: 層を増やすのも一つですが、特徴(CNNの出力)を増やすというのも一つです。この辺は「ハイパーパラメータ」と言って、今のところ試行錯誤するしかありません。OPUTUNAという、自動調整ツールもありますが、これがやることは「実際に学習して、どの組み合わせが一番学習が進むかを試す」と言うことです。自動化されていますが、やってみることに変わりはありません。