質問: 深層学習や転移学習では層を深くすればするほど原理的には予測精度は高くなるのでしょうか? 現在kerasのvgg16を用いてファインチューニングを行なっていますが全結合層を三層ほどにして学習した時より一層だけで学習した時の方が精度が高くなっています。深層学習や転移学習の強みは層を深くして複雑な問題に適応できるようになる事だと思うのですが、層が浅い方が精度が高くなるのは何故なんでしょう?
回答: 単純に層を深い方が性能が上がるというものではありません。 NNのはしりの時にはそのように考えられましたが実際には層を深くすると性能があがるどころかかえって下がることがわかり、ブームは下火になりました。 しかし、条件(モデルの構造や学習データ、その他諸々)次第では多層で性能が高いモデルを実現できることがわかり、最近のディープラーニングブームになったわけです。条件次第というのがポイントでただ闇雲に層を増やしたから性能が高くなったわけではありません。 また、モデルはあったとしても問題に対応した十分な量と質の学習データを用意するのは大変です。ところが、適切に学習させたモデルは、別の問題でも(比較的少量の追加データとカスタマイズで)高い性能を示すことがわかりました。これが転移学習です。これも万能ではなく、十分な性能がでるかは条件次第です。