LeNet
LeNet-5 は畳み込みニューラルネットワークの出現を意味し、畳み込みニューラルネットワークの基本構成要素を定義している。しかし、当時は GPU などのハードウェアがなかったためにあまり普及せず、サポートベクターマシンなど他のアルゴリズムでも LeNet と同等以上の性能が得られた。
2012 年の AlexNet の成功以来、 畳み込みニューラルネットワーク はコンピュータビジョンの用途で最適な選択肢となり、R-CNN シリーズなど、さまざまなタイプの 畳み込みニューラルネットワーク が提案されてきた。現行の 畳み込みニューラルネットワーク モデルは LeNet とは大きく異なるが、すべて LeNet をベースに開発された。
LeNet は、初期の畳み込みニューラル ネットワークの代表として、畳み込み層、プーリング層、全結合層などの畳み込みニューラルネットワークの基本単位を有しており、畳み込みニューラルネットワークの将来の発展の基礎を築いた。入力層以外の各層で、パラメータを学習することができる。図中、Convolution ......(シアン)は畳み込み層、Pooll ......(マゼンタ)はプーリング層、Dense ......(黄色)は全結合層を表している。
最初の畳み込み層(C1)は、サイズ 28x28 の 1 チャネルの画像を入力とし、サイズ 5x5 の 6 個の畳み込みカーネルを備え、サイズ 28x28 の 6 つの特徴量マッピングを出力する。入力画像の情報が畳み込みカーネルの境界から外れることを防ぐ。
次の層(S2)は、C1 の特徴量マップのサイズ 2x2 ずつの平均を出力するプーリング層であり、サイズ 14x14 の 6 つの特徴量マップが得られる。
次の層(C3)は、サイズ 5x5 の 16 個の畳み込みカーネルを持つ畳み込み層である。
LeNet の原型を提案した。
ニューラルネットワークの自由パラメータの数を最小限に抑えることで、ニューラルネットワークの汎化性能を強化できることを証明した。