LeNet
LeNet-5 は、最初期の畳み込みニューラル ネットワークの1つであり、深層学習の開発を促進した。1988 年以降、長年の研究と幾度もの成功を経て、この先駆的研究は LeNet-5 と名付けられた。
1989 年、 ベル研究所のヤン・ルカンらはバックプロパゲーションのアルゴリズムを初めて実用化し、タスクのドメインからの制約条件を与えることで、ネットワークの汎化学習性能を大きく向上させることができると考えた。彼は、バックプロパゲーション アルゴリズムによって学習した畳み込みニューラル ネットワークを組み合わせて手書きの数字を読み取り、それを米国郵政公社が提供する手書きの郵便番号の識別に提供することに適用した。これが、後に LeNet と呼ばれるようになったニューラルネットワークの原型である。同年、ヤン・ルカン は別の論文で小さな手書き数字認識問題について説明し、問題が線形分離可能であるにもかかわらず、単層ネットワークの汎化性能が乏しいことを示した。多層の制約されたネットワークでシフト不変特徴量検出器を使用することで、モデルは非常によい性能を発揮した。彼は、これらの結果が、ニューラルネットワーク内の自由パラメーターの数を最小限にすることで、ニューラルネットワークの汎化能力が向上することが証明されたと考えた。