LeNet
畳み込み層には、畳み込み、プーリング、および非線形活性化関数の 3 要素がある
畳み込みによる空間的特徴の抽出(畳み込みはもともと受容野と呼ばれていた)
サブサンプリングのために平均プーリング層を用いる
活性化関数 として tanh を用いる
最後の分類器として多層パーセプトロンを用いる
計算の複雑さを軽減するレイヤー間の疎結合
1990 年、手書きの数字認識に逆伝播ネットワークを適用したことについて、論文で再び述べた。彼らはデータに最小限の前処理しか行って折らず、モデルはこのタスクのために慎重に設計され、それは非常に制約の多いものだった。入力データは数字を含む画像で、米国郵政公社が提供する郵便番号デジタルデータでテストした結果、モデルのエラー率はわずか 1%、リジェクト率は約 9% だった。
彼らの研究はその後 8 年間続き、1998 年にヤン・ルカン、レオン・ボトゥー、ヨシュア・ベンジオ、パトリック・ハフナーは、紙の手書き文字認識に関するさまざまな方法をレビューし、標準の手書き数字を使用してベンチマークタスクを特定した。これらのモデルを比較し、その結果、LeNet が他のすべてのモデルよりも優れていることを示した。また、2 つのオンライン手書き文字認識システムや、1 日に何百万もの小切手を読み取れるモデルなど、ニューラル ネットワークの実用的な応用例を示した。
この研究は大きな成功を収め、ニューラル ネットワークの研究に対する学者の関心を呼び起こした。現在、最も性能の高いニューラルネットワークのアーキテクチャは LeNet と同じではないが、このネットワークは多数のニューラル ネットワーク アーキテクチャの出発点となり、また、この分野にインスピレーションをもたらした。