LeNet
Sejarah pengembangan

LeNet-5 adalah salah satu jaringan saraf konvolusional paling awal yang juga berperan dalam mempromosikan pengembangan pembelajaran mendalam. Sejak 1988, setelah penelitian bertahun-tahun dan banyak sekali percobaan, karya rintisan tersebut diberi nama LeNet-5.
Pada tahun 1989, untuk pertama kalinya, Yann LeCun, dkk. di Bell Labs mengimplementasikan algoritma perambatan mundur untuk aplikasi praktis. Mereka percaya bahwa kemampuan untuk mempelajari generalisasi jaringan dapat ditingkatkan secara signifikan dengan membatasi domain masalah. Ia menggabungkan jaringan saraf konvolusional yang telah dilatih dengan algoritma perambatan mundur untuk membaca angka tulisan tangan dan berhasil mengimplementasikan nomor kode pos tulisan tangan yang disediakan oleh Jawatan Pos AS. Prototipe inilah yang nantinya menjadi LeNet. Pada tahun yang sama, LeCun menguraikan masalah pengenalan digit tulisan tangan kecil dalam artikel jurnal lain. Ia berhasil menunjukkan bahwa meskipun masalah tersebut dapat dipisahkan secara linear, jaringan lapisan tunggal memiliki kemampuan generalisasi yang buruk. Namun, ketika menggunakan pendeteksi fitur dengan invarian-geser (shift-invariant) pada jaringan multi-lapis berkendala (multi-layered, constrained network), model tersebut dapat memiliki performa yang sangat baik. Ia meyakini bahwa hasil ini membuktikan bahwa dengan meminimalkan jumlah parameter bebas dalam jaringan saraf dapat meningkatkan kemampuan generalisasinya.
Pada tahun 1990, mereka kembali mempublikasikan makalah ilmiah yang menjelaskan penerapan jaringan perambatan mundur dalam pengenalan digit tulisan tangan. Pada makalah ini, mereka hanya melakukan sedikit pra-pemrosesan pada data dengan model yang dirancang secara cermat dan berkendala besar. Data masukan dalam bentuk citra berjumlah banyak yang masing-masing berisi satu digit angka. Hasil pengujian pada data digital kode pos yang disediakan oleh Jawatan Pos AS menunjukkan bahwa model tersebut memiliki tingkat kesalahan hanya sebesar 1% dan penolakan sekitar 9%.
Setelah itu, penelitian mereka berlanjut untuk empat tahun berikutnya. Pada tahun 1994, kumpulan data MNIST berhasil dikembangkan. Namun, karena LeNet-1 sebelumnya terlalu kecil, LeNet-4 dikembangkan untuk dilatih pada data baru tersebut. Setahun kemudian, kelompok AT&T Bell Labs memperkenalkan LeNet-5. Selain itu, mereka juga membandingkan berbagai metode pengenalan karakter tulisan tangan untuk mengidentifikasi berbagai tugas benchmark dandidapatkan bahwa jaringan terbaru mengungguli model-model lain. Pada tahun 1998, Yann LeCun, Leon Bottou, Yoshua Bengio, dan Patrick Haffner memperkenalkan contoh aplikasi praktis jaringan saraf, seperti dua sistem untuk mengenali karakter tulisan tangan secara daring dan model yang dapat membaca jutaan cek per hari.
Penelitian ini mencapai kesuksesan besar dan membangkitkan minat para akademisi dalam studi jaringan saraf. Meskipun arsitektur jaringan saraf terbaik saat ini tidak sama dengan LeNet, LeNet merupakan titik awal untuk sejumlah besar arsitektur jaringan saraf, dan juga menginspirasi penelitian di bidang tersebut.
| 0 | 1 | 2 |
| --- | --- | --- |
| tahun 1989 | Yann LeCun dkk. mengusulkan bentuk asli LeNet | LeCun Y., Boser B., Denker JS, Henderson D., Howard RE, Hubbard W. dan Jackel LD (1989). Backpropagation diterapkan pada pengenalan kode pos tulisan tangan. Komputasi Neural, 1(4):541-551.  |
| tahun 1989 | Yann LeCun membuktikan bahwa meminimalkan jumlah parameter bebas dalam jaringan saraf dapat meningkatkan kemampuan generalisasi jaringan saraf. | LeCun, Y. (1989). Strategi generalisasi dan desain jaringan. Laporan Teknis CRG-TR-89-4, Departemen Ilmu Komputer, Universitas Toronto.  |
| tahun 1990 | Makalah mereka menjelaskan penerapan jaringan backpropagation dalam pengenalan digit tulisan tangan sekali lagi | LeCun Y., Boser B., Denker JS, Henderson D., Howard RE, Hubbard W. dan Jackel LD (1990). Pengenalan digit tulisan tangan dengan jaringan propagasi balik. Kemajuan dalam Sistem Pemrosesan Informasi Neural 2 (NIPS*89).  |
| tahun 1994 | Database MNIST dan LeNet-4 dikembangkan |  |
| tahun 1995 | LeNet-5 dikembangkan, berbagai metode yang diterapkan pada pengenalan karakter tulisan tangan ditinjau dan dibandingkan dengan tolok ukur pengenalan digit tulisan tangan standar. Hasilnya menunjukkan bahwa jaringan saraf konvolusional mengungguli semua model lainnya. |  |
| tahun 1998 | Aplikasi praktis | LeCun, Y.; Bottou, L.; Bengio, Y. dan Haffner, P. (1998). Pembelajaran berbasis gradien diterapkan pada pengenalan dokumen. Prosiding IEEE. 86(11): 2278 - 2324.  |