AlexNet
AlexNet は畳み込みニューラル ネットワーク(CNN)の構造の名前であり、Alex Krizhevsky が博士課程の指導教官である Ilya Sutskever および ジェフェリー・ヒントン と共同で設計した 。
AlexNet は、2012 年 9 月 30 日に開催された ILSVRC 2012 に参加した。AlexNet はエラー率 15.3% で優勝し、次点よりも 10.8% 以上低かった。この論文の主な内容は、モデルの深さが高性能には不可欠であるというもので、計算コストは高くなるものの、GPU を用いて学習することで実現した。
AlexNet には 8 つのレイヤーが含まれていた。最初の 5 つは畳み込み層で、そのうちのいくつかに max-pooling 層が続き、最後の 3 つは全結合層だった。活性化関数には、非飽和型の ReLU を使用し、tanh および sigmoid よりも学習性能が向上している。