AlexNet

AlexNet は畳み込みニューラル ネットワーク（CNN）の構造の名前であり、Alex Krizhevsky が博士課程の指導教官である Ilya Sutskever および ジェフェリー・ヒントン と共同で設計した 。
AlexNet は、2012 年 9 月 30 日に開催された ILSVRC 2012 に参加した。AlexNet はエラー率 15.3% で優勝し、次点よりも 10.8% 以上低かった。この論文の主な内容は、モデルの深さが高性能には不可欠であるというもので、計算コストは高くなるものの、GPU を用いて学習することで実現した。
歴史的背景.
GPU で実装した高速な畳み込みニューラルネットワークが画像認識コンテストで優勝したのは AlexNet が初めてではなかった。K. Chellapilla ら（2006）による GPU 上の畳み込みニューラルネットワークは、CPU 上の同等の実装と比べて 4 倍高速だった。IDSIA での Dan Cireșan ら（2011）のディープ畳み込みニューラルネットワークは、すでに 60 倍の速度で、2011 年 8 月には超人的な性能を達成していた。2011 年 5 月 15 日から 2012 年 9 月 10 日までの間に、彼らの畳み込みニューラルネットワークは 4 つ以上の画像コンテストで優勝している 。また、複数の画像データベースに関する文献の中での最高性能を大幅に更新した。
AlexNet の論文によると、Cireșan の初期のネットワークは「多少似ている」とのこと。
どちらも元々は GPU 上で動作するように CUDA で書かれた。実際には、どちらもヤン・ルカンら（1989）が発表した畳み込みニューラルネットワーク・デザインの変形であり 、ネオコグニトロンと呼ばれる福島邦彦の畳み込みニューラルネットワークの構造に誤差逆伝播法(バックプロパゲーション)を適用したものだ 。
この構造は、J. Weng の max-pooling と呼ばれる手法で後に修正された 。
2015 年には、ImageNet 2015 コンテストで優勝した Microsoft Research Asia の100層以上の非常に深い畳み込みニューラルネットワークにAlexNet が勝った。
ネットワーク・デザイン.
AlexNet には 8 つのレイヤーが含まれていた。最初の 5 つは畳み込み層で、そのうちのいくつかに max-pooling 層が続き、最後の 3 つは全結合層だった。活性化関数には、非飽和型の ReLU を使用し、tanh および sigmoid よりも学習性能が向上している。
影響.
AlexNet は、コンピュータビジョンで発表された最も影響力のある論文の 1 つであると考えられており、深層学習を加速するために畳み込みニューラルネットワークと GPU を使用してさらに多くの論文が発表されている。
Google Scholar によると、AlexNet の論文は 2021 年現在で 80,000 回以上引用されている。