AlexNet
GPU で実装した高速な畳み込みニューラルネットワークが画像認識コンテストで優勝したのは AlexNet が初めてではなかった。K. Chellapilla ら(2006)による GPU 上の畳み込みニューラルネットワークは、CPU 上の同等の実装と比べて 4 倍高速だった。IDSIA での Dan Cireșan ら(2011)のディープ畳み込みニューラルネットワークは、すでに 60 倍の速度で、2011 年 8 月には超人的な性能を達成していた。2011 年 5 月 15 日から 2012 年 9 月 10 日までの間に、彼らの畳み込みニューラルネットワークは 4 つ以上の画像コンテストで優勝している 。また、複数の画像データベースに関する文献の中での最高性能を大幅に更新した。
AlexNet の論文によると、Cireșan の初期のネットワークは「多少似ている」とのこと。 どちらも元々は GPU 上で動作するように CUDA で書かれた。実際には、どちらもヤン・ルカンら(1989)が発表した畳み込みニューラルネットワーク・デザインの変形であり 、ネオコグニトロンと呼ばれる福島邦彦の畳み込みニューラルネットワークの構造に誤差逆伝播法(バックプロパゲーション)を適用したものだ 。 この構造は、J. Weng の max-pooling と呼ばれる手法で後に修正された 。
2015 年には、ImageNet 2015 コンテストで優勝した Microsoft Research Asia の100層以上の非常に深い畳み込みニューラルネットワークにAlexNet が勝った。