早期网络“有些相似”。两者最初都用CUDA编写，可在GPU支持下运行。实际上，两者都是杨立昆等人（1989）介绍的CNN设计的变体，他将反向传播算法应用于福岛邦彦（）最初提出的CNN架构“neocognitron”的一个变种。后来J. Weng提出的最大池化方法修改了该架构。
网络设计.AlexNet包含八层。前五层是卷积层，之后一些层是最大池化层，最后三层是全连接层。它使用了非饱和的ReLU激活函数，显示出比tanh和sigmoid更好的训练性能。
影响.