EfficientNetよりも速いモデル

#前書き
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/c9250f32-fcd0-3d12-51d8-a039de01827e.png)
有名なEfficientNetは精度当たりのFLOPSやParamsではかなり優秀な部類に入り、実際これを更新するのは困難である。実際、最近のSOTAの更新もモデル自体はEfficientNetという新鮮味のない更新が多い。
一方で**GPUの実効速度**という観点ではFLOPSは実効速度と乖離しており、必ずしも同精度でEfficientNetが最速なわけではない。これらの論文群は以下の様な共通点がある。

・**GPU(Nvidia V100)**でEfficientNetの数倍の実効速度を持つ。
・FLOPS、Paramsではなく**Throughput([img/s])やLatency([ms/img])**で評価を行う。
・**inference latency(推論速度)とtraining latency(学習速度)**がある。
・ResNetからの進化であることが多い。

#Assemble-ResNet
https://arxiv.org/pdf/2001.06268v2.pdf
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/1623faa5-d14f-bce2-10e3-0557a3a882cb.png)
B4：x3.3、B6：x5.1
Throughputはinference(推論)。GPUは 8 P40 GPUs。
企業：NAVER

#RegNet
https://arxiv.org/pdf/2003.13678.pdf
activationsという指数で比較が行われている。この指数の方がFLOPSよりも実効速度を反映しているかのように見えるが、これは他の論文に使われていない。
この指数では1x1Convと3x3DWConvと3x3Convの速度が等しい。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/8ffafa3b-0981-1d16-ae63-ae3e2a6ff37b.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/42493509-9864-f546-4dee-b62d420d7a7d.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/ae0f3db0-5b0c-e9d3-034a-466a9f2ba224.png)
B0：x1.8、B1：x2.7、B2：x3.1、B3：x2.9、B4：x3.5、B5：x4.5
inference(推論)とtraining(学習)。GPUは8 V100 GPUs。 
企業：Facebook

#TResNet
https://arxiv.org/pdf/2003.13630v3.pdf
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/65f20b9e-7a9c-01be-49d3-5033d5ffeb89.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/4097867c-0fb9-42f2-6b71-b4d4b643e641.png)![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/c7c5f98e-186c-da0b-77d0-8299c23334f4.png)
B1～B5：x1.5～x2.0
Throughputはinference(推論)とtraining(学習)。GPUは8xV100 GPU。 
企業：Alibaba

#ReXNet
https://github.com/clovaai/rexnet
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/61e957bc-64be-b44a-4e22-643a4de29f3b.png)
GPU速度ではなくCPU速度でだがEfficientNetを上回る。
また、FLOPSもEfficientNetを改善している。
企業：NAVER

#ResNeSt
https://arxiv.org/pdf/2004.08955.pdf
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/29021125-c94c-b27f-c744-2385d0cbe7b5.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/42607b67-2af9-e44d-3e26-14548117eed0.png)
B4：x2.0、B5：x1.2、B7：x1.5
Throughputはinference(推論)。GPUはsingle V100 GPU。 
企業：Facebook

#GENet
https://arxiv.org/pdf/2006.14090.pdf
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/02ca7035-6bfe-f03b-d9b3-b143a485d964.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/4e83d666-be60-ad9a-b00e-2281088843d7.png)
B2：x3.2、B5：x3.3
Throughputはinference(推論)。GPUは24 V100 GPUs。 
このグラフではFacebookのRegNetは大した性能は出ていない。
企業：Alibaba

#LambdaResNet
https://openreview.net/pdf?id=xTJEN-ggl1b
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/751802cd-371e-c563-af84-06c5c6bb0565.png)
B4：x4.3、B5：x4.4
Throughputはtraining(学習)。32 TPUv3で4096個の画像のlatency。

#DeiT
https://arxiv.org/pdf/2012.12877v1.pdf
ViT由来のようである。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/9c851ed5-857e-ae32-5f67-056b5f379be4.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/299928/59666540-85b7-6586-e012-0eaf54b7de3d.png)
B3：x1.8、B6：x3.8、B7：x2.0
GPUはone V100 GPU。 
企業：Facebook

#まとめ：
EfficientNetよりも速いモデルを整理してどれが一番速いのか見積もろうとしたのだが、GPUの設定がバラバラでThroughputを並べて比較することが出来ませんでした。EfficientNet比で見ると3～5倍になっているモデルが多いです。
将来的にTensorコアの性能進化(A100)やTPUの発展を考えると、V100 GPUという固有GPUの最適化自体に意味があるかはちょっと疑問に思いました。

#参考：
https://github.com/rwightman/pytorch-image-models