NeurIPS2022の量子化・枝刈り論文のまとめ

# 概要

この記事では、[NeurIPS2022](https://nips.cc/)の量子化・枝刈り論文のまとめをします。
量子化 [その1](https://qiita.com/kyad/items/5138306b021299ae4ad2) [その2](https://qiita.com/kyad/items/e6207213ae9d3513d8fd) [その3](https://qiita.com/kyad/items/2259ebffa8dbe9b1a2d4) [その4](https://qiita.com/kyad/items/55a71ad4b857bbb73e52) [その5](https://qiita.com/kyad/items/77f3e839563300cf6121)
枝刈り [その1](https://qiita.com/kyad/items/35e72f05c9423e8f1b08) [その2](https://qiita.com/kyad/items/c5d4f53cdac674a909c0) [その3](https://qiita.com/kyad/items/039b2f46863f418d077a) [その4](https://qiita.com/kyad/items/8a5c49a51a2869b91ce4)


# Transformer系への適用

今回はTransformer系への適用論文が多い傾向にありました。エッジ系への適用にとどまらず、大規模自然言語処理モデルへの適用を目指している非エッジ系への適用と思われる研究もありました。

- [Outlier Suppression](https://qiita.com/kyad/items/5138306b021299ae4ad2#outlier-suppression-pushing-the-limit-of-low-bit-transformer-language-models). LNで$\gamma$倍をやめる。SenseTime.
- [XTC](https://qiita.com/kyad/items/5138306b021299ae4ad2#xtc-extreme-compression-for-pre-trained-transformers-made-simple-and-efficient). NLP向け低ビット量子化。Microsoft.
- [Q-ViT](https://qiita.com/kyad/items/5138306b021299ae4ad2#q-vit-accurate-and-fully-quantized-low-bit-vision-transformer). ViTのQATによるフル量子化。QATで情報劣化しやすいAttentionをIRMとDGDで学習する。
- [Deep Compression of Pre-trained Transformer Models](https://qiita.com/kyad/items/e6207213ae9d3513d8fd#deep-compression-of-pre-trained-transformer-models). Transformerモデルを学習済みモデルからFine-tuneする方法でモデル圧縮する方法。IBM.
- [Towards Efficient Post-training Quantization of Pre-trained Language Models](https://qiita.com/kyad/items/2259ebffa8dbe9b1a2d4#towards-efficient-post-training-quantization-of-pre-trained-language-models). 巨大事前学習モデルの量子化で、PTQによるもの。
- [BiT](https://qiita.com/kyad/items/55a71ad4b857bbb73e52#bit-robustly-binarized-multi-distilled-transformer). Transformerの2値化。Meta.
- [ZeroQuant](https://qiita.com/kyad/items/55a71ad4b857bbb73e52#zeroquant-efficient-and-affordable-post-training-quantization-for-large-scale-transformers). 大規模NLPモデル向けPTQ. FP16からINT4/INT8に精度維持で量子化。Microsoft.
- [GPT3.int8()](https://qiita.com/kyad/items/77f3e839563300cf6121#gpt3int8-8-bit-matrix-multiplication-for-transformers-at-scale). 巨大行列積をINT8で高速化する。FAIR, HuggingFace.
- [SAViT](https://qiita.com/kyad/items/35e72f05c9423e8f1b08#savit-structure-aware-vision-transformer-pruning-via-collaborative-optimization). ViTの枝刈り
- [A Fast Post-Training Pruning Framework for Transformers](https://qiita.com/kyad/items/039b2f46863f418d077a#a-fast-post-training-pruning-framework-for-transformers). Transformer向け再学習不要structured pruning. Samsung.


# 実用系

クラス不均衡・公平性等、実用を意識した研究も見られました。

- [ClimbQ](https://qiita.com/kyad/items/e6207213ae9d3513d8fd#climbq-class-imbalanced-quantization-enabling-robustness-on-efficient-inferences) Clall-imbalancedな場合に量子化精度が小クラスで落ちる課題を解決する
- [Entropy-Driven Mixed-Precision Quantization for Deep Network Design](https://qiita.com/kyad/items/77f3e839563300cf6121#entropy-driven-mixed-precision-quantization-for-deep-network-design) DNNの能力は最終出力の$\sigma^2$と考えることができる。
  - [BNで測るもの](https://qiita.com/kyad/items/35e72f05c9423e8f1b08#structural-pruning-via-latency-saliency-knapsack)も。
- [On Measuring Excess Capacity in Neural Networks](https://qiita.com/kyad/items/35e72f05c9423e8f1b08#on-measuring-excess-capacity-in-neural-networks). DNNの余剰能力の測定。
- [Pruning’s Effect on Generalization Through the Lens of Training and Regularization](https://qiita.com/kyad/items/c5d4f53cdac674a909c0#prunings-effect-on-generalization-through-the-lens-of-training-and-regularization). 枝刈りで汎化性が上がるか調査した。Google.
- [Pruning has a disparate impact on model accuracy](https://qiita.com/kyad/items/039b2f46863f418d077a#pruning-has-a-disparate-impact-on-model-accuracy). 枝刈りが公平性に与える影響。
- [Recall Distortion in Neural Network Pruning and the Undecayed Pruning Algorithm](https://qiita.com/kyad/items/8a5c49a51a2869b91ce4#recall-distortion-in-neural-network-pruning-and-the-undecayed-pruning-algorithm). 枝刈りにおけるクラス不均衡現象の分析。