Efficient Inference on CPU

このガイドは、CPU上で大規模なモデルの効率的な推論に焦点を当てています。

BetterTransformer for faster inference

最近、テキスト、画像、および音声モデルのCPU上での高速な推論のためにBetterTransformerを統合しました。詳細については、この統合に関するドキュメンテーションをこちらで確認してください。

PyTorch JITモード（TorchScript）

TorchScriptは、PyTorchコードからシリアライズ可能で最適化可能なモデルを作成する方法です。任意のTorchScriptプログラムは、Python依存性のないプロセスで保存およびロードできます。 デフォルトのイーガーモードと比較して、PyTorchのjitモードは通常、オペレーターフュージョンなどの最適化手法によりモデル推論のパフォーマンスが向上します。

TorchScriptの簡単な紹介については、PyTorch TorchScriptチュートリアルを参照してください。

JITモードでのIPEXグラフ最適化

Intel® Extension for PyTorchは、Transformersシリーズモデルのjitモードにさらなる最適化を提供します。Intel® Extension for PyTorchをjitモードで使用することを強くお勧めします。Transformersモデルからよく使用されるオペレーターパターンのいくつかは、既にIntel® Extension for PyTorchでjitモードのフュージョンに対応しています。これらのフュージョンパターン（Multi-head-attentionフュージョン、Concat Linear、Linear+Add、Linear+Gelu、Add+LayerNormフュージョンなど）は有効でパフォーマンスが良いです。フュージョンの利点は、ユーザーに透過的に提供されます。分析によれば、最も人気のある質問応答、テキスト分類、トークン分類のNLPタスクの約70％が、これらのフュージョンパターンを使用してFloat32精度とBFloat16混合精度の両方でパフォーマンスの利点を得ることができます。

IPEXグラフ最適化の詳細情報を確認してください。

IPEX installation:

IPEXのリリースはPyTorchに従っています。IPEXのインストール方法を確認してください。

Usage of JIT-mode

Trainerで評価または予測のためにJITモードを有効にするには、ユーザーはTrainerコマンド引数にjit_mode_evalを追加する必要があります。

Transformers質問応答の使用例を参考にしてください。

• Inference using jit mode on CPU:

  python run_qa.py \
  --model_name_or_path csarron/bert-base-uncased-squad-v1 \
  --dataset_name squad \
  --do_eval \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /tmp/ \
  --no_cuda \
  --jit_mode_eval 

• Inference with IPEX using jit mode on CPU:

  python run_qa.py \
  --model_name_or_path csarron/bert-base-uncased-squad-v1 \
  --dataset_name squad \
  --do_eval \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir /tmp/ \
  --no_cuda \
  --use_ipex \
  --jit_mode_eval