Tensorコア
TensorFloat-32(TF32)はTensorコアにおける混合精度FMAモードの1つである。
Tensorコアは低精度行列積を高速実行するアクセラレータであり、FP32 FMAをそのまま高速計算はできない。TF32モードではFP32入力を内部的に19bitへキャスト、その行列積をTensorコアで高速計算し、最終的にFP32のアキュムレータへ加算する。すなわち、TensorFloat-32はFP32 FMAの内部低精度高速FMAモードである。
低精度行列積はある程度の計算誤差が不可避である。従来用いられていた16bit演算(FP16・BF16)は混合精度計算によりその悪影響を最低限に抑えており、またフレームワークの自動混同精度(AMP)機能により最低限のコード変更で実行を可能にしていた。