浮動小数点数
IEEE 754 形式から派生した浮動小数点数の形式。符号部 1 ビット ・ 指数部 8 ビット ・ 仮数部 7 ビットである。
つまり、bfloat16 形式で表現する値は
(−1) × 2 ×(1 + 仮数部)
である。
採用事例
インテル - Intel Xeon Cooper Lake マイクロアーキテクチャ以降、Nervana NNP-L1000 など
ARMアーキテクチャ - Armv8.6-A
Google - Tensor Processing Unit 2.0 以降
NVIDIA - Ampere マイクロアーキテクチャ以降
Amazon.com - AWS Inferentia、Amazon Elastic Inference など
浮動小数点数のフォーマットには、以下で説明するものの他、以前は多数あった。
IEEE方式(IEEE 754。最も広く採用されている標準規格)
IBM方式(IBMのメインフレームおよびそれを模倣した各社の互換マシンで使われていた。指数部を基数16で表現するのが特徴)
指数部と仮数部を可変とする方式(これは研究用の面が強い。以下の該当する節で詳述)