Bf16
00098)が、ゼロ付近での精度はfp16が2^(-14)であるのに対し、bf16では2^(-126)となり、高精度の表現が可能になっている。
このため通常の数値計算用途には向いていないが、機械学習においては以下のような特性により有用である。
モデルの構造や用途によるが、単一のネットワークウェイトの精度がネットワーク全体の精度に与える影響がそれほど大きくなく、またウェイトが非常に大きな値を扱うことは稀であり、そのような場合はネットワークそのものに問題がある場合が多い。
一方で、学習の過程で変動する勾配の値は適応の過程で極端に大きな値を取ることがあり、それが表現可能な数値の範囲外となってしまうと特定のウェイトが不正規数(NaN)となり、それによってネットワーク全体が連鎖的に破綻するなどの問題を起こす場合がある。ダイナミックレンジを広く取ることでより安定した学習となる可能性が高くなる。