精度 (算術)
精度は、数値を表現する細かさであり、その数字の正確さとは(厳密には)異なる概念である(正確度と精度を参照)。ただし、機械加工などでは慣用的に、正確さに対して「精度」という言葉が使われている。
数値の表現する対象により、精度のとらえかたは異なる。物理や化学の数値ではいわゆる有効数字が重要であり、相対精度に相当する。金融などでは小数点位置を基準としてその下2桁というように扱うので、絶対精度に相当する。浮動小数点数の算術では、仮数部の長さにもとづき丸められる。金融計算では小数点位置を基準として丸められる(例えば、国際通貨の為替レートは一般に小数点以下2桁で丸められる)。
最初に、「正確さ」の意味で「精度」という語が使われている場合もあると述べたように、精度という語はしばしば乱用されている。「精度が」という言及がある場面で、正確さと精度(英語では accuracy と precision )の区別がついているか、絶対精度と相対精度の区別はついているか、を明解に説明できないようであれば、十分に注意したほうが良い。
ここで例として、値 12.345 を十進法によるいくつかの桁数で丸めるとどうなるかを示す。一般に、元の桁数より減る場合は何らかの端数処理によって適切な桁において数値を丸める。下の表は最も一般的な四捨五入で丸めを行った場合を示している。
↑ 1E+1 とは 1 × 10 を意味する。