固定小数点数
ある実数を x とし、これを固定小数点数で表した整数を n とする。最下位ビットを実数 L、オフセットを実数 O と定めると、実数 x は固定小数点数で次の数 n となる。ここで、round は四捨五入関数である。
n = round  ( x − O L ) {\displaystyle n=\operatorname {round} \left({\frac {x-O}{L}}\right)}
固定小数点数 n から実数 x は次のように求まる。
x = L n + O {\displaystyle x=Ln+O}