大円距離
地球の形状は回転軸方向に潰れた球(扁球)とみなすことができる。この時赤道半径 a {\displaystyle a} は6378.137 km、極半径 b {\displaystyle b} は6356.752 kmとなる。 赤道付近の短い南北方向の線においては半径 b 2 / a {\displaystyle b^{2}/a} (6335.439 km)とした際が最も良い近似となり、極においては半径 a 2 / b {\displaystyle a^{2}/b} (6399.594 km) が最も良い。この差は1%である。 つまり、地球を球体と仮定した計算においては、地球上の任意の2点間の距離に対する1つの計算による誤差は 0.5% 以内とすることができる(ただし、限られた地域に関してはより誤差の少ない値を使用することもできる。)。
この値として平均地球半径を用いるとよく、その値は R 1 = 1 3 ( 2 a + b ) ≈ 6371 k m {\displaystyle R_{1}={\frac {1}{3}}(2a+b)\approx 6371\,\mathrm {km} } (値はGRS 80における回転楕円体近似に対して)である。 扁平率が小さい場合はこの値が平均自乗誤差を最小化する。