曲線あてはめ
まず、次のような1次多項式を考える。
y = a x + b {\displaystyle y=ax+b\;}
これは、傾斜 a の直線である。一般に、このような直線はx座標の異なる2点によって一意に定まる。したがって1次多項式は、x座標の異なるデータ点がちょうど2個ある場合に、正確にそれらを通る直線となる。最小二乗法を使う場合には、データ点が何個あっても、最適な直線が一意に定まる。ただし、最適な直線とは、残差平方和が最小というだけで、そのデータの素性を最もよく表しているとは限らない。
次数を上げて2次多項式にすると、次のような式になる。
y = a x 2 + b x + c {\displaystyle y=ax^{2}+bx+c\;}
この場合、x座標の異なる任意の3点に当てはめることができる。
さらに次数を上げて3次多項式にすると、次のような式になる。
y = a x 3 + b x 2 + c x + d {\displaystyle y=ax^{3}+bx^{2}+cx+d\;}
この場合、x座標の異なる任意の4点に当てはめることができる。
より一般化すれば、4つの「制約」を正確に満足する、と言える。