通常使用最小二乘法来拟合。在高斯-马尔可夫定理的条件下，最小二乘法最小化系数的无偏估计的方差。最小二乘法由勒让德于1805年发表，1809年由高斯发表。多项式回归实验的第一个设计出现在1815年的 Gergonne 的论文中。 在二十世纪，多项式回归在回归分析的发展中起着重要作用，更加强调设计和推理的问题。
定义和实例.回归分析的目标是根据自变量（或自变量向量）x 的值来模拟因变量 y 的期望值。在简单的线性回归中，使用模型其中ε是未观察到的随机误差，其以标量 x 为条件，均值