变数，反应变数）与自变数formula_2（或称独变数，解释变数）之间关系的模型。简单线性回归使用一个自变量formula_2，复回归使用超过一个自变量（formula_4）。
起源.回归的最早形式是最小二乘法，由1805年的勒让德(Legendre)，和1809年的高斯(Gauss)出版。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展，包括高斯－马尔可夫定理的一个版本。