09年的高斯(Gauss)出版。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展，包括高斯－马尔可夫定理的一个版本。「回归」一词最早由法兰西斯·高尔顿（Francis Galton）所使用。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐「回归到中等（即人的平均值）」的现象。不过当时的回归和现在的回归在意义上已不尽相同。在1950年代和60年代，经济学家使用机械