有深厚的历史以及广泛的应用性，统计学通常不只被认为是数学所处理的对象，而是与数学本身的哲学定义与意义有密切的关联。许多知名的大学拥有独立的数理统计学系。统计学也在如心理学，教育学以及公共卫生学系中被视为是一门主科。统计学的数学基础建立在17世纪布莱兹·帕斯卡和皮埃尔·德·费马发展的概率论上。概率论从研究几率得来。最小二乘法由卡尔·弗里德里希·高斯于1794年第一次得出。现代计算机可以进行更大尺度的统计运算，生成了许多无法用人工计算的新公式。
统计学的观念.为了将统计学应用到科学