|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归（英语：）
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

在统计学中，**线性回归**（英語：）是利用称为线性回归方程的最小平方函數对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（）。

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。

线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其未知参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。

线性回归有很多实际用途。分为以下两大类：

1. 如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。
2. 给定一个变量y和一些变量{\displaystyle X\_{1}},...{\displaystyle X\_{p}}，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的{\displaystyle X\_{j}}，并识别出哪些{\displaystyle X\_{j}}的子集包含了关于y的冗余信息。

线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化"拟合缺陷"在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚。相反，最小二乘逼近可以用来拟合那些非线性的模型。因此，尽管"最小二乘法"和"线性模型"是紧密相连的，但他们是不能划等号的。

線性回歸的「回歸」指的是回歸到平均值（英语：）。


| 机器学习与 |
| --- |
|  |
| 范式
* 监督学习
* 無監督學習
* 線上機器學習
* 元学习（英语：）
* 半监督学习
* 自监督学习
* 强化学习
* 基于规则的机器学习（英语：）
* 量子機器學習
 |
| 问题
* 统计分类
* 生成模型
* 迴歸分析
* 聚类分析
* 降维
* 密度估计（英语：）
* 异常检测
* 数据清洗
* 自动机器学习
* 关联规则学习
* 語意分析
* 结构预测（英语：）
* 特征工程
* 表征学习
* 排序学习（英语：）
* 语法归纳（英语：）
* 本体学习（英语：）
* 多模态学习（英语：）
 |
| 监督学习(**分类** · **回归**)
* 学徒学习（英语：）
* 决策树学习
* 集成学习
	+ Bagging
	+ 提升方法
	+ 随机森林
* *k*-NN
* 線性回歸
* 朴素贝叶斯
* 人工神经网络
* 邏輯斯諦迴歸
* 感知器
* 相关向量机（RVM）
* 支持向量机（SVM）
* 迁移学习
* 微调
 |
| 聚类分析
* BIRCH
* CURE算法（英语：）
* 层次
* *k*-平均
* Fuzzy
* 期望最大化（EM）
* DBSCAN
* OPTICS
* 均值飘移（英语：）
 |
| 降维
* 因素分析
* CCA
* ICA
* LDA
* NMF（英语：）
* PCA
* PGD（英语：）
* t-SNE（英语：）
* SDL
 |
| 结构预测（英语：）
* 圖模式
	+ 貝氏網路
	+ 條件隨機域
	+ 隐马尔可夫模型
 |
| 异常检测
* RANSAC
* *k*-NN
* 局部异常因子（英语：）
* 孤立森林（英语：）
 |
| 人工神经网络
* 自编码器
* 認知計算
* 深度学习
* DeepDream（英语：）
* 多层感知器
* RNN
	+ LSTM
	+ GRU（英语：）
	+ ESN（英语：）
	+ 储备池计算（英语：）
* 受限玻尔兹曼机
* GAN
* SOM
* CNN
	+ U-Net
* Transformer
	+ Vision transforme（英语：）
* 脉冲神经网络（英语：）
* Memtransistor（英语：）
* 电化学RAM（英语：）（ECRAM）
 |
| 强化学习
* Q学习
* SARSA
* 时序差分（TD）
* 多智能体（英语：）
	+ Self-play（英语：）
* RLHF
 |
| 与人类学习
* 主动学习（英语：）
* 众包
* Human-in-the-loop（英语：）
 |
| 模型诊断
* 学习曲线（英语：）
 |
| 数学基础
* 内核机器（英语：）
* 偏差–方差困境（英语：）
* 计算学习理论（英语：）
* 经验风险最小化
* 奥卡姆学习（英语：）
* PAC学习（英语：）
* 统计学习
* VC理论
 |
| 大会与出版物
* NeurIPS
* ICML（英语：）
* ICLR
* ML（英语：）
* JMLR（英语：）
 |
| 相关条目
* 人工智能术语（英语：）
* 机器学习研究数据集列表（英语：）
* 机器学习概要（英语：）
 |
| * 
* 论
* 编
 |

簡介
--

帶有一個自變量的線性回歸
### 理論模型

給一個随機樣本{\displaystyle (Y\_{i},X\_{i1},\ldots ,X\_{ip}),\,i=1,\ldots ,n}，一個線性回歸模型假設回歸子{\displaystyle Y\_{i}}和回歸量{\displaystyle X\_{i1},\ldots ,X\_{ip}}之間的關係是除了X的影響以外，還有其他的變數存在。我們加入一個誤差項{\displaystyle \varepsilon \_{i}}（也是一個随機變量）來捕獲除了{\displaystyle X\_{i1},\ldots ,X\_{ip}}之外任何對{\displaystyle Y\_{i}}的影響。所以一個多變量線性回歸模型表示為以下的形式：

{\displaystyle Y\_{i}=\beta \_{0}+\beta \_{1}X\_{i1}+\beta \_{2}X\_{i2}+\ldots +\beta \_{p}X\_{ip}+\varepsilon \_{i},\qquad i=1,\ldots ,n}
其他的模型可能被認定成非線性模型。一個線性回歸模型不需要是自變量的線性函數。線性在這裡表示{\displaystyle Y\_{i}}的條件均值在參數{\displaystyle \beta }裡是線性的。例如：模型{\displaystyle Y\_{i}=\beta \_{1}X\_{i}+\beta \_{2}X\_{i}^{2}+\varepsilon \_{i}}在{\displaystyle \beta \_{1}}和{\displaystyle \beta \_{2}}裡是線性的，但在{\displaystyle X\_{i}^{2}}裡是非線性的，它是{\displaystyle X\_{i}}的非線性函數。

### 數據和估計

區分随機變量和這些變量的觀測值是很重要的。通常來說，觀測值或數據（以小寫字母表記）包括了*n*個值 {\displaystyle (y\_{i},x\_{i1},\ldots ,x\_{ip}),\,i=1,\ldots ,n}.

我們有{\displaystyle p+1}個參數{\displaystyle \beta \_{0},\ldots ,\beta \_{p}}需要決定，為了估計這些參數，使用矩陣表記是很有用的。

{\displaystyle Y=X\beta +\varepsilon \,}
其中*Y*是一個包括了觀測值{\displaystyle Y\_{1},\ldots ,Y\_{n}}的列向量，{\displaystyle \varepsilon }包括了未觀測的随機成份{\displaystyle \varepsilon \_{1},\ldots ,\varepsilon \_{n}}以及回歸量的觀測值矩陣{\displaystyle X}：

{\displaystyle X={\begin{pmatrix}1&x\_{11}&\cdots &x\_{1p}\\1&x\_{21}&\cdots &x\_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x\_{n1}&\cdots &x\_{np}\end{pmatrix}}}
*X*通常包括一個常數項。

如果*X*列之間存在線性相關，那麽參數向量{\displaystyle \beta }就不能以最小二乘法估計除非{\displaystyle \beta }被限制，比如要求它的一些元素之和為0。

### 古典假設

* **樣本**是在**母體**之中**随機抽取**出來的。
* 因變量Y在實直線上是**連續的**，
* 殘差項是**獨立**且**相同**分佈的(iid)，也就是說，殘差是独立随机的，且服從**高斯分佈**。

這些假設意味著**殘差項不依賴自變量的值**，所以{\displaystyle \varepsilon \_{i}}和自變量X（预測變量）之間是相互獨立的。

在這些假設下，建立一個顯式線性回歸作為條件预期模型的**簡單線性回歸**，可以表示為：

{\displaystyle {\mbox{E}}(Y\_{i}\mid X\_{i}=x\_{i})=\alpha +\beta x\_{i}\,}

最小二乘法分析
-------

条目：最小二乘法
### 最小二乘法估計

回歸分析的最初目的是估計模型的參數以便達到對數據的最佳拟合。在決定一個最佳拟合的不同標準之中，最小二乘法是非常優越的。這種估計可以表示為：

{\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y\,}
### 迴歸推論

對於每一個{\displaystyle i=1,\ldots ,n}，我們用{\displaystyle \sigma ^{2}}代表誤差項{\displaystyle \varepsilon }的方差。一個無偏誤的估計是：

{\displaystyle {\hat {\sigma }}^{2}={\frac {S}{n-p}},}
其中{\displaystyle S:=\sum \_{i=1}^{n}{\hat {\varepsilon }}\_{i}^{2}}是誤差平方和（殘差平方和）。估計值和實際值之間的關係是：

{\displaystyle {\hat {\sigma }}^{2}\cdot {\frac {n-p}{\sigma ^{2}}}\sim \chi \_{n-p}^{2}}
其中{\displaystyle \chi \_{n-p}^{2}}服從卡方分佈，自由度是{\displaystyle n-p}

對普通方程的解可以冩為：

{\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X^{T}X)^{-1}X^{T}y} .}
這表示估計項是因變量的線性組合。進一步地說，如果所觀察的誤差服從正態分佈。參數的估計值將服從聯合正態分佈。在當前的假設之下，估計的參數向量是精確分佈的。

{\displaystyle {\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X^{T}X)^{-1})}
其中{\displaystyle N(\cdot )}表示多變量正態分佈。

參數估計值的標準差是：

{\displaystyle {\hat {\sigma }}\_{j}={\sqrt {{\frac {S}{n-p}}\left[\mathbf {(X^{T}X)} ^{-1}\right]\_{jj}}}.}
參數{\displaystyle \beta \_{j}}的{\displaystyle 100(1-\alpha )\%}置信區間可以用以下式子來計算：

{\displaystyle {\hat {\beta }}\_{j}\pm t\_{{\frac {\alpha }{2}},n-p}{\hat {\sigma }}\_{j}.}
誤差項可以表示為：

{\displaystyle \mathbf {{\hat {r}}=y-X{\hat {\boldsymbol {\beta }}}=y-X(X^{T}X)^{-1}X^{T}y} .\,}
#### 單變量線性回歸

單變量線性回歸，又稱簡單線性回歸（simple linear regression, SLR），是最簡單但用途很廣的回歸模型。其回歸式為：

{\displaystyle Y=\alpha +\beta X+\varepsilon }
為了從一組樣本{\displaystyle (y\_{i},x\_{i})}（其中{\displaystyle i=1,\ 2,\ldots ,n}）之中估計最合適（誤差最小）的{\displaystyle \alpha }和{\displaystyle \beta }，通常採用最小二乘法，其計算目標為最小化殘差平方和：

{\displaystyle \sum \_{i=1}^{n}\varepsilon \_{i}^{2}=\sum \_{i=1}^{n}(y\_{i}-\alpha -\beta x\_{i})^{2}}
使用微分法求極值：將上式分别對{\displaystyle \alpha }和{\displaystyle \beta }做一階偏微分，並令其等於0：

{\displaystyle \left\{{\begin{array}{lcl}n\ \alpha +\sum \limits \_{i=1}^{n}x\_{i}\ \beta =\sum \limits \_{i=1}^{n}y\_{i}\\\sum \limits \_{i=1}^{n}x\_{i}\ \alpha +\sum \limits \_{i=1}^{n}x\_{i}^{2}\ \beta =\sum \limits \_{i=1}^{n}x\_{i}y\_{i}\end{array}}\right.}
此二元一次線性方程組可用克萊姆法則求解，得解{\displaystyle {\hat {\alpha }},\ {\hat {\beta }}}：

{\displaystyle {\hat {\beta }}={\frac {n\sum \limits \_{i=1}^{n}x\_{i}y\_{i}-\sum \limits \_{i=1}^{n}x\_{i}\sum \limits \_{i=1}^{n}y\_{i}}{n\sum \limits \_{i=1}^{n}x\_{i}^{2}-\left(\sum \limits \_{i=1}^{n}x\_{i}\right)^{2}}}={\frac {\sum \limits \_{i=1}^{n}(x\_{i}-{\bar {x}})(y\_{i}-{\bar {y}})}{\sum \limits \_{i=1}^{n}(x\_{i}-{\bar {x}})^{2}}}={\frac {{\text{cov}}(X,Y)}{{\text{var}}(X)}}\,}
{\displaystyle {\hat {\alpha }}={\frac {\sum \limits \_{i=1}^{n}x\_{i}^{2}\sum \limits \_{i=1}^{n}y\_{i}-\sum \limits \_{i=1}^{n}x\_{i}\sum \limits \_{i=1}^{n}x\_{i}y\_{i}}{n\sum \limits \_{i=1}^{n}x\_{i}^{2}-\left(\sum \limits \_{i=1}^{n}x\_{i}\right)^{2}}}={\bar {y}}-{\bar {x}}{\hat {\beta }}}
{\displaystyle S=\sum \limits \_{i=1}^{n}(y\_{i}-{\hat {y}}\_{i})^{2}=\sum \limits \_{i=1}^{n}y\_{i}^{2}-{\frac {n(\sum \limits \_{i=1}^{n}x\_{i}y\_{i})^{2}+(\sum \limits \_{i=1}^{n}y\_{i})^{2}\sum \limits \_{i=1}^{n}x\_{i}^{2}-2\sum \limits \_{i=1}^{n}x\_{i}\sum \limits \_{i=1}^{n}y\_{i}\sum \limits \_{i=1}^{n}x\_{i}y\_{i}}{n\sum \limits \_{i=1}^{n}x\_{i}^{2}-\left(\sum \limits \_{i=1}^{n}x\_{i}\right)^{2}}}}
{\displaystyle {\hat {\sigma }}^{2}={\frac {S}{n-2}}.}
協方差矩陣是： 

{\displaystyle {\frac {1}{n\sum \_{i=1}^{n}x\_{i}^{2}-\left(\sum \_{i=1}^{n}x\_{i}\right)^{2}}}{\begin{pmatrix}\sum x\_{i}^{2}&-\sum x\_{i}\\-\sum x\_{i}&n\end{pmatrix}}}
平均響應置信區間為：

{\displaystyle y\_{d}=(\alpha +{\hat {\beta }}x\_{d})\pm t\_{{\frac {\alpha }{2}},n-2}{\hat {\sigma }}{\sqrt {{\frac {1}{n}}+{\frac {(x\_{d}-{\bar {x}})^{2}}{\sum (x\_{i}-{\bar {x}})^{2}}}}}}
預報響應置信區間為：

{\displaystyle y\_{d}=(\alpha +{\hat {\beta }}x\_{d})\pm t\_{{\frac {\alpha }{2}},n-2}{\hat {\sigma }}{\sqrt {1+{\frac {1}{n}}+{\frac {(x\_{d}-{\bar {x}})^{2}}{\sum (x\_{i}-{\bar {x}})^{2}}}}}}
### 方差分析

在方差分析（ANOVA）中，總平方和分解為兩個或更多部分。

**總平方和**SST (sum of squares for total) 是：

{\displaystyle {\text{SST}}=\sum \_{i=1}^{n}(y\_{i}-{\bar {y}})^{2}}　，其中：　{\displaystyle {\bar {y}}={\frac {1}{n}}\sum \_{i}y\_{i}}
同等地：

{\displaystyle {\text{SST}}=\sum \_{i=1}^{n}y\_{i}^{2}-{\frac {1}{n}}\left(\sum \_{i}y\_{i}\right)^{2}}
**回歸平方和**SSReg (sum of squares for regression。也可寫做**模型平方和**，SSM，sum of squares for model) 是：

{\displaystyle {\text{SSReg}}=\sum \left({\hat {y}}\_{i}-{\bar {y}}\right)^{2}={\hat {\boldsymbol {\beta }}}^{T}\mathbf {X} ^{T}\mathbf {y} -{\frac {1}{n}}\left(\mathbf {y^{T}uu^{T}y} \right),}
**殘差平方和**SSE (sum of squares for error) 是：

{\displaystyle {\text{SSE}}=\sum \_{i}{\left({y\_{i}-{\hat {y}}\_{i}}\right)^{2}}=\mathbf {y^{T}y-{\hat {\boldsymbol {\beta }}}^{T}X^{T}y} .}
總平方和SST又可寫做SSReg和SSE的和：

{\displaystyle {\text{SST}}=\sum \_{i}\left(y\_{i}-{\bar {y}}\right)^{2}=\mathbf {y^{T}y} -{\frac {1}{n}}\left(\mathbf {y^{T}uu^{T}y} \right)={\text{SSReg}}+{\text{SSE}}.}
**回歸係數**R2是：

{\displaystyle R^{2}={\frac {\text{SSReg}}{\text{SST}}}=1-{\frac {\text{SSE}}{\text{SST}}}.}

其他方法
----

### 廣義最小二乘法

廣義最小二乘法可以用在當觀測誤差具有異方差或者自相關的情況下。

### 總體最小二乘法

總體最小二乘法用於當自變量有誤時。

### 廣義線性模式

廣義線性模式應用在當誤差分佈函數不是正態分佈時。比如指數分佈，伽瑪分佈，逆高斯分佈，泊松分佈，二項式分佈等。

### 穩健回歸

將平均絕對誤差最小化，不同於在線性回歸中是將均方誤差最小化。

線性回歸的應用
-------

### 趨勢線

一條趨勢線代表著時間序列數據的長期走勢。它告訴我們一組特定數據（如GDP、石油價格和股票價格）是否在一段時期内增長或下降。雖然我們可以用肉眼觀察數據點在坐標系的位置大體畫出趨勢線，更恰當的方法是利用線性回歸計算出趨勢線的位置和斜率。

### 流行病学

有关吸烟对死亡率和发病率影响的早期证据来自采用了回归分析的观察性研究。为了在分析观测数据时减少伪相关，除最感兴趣的变量之外,通常研究人员还会在他们的回归模型里包括一些额外变量。例如，假设有一个回归模型，在这个回归模型中吸烟行为是我们最感兴趣的独立变量，其相关变量是经数年观察得到的吸烟者寿命。研究人员可能将社会经济地位当成一个额外的独立变量，已确保任何经观察所得的吸烟对寿命的影响不是由于教育或收入差异引起的。然而，我们不可能把所有可能混淆结果的变量都加入到实证分析中。例如，某种不存在的基因可能会增加人死亡的几率，还会让人的吸烟量增加。因此，比起采用观察数据的回归分析得出的结论，随机对照试验常能产生更令人信服的因果关系证据。当可控实验不可行时，回归分析的衍生，如工具变量回归，可尝试用来估计观测数据的因果关系。

### 金融

資本資產定價模型利用線性回歸以及Beta係數的概念分析和計算投資的系統風險。這是從聯繫投資回報和所有風險性資產回報的模型Beta係數直接得出的。

### 经济学

线性回归是经济学的主要实证工具。例如，它是用来预测消费支出，固定投资支出，存货投资，一国出口产品的购买，进口支出，要求持有流动性资产，劳动力需求、劳动力供给。

参考文献
----

### 引用

1. ↑  Rencher, Alvin C.; Christensen, William F. , Wiley Series in Probability and Statistics **709** 3rd, John Wiley & Sons: 19, 2012  [2019-05-14], ISBN 9781118391679, （原始内容存档于2019-06-15） .
2. ↑  Hilary L. Seal.. Biometrika. 1967, **54** (1/2): 1–24. JSTOR 2333849. doi:10.1093/biomet/54.1-2.1.
3. ↑  Yan, Xin, World Scientific: 1–2, 2009  [2019-05-14], ISBN 9789812834119, （原始内容存档于2019-06-08）, Regression analysis ... is probably one of the oldest topics in mathematical statistics dating back to about two hundred years ago. The earliest form of the linear regression was the least squares method, which was published by Legendre in 1805, and by Gauss in 1809 ... Legendre and Gauss both applied the method to the problem of determining, from astronomical observations, the orbits of bodies about the sun.
4. ↑  Deaton, Angus.. Oxford University Press. 1992. ISBN 978-0-19-828824-4.
5. 1 2  Krugman, Paul R.; Obstfeld, M.; Melitz, Marc J.  9th global. Harlow: Pearson. 2012. ISBN 9780273754091.
6. ↑  Laidler, David E. W.  4th. New York: Harper Collins. 1993. ISBN 978-0065010985.
7. 1 2  Ehrenberg; Smith.  10th international. London: Addison-Wesley. 2008. ISBN 9780321538963.

### 来源

书籍

* Cohen, J. Cohen P. West, S.G. & Aiken, L.S.. Hillsdale, NJ: Lawrence Erlbaum Associates. 2003.
* Draper, N.R. and Smith, H.. Wiley Series in Probability and Statistics. 1998.
* Robert S. Pindyck and Daniel L. Rubinfeld.. . 1998.
* Charles Darwin. *The Variation of Animals and Plants under Domestication*. (1868) *(Chapter XIII describes what was known about reversion in Galton's time. Darwin uses the term "reversion".)*

刊物文章

* Galton, Francis.  (PDF). Journal of the Anthropological Institute. 1886, **15**: 246–263  [2008-12-30]. （原始内容存档 (PDF)于2016-03-10）.

延伸阅读
----

* Pedhazur, Elazar J.  2nd. New York: Holt, Rinehart and Winston. 1982. ISBN 0-03-041760-0.
* Barlow, Jesse L.. Rao, C.R. (编).. Handbook of Statistics **9**. North-Holland. 1993. ISBN 0-444-88096-8.
* Björck, Åke.. Philadelphia: SIAM. 1996. ISBN 0-89871-360-9.
* Goodall, Colin R.. Rao, C.R. (编).. Handbook of Statistics **9**. North-Holland. 1993. ISBN 0-444-88096-8.
* National Physical Laboratory.. . Notes on Applied Science **16** 2nd. Her Majesty's Stationery Office. 1961.

参见
--

* 方差分析
* 安斯库姆四重奏
* 横截面回归
* 曲线拟合
* 经验贝叶斯方法
* 逻辑斯蒂回归
* M估计
* 非线性回归
* 非参数回归
* 多元自适应回归样条
* Lack-of-fit sum of squares
* 截断回归模型
* 删失回归模型
* 简单线性回归
* 分段线性回归

外部連結
----

|  |  |
| --- | --- |
|  | 维基共享资源上的相关多媒体资源：線性回歸 |

* Least-Squares Regression （页面存档备份，存于）, PhET Interactive simulations, University of Colorado at Boulder


|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
试验设计 |
| --- |
|  |
| 科学方法 | 
* 实验
* 试验设计
* 對照實驗
* 内部效度 & 外部效度
* 实验单位（英语：）
* 雙盲實驗

* **优化设计（英语：）**: 贝叶斯实验设计（英语：）
* 随机分配（英语：）
* 随机化（英语：）
* 限制随机化（英语：）
* Replication versus subsampling（英语：）
* 样本量确定

 |
|  |
| 實驗（英语：） & 阻塞 | 
* **Treatment（英语：）**
* 效应值
* 混杂（英语：）
* 交互作用
* 干擾因素
* 正交
* **Blocking**
* 
* 多余变量（英语：）

 |
|  |
| 概率模型  & 推論統計學 | 
* 線性回歸
* 普通最小二乘法
* 贝叶斯线性回归（英语：）

* **随机效应（英语：）**
* 混合模型
* 等级线性模型: 貝氏網路

* **分析**
* 科克伦定理（英语：）
* 多元分析（英语：）
* 分析（英语：）

* 均值比较（英语：）
* 多重比较（英语：）

 |
|  |
| 试验设计:  完全隨機設計 | 
* **析因实验（英语：）**
* 部分析因设计（英语：）
* Plackett-Burman（英语：）
* 田口方法

* **响应曲面法**
* Polynomial & rational modeling（英语：）
* Box-Behnken（英语：）
* Central composite（英语：）

* **随机化区组设计（英语：）**
* Generalized randomized block design（英语：） (GRBD)
* 拉丁方陣
* 希臘拉丁方陣
* 正交阵列（英语：）
* 拉丁超立方  **重复测量设计（英语：）**
* 交叉研究（英语：）

* **随机对照试验**
* Sequential analysis（英语：）
* Sequential probability ratio test（英语：）

 |
|  |
| 
* 术语（英语：）
* 實驗設計分類
* 概率与统计主题
* Statistical outline（英语：）
* Statistical topics（英语：）

 |

 |

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
统计学 |
| --- |
|  |
| 描述统计学 | 

|  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
|  | 

|  |  |
| --- | --- |
| 集中趋势 | 
* 平均数
	+ 平方
	+ 算術
	+ 幾何
	+ 調和
	+ 算术-几何
	+ 几何-调和
	+ 希羅／平均数不等式
* 中位數
* 眾數

 |
|  |
| 离散程度 | 
* 全距
* 变异系数
* 百分位數
* 四分位距
* 四分位数
* 標準差
* 
* 平均差
* 標準分數
* 
* 

 |
|  |
| 分布形态（英语：） | 
* 中心极限定理
* + 偏態
	+ 峰態

 |

 |
|  |
|  | 
* 次數（英语：）
* · 列聯表（英语：）

 |

 |  |
|  |
| 推論統計學和假說檢定 | 

|  |  |
| --- | --- |
| 推論統計學 | 
* 
* 區間估計（英语：）
* 显著性差异
* 元分析
* 

 |
|  |
| 实验设计 | 
* 
* 抽樣
* 重抽样
	+ 刀切法
	+ 自助法
	+ 交叉驗證
* 重复（英语：）
* 阻碍
* 靈敏度和特異度
* 區集（英语：）
* 缺失数据

 |
|  |
| 样本量（英语：） | 
* 標準誤
* 
* 
* 
* 
* 效应值

 |
|  |
| 常规估计 | 
* 
* 區間估計（英语：）
* 
* 最小距離估計（英语：）
* 估计
* 最大间距

 |
|  |
|  | 
* Z檢驗
* 
* F檢定
* 卡方检验
* Wald檢定（英语：）
* 曼-惠特尼檢定（英语：）
* 秩和检验

 |
|  |
| 生存分析 | 
* 生存函数
* 乘積極限估計量
* 對數秩和檢定
* 失效率
* 危險比例模式

 |

 |
|  |
| 相關及迴歸分析 | 

|  |  |
| --- | --- |
| 相关性 | 
* 干擾因素
* 積相關係數
* 等級相關（英语：） (斯皮尔曼等级相关系数
* 肯德等級相關係數（英语：）)
* 自由度
* 误差和残差

 |
|  |
| 線性回歸 | 
* 線性模型（英语：）
* 一般线性模型
* 廣義線性模型
* 简单线性回归
* 普通最小二乘法
* 贝叶斯回归（英语：）
* 分析
* 分析（英语：）

 |
|  |
| 非线性回归 | 
* 非参数回归模型（英语：）
* 半参数回归模型（英语：）
* 邏輯斯諦迴歸

 |

 |
|  |
| 统计图形 | 
* 
* 
* 双标图
* 箱形圖
* 管制圖
* 森林圖（英语：）
* 
* 分位圖
* 趋势图
* 
* 莖葉圖
* 雷达图（英语：）
* 示意地圖

 |
|  |
| 其他 | 
* 统计类型（維基數據所列：）
* 回應過程效度
* 統計誤用

 |
|  |
| 
* 分类**分类**
* 主题**主题**
* 共享资源页面**共享资源**
* 专题 **专题**

 |

 |