|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归（英语：）
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

在統計學上，**廣義線性模型**（英語：，缩写作 **GLM**）是一種應用灵活的線性迴歸模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。此模型假設實驗者所量測的隨機變數的分佈函數與實驗中系統性效應（即非隨機的效應）可經由一鏈結函數（*link function*）建立可解釋其相關性的函數。

約翰·內爾德（英语：）與彼得·麥古拉（英语：）在1989年出版，被視為廣義線性模式的代表性文獻中提綱挈領地說明了廣義線性模式的原理、計算（如最大概似估計量）及其實務應用。

概說
--

广义线性模型是普通最小二乘法（OLS）的扩展，在廣義線性模式中，假設每個資料的觀測值{\displaystyle \mathbf {Y} }來自某個指數族分佈。 該分佈的平均數 {\displaystyle {\boldsymbol {\mu }}} 可由與該點獨立的X解釋：

{\displaystyle \operatorname {E} ({\boldsymbol {y}})={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})}
其中{\displaystyle E({\boldsymbol {y}})}為{\displaystyle {\boldsymbol {y}}}的期望值，{\displaystyle \mathbf {X} {\boldsymbol {\beta }}}是由未知待估計參數{\displaystyle {\boldsymbol {\beta }}}與已知變數{\displaystyle \mathbf {X} }構成的線性估計式，{\displaystyle g}則為鏈結函數。

在此模式下，{\displaystyle {\boldsymbol {y}}}的方差{\displaystyle V}可表示為：

{\displaystyle \operatorname {Var} ({\boldsymbol {y}})=\operatorname {V} ({\boldsymbol {\mu }})=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).}
一般假設{\displaystyle V}可視為一指數族隨機變數的函數。

未知參數{\displaystyle {\boldsymbol {\beta }}}通常會以最大概似估計量, 殆最大概似估計量（英语：）, 或以貝氏方法來估計。

模式組成
----

廣義線性模式包含了以下主要部份：

1. 來自指數族的分佈函數{\displaystyle f}。
2. 線性預測子 {\displaystyle {\boldsymbol {\eta }}=\mathbf {X} {\boldsymbol {\beta }}}。
3. 鏈結函數{\displaystyle g}使得 {\displaystyle E(Y\mid X)={\boldsymbol {\mu }}=g^{-1}({\boldsymbol {\eta }})}。

### 指數族

指數族隨機變數意指其具參數*θ*與*τ*的機率密度函數, *f* (在論離散型隨機變數時，則為概率质量函数)可表為：

{\displaystyle f\_{Y}(y;\theta ,\tau )=\exp {\left({\frac {a(y)b(\theta )+c(\theta )}{h(\tau )}}+d(y,\tau )\right)}.\,\!}
*τ*稱之為*變異參數*，通常用以解釋變異數。函數*a*、*b*、*c*、*d* 及*h*為已知。許多（不包含全部）型態的隨機變數可歸類為指數族

*θ*與該隨機變數的期望值有關。若*a*為恆等函數，則稱該分佈屬於 正則型式。 另外，若*b*為恆等而*τ*已知，則*θ*稱為*正則參數*，其與期望值的關係可表為：

{\displaystyle \mu =\operatorname {E} (Y)=-c'(\theta ).\,\!}
一般情形下，該分佈的變異數可表為：

{\displaystyle \operatorname {Var} (Y)=-c''(\theta )h(\tau ).\,\!}
### 線性預測子

線性預測子是用將獨立變數經由線性組合來尋模式所能提供之資訊的計量變數。符號*η* (希臘字母 "Η")通常用來表示線性預測子。它與資料的期望值的鏈結函數值有關(故稱"預測子")。

*η*表為未知參數***β***的線性組合(故為"線性")。**X**則為獨立變數所組合而成的观测矩陣。如此一來，*η*可表示為

{\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}
**X**的元素通常為模式設計時可觀測的資料或為實驗時所得的數據。

### 鏈結函數

鏈結函數解釋了線性預測子與分佈期望值的關係。鏈結函數的選擇可視情形而定。通常只要符合鏈結函數的值域有包含分佈期望值的條件即可。

當使用具正則參數*θ*的分佈時，鏈結函數需符合**X**T**Y** 為***β***的充份統計量此一條件。這在*θ*與線性預測子的鏈結函數值相等時方成立。下面列出若干指數族分佈的典型鏈結函數及其反函數(有時稱為均值函數)：

典型鏈結函數| Y的分佈 | 名稱 | 鏈結函數 | 均值函數 |
| --- | --- | --- | --- |
| 正态 | 恆等 | {\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu \,\!} | {\displaystyle \mu =\mathbf {X} {\boldsymbol {\beta }}\,\!} |
| 指數 | 倒數 | {\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-1}\,\!} | {\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!} |
| Gamma |
| 逆高斯 | 二次倒數 | {\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!} | {\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!} |
| 卜瓦松 | 自然對數 | {\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {(\mu )}\,\!} | {\displaystyle \mu =\exp {(\mathbf {X} {\boldsymbol {\beta }})}\,\!} |
| 二項式 | Logit | {\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln {\left({\frac {\mu }{1-\mu }}\right)}\,\!} | {\displaystyle \mu ={\frac {\exp {(\mathbf {X} {\boldsymbol {\beta }})}}{1+\exp {(\mathbf {X} {\boldsymbol {\beta }})}}}\,\!} |
| 多項式 |

在指數分佈與Gamma分佈中，其典型鏈結函數的值域並不包含分佈均值，另外其線性預測子亦可能出現負值，此兩種分佈絕無均值為負的可能。當進行极大似然估计进行計算時需避免上述情形出現，這時便需要使用到非典型鏈結函數。

例子
--

### 一般线性模式

有些人可能會把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個鏈結函數為恆等的特例。一般線性模式有著悠長的發展歷史。廣義線性模式具非恆等鏈結函數者有著漸近一致的結果。

### 線性迴歸

廣義線性模式最簡單的例子便是線性迴歸。此例中分佈函數為常態分佈而鏈結函數為恆等函數在變異數已知的條件下並符合正規式。 
這個例子具有廣義線性模式罕有的极大似然估计的解析解

### 二元数据

在討論二元反應結果（如*有*跟*沒有*）時，通常以二項式分布建模。其期望值'μ*i通常解釋為樣本*Y*i發生事件的機率*p

二項式分布有許多常用的鏈結函數，最常用的鏈結函數是logit：

{\displaystyle g(p)=\ln \left({p \over 1-p}\right).}
以此建模的廣義線性模式通常稱為logistic迴歸模式。

另外，任何連續型機率分配累積函數（CDF）的反函數皆可使用此模式，因為其值域為[0,1]，包含了二項式分佈期望值的可能值域。常態機率分配累積函數{\displaystyle \Phi }是一個廣受應用於probit模式的選擇。其鏈結函數為

{\displaystyle g(p)=\Phi ^{-1}(p).\,\!}
有時恆等函數也會被用為二項式分佈的鏈結函數，其缺點為預測值可能超出合理範圍。經過若干修正可以避免上述問題，但會在解釋上造成困難。此模式通常適用於*p*接近0.5的情形。 此種建模很接近logit及probit的線性轉換，有時計量經濟學家會稱其為Harvard模式。

二元資料的廣義線性模式變異函數可寫為

{\displaystyle \operatorname {Var} (Y\_{i})=\tau \mu \_{i}(1-\mu \_{i})\,\!}
其中變異參數{\displaystyle \tau }通常等於1，若非，則該模式稱為溢變異或殆二元。

### 計次資料

另一個常用的例子為用於計次的泊松分佈。此例的鏈結函數為自然對數，為正規鏈結。
變異數函數與均值成等比

{\displaystyle \operatorname {var} (Y\_{i})=\tau \mu \_{i},\,}
其中變異參數{\displaystyle \tau }通常為1。 若非，此模式通常稱為溢變異或似卜瓦松。

參考文獻
----


* Hastie, T. J.; Tibshirani, R. J.. Chapman & Hall/CRC. 1990. ISBN 978-0-412-34390-2.
* Madsen, Henrik; Thyregod, Poul.. Chapman & Hall/CRC. 2011. ISBN 978-1-4200-9155-7.
* McCullagh, Peter; Nelder, John.. Boca Raton: Chapman and Hall/CRC. 1989. ISBN 0-412-31760-5.
* Wood, Simon.. Chapman & Hall/CRC. 2006. ISBN 1-58488-474-6.

延伸閱讀
----

* McCullagh, Peter; John Nelder（英语：）.. London: Chapman and Hall. 1989. ISBN 0-412-31760-5.  引文使用过时参数`coauthors` (帮助)
* Dobson, A.J.. London: Chapman and Hall/CRC. 2001.
* Hardin, James; Joseph Hilbe（英语：）.. College Station: Stata Press. 2001, 2007.  引文使用过时参数`coauthors` (帮助); 请检查`|date=`中的日期值 (帮助)


|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
统计学 |
| --- |
|  |
| 描述统计学 | 

|  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
|  | 

|  |  |
| --- | --- |
| 集中趋势 | 
* 平均数
	+ 平方
	+ 算術
	+ 幾何
	+ 調和
	+ 算术-几何
	+ 几何-调和
	+ 希羅／平均数不等式
* 中位數
* 眾數

 |
|  |
| 离散程度 | 
* 全距
* 变异系数
* 百分位數
* 四分位距
* 四分位数
* 標準差
* 
* 平均差
* 標準分數
* 
* 

 |
|  |
| 分布形态（英语：） | 
* 中心极限定理
* + 偏態
	+ 峰態

 |

 |
|  |
|  | 
* 次數（英语：）
* · 列聯表（英语：）

 |

 |  |
|  |
| 推論統計學和假說檢定 | 

|  |  |
| --- | --- |
| 推論統計學 | 
* 
* 區間估計（英语：）
* 显著性差异
* 元分析
* 

 |
|  |
| 实验设计 | 
* 
* 抽樣
* 重抽样
	+ 刀切法
	+ 自助法
	+ 交叉驗證
* 重复（英语：）
* 阻碍
* 靈敏度和特異度
* 區集（英语：）
* 缺失数据

 |
|  |
| 样本量（英语：） | 
* 標準誤
* 
* 
* 
* 
* 效应值

 |
|  |
| 常规估计 | 
* 
* 區間估計（英语：）
* 
* 最小距離估計（英语：）
* 估计
* 最大间距

 |
|  |
|  | 
* Z檢驗
* 
* F檢定
* 卡方检验
* Wald檢定（英语：）
* 曼-惠特尼檢定（英语：）
* 秩和检验

 |
|  |
| 生存分析 | 
* 生存函数
* 乘積極限估計量
* 對數秩和檢定
* 失效率
* 危險比例模式

 |

 |
|  |
| 相關及迴歸分析 | 

|  |  |
| --- | --- |
| 相关性 | 
* 干擾因素
* 積相關係數
* 等級相關（英语：） (斯皮尔曼等级相关系数
* 肯德等級相關係數（英语：）)
* 自由度
* 误差和残差

 |
|  |
| 線性回歸 | 
* 線性模型（英语：）
* 一般线性模型
* 廣義線性模型
* 简单线性回归
* 普通最小二乘法
* 贝叶斯回归（英语：）
* 分析
* 分析（英语：）

 |
|  |
| 非线性回归 | 
* 非参数回归模型（英语：）
* 半参数回归模型（英语：）
* 邏輯斯諦迴歸

 |

 |
|  |
| 统计图形 | 
* 
* 
* 双标图
* 箱形圖
* 管制圖
* 森林圖（英语：）
* 
* 分位圖
* 趋势图
* 
* 莖葉圖
* 雷达图（英语：）
* 示意地圖

 |
|  |
| 其他 | 
* 统计类型（維基數據所列：）
* 回應過程效度
* 統計誤用

 |
|  |
| 
* 分类**分类**
* 主题**主题**
* 共享资源页面**共享资源**
* 专题 **专题**

 |

 |

|  |  |  |
| --- | --- | --- |
| 

|  |  |
| --- | --- |
| 规范控制 編輯維基數據鏈接 | 
* BNF: cb167136343 (data)

 |

 |