廣義線性模型

**廣義線性模型**（參見）係統計分析一種，始於二十世紀。做研究嘅人靠住廣義線性模型，可以得知某個應變數同若干個自變數間有乜嘢關係。譬如依家做宏觀經濟學研究，研究者量度一個國家或地區嘅各種條件，包括係個國家地區嘅人口、利率以及失業率等，想知道呢啲自變數會點樣影響本地生產總值呢個應變數。

一般認為，廣義線性模型有個好處，就係比較有彈性，唔使假設啲變數跟常態分佈。喺諸如經濟學、醫學、工程學等好多領域，研究緊嘅變數好多時都唔跟從常態分佈，而普通嘅迴歸分析假設咗啲變數跟常態分佈，就好多時都用唔著。喺呢啲情況下，研究者有必要用廣義線性模型，先可以解答手上嘅問題。

廣義線性模型係廣義化嘅模型。普通嘅迴歸分析可以當係廣義線性模型嘅特殊個案，係假設啲變數呈常態分佈嘅廣義線性模型。除此之外，廣義線性模型仲可以包含好多種統計模型，譬如係邏輯迴歸同埋泊淞迴歸呀噉。

## 背景概念

迴歸分析係統計學入便一種基礎嘅統計模型，用嚟剖析一個應變數 DV 同若干個自變數 IV 之間嘅關係。簡單嚟講，迴歸模型可以由數據當中搵出規律，建立一個類似噉嘅模型：
:Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + e；當中
*\beta_0 代表咗截距；
*x_1、x_2、同 x_3 分別代表咗三個 IV；
*\beta_1 代表咗 x_1 呢個 IV 對個 DV 有幾大影響力，其他嗰兩個 \beta_2 同 \beta_3 都係同一道理。
*e 為殘差項。
由過往數據得出模型，研究者就可以更深入理解研究緊嘅現象（知道啲 IV 係咪真係能夠預測 DV ）而且將來佢攞住個模型，仲可以透過量度 IV 值嚟預測 DV 值。舉個應用例子：想像依家要做營銷，一間企業睇吓過往嘅數據，建立迴歸模型描述廣告費用同營業額之間嘅關係，得出個模型之後，就可以得知
:「廣告費用每增加 1,000 文，營業額平均會升 5,000 文」
噉嘅資訊，當中廣告費用係自變數（用嚟做預測）而營業額係應變數（被預測嗰個）。班研究者有咗個模型，第時就做預測同埋幫手制定營銷策略。

傳統上，迴歸分析會假設咗啲變數嘅量度誤差服從常態分佈，即係話呢啲變數理應係噉：大部分數值都集中喺平均值附近，極端數值較少出現。假如研究緊嘅變數唔服從常態分佈，又照用迴歸分析，就會搞到得出嘅模型唔準確。

## 模型基礎
廣義線性模型嘅重點特徵，在於佢比較廣義化。

喺實際應用上，好多變數的確係大致跟常態分佈嘅，所以迴歸分析嘅假設冇問題，但又有多變數嘅數據明顯唔符合常態分佈，譬如數據（想像分析某產品每日賣出幾多件）嘅誤差可能會呈泊松分佈而非常態分佈，而且好多描述人類行為嘅變數都會有好多**極端值**，有高嘅偏度同峰度，呢啲噉嘅變數就難以用迴歸分析嚟研究。不過，呢啲變數喺各門社會科學度都好常見。





廣義線性模型有助應付呢個問題，因為呢種分析方法放寬咗對誤差嘅假設。喺廣義線性模型入便，個應變數 **Y** 每個出到嘅數值都假設咗係由某種指數型分佈產生嘅。指數型分佈包括好多種概率分佈，諸如常態分佈、二項分佈、泊淞分佈以及伽瑪分佈等等。噉：
: \operatorname{E}(\mathbf{Y}\mid\mathbf{X}) = g^{-1}(\mathbf{X}\boldsymbol{\beta})
呢度嘅 E(**Y** | **X**) 係 **Y** 喺 **X** 條件下嘅期望值，簡單講即係已知 **X** 嘅值，預期 **Y** 會係幾多；**X''β*** 係*'線性預測子**，即係未知參數 ***β*** 嘅線性組合，最後 ''g'' 就係**連結函數**。未知參數 ***β*** 可以用[[最大似然估計]]或者[[貝葉斯概率|貝葉斯式]]嘅技術嚟估計。呢個概念可以當係[[線性迴歸]]同埋[[邏輯迴歸]]嘅[[廣義化]]－譬如喺線性迴歸當中，''g'' 係[[恆等函數]]。

==模型類型==

GLM 可以包括唔同類型嘅模型。各種模型之間嘅分別，主要在於佢哋用邊種[[概率分佈]]嚟模擬[[應變數|要預測嘅變數]]，以及係呢個分佈條式入便嘅各個項，要點樣設成[[自變數|預測子]]嘅[[線性組合]]。最基本嗰種[[線性迴歸模型]]假設應變數跟從[[常態分佈]]，用一眾自變數嘅線性組合，預測呢個常態分佈嘅[[平均值]]；而視乎[[數據]]嘅種類，[[統計師]]仲可以選用好多唔同類型嘅模型。

較進階嘅分析，仲可以結合多種模型，例如首先用邏輯迴歸預測個應變數係咪[[正數]]，然後再用線性迴歸預測佢數值係幾多。

===邏輯迴歸===


[[邏輯迴歸]]係一種常見嘅[[迴歸分析]]方法，基於[[伯努利分佈]]，可以用嚟處理[[二元分類]]問題。呢種分佈嘅[[概率質量函數]]為：
:<math>P(Y = y) = p^y (1-p)^{1-y},\quad y \in \{0,1\}</math>
當中 <small><math>p</math></small> 係事件發生嘅概率而 y 就係實際結果（1 代表發生，0 代表冇發生）。呢種分佈適合攞嚟模擬**成功定係失敗**嘅二元結果，例子包括病人會唔會好返、學生考試會唔會合格、客戶會唔會買件產品、[[電郵]]係唔係[[垃圾郵件]]... 等等。然後想像[[邏輯剔函數]]嘅概念，邏輯剔函數可以用嚟將任意[[實數]]輸入變換到 0 至 1 之間，屬於 [[Sigmoid 函數]]嘅一種。邏輯剔函數個標準形式係：
:<math>\sigma (t) = \frac{e^t}{e^t+1} = \frac{1}{1+e^{-t}}</math> 
行邏輯迴歸  嘅模型，就係好似以下噉：
:<math>t = \beta_0 + \beta_1 x</math>
當中 x 為[[自變數]]，將之代入條式度：
:<math>p(x) = \sigma(t)= \frac {1}{1+e^{-(\beta_0 + \beta_1 x)}}</math>
當中 p(x) 可以設為**應變數嘅值為 1** 嘅機率。由上述嘅式可見，應變數並非同[[概率分佈|分佈]]：唔同個案中 <small><math>P(Y_i = 1\mid X)</math></small> 嘅值都可以唔同。

===泊淞迴歸===



廣義線性模型可以配合[[泊淞分佈]]嚟用。泊淞分佈係一種常見嘅[[概率分佈]]，可以用嚟描述[[計量單位|單位]]時間或者單位空間內預期事件會出現幾多次，其[[概率質量函數]]為：
:<math>P(Y = k) = \frac{\lambda^k e^{-\lambda}}{k!},\quad k=0,1,2,\dots</math>
當中 <small><math>\lambda</math></small> 係[[期望值|預期]]事件會發生幾多次（平均率）而 k 就係事件實際發生嘅次數。呢種分佈適合用嚟模擬[[數數據]]，噉係因為呢啲數據只能夠取非負嘅整數值，就好似個函數嘅 k 噉，例子包括：某間商店每日接待幾多個客、某醫院每日錄到幾多入院個案、某條馬路上每月發生幾多單[[交通意外]]... 等等。

喺[[泊淞迴歸分析|泊淞迴歸模型]]之中，Y 會設為想預測嗰個應變數，假設係跟泊淞分佈嘅，而[[對數]]就係模型嘅連結函數。噉設 <small><math>\mathbf{x} \in \mathbb{R}^n</math></small> 做[[自變數]][[向量]]，個模型望落會係噉嘅樣：
:<math>\log (\operatorname{E}(Y\mid\mathbf{x}))=\alpha + \mathbf{\beta}' \mathbf{x},</math> 
喺進階啲嘅使用之中，統計師好多時仲會加返個**暴露量''' Ei 入去個模型度，暴露量模擬嘅係基數，令到個模型係模擬事件發生嘅率而非事件嘅絕對數量，即係噉：
:\log!\left(\frac{\mu_i}{E_i}\right)=\beta_0+\beta_1 x_{i1}+\cdots+\beta_p x_{ip}
掉一掉就會變成：
:\log(\mu_i)=\log(E_i)+\beta_0+\beta_1 x_{i1}+\cdots+\beta_p x_{ip}
暴露量嘅具體數值，可以嚟自打前收集到嘅數據嘅平均值。

## 睇埋
*迴歸分析
*最大似然
*方差函數
*多層模型

## 註釋

## 引述

## 外拎

* 廣義線性模型，IBM SPSS
* SPSS 入便嘅廣義線性模型，SPSS analysis
* 廣義線性模型，全面入門簡介，Medium