幅圖嘅兩條軸分別代表研究緊嗰兩個變數（x 同 y），每一個紅點代表一個個案，每個個案都喺兩個變數上各有個值。用迴歸分析可以估計出條線（綠線同藍線都係可行嘅線）並且知道，兩個變數大致上成正比，呢條線跟住就可以攞嚟做預測。
**迴歸分析**（粵拼：wui4 gwai1 fan1 sik1；英文：**regression analysis**）係統計模型上嘅一類技術，用嚟預測兩個或者以上唔同變數之間嘅關係：喺統計學上，研究者好多時會想用一個變數嘅數值嚟預測第啲變數嘅數值；喺最簡單嗰種情況下，個統計模型會涉及兩個連續嘅變數，當中一個係自變數 IV，另一個係應變數 DV，而個研究者會用個 IV 嘅數值嚟預測個 DV 嘅數值；對個研究者嚟講，一個可能嘅做法係搜集數據返嚟，用啲數據做迴歸分析，整一個模型出嚟，個模型就能夠幫佢預測「當 IV 係呢個數值嗰陣，假設第啲因素不變，個 DV 嘅數值會傾向係幾多」。

舉個簡單例子，想像家吓有個研究者，佢想用「一個人嘅食量」嚟預測「嗰個人嘅體重」，佢可以搵班人返嚟做樣本，量度樣本入面每一個人嘅食量同體重，再**根據呢啲數據，用迴歸分析方法**估計一條線出嚟，條線係一個統計模型，會有一條式表達兩個變數之間嘅關係，好似係噉樣：

{\displaystyle y=0.5x+30+e}；呢個係所謂嘅迴歸函數，當中 {\displaystyle e} 係誤差。
以上呢條線表示，體重（{\displaystyle y}）同食量（{\displaystyle x}）－假設兩個變數都有適當嘅單位量度－大致上成簡單嘅正比關係，而有咗呢條線，如果個研究者知道某一個人嘅食量係（例如）100 個單位，佢可以按照呢條式估計出，假設第啲因素不變，嗰個人嘅體重好有可能會接近 80 個單位咁多，而呢個模型喺醫療上會有用。

上述個例子呢種用兩個變數做、估計出線性關係嘅係最簡單嗰種線性迴歸分析，除咗噉，統計學上仲有一啲更加複雜嘅迴歸分析方法，可以攞嚟估計三個或者更多個變數之間嘅關係，又或者係分析一啲非線性嘅關係。

基本假設
----

睇埋：常態分佈同等分散
迴歸分析做咗以下嘅假設：

* 個樣本能夠代表所研究緊嘅總體；
* 啲受試者彼此之間係統計上獨立嘅；
* 誤差值 {\displaystyle e} 係一個隨機嘅變數，平均值係 0；
* 量度 IV 嘅過程當中並冇誤差；
* IV 之間線性獨立，即係話並冇任何一個 IV 等如第啲 IV 嘅線性組合；
* 誤差值之間並冇任何嘅相關；
* 對唔同個案嘅觀察當中嘅誤差值嘅變異數係一樣嘅（即係所謂嘅等分散）。

只要手頭上嘅數據達到呢啲假設，迴歸分析所俾嘅參數值估計就會係有效率同冇偏見嘅。但係喺現實世界當中，得到嘅數據好少可能夠達到嗮呢啲假設，所以啲研究者好多時就算手上嘅數據唔完全達到嗮呢啲假設，都照樣用迴歸分析做估計；而當啲人評鑑一份噉嘅研究嗰陣，通常會以「呢個研究者手上嘅數據有幾滿足到迴歸分析嘅假設」嚟判定「呢個迴歸分析俾嘅結果有幾有用」－份研究嘅數據愈滿足到柞假設，當中嗰個迴歸分析所俾嘅結果就愈有可能正確。

統計模型
----

一個非線性迴歸模型嘅圖解；條線係個迴歸模型。
### 基本模型

睇埋：函數同線性關係
一個迴歸模型會有以下三類主要參數同變數：

* {\displaystyle \beta }，包括咗一啲未知、需要靠迴歸分析嚟**估計**嘅參數，喺實際應用上，柞參數可以用一個向量嚟代表；
* {\displaystyle X} 指柞 IV，用嚟預測 DV 數值嘅變數；
* {\displaystyle Y} 指個 DV，個迴歸模型要預測嗰個變數；

一個迴歸模型會表達出 {\displaystyle Y} 同 {\displaystyle X} 之間嘅關係。一般嚟講，個研究者會想搵出 {\displaystyle Y} 同 {\displaystyle X} 以及 {\displaystyle \beta } 成嘅函數嘅關係，即係話喺做迴歸分析嗰陣，個研究者預咗：

{\displaystyle Y\approx f(X,\beta )}，呢句嘢係話「{\displaystyle Y} 大致上係 {\displaystyle X} 以及 {\displaystyle \beta } 成嘅函數」；
例如係以下呢個線性模型噉，就涉及個研究者嘗試用三個 IV 去預測個 DV 嘅數值：

{\displaystyle Y=\beta \_{0}+\beta \_{1}x\_{1}+\beta \_{2}x\_{2}+\beta \_{3}x\_{3}+e}；當中
* {\displaystyle \beta \_{0}} 代表咗截距；
* {\displaystyle x\_{1}}、{\displaystyle x\_{2}}、同 {\displaystyle x\_{3}} 分別代表咗三個 IV；
* {\displaystyle \beta \_{1}} 代表咗 {\displaystyle x\_{1}} 呢個 IV 對個 DV 有幾大影響力，其他嗰兩個 {\displaystyle \beta \_{2}} 同 {\displaystyle \beta \_{3}} 都係同一道理。

一份研究嘅目的通常係喺啲數據身上做迴歸分析，靠噉嚟搵出柞 {\displaystyle \beta } 嘅數值，睇吓柞 IV 對個 DV 有冇同有乜影響，例如如果做迴歸分析結果顯示 {\displaystyle \beta \_{1}} 大致上等如 0 嘅話，就表示 {\displaystyle x\_{1}} 對個 DV 根本冇影響，而如果迴歸分析嘅結果顯示 {\displaystyle \beta \_{2}} 數值大過 {\displaystyle \beta \_{3}} 嘅話，就表示 {\displaystyle x\_{2}} 對個 DV 嘅影響力大過 {\displaystyle x\_{3}} 嘅。而搵出咗柞 {\displaystyle \beta } 嘅數值之後，研究者就有咗條式，將來能夠估計 {\displaystyle \operatorname {E} (Y|X)}（「手頭上有咗 {\displaystyle X} 嘅數值，{\displaystyle Y} 嘅預測數值」）。

要留意嘅係，迴歸分析所俾出嚟嘅結果係唔完美嘅條件期望。噉講即係話，呢種分析法能夠俾出嘅結果係

|  |  |  |
| --- | --- | --- |
| 「 | 當 IV 係呢個數值，DV 嘅數值**大概**會係幾多。 | 」 |

－迴歸分析方法常見於生物學、心理學同社會科學等研究複雜現象嘅領域，喺複雜現象當中，一個因素嘅值會受千百個因素嘅值影響－相比之下，喺（例如）物理學當中，一個 DV 嘅值好多時可以靠 3 至 4 個 IV 嘅值嚟預測，例子可以睇吓牛頓運動定律嗰啲式噉；喺生物學等嘅領域當中，研究者冇可能完全知道同控制嗮嗰千百個因素，所以只能夠靠住手頭上嘅 IV 嚟估計 DV 嘅數值，如果個 IV 嘅預測力夠勁，用佢預測 DV 數值嘅準確度會高，但準確度都仲係會明顯低過 100% 。呢句嘢用統計學行話嚟講嘅話，即係 DV 嘅數值會喺個迴歸函數周圍有個概率分佈。

### 解方程

睇埋：統計自由度
而家假想一個包括嗮啲 {\displaystyle \beta } 嘅向量，呢個向量嘅長度係 {\displaystyle k}（用日常用語講，即係話個模型有 {\displaystyle k} 咁多個 {\displaystyle \beta }）。家吓迴歸分析要做嘅嘢係要估計啲 {\displaystyle \beta } 嘅值，研究者要搜集個樣本返嚟，樣本入面嘅每一個個體都喺 {\displaystyle X} 同 {\displaystyle Y} 呢兩個變數上分別有一個數值。簡單噉講，跟住落嚟嘅迴歸分析過程可以想像成「將呢啲數據值逐個逐個代入去條式嗰度，再靠噉嚟計出柞 {\displaystyle \beta } 嘅值」，所以可以有三個情況：

* 假想個研究者嘅樣本入面有 {\displaystyle N} 個個體。如果 {\displaystyle N<k}，多數嘅迴歸分析技術都用唔到，因為會有欠定嘅問題，唔夠數據搵出所有 {\displaystyle \beta } 嘅值。
* 如果 {\displaystyle N=k}，而且條式係線性嘅話，噉條式 {\displaystyle Y\approx f(X,\beta )} 會有單一一個解方程，等同於用 {\displaystyle N} 條式搵出 {\displaystyle N} 個未知值。但係如果條式係非線性嘅，噉呢一點未必會成立。
* 喺實際應用上，最常見嘅情況係 {\displaystyle N>k}；喺呢個情況下，個研究者有足夠嘅資訊去每個 {\displaystyle \beta } 都同佢估計一個「最符合數據」嘅數值出嚟（即係超定）。一般嚟講，做研究嘅人基本上一定會盡力確保呢一點。

喺做迴歸分析嗰陣，唔同嘅觀察必需要係獨立嘅：而家假想一個迴歸模型，有三個未知參數，{\displaystyle \beta \_{1}}、{\displaystyle \beta \_{2}}、同 {\displaystyle \beta \_{3}}，三個 IV，{\displaystyle x\_{1}}、{\displaystyle x\_{2}}、同 {\displaystyle x\_{3}}，個研究者手頭上嘅樣本有 10 個個體，而呢個樣本當中只有一個 {\displaystyle X} 值（即係話嗰 10 個個體喺啲 IV 上嘅數值完全一樣）；噉嘅話，迴歸分析將會唔能夠為嗰三個未知參數分別估計一個獨有嘅數值，而個研究者只能夠估計 Y 嘅平均值同標準差；而如果個樣本有 10 個個體，當中只有兩個 {\displaystyle X} 值（當中一部份個體喺啲 IV 上嘅數值完全一樣，而另一部份喺啲 IV 上嘅數值同前者唔同、但彼此之間完全一樣），噉個研究者將會只能夠估計兩個參數嘅值。如此類推。

喺統計學行話上，當觀察到嘅個體數量 {\displaystyle N} 大過 {\displaystyle k}，而量度誤差呈常態分佈，{\displaystyle N-k} 就反映咗「手上嘅資訊量」超越「必要嘅資訊量」幾多，而呢個數值就係所謂嘅迴歸分析嘅自由度。

線性迴歸分析
------

一個線性迴歸模型嘅圖解；藍色點代表數據當中嘅個體，每個個體都喺 {\displaystyle X} 同 {\displaystyle Y} 上有個值，條紅色線係個迴歸模型，用條線嚟預測 {\displaystyle Y} 嘅值會俾到大致上啱，但唔完全準嘅預測。
内文：線性迴歸分析
睇埋：逐步迴歸
線性迴歸分析係最簡單嗰種迴歸分析。喺一個線性迴歸模型當中，個 DV 係柞自變數嘅線性組合，即係話喺成條式入面，每個參數都只有各自噉乘某啲常數（冇互相乘埋或者次方等），再加埋一齊。例如係一個有 {\displaystyle n} 件數據同一個 IV 嘅線性迴歸模型：

{\displaystyle y\_{i}=\beta \_{0}+\beta \_{1}x\_{i}+\varepsilon \_{i},\quad i=1,\dots ,n.\!}
喺呢個模型之下，如果將 {\displaystyle Y} 嘅預期值同 {\displaystyle X} 嘅值畫成圖，會得出一條簡單嘅直線。另一方面，線性迴歸分析又可以用嚟模型第啲型態嘅 {\displaystyle Y}-{\displaystyle X} 關係。例如喺以下呢個線性迴歸分析模型入面，如果將 {\displaystyle Y} 嘅預期值同 {\displaystyle x} 嘅值畫成圖，會得出一條拋物綫，因為喺呢條式入面，{\displaystyle Y} 嘅其中一個成份同 {\displaystyle x} 嘅平方成正比：

{\displaystyle y\_{i}=\beta \_{0}+\beta \_{1}x\_{i}+\beta \_{2}x\_{i}^{2}+\varepsilon \_{i},\quad i=1,\dots ,n.\!}
呢條式依然係一個線性迴歸模型：雖然右手邊有個 {\displaystyle x\_{i}^{2}}，但柞參數依然係線性嘅－{\displaystyle \beta \_{0}}、{\displaystyle \beta \_{1}}、同 {\displaystyle \beta \_{2}} 冇互相乘埋亦都冇次方。

定義上，迴歸模型並唔會做決定性嘅預測：想像家吓有咗 {\displaystyle \beta \_{0}}、{\displaystyle \beta \_{1}}、同 {\displaystyle \beta \_{2}} 嘅值，每當個研究者俾個 {\displaystyle x} 值做輸入嗰陣，條式都會俾個預期嘅 {\displaystyle Y} 值做輸出，但係因為迴歸模型做唔到決定性嘅預測，所以呢個預期值通常都會同實際嘅 {\displaystyle Y} 值有所出入，而 {\displaystyle \varepsilon \_{i}} 就係指第 {\displaystyle i} 個個案入面嘅誤差值，代表喺嗰個個案入面，實際量度到嘅 {\displaystyle Y} 值同預期值差幾遠。假設第啲因素不變，一個理想嘅迴歸模型會令誤差嘅總值有咁細得咁細。

### 普通最小二乘法

内文：普通最小二乘法
最常用最普通嗰種估計 {\displaystyle \beta } 嘅方法－普通最小二乘法－就係建基於誤差值之上嘅。用呢種做法估計 {\displaystyle \beta }，首先要計個残差平方和（RSS）出嚟，RSS 係指將所有誤差值嘅平方加埋得出嘅數：

{\displaystyle RSS=\sum \_{i=1}^{n}e\_{i}^{2}\,}
{\displaystyle \beta \_{0}} 同 {\displaystyle \beta \_{1}} 嘅數值可以用以下嘅算式計出嚟：

{\displaystyle {\widehat {\beta }}\_{1}={\frac {\sum (x\_{i}-{\bar {x}})(y\_{i}-{\bar {y}})}{\sum (x\_{i}-{\bar {x}})^{2}}}}
{\displaystyle {\widehat {\beta }}\_{0}={\bar {y}}-{\widehat {\beta }}\_{1}{\bar {x}}}
當中 {\displaystyle {\bar {x}}} 係 {\displaystyle x} 嘅平均值，而 {\displaystyle {\bar {y}}} 係 {\displaystyle y} 嘅平均值。

假設個總體嘅誤差值有一個固定嘅變異數，呢個變異數可以用以下呢條式估計：

{\displaystyle {\hat {\sigma }}\_{\varepsilon }^{2}={\frac {RSS}{n-2}}.\,}
呢個數係所謂嘅均方誤差，個分母係樣本大細減個模型要估計嘅參數嘅量。呢個迴歸模型當中有兩個未知嘅參數（{\displaystyle \beta \_{0}} 同 {\displaystyle \beta \_{1}}）。

而啲參數估計嘅標準誤差係：

{\displaystyle {\hat {\sigma }}\_{\beta \_{1}}={\hat {\sigma }}\_{\varepsilon }{\sqrt {\frac {1}{\sum (x\_{i}-{\bar {x}})^{2}}}}}
{\displaystyle {\hat {\sigma }}\_{\beta \_{0}}={\hat {\sigma }}\_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x\_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}\_{\beta \_{1}}{\sqrt {\frac {\sum x\_{i}^{2}}{n}}}}
有咗上面呢個模型，個研究者手上有會有 {\displaystyle \beta \_{0}} 同 {\displaystyle \beta \_{1}} 嘅估計值，將來可以用呢條式嚟預測 {\displaystyle Y} 嘅數值。

### 廣義線性模型

睇埋：非線性迴歸分析、一般線性模型同邏輯迴歸
如果廣義噉考慮嘅話，想像家吓有一個具有 {\displaystyle p} 個 IV 嘅線性迴歸模型：

{\displaystyle y\_{i}=\beta \_{1}x\_{i1}+\beta \_{2}x\_{i2}+\cdots +\beta \_{p}x\_{ip}+\varepsilon \_{i}\,}
當中 {\displaystyle x\_{ij}} 係第 {\displaystyle i} 個個體喺第 {\displaystyle j} 個 IV 上嘅數值。如果 {\displaystyle x\_{i1}} 無論 {\displaystyle i} 係幾多數值都等如 1 嘅話，{\displaystyle \beta \_{1}} 就可以當做個迴歸模型嘅截距。{\displaystyle \varepsilon \_{i}\,} 代表用呢個模型預測第 {\displaystyle i} 個個體嘅 DV 嗰時嘅誤差值。

掉一掉啲數，個誤差值 {\displaystyle \varepsilon \_{i}} 可以寫做：

{\displaystyle \varepsilon \_{i}=y\_{i}-{\hat {\beta }}\_{1}x\_{i1}-\cdots -{\hat {\beta }}\_{p}x\_{ip}}
**正規方程**係：

{\displaystyle \sum \_{i=1}^{n}\sum \_{k=1}^{p}x\_{ij}x\_{ik}{\hat {\beta }}\_{k}=\sum \_{i=1}^{n}x\_{ij}y\_{i},\ j=1,\dots ,p\,}
呢條式又可以用矩陣嘅記數法寫成：

{\displaystyle \mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} \,}
當中 {\displaystyle x\_{ij}} 係 {\displaystyle \mathbf {X} } 嘅第 {\displaystyle ij} 個元件，{\displaystyle y\_{i}} 係行向量 {\displaystyle Y} 嘅第 {\displaystyle i} 個元件，而 {\displaystyle {\hat {\beta }}\_{j}} 係 {\displaystyle {\hat {\boldsymbol {\beta }}}} 嘅第 {\displaystyle j} 個元件。所以 {\displaystyle \mathbf {X} } 係一個 {\displaystyle n\times p} 嘅矩陣，{\displaystyle Y} 係 {\displaystyle n\times 1} 嘅矩陣，而 {\displaystyle {\hat {\boldsymbol {\beta }}}} 係 {\displaystyle p\times 1} 嘅矩陣。成條式嘅解答係：

{\displaystyle \mathbf {{\hat {\boldsymbol {\beta }}}={}(X^{\top }X)^{-1}X^{\top }Y} \,}

攞到模型之後
------

藍色點代表數據當中嘅個體，每個個體都喺 {\displaystyle X} 同 {\displaystyle Y} 上有個值，紅色線係迴歸模型。如圖所示，有多條線都可以充分解釋啲數據。  
德文翻譯：  
Polynomgrad－多項式次數；Messpunkte－數據點；Modelifunktion－模型函數；Residuen－残差。外推問題嘅圖解；每個藍色點代表數據嘅一個個體，綠色線係按呢柞數據估計出嘅迴歸模型。手上數據淨係得 {\displaystyle x} 數值喺 10 至 60 之間嘅個案，條線係咪真係能夠預測例如 {\displaystyle x=100} 嗰陣嘅情況（外推）呢？
### 迴歸診斷

睇埋：適合度同R-平方
同一樣嘅數據可以用多個唔同嘅模型嚟解釋，而分析者正路會想搵出最好嗰個模型。要決定邊個模型係最「好」，研究者可以用好多個指標：喺研究者建立咗一個迴歸模型之後，佢要計吓個模型嘅適合度同所估計嘅參數嘅顯著差異；要計適合度，研究者可以用 R-平方等嘅指標，呢啲指標共通點係按照個模型嘅數字（例如係各參數嘅數值），計一個數值出嚟，而個數值就反映咗個模型嘅某啲特性。例如 R-平方條式係噉嘅：

{\displaystyle R^{2}=1-{\frac {RSS}{SS\_{total}}}\,}
當中 {\displaystyle R^{2}} 係 R-平方，{\displaystyle RSS} 係正話提到嘅残差平方和，而 {\displaystyle SS\_{total}} 係所謂嘅**總差平方和**（指如果個迴歸模型係一條 {\displaystyle Y} 數值等如樣本平均值嘅橫線嘅話，誤差平方總共會係幾多）。R-平方嘅數值最大係 1，最細係負無限大。呢個值係一個指標，反映個模型有幾能夠解釋到啲數據：如果 R-平方數值係 1，就表示個模型能夠完全冇誤差噉解釋到啲數據，而 R-平方值距離 1 愈遠，就表示「用呢個迴歸模型做預測所造成嘅誤差」愈係大過「就噉用平均值做預測所造成嘅誤差」。一般嚟講，假設第啲因素不變，研究者會想 R-平方數值盡可能接近 1 －R-平方提供咗一個指標，等啲研究者可以量度一個迴歸模型有幾好。

除咗 R-平方之外，統計學上仲有好多方法可以衡量一個迴歸模型嘅適合度。

### 統計功效

睇埋：統計功效
統計功效係另一個重要嘅指標，代表

* （用行話講）「如果備擇假說係真，虛無假說能夠被拒絕嘅機會率有幾高」－
* 簡單啲講，就係「成功噉探測到一個真實存在嘅效果嘅機會率」。

正路嚟講，研究者都會想呢個數值有咁高得咁高，但喺統計學上，對於要點樣計迴歸分析嘅功效，學界仲未有完全一致嘅共識。根據廿一世紀初最常用嘅做法，一個功效有返咁上下高嘅迴歸分析嘅樣本個體數要滿足以下呢條式：

{\displaystyle {\displaystyle N=m^{n}}}
當中 {\displaystyle N} 係樣本大細，{\displaystyle n} 係 IV 嘅數量，而 {\displaystyle m} 係指「如果個模型得一個 IV，能夠令到估計出嚟嗰個模型達到理想精確度嘅個體數量」。例如假想一個研究者想建立一個線性迴歸模型，佢個樣本入面有 1,000 個受試者（{\displaystyle N}）；佢又決定，要精確噉斷定一個線性模型（{\displaystyle m}），需要 5 個個體，噉個模型頂櫳可以有 4 個 IV，因為：

{\displaystyle {\frac {\log {1000}}{\log {5}}}=4.29}
### 插值外推

内文：插值同外推
個研究者分析出一個迴歸模型，又證實咗個模型適合度同功效有返咁上下高之後，佢就可以攞個模型做將來預測。將來預測可以分做兩大類－

* 插值（指做預測嗰陣個 IV 同 DV 嘅值喺樣本範圍之內）同
* 外推（指所預測嘅 IV 同 DV 數值遠遠喺樣本範圍之外）

通常個樣本啲數據都唔能夠代表嗮 {\displaystyle X} 同 {\displaystyle Y} 嘅所有可能數值，例如係頭先提到嘅對體重同食量之間嘅關係嘅研究噉，個樣本好可能會缺少一啲體重超過 500 磅嘅人，而因為個迴歸模型係靠住一個缺少呢啲極端數值嘅樣本估計出嚟嘅，所以「呢個迴歸模型仲能唔能夠為呢啲具有極端數值嘅個體做準確嘅預測」係一個問題。

喺統計學當中，外推係一個零舍有爭議性嘅話題。做外推假設咗

|  |  |  |
| --- | --- | --- |
| 「 | 如果喺手上數據範圍包含嘅 {\displaystyle X} 同 {\displaystyle Y} 嘅數值之內，嗰兩個變數之間會呈現噉噉噉嘅關係，就表示 {\displaystyle X} 同 {\displaystyle Y} 喺所有可能數值當中都會呈現相同嘅關係。 | 」 |

－呢個係一個可能有問題嘅假設。現時學界一般嘅做法係，個研究者喺估計迴歸模型嗰陣要講明自己手上嘅數據嘅全距等嘅資訊，話俾第啲研究者知佢手上嘅數據範圍有幾廣，而如果有人想用呢個模型做外推性嘅預測嘅話，就要「後果自負」，亦都有啲科學家主張，學界應該一概拒絕所有外推型嘅預測。

應用
--

迴歸分析好有實用價值：

### 商業

一條改變緊嘅需求曲線（D）同埋一條唔郁嘅供應曲線（S）；呢幅圖反映一個需求提升（由 D1 去 D2）。
睇埋：需求預測
喺商業上，迴歸分析嘅一種常見用途係攞嚟做需求預測。經濟學上有所謂嘅供應同需求嘅概念，當中需求嘅概念描述**需求量**（買家有能力同肯買嘅量）同埋佢嘅價格之間嘅關係。例如如果有一件貨品服務，佢價格喺 10 文嗰陣啲買家總共會買 100 件，價格喺 9 文嗰陣啲買家總共會買 110 件... 等等嘅話，佢嗰條需求曲線就會係一條穿個（10 文，100 件）同（9 文，110 件）呢兩點嘅線（唔一定係直線），而呢條曲線所表達嘅嗰段關係就係嗰個需求。

想像家陣有一班商人，準備要推出一款新產品，於是就想預測吓消費者對呢款商品嘅需求嚟到決定價格要設喺乜嘢位。喺最簡單嗰種情況下，佢哋可以做個問卷調查，派問卷俾啲消費者，問佢哋「如果件貨品服務係呢個價錢，你會買幾多件」等嘅問題，再將消費者嘅答覆畫成圖表（Y 軸係價格，X 軸係需求量），又可以用（例如）過去 12 個月內同類產品嘅銷售數據嚟做分析用嘅數據；搵到數據之後，就用啲數據做個迴歸分析，結果會得出一條估計嘅需求曲線。呢種需求預測嘅技術喺營銷策略上好有用，可以幫到啲企業手知道喺每個價格件貨品服務會賣到幾多件，並且靠噉估計件貨品服務要設喺乜嘢價格先可以令利潤最大化。實證研究顯示，用迴歸分析做需求預測嘅做法的確幫到企業手，相當準確噉預測消費者嘅需求。

### 社會科學

睇埋：經濟測量學同心理測量學
迴歸分析係社會科學上常用嘅一種分析方法：社會科學研究嘅對象係人類，人類係一種複雜嘅物體，喺是但一個時間點，一個人嘅行為都可以受千百個因素影響；相比之下，例如牛頓力學所研究嘅物體嘅行為可以用速度、加速度同埋質量等少數幾個因素概括；喺實際應用上，一個社會科學家冇可能量度嗮所有千百個因素，所以佢做親預測梗會有相當嘅誤差（而一般認為，啲誤差至少一部份係因為嗰啲冇量度到嘅因素嘅變化所造成嘅）。呢啲誤差表示，要用數學模型描述複雜系統，條式應該要包括誤差－迴歸分析就派得上用場。

想像有一個社科研究者，佢想研究消費者對網購嘅使用會受到乜嘢因素影響。同多數社科上會研究嘅 DV 一樣，呢個 DV 會受大量嘅因素影響，個研究者可以做嘅嘢係

* 按手上嘅理論諗吓，有邊啲因素最有可能會係影響力勁嘅 IV；
* 做問卷調查，叫啲消費者報告佢哋對網購嘅使用量以及係預想中嗰柞 IV 嘅數值（例如如果個研究者相信「使用互聯網嘅技能」係一個可能因素嘅話，佢可以喺份問卷入面叫啲消費者自評自己喺呢方面嘅技能）；
* 跟手佢可以用數據做迴歸分析，啲誤差會反映佢冇考慮嗰啲因素嘅影響力，而個迴歸分析會每一個 IV 都俾個 {\displaystyle \beta } 佢。

然後個研究者就可以按照分析嘅結果嚟睇吓預想中嗰柞 IV 當中有邊個真係對個 DV 有影響力嘅（{\displaystyle \beta } 顯著噉大過 0），而如果有，影響係呈正比定反比（{\displaystyle \beta } 係正定負）等等。

人工智能
----

睇埋：機械學習
人工智能（AI）係一個研究點樣令到機械出現有智能嘅行為嘅領域。迴歸分析可以用嚟教電腦學習：想像家陣有個設計者想編寫一個人工智能程式，教曉部電腦例如靠一個病人嘅面色同體重等嘅因素（柞 IV）嚟診斷個病人係咪有紅血球過少嘅問題（DV），佢可以設定好似以下噉嘅碼：

```
c = 0; # 暫時當住啲參數同 IV 通通係 0 先。
x = 0; # 個 IV，可以係（例如）食量。
a = 0;
y = c + ax; # 個迴歸模型，y 將會係個程式俾嘅輸出，可以係（例如）體重。

c = random(1,100); # 隨機噉設 c 同 a 嘅數值，噉做會整出一個唔準嘅迴歸模型。
a = random(0,1);

# 下一步嘅碼需要做以下嘅工作：
# （1）搵出手上嗰條線係咪一個理想（誤差低）嘅迴歸模型；
# （2）如果唔係，就要改變 c 同 a 嘅數值，令到條線愈嚟愈接近「能夠做準確預測嘅樣」；
# （3）仲要計出 c 同 a 嘅數值應該要改變幾多。

def read\_data() : # 要有個子程式教部電腦讀取設計者提供嘅數據。
    ... # 省略咗
    return patient\_value

def step\_cost\_function\_for(patient\_value, constant, slope) : 
    ...... # 一個省略咗嘅子程序，簡單啲講，呢個子程序涉及重複係噉做
    # 攞下一個數據個體，將佢個 x 值同手上個模型預測 y，
    # 計吓個誤差係幾多，再
    # 有條式計吓要點樣按照個誤差調整 c 同 a，
    # 做到讀完嗮成柞數據為止。
    return new\_constant, new\_slope # 個子程序會俾出 c 同 a 嘅新數值。

# 下略 ...

```

喺呢個程式讀取咗一定量嘅數據之後，佢內部會有一個迴歸模型，跟住個設計者就可以試吓攞呢個程式做一啲醫療上嘅應用。事實係，呢種用到迴歸分析嘅人工智能程式喺醫療上時不時會用到。

註釋
--

1. ↑  如果呢個假設唔成立，就要用等級線性模型。

睇埋
--

* 統計學
* 拉曲線
* 數據科學
* 條件期望
* 訊號處理
* 貝氏推論
* 結構方程模型
* 等級線性模型

文獻
--

* Birkes, David and Dodge, Y. *Alternative Methods of Regression*. ISBN 0-471-56881-3.
* Chatfield, C. (1993). "Calculating Interval Forecasts," *Journal of Business and Economic Statistics*, 11. pp. 121–135.
* Draper, N.R.; Smith, H. (1998). *Applied Regression Analysis* (3rd ed.). John Wiley. ISBN 978-0-471-17082-2.
* Fox, J. (1997). *Applied Regression Analysis, Linear Models and Related Methods*. Sage
* Hardle, W. (1990). *Applied Nonparametric Regression*. ISBN 0-521-42950-1.
* Lindley, D.V. (1987). "Regression and correlation analysis," *New Palgrave: A Dictionary of Economics*, v. 4, pp. 120–23.
* Liu, O. L. Lee, H. S. & Linn, M. C. (2010). An investigation of teacher impact on student inquiry science performance using a hierarchical linear model (PDF). *Journal of Research in Science Teaching*, 47(7), 807-819，用多層模型（可以算係迴歸分析嘅一個變種）嚟研究啲人學第二語言嘅過程。
* Malakooti, B. (2013). *Operations and Production Systems with Multiple Objectives*. John Wiley & Sons.
* Meade, Nigel; Islam, Towhidul (1995). "Prediction intervals for growth curve forecasts". *Journal of Forecasting*. 14 (5): 413–430. doi:10.1002/for.3980140502.
* A. Sen; M. Srivastava. (2011). *Regression Analysis — Theory, Methods, and Applications* (4th printing), Springer-Verlag, Berlin.
* T. Strutz: *Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond)*. Vieweg+Teubner, ISBN 978-3-8348-1022-9.
* William H. Kruskal and Judith M. Tanur, ed. (1978). "Linear Hypotheses," *International Encyclopedia of Statistics*. Free Press, v. 1.
	+ Evan J. Williams, "*I. Regression*," pp. 523–41.
	+ Julian C. Stanley, "*II. Analysis of Variance*," pp. 541–554.

引咗
--

篇文用咗嘅行話詞彙，英文名如下：

1. ↑  error
2. ↑  linear independence
3. ↑  linear combination
4. ↑  homoscedasticity
5. ↑  estimate
6. ↑  intercept
7. ↑  conditional expectation
8. ↑  underdetermination
9. ↑  overdetermination
10. ↑  normal distribution
11. ↑  degree of freedom
12. ↑  linear regression analysis
13. ↑  ordinary least squares
14. ↑  residual sum of squares
15. ↑  mean square error
16. ↑  standard error
17. ↑  normal equation
18. ↑  matrix
19. ↑  goodness of fit
20. ↑  R-squared
21. ↑  sum squared total error
22. ↑  statistical power
23. ↑  interpolation
24. ↑  extrapolation
25. ↑  demand forecasting

篇文引用咗以下呢啲文獻同網頁：

1. ↑  Christopher M. Bishop (2006). *Pattern Recognition and Machine Learning*. Springer. p. 3. Cases [...] in which the aim is to assign each input vector to one of a finite number of discrete categories, are called classification problems. If the desired output consists of one or more continuous dependent variables, then the task is called regression.
2. 1 2 3 4 5 6 7  Seber, G. A. & Lee, A. J. (2012). *Linear regression analysis* (Vol. 329). John Wiley & Sons.
3. ↑  YangJing Long (2009). "Human age estimation by metric learning for regression problems". *Proc. International Conference on Computer Analysis of Images and Patterns*: 74-82.
4. ↑  Pearcey, S. M. & De Castro, J. M. (2002). Food intake and meal patterns of weight-stable and weight-gaining persons. *The American journal of clinical nutrition*, 76(1), 107-112.
5. ↑  Tofallis, C. (2009). "Least Squares Percentage Regression". *Journal of Modern Applied Statistical Methods*. 7: 526–534.
6. ↑  Assumptions of Linear Regression.
7. ↑  Jarque, C. M. & Bera, A. K. (1980). Efficient tests for normality, homoscedasticity and serial independence of regression residuals. *Economics letters*, 6(3), 255-259.
8. 1 2  David A. Freedman, *Statistical Models: Theory and Practice*, Cambridge University Press. (2005).
9. ↑  Blackwell, D. (1947). Conditional expectation and unbiased sequential estimation. *The Annals of Mathematical Statistics*, 105-110.
10. ↑  Bar-Yam, Y. (1997). *Dynamics of complex systems* (Vol. 213). Reading, MA: Addison-Wesley.
11. ↑  R. Dennis Cook; Sanford Weisberg Criticism and Influence Analysis in Regression, *Sociological Methodology*, Vol. 13. (1982), pp. 313–361
12. ↑  Waegeman, Willem; De Baets, Bernard; Boullart, Luc (2008). "ROC analysis in ordinal regression learning". *Pattern Recognition Letters*. 29: 1-9.
13. 1 2  Rokhlin, V. & Tygert, M. (2008). A fast randomized algorithm for overdetermined linear least-squares regression. *Proceedings of the National Academy of Sciences*, 105(36), 13212-13217.
14. ↑  Cleveland, W. S. & Devlin, S. J. (1988). Locally weighted regression: an approach to regression analysis by local fitting. *Journal of the American statistical association*, 83(403), 596-610.
15. ↑  What Are Degrees of Freedom in Statistics?.
16. 1 2 3  Neter, J. Wasserman, W. & Kutner, M. H. (1989). *Applied linear regression models*.
17. ↑  Steel, R.G.D, and Torrie, J. H. *Principles and Procedures of Statistics with Special Reference to the Biological Sciences.*, McGraw Hill, 1960, page 288.
18. ↑  Winkler, A. M. Ridgway, G. R. Webster, M. A. Smith, S. M. & Nichols, T. E. (2014). Permutation inference for the general linear model. *Neuroimage*, 92, 381-397.
19. ↑  Savic, D. A. & Pedrycz, W. (1991). Evaluation of fuzzy linear regression models. *Fuzzy sets and systems*, 39(1), 51-63.
20. ↑  Hosmer, D. W. & Lemesbow, S. (1980). Goodness of fit tests for the multiple logistic regression model. *Communications in statistics-Theory and Methods*, 9(10), 1043-1069.
21. ↑  Cameron, A. C. & Windmeijer, F. A. (1997). An R-squared measure of goodness of fit for some common nonlinear regression models. *Journal of econometrics*, 77(2), 329-342.
22. ↑  Lemeshow, S. & Hosmer Jr, D. W. (1982). A review of goodness of fit statistics for use in the development of logistic regression models. *American journal of epidemiology*, 115(1), 92-106.
23. ↑  Huber-Carol, C.; Balakrishnan, N.; Nikulin, M. S.; Mesbah, M. eds. (2002), *Goodness-of-Fit Tests and Model Validity*, Springer.
24. 1 2  Good, P. I.; Hardin, J. W. (2009). *Common Errors in Statistics (And How to Avoid Them)* (3rd ed.). Hoboken, New Jersey: Wiley. p. 211.
25. ↑  *Extrapolation Methods. Theory and Practice* by C. Brezinski and M. Redivo Zaglia, North-Holland, 1991.
26. ↑  Rouaud, Mathieu (2013). *Probability, Statistics and Estimation*. p. 60.
27. ↑  Chiang, C.L, (2003) Statistical methods of analysis, *World Scientific*. ISBN 981-238-310-7 - page 274 section 9.7.4.
28. ↑  Adamowski, J. Fung Chan, H. Prasher, S. O. Ozga‐Zielinski, B. & Sliusarieva, A. (2012). Comparison of multiple linear and nonlinear regression, autoregressive integrated moving average, artificial neural network, and wavelet artificial neural network methods for urban water demand forecasting in Montreal, Canada. *Water Resources Research*, 48(1).
29. ↑  Chen, K. Y. & Wang, C. H. (2007). Support vector regression with genetic algorithms in forecasting tourism demand. *Tourism Management*, 28(1), 215-226.
30. ↑  The Demand Curve and How It Works. *The balance*.
31. ↑  How to Estimate a Demand Curve.
32. ↑  Witt, S. F. & Witt, C. A. (1995). Forecasting tourism demand: A review of empirical research. *International Journal of forecasting*, 11(3), 447-475.
33. ↑  Song, H. & Li, G. (2008). Tourism demand modelling and forecasting - A review of recent research. *Tourism management*, 29(2), 203-220.
34. ↑  Scitovsky, T. (1976). *The joyless economy: An inquiry into human satisfaction and consumer dissatisfaction*.
35. 1 2  Elsner, J. B. & Tsonis, A. A. (1992). Nonlinear prediction, chaos, and noise. *Bulletin of the American Meteorological Society*, 73(1), 49-60.
36. ↑  Fox, J. (1997). *Applied regression analysis, linear models, and related methods*. Sage Publications, Inc.
37. ↑  Koufaris, M. (2002). Applying the technology acceptance model and flow theory to online consumer behavior. *Information systems research*, 13(2), 205-223.
38. ↑  Smola, A. J. & Schölkopf, B. (2004). A tutorial on support vector regression. *Statistics and computing*, 14(3), 199-222.
39. ↑  Linear Regression with example. *Towards Data Science*.
40. ↑  Cleophas, T. J. Zwinderman, A. H. & Cleophas-Allers, H. I. (2013). *Machine learning in medicine* (pp. 1-271). New York: Springer.

拎
-


維基同享有多媒體嘅嘢：  
**迴歸分析**

* （英文） Regression Analysis in R Programming. *GeeksForGeeks*，呢篇文教人用 R 程式語言行迴歸分析。
* （英文） Earliest Uses: Regression，講迴歸分析嘅一啲歷史。
* （英文） Regression of Weakly Correlated Data，講到迴歸分析當中可能會出現嘅某啲錯誤。

| * 睇
* 傾
* 改
統計學 |
| --- |
| 
* 科學方法
* Data
* 不確定
* 概率論
* 最佳化
* 常用概念一覽

 |
| 

| 收集數據（數據集） |
| --- |
| 

|  |  |
| --- | --- |
| 抽樣 | 
* 總體
* 樣本（大細 · 代表性）
* 隨機抽樣
* 系統抽樣
* 抽樣誤差
* 大數定律
* 倖存偏見
* 返去平均

 |
| 量度 | 

|  |
| --- |
| 
* 操作化同層次
* 連續同離散變數（離散化）
* 共同方法變異（哈曼測試）
* 時間同空間解像度
* 靈敏度同特異度
* 時間序列
* 名次
* 天花板同地板效應
* 數數據
* 刪失

 |
| 信度效度 | 
* 評分者間同評分者內信度
* 重測試信度
* 內部一致度
* 卡隆巴系數
* 建構效度
* 效標效度
* 分歧效度
* 內容效度
* 聚合效度
* 表面效度

 |

 |
| 實驗 | 
* 實驗操作
* 實驗組同對照組
* 科學對照
* 隨機化實驗
* 實驗設計
* 受試間同受試內設計
* 析因實驗
* 自然實驗
* 准實驗
* 臨床研究（臨床試驗 · 隨機對照試驗）

 |
| 第啲方法 | 
* 觀察研究（橫切面同縱向研究 · 隊列研究）
* 社會統計調查（自我報告研究 · 問卷調查 · 李卡特量表 · 民意調查）
* 檔案研究

 |

 |

 |  |
| 

| 描述統計學 |
| --- |
| 

|  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 連續數據 | 

|  |  |
| --- | --- |
| 集中趨勢 | 
* 平均
* Mean（算術 · 幾何 · 調和）
* Median
* Mode

 |
| 離散程度 | 
* 方差同標準差
* 全距
* 百分位數（四分位距）
* 變異系數
* 離散指數
* 協方差矩陣

 |
| 分佈形狀 | 
* 動差（偏度 · 峰度）
* 標準誤差
* 中央極限定理

 |

 |
| 統計相關 | 
* 正相關同負相關
* 皮亞遜積差相關係數
* 協方差
* 等級相關（斯皮亞曼 · τ）
* 局部相關
* 組內相關
* 自相關
* 交叉相關
* 相關唔蘊含因果

 |
| 統計圖 | 
* 棒形圖
* 圓形圖
* 折線圖
* 組織圖
* 箱形圖
* 散佈圖
* 象形圖
* 統計圖形

 |
| 相關概念 | 
* 頻率
* 統計量
* 標準分數
* 缺失數據
* 結合數據
* 誤差積聚
* 班佛定律
* 數據視覺化

 |

 |

 |
| 

| 推論統計學 |
| --- |
| 

|  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- |
| 統計理論 | 

|  |
| --- |
| 
* 總體
* 統計量
* 獨立同分佈
* 實證分佈函數
* 重抽樣（自助抽樣法）
* 損失函數
* 效率
* 統計距離
* 特徵值同特徵向量
* 頑健統計
* 再現

 |
| 概率分佈 | 
* 離散定連續
* 對稱
* 概率質量函數同概率密度函數
* 累計函數
* 常態分佈（鐘形線）
* 頻率分佈
* 抽樣分佈（順序統計量 · 充分統計量）
* 聯合分佈

 |
| 學派詮釋 | 
* 頻率學派推論
* 貝葉斯推論
* 貝葉斯概率（先驗 · 後驗）

 |

 |
| 假說檢定 | 
* 假說（虛無假說 · 備擇假說）
* 單側同雙側檢定
* 第一型同第二型錯誤
* 顯著差異
* 統計功效
* 自變數同應變數
* 因果關係
* 效應值
* 分析層次

 |
| 估計理論 | 
* 點估計（最大似然估計）
* 區間估計（信心區間 · 預測區間）
* 重抽樣（自助抽樣法 · 交叉驗證）
* 蒙地卡羅方法

 |
| 平均比較 | 

|  |
| --- |
| 
* 學生 t 測試（獨立樣本 · 配對樣本）
* Z 測試
* F 測試
* 統計自由度
* 多重比較問題（邦佛朗尼校正）
* 等分散性同異分散性

 |
| ANOVA | 
* 單因子
* 雙因子
* 重複量數
* 多變量
* 協方差分析

 |

 |
| 統計模型 | 

|  |
| --- |
| 
* 控制、中介、調節、混淆同壓制變數
* 參數
* 單變量同多變量分析
* 模型標明同選擇
* 多組分析
* 約束
* 可解釋變異
* 敏感度分析
* 插值同外推
* 混合物
* 可詮釋度

 |
| 適合度 | 
* 適合度指標
* 卡方檢定
* 赤池資訊量準則
* 貝葉斯資訊量準則
* RMSEA
* SRMR
* CFI

 |

 |

 |

 |
| 

| 迴歸分析同相關技術 |
| --- |
| 

|  |  |
| --- | --- |
| 基礎 | 
* 殘差同誤差
* 固定效應、隨機效應同混合模型
* 多重迴歸模型（多重共線性）
* 普通最小二乘法
* 殘差平方和
* 均方誤差
* 標準誤差
* 決定系數
* 線性迴歸（簡單線性）

 |
| 進階模型 | 
* 非線性迴歸分析
* Sigmoid 函數
* 邏輯迴歸
* 一般線性模型
* 泊淞迴歸分析
* 自迴歸模型
* 逐步迴歸
* 多變量適應性迴歸模型

 |
| 相關技術 | 
* 生還分析（函數 · 失效率 · K-M 估計量 · Log-rank 測試同比例危機）
* 結構方程同通徑分析（量度同結構模型 · 修改指數 · 量度不變特性 · 交叉滯後）
* 等級線性模型

 |

 |

 |
| 

| 第啲常用嘅分析技術 |
| --- |
| 

|  |  |
| --- | --- |
| 因素分析 | 
* 可觀察變數同潛在變數（心理建構）
* 潛在變數模型
* 降維
* 因素結構
* 因素負荷量
* 探索型同確定型
* 主成份分析
* 卡隆巴系數
* 張量分解
* 結構方程式模型

 |
| 時間序列 | 
* 平穩過程
* 馬可夫鏈
* 時域（自相關 · 交叉相關）
* 頻域（傅利葉分析）
* 格蘭傑因果關係

 |
| 拉雜技術 | 
* 探索分析
* 高氏 kappa
* 獨立成份分析
* 聚類分析
* 統計分類
* 線性判別分析
* 點過程（點場）
* 麥倫瑪測試
* 非參數統計學（MWU 測試）
* 事後分析
* 元分析

 |

 |

 |
| 

| 應用（誤用） |
| --- |
| 

|  |  |
| --- | --- |
| 自然科學 | 
* 統計力學
* 生物統計學（生物資訊科學 · 臨床試驗 · 傳染病學）

 |
| 社會科學 | 
* 社會統計學（精算學 · 經濟測量學 · 人口統計學 · 心理測量學）
* 地圖學
* 市場調查
* 語言學

 |
| 工程科技 | 
* 工程統計學（可靠度工程）
* 機械學習
* 統計分類
* 偏好學習
* 擬亂數產生
* 異常檢測
* 推薦系統
* 自然語言處理
* 數據探勘

 |

 |

 |
| 
* **數學主題**
* **統計學類**

 |


| * 睇
* 傾
* 改
機械學習同數據探勘 |
| --- |
| 可以睇埋機械學習詞彙同數據科學 |
| 基本概念 | 人工智能 · 學習 · 運算學習論 · 線性可分度 · 事前數據處理 · 特徵提取 · 知識表示 |  |
| 數學模型 | 

|  |
| --- |
| 迴歸模型 · 決策樹（蒙地卡羅樹搜尋） · 貝葉斯網絡 · 支援向量機 · 關聯規則學習 |
| 神經網絡 | 

|  |  |
| --- | --- |
| 網絡基礎 | 人工神經細胞 · 前饋網絡（感知機 · 多層感知機） |
| 遞迴網絡 | 霍菲特網絡 · 玻茲曼機 · 長短期記憶 · 神經圖靈機 |
| 深度學習 | 卷積網絡 · 受限玻茲曼機（深度信念網絡） · 深度強化學習 |
| 網絡概念 | 反向傳播算法 · 關注機制 · 生成對抗網絡 · 基於流嘅生成模型 |
| 自編碼器 · 脈衝神經網絡 · 自組織對映 · 網絡種類一覽 |

 |

 |
| 最佳化 | 誤差函數 · 爬山演算法 · 梯度下降法 · 全局最佳化 · 正則化 · 變分推斷 · 資訊最大化 |
| 學習範式 | 監督式學習 · 非監督式學習 · 強化學習 · 遺傳演算法 · 主動機械學習 |
| 模型評估 | 自助抽樣法 · 交叉驗證 · 訓練曲線 · 適合度函數 · 過適 |
| 主要應用 | 統計分類（線性分類機） · 表徵學習 · 降維（特徵選擇） · 聚類分析 · 異常檢測 |
| 拉雜相關 | 認知科學 · 電腦科學 · 統計學 · 資訊理論 · 資訊系統、資訊過多同大數據 |
| 機械學習類 · 數據探勘類 |