因素分析

因素分析（粵拼：jan1 sou3 fan1 sik1；英文：Factor analysis）係一類嘅統計分析做法，用嚟將大量嘅變數轉化做少量因素，當中「因素」通常係一啲數值冇得直接量度嘅嘢，所以就要由量度到嗰啲變數嚟「反映」佢哋。例如智商測驗就係因素分析嘅一個應用例子：智商測驗旨在量度智能，但係智能（因素）呢家嘢冇得話攞把尺去量度，一個個體嘅智能值只可以靠住由測驗題目攞到嘅分數（量度得到嘅變數）嚟反映。
用統計學行話講，因素分析有好多用途，除咗可以用嚟搵變數背後嘅「隱藏因素」之外，仲可以配合結構方程模型嚟用，做確定性質嘅因素分析，幫打前做咗嘅因素分析「確立」佢哋搵到嘅因素模型係正確嘅，仲可以檢驗啲隱藏因素，睇吓佢哋係咪真係同個因素模型以外嘅變數成預想中嘅關係。
因素分析呢種做法喺學術研究上頗有價值：喺社會科學當中，心理學家自從廿世紀起就一路有用因素分析嚟研究智能同智商嘅相關課題；而例如營銷學又成日會用因素分析，剖析消費者買嘢嗰陣嘅行為，從而幫手做生意上嘅決定；除此之外，就算係自然科學，研究者都有機會使用因素分析。
要理解因素分析，亦可以參考吓迴歸分析先。

基礎諗頭
因素分析嘅想像圖；家陣研究者想靠量度 、、... ，剖析 （例如智能）呢個睇唔到嘅「因素」。如果做嘅係 EFA，研究者唔知  嘅數量有幾多個。
内文：潛在變數
睇埋：迴歸分析同奧坎剃刀
用一句句子嚟講嘅話，因素分析嘅重點目標係要:p 1
將數量龐大嘅變數，轉化做數量比較少嘅因素。
做科研嗰陣，研究者往往要面對好多變數，不過好多時一大拃變數其實都係反映緊某啲「潛在因素」（潛在變數）嘅，而因素分析就係想用一連串嘅演算法，搵出呢啲「潛在因素」。舉個具體例子說明，想像研究者畀受試者做咗個 IQ 測試，
個測試有  咁多條題目，而 、、...  表示受試者喺每條題目上嘅分數，每條題目都有個誤差值 ；呢  個變數就係觀察咗嘅隨機變數；
 表示智能（IQ 測試想量度嘅嘢），每個  都掕咗個  值，（簡單講）反映嗰條題目嘅分數同  有幾強相關，可以大致當係

 係一個冇被直接觀察到嘅隨機變數；順帶一提，而家呢個例子得  一個「潛在因素」，複雜啲嘅因素模型可以一個模型有多過一個「潛在因素」；
行因素分析前， 嘅數值係未知，而因素分析做嘅，就係要搵出啲參數（啲 ）嘅數值；
要圖像化嘅話，啲人通常會將因素分析畫做好似文頭嗰幅圖噉嘅模型。搵到啲參數嘅數值之後，研究者仲可以做好多唔同嘅分析，包括「啲變數係咪真係反映緊同一個潛在因素」或者係「個潛在因素嘅結構係點，會唔會有得再細分做兩個子因素」... 等等。事實上呢種噉嘅分析，係 IQ 呢個概念嘅數學基礎。
因素分析可以分兩大類型：探索型（EFA）同確定型（CFA）。如果一位研究者行嘅係 EFA，即係話佢冇事先指定要有幾多個因素，佢會叫部電腦按照某啲條件「睇吓呢啲數據望落似係分到做幾多個因素」，目標係要由數據嗰度產生理論模型；而如果一位研究者行嘅係 CFA，即係話佢會事先指定有幾多個因素，以及係每個因素包括邊啲可觀察變數，然後佢就會叫部電腦計吓，佢心目中嗰個模型同數據所顯示嘅「有幾吻合」—用統計學行話講，意思係話 CFA 會包含測試手上嘅假說。

EFA 步驟
内文：探索型因素分析
以下係做 EFA 嘅步驟。

咩時候用
睇埋：降維、統計相關、常態分佈同多重共線性
喺數據科學上，探索性質嘅因素分析可以好有用:p 2：呢種分析能夠減少要考慮嘅變數嘅數量—用  嘅 1 個數值總結晒嗰一大拃分數，達致用數量更少嘅概念解釋現象；探索型嘅因素分析又可以用嚟探討變數之間有咩關係，以及係好似 IQ 噉嘅理論概念嘅「內部結構」（例如會唔會某啲變數零舍反映得到 IQ 呢？）。除此之外，呢種分析仲可以用嚟處理做統計分析不時會遇到嘅多重共線性問題。
郁手行因素分析之前，分析者要睇睇以下呢啲嘢先：
樣本大細：因素分析係一種幾複雜嘅統計分析，樣本一般要起碼有 100 個個體至算得上係「探測真實結果嘅能力」夠高，而有再嚴格啲嘅基準會要求樣本最少有 300 個個體咁多。
樣本大細同可觀察變數個比例：樣本個體數量（）同可觀察變數嘅數量之間嗰個比例亦都好重要；一般嚟講  同變數數量之間要去到 10:1 就比較穩陣，亦有啲統計學專家主張呢個比例要去到 20:1 先至算係可以接受。
統計相關：實際做因素分析之前，研究者通常都會睇吓啲可觀察變數之間嘅統計相關先；有統計學專家主張，啲變數之間嘅相關值最少要係 .30，先至有可能表示佢哋反映緊某啲潛在變數，而相關值去到 .50 或以上就可以算係「理想」。
常態分佈：因素分析假設咗啲變數係呈常態分佈嘅。
等等。

因素抽取
内文：主成份分析同最大似然估計
睇埋：平行分析
如果係做 EFA，研究者事先唔知個「個模型有幾多個因素」，呢樣嘢要由部電腦自行決定。呢個決定一啲都唔容易做。
想像而家部電腦計咗幾個因素模型出嚟，根據模型 A，嗰拃變數背後有三個潛在變數，模型 B 就話嗰拃變數背後得兩個潛在變數，而模型 C 就話嗰拃變數背後有四個潛在變數。噉亦即係話，分析者要搵某啲條件，作出「手上搵到嘅因素模型當中，邊一個係最可以接受，或者最似係真確嘅」噉嘅決定。而且決定因素數量本質上就係兩難：根據科學上嘅奧坎剃刀原則，科學追求嘅係用最少嘅概念解釋最多嘅現象，所以因素應該係愈少就愈理想；但係另一方面事實又表明，因素數量上升，個模型「解釋到嘅變數變異」實會跟住升—縱使個升幅可能好微細，例如加多一個因素，解釋咗嘅變異淨係升嗰 1% 咁多。

睇特徵值
内文：特徵值
特徵值（以符號  代表）係統計學成日提到嘅一個概念。簡化噉講，特徵值係反映緊添加一個因素能夠令「解釋到嘅變數變異」升幾多。而要選擇因素嘅數量，一個簡單嘅方法就係一邊加新嘅因素落去個模型度，一邊睇住特徵值點樣變化—噉一旦「加咗第  個因素，解釋到嘅變異嘅升幅」數值（由特徵值反映）跌到低過預先設好嘅門檻（例如特徵值跌到細過 1），部電腦就會停手唔再加新嘅因素，最後得出一個  咁多個因素嘅模型。根據慣常用嘅標準，自然科學嘅因素模型要解釋最少 95% 嘅變異，而社會科學嘅因素模型就要解釋最少 50 到 60% 嘅變異。
好似係以下呢個例子噉:p 7（已解變異係指解釋到幾多變異，以 % 嚟計）：
—去到添加第 8 個因素嗰陣，特徵值跌到細過 1，就形成一個 7 個因素嘅模型，解釋得到約莫 60% 嘅變異。

岩屑堆圖
内文：岩屑堆圖
「一邊添加新因素，一邊睇住特徵值點變」噉嘅思考方法，可以用岩屑堆圖嘅方式圖像化。一幅岩屑堆圖有打橫打戙兩條軸，打橫嗰條表示因素嘅數量，而打戙嗰條表示特徵值。事實表明，隨住因素數量上升，特徵值會變到愈嚟愈細，即係話岩屑堆圖出嗰條線會偏向下跌，跌嘅速度就愈嚟愈慢，好似下圖：
Scree plot：岩屑堆圖 | Eigenvalue：特徵值 | Component number：因素嘅數量
而條虛線就表示特徵值係 1 嗰個位—特徵值一跌到落 1 以下，部電腦就停手唔再加新嘅因素。上述呢幅圖噉嘅情況，部電腦最後會出嗰個模型將會有 3 個因素。

因素旋轉
睇埋：迴歸系數同線性組合
淨係出咗個模型係唔夠嘅。事實表明，因素分析出嘅模型好多時都「唔夠靚」：出咗個模型之後，是但攞一個變數嚟睇，個變數都會有條式
當中
係第  個個體喺第  個變數上嘅數值；
 係第  個變數嘅平均值；
 係第  個變數喺第  個因素上嘅因素負荷量；
 係第  個個體喺第  個因素上嘅數值；
 係  嗰個估計唔到嘅誤差數值，平均係 0，變異數有限；
用矩陣式嘅寫法，就可以寫做望落簡潔啲嘅
，當中  要受以下嘅限制——
同  彼此獨立；
 嘅預期值係 0；
， 係指  嘅協方差矩陣，而  係單位矩陣；
—是但攞一對「變數-因素」組合，佢哋之間嘅因素負荷量都可以唔同，例如如果佢哋之間個  近乎等如 0，就表示兩者之間咩關係都冇，而如果佢哋之間個  數值好大，就表示兩者之間有好強嘅關係。因素旋轉做嘅嘢，就係想令到個模型入便多啲數值高嘅負荷量，同時少啲數值低嘅負荷量:p 9，用日常用語講可以大致想像成「一步一步噉執吓啲  佢，等個模型睇落理想啲」。

旋轉方法
因素分析上用嘅旋轉方法，可以有好多種：
Varimax：追求盡量減少「喺每個因素上都有高負荷量」嘅變數嘅數量，被指可以有效簡化對因素嘅詮釋。
Quartimax：盡量減少「每個變數需要」嘅因素嘅數量，令到每個變數都可以由一至兩個因素「解釋晒」。
Equamax：結合咗 varimax（簡化啲因素）同 quartimax（簡化啲變數），追求減少「一個因素有高負荷量掕住嘅變數數量」同埋減少「一個變數有高負荷量掕住嘅因素數量」。
Promax：容許因素之間有一定嘅統計相關。呢種做法計起上嚟快啲，因而被指比較能夠處理量大嘅數據。
喺廿一世紀初嘅統計學界，因素旋轉呢樣嘢受到一定嘅批評：事實表明，數據入便嘅細微變動，可以令到因素旋轉出嘅結果出現大變；例如而家手上有 300 個個體，用呢 300 個個體做 EFA 用 varimax 旋轉，然後再由 300 個個體入便是但剷走 10 個個體嘅數據，重做用 varimax 旋轉嘅 EFA，出嘅因素模型可以唔同晒（因素嘅數量唔同，而且「邊個變數負荷落去邊個因素」又唔同咗）；噉嘅問題亦表示，因素旋轉令到研究者難以比較唔同研究出嘅結果。事實係有社科研究曾經試過發生噉嘅事—班研究者喺度研究文化，個個都有用因素分析，用嘅旋轉方法唔同，打後嘅研究者發現，呢幾份研究冇旋轉得出嘅因素模型好相似，但係做咗旋轉之後嘅因素模型唔同晒，唔同研究者手上都有個唔同嘅因素模型，個個諗住自己發現咗新嘢，仲創造新概念嚟解釋呢啲「新發現」。

結果詮釋
睇埋：詮釋、語義同可詮釋度
搞掂晒呢啲步驟，分析者就要詮釋個結果：就算做完旋轉，個模型都只係一大拃數值，分析者要對呢拃數值賦予意義；舉個簡化例子，想像而家研究智商，研究者手上個智商測試有 30 條問題；佢行 EFA 搵到一個因素模型，個模型得一個因素，當中頭嗰 10 條問題嘅因素負荷量（標準化咗）做晒旋轉都仲係好低（連 0.4 都唔夠），同時尾嗰 20 條問題就條條都因素負荷量都超過 0.7（標準化咗）；噉佢就有理由相信
然後佢根據手上嘅理論，有理由相信呢啲題目都係反映緊智能嘅，所以佢就順利成章噉將個因素命名做智能；
手上個智商測試，啲題目全部都係大致反映緊同一樣嘢（智能）嘅；
頭嗰 10 條問題唔係咁反映得到個因素，可以考慮攞走以後都唔用佢哋；
有研究者指出，因素分析得出嘅因素幾有意義，講到埋尾都係由研究者定義嘅—有關要點樣同啲因素命名，廿一世紀初嘅學界並冇乜嘢精確嘅基準，好多時都係研究者睇吓喺呢個因素上負荷量高嘅變數，再認為佢哋「似係大致反映緊 XXX 呢個理論概念」，就當咗佢哋係反映緊呢個概念。

CFA 步驟
内文：確定型因素分析同結構方程式模型
啲人做完 EFA，成日都會走去做 CFA：想像而家一班研究者搵咗拃數據返嚟，用 EFA 建立咗個因素模型；佢哋好多時都會想搵第個樣本，用新樣本嘅數據嚟行 CFA，檢驗吓由第一個樣本度搵到嘅因素模型「有幾用得到落去個新樣本度」— CFA 做嘅正正就係攞住
一拃數據，啲變數呈常態分佈，加埋
一個由研究者定義好嘅因素模型，
然後出一拃數值，講吓呢個模型有幾符合手上嗰拃數據。有關呢啲嘢嘅數學細節，可以睇睇結構方程模型。
亦要注意一樣嘢，就係行 CFA 實要估計好多個模型參數，對統計自由度有高嘅要求，一般嚟講樣本要起碼有 500 至 1,000 個個體，研究者先可以試行 CFA :p 4。

講定模型
内文：量度模型
睇埋：量度不變特性
做 CFA 嘅第一步就係要界定個模型。一般來講，研究者會做 CFA 可能係因為佢睇過前人做嘅研究，知道手上嗰拃變數應該係成點嘅因素結構嘅，亦有可能係佢做完 EFA 搵到一個因素模型。無論係點，佢跟住都同部電腦講，佢心目中個模型係點嘅，即係想像
噉嘅因素模型，研究者要指定有幾多個因素（ 嘅數值），有幾多個變數（ 嘅數值），佢亦要指定每個變數係反映緊邊個因素（可以想像成係指定邊個  係 0 邊個係非 0）—研究者要指定佢心目中個理論模型，再做分析睇吓能唔能夠確定佢個諗法係啱嘅。不過研究者唔使乜嘢都指定晒，喺多數情況下研究者都冇需要指定啲  嘅具體數值—啲  嘅具體數值會由做 CFA 嘅演算法負責估計。

計適合度
内文：適合度
淨係搵到一個模型係唔夠嘅：搵到個模型啲參數（拃 ）數值之後，分析者仲要檢驗個模型嘅適合度夠唔夠高：適合度泛指一個統計模型（例如係一個 CFA 模型）有幾切合得到手上嘅數據；例如
卡方檢定，符號係 χ2 ：呢種做法將「個模型係正確嘅」當做 （虛無假說），並且攞「個模型嘅協方差矩陣」同「實際觀察到嘅協方差矩陣」做卡方檢定，如果卡方檢定嘅數值（χ2）愈大，就表示兩個矩陣之間差異愈大－研究者就愈有理由相信個模型係錯嘅。
近似值根均方誤差，英文簡稱 RMSEA：一個數值愈低愈好嘅適合度指標；RMSEA 最細嘅可能數值係 0，而一般認為，RMSEA 數值喺 0.1 或者以上嘅話個模型嘅適合度就算低到唔可以接受。
標準化根均殘差，英文簡稱 SRMR：另一個數值愈低愈好嘅適合度指標；一般認為，SRMR 嘅數值最好係喺 0.1 以下，亦都有統計學家主張 SRMR 數值要喺 0.08 以下個模型先算係有充足嘅適合度。
比較適合指數，英文簡稱 CFI：一個主要反映數據當中嘅統計相關嘅大細嘅適合度指標，所以數值係愈高愈好；一般嚟講，CFI 嘅數值過到 0.95，個模型就算係可以接受。
等等。如果啲適合度指標反映手上嗰個模型「可以接受」，研究者就可以去下一步詮釋呢個模型。

應用價值
睇埋：聚合效度、分歧效度同量度不變特性
喺廿一世紀初嘅社會科學上，CFA 有好多用途:22.2。
支持潛在變數嘅存在：有啲研究者做 CFA 嗰時第一步會係試行一個虛無模型:p 2；一個虛無模型係指一個咩隱藏因素都冇嘅模型，而如果呢個模型嘅適合度非常惡劣，研究者就有理由相信應該真係有隱藏因素喺度。
檢驗聚合效度:p 4 ：研究者攞住手上嘅數據，量度咗受試者喺啲題目上嘅得分，就可以行 CFA，睇吓個潛在變數同其他變數有咩關係；舉例說明，想像而家研究者要開發一套新嘅 IQ 測試，同拃題目嘅分數做咗 EFA，發覺拃題目反映緊一個潛在嘅「智能」因素，然後佢可以用 CFA 模型，睇吓呢個潛在因素係咪真係同（例如）其他 IQ 測試有強嘅正相關；如果真係有，噉佢就有更強嘅理由主張，話佢個新測試都係量度緊智能嘅—用統計學詞彙講，佢噉做係確立緊個新測試嘅聚合效度。
檢驗分歧效度：想像嗰位研究者亦量度咗一啲性格方面嘅變數，而且呢啲變數已知係同智能冇啦掕嘅，噉個研究者就可以再行 CFA，睇吓佢個新 IQ 測試嘅分數係咪真係同性格「冇太強嘅相關」—如果呢個新 IQ 測試畀嘅分數同性格有太強嘅相關，就表示個測試唔係純粹量度緊智能，做唔到「同理應無關嘅嘢分歧」呢一樣嘢。
削短已有嘅量度工具：想像而家手上個 IQ 測試有成 100 條題目；咁多條題目做起上嚟幾嘥時間，所以研究者就想開發一個短篇版本嘅測試，佢可能（例如）做 EFA，抽咗因素負荷量最高嗰 20 題出嚟，然後就攞個 20 題嘅版本去畀受試者做，如果跟住落嚟做 CFA 發現個 20 題嘅新版本有好嘅聚合效度同分歧效度，噉佢就算係初步確立咗一個 20 題嘅短篇版，做咗一啲有用嘅嘢。
等等。

心理測量
一條典型嘅 IQ 測試題目；呢條題目要受試者根據啲圖形嘅規律，估下一個圖形應該會係乜。
内文：心理測量同智商測驗
因素分析其中一個最出名嘅應用，就係喺心理測量上幫手量度智能。智能係有關認知嘅一個重要概念，某個個體嘅智能，大致可以當係講緊佢個腦有幾能夠處理資訊，用嚟思考同埋解難。
智能呢家嘢冇得話（例如）搵把間尺去度，不過就可以由某啲行為指標反映：喺廿世紀起，量度智能嘅一個常見做法係畀受試者做一大拃題目，呢啲題目係要求思考同解難能力嘅，然後研究者就可以對受試者喺呢啲題目上得到嘅分數（可以想像每條題目算係一個變數，有答啱同答錯兩個值）做因素分析，搵出呢啲變數背後嘅潛在變數——呢個潛在變數，應該就係心理學家搵緊嘅智能因素。事實係喺廿世紀初，心理學家發現細路喺唔同學科上嘅能力彼此之間有幾強正相關，出咗「呢啲能力背後受同一個因素主宰」噉嘅諗法。
除咗智能之外，因素分析喺性格心理學上亦都廣受採用：性格呢樣嘢都係冇得話攞把間尺度，不過原則上就可以由一大拃行為嚟反映——例如講一個人有幾外向，可以睇佢（例如）有幾常講嘢、有幾常行近陌生人度打招呼、以及係有幾常同陌生人做朋友... 呀噉；研究者可以郁手做性格測驗，畀受試者答問題描述自己嘅行為，或者請受試者身邊嘅人描述受試者，再同呢啲噉嘅行為變數做因素分析，睇吓（例如）
有幾常講嘢、
有幾常行近陌生人度打招呼、以及
有幾常同陌生人做朋友
呢啲變數背後係咪真係有一個潛在變數，望落似預想中嘅「外向度」概念嘅。

商學應用
睇埋：市場研究同消費行為
好似噉嘅心理測量做法，喺營銷以至管理等嘅商學上都有用。營銷屬於商學，專研究點樣有效噉賣自己嘅產品同服務。喺營銷相關嘅研究上，研究者成日都會想量度消費者（例如）點樣睇手上嗰件產品（態度）、覺得件產品質素有幾高、以及係幾有意慾買嗰一件產品... 等嘅變數。呢啲變數都係屬於冇得直接量度嘅嘢——所以就有機會用到因素分析。
例如想像一份問卷調查，有以下呢幾條問題：
X 牌子能夠達到我嘅期望。
我對 X 牌子有信心。
X 牌子從來都唔會令我失望。
用 X 牌子嘅產品包保有滿足感。
X 牌子好老實好靠得住。
... 等，叫受訪者答每句句子佢哋有幾同意（可能有 1 至 5 分，當中分數愈高表示愈同意）。原則上，上述呢啲句子反映緊受訪者對 X 牌子有幾信任。研究者行 EFA，睇吓呢拃句子上嘅分數係咪真係成得到一個因素（EFA 出一個因素，而且每個分數嘅因素負荷量都有返咁上下），係嘅話佢哋就有信心主張，話手上嗰個調查似係量度緊受訪者對牌子 X 嘅信任程度，可以進一步研究（例如）受訪者對一隻牌子嘅信任程度會受咩因素影響。

其他應用
原則上，因素分析呢家嘢源於心理學、商學同社會學等嘅社會科學——社會科學本質上就係研究人類行為嘅，好多時都想量度啲人諗緊乜或者感受緊乜，包括係人嘅態度或者其他心理性質嘅變數。噉嘅變數通常都冇得直接量度，於是研究者就唯有走去量度一大拃佢哋有理由認為係「反映緊同一樣嘢」嘅變數，再做因素分析，從而探究背後嘅潛在變數。雖然係噉，但因素分析查實喺某啲自然科學或者工程學研究當中都可以好有用。
例如有部份地球科學研究，就用咗因素分析嚟分析水質：水質係一個多維度嘅概念，由水嘅化學成份嚟反映；原則上，水質可以大致上想像成啲水「夠唔夠乾淨」，係咪適合攞去做「畀人飲用」等嘅用途；依家想像研究者由水體嗰度抽咗啲水做樣本，再量度吓樣本入便各種化學物質（包括鐵同鉛）分別濃度有幾高；數據攞到手，研究者就行因素分析，以呢啲化學物質濃度數值做變數，睇吓佢哋背後係咪有一啲「隱藏因素」喺度；結果發現，呢啲濃度值背後的確有一啲「隱藏因素」，而呢啲「隱藏因素」反映咗某啲礦物嘅存在或者水污染事件等嘅重要資訊。

相關分析
平行分析：一種用嚟決定「EFA 出嗰個模型要有幾多個因素至啱」嘅技術，用到蒙地卡羅式嘅方法產生隨機數據，攞住呢啲隨機數據同埋手上真實觀察到嘅數據，部電腦會同兩者計特徵值，再比較隨機數據同真實數據出嘅特徵值；統計學研究指平行分析可以出到好嘅效果。
主成份分析（簡稱 PCA）：同因素分析有啲似，都係講緊想減少手上嘅變數嘅數量（降維），會將啲變數結合做佢哋嘅線性組合（而非將變數視為潛在變數嘅線性組合），同時唔似得因素分析噉會假定「呢啲變數背後有最少一個潛在變數喺度」。
結構方程模型
線性判別分析
統計相關