廣義線性模型

title: 概说.
content: 广义线性模型是简单最小二乘回归(OLS)的扩展,在广义线性模式中,假设每个资料的观测值formula_1来自某个指数族分布。 该分布的平均数 formula_2 可由与该点独立的X解释:  其中formula_4为formula_5的期望值,formula_6是由未知待估计参数formula_7与已知变量formula_8构成的线性估计式,formula_9则为链接函数。  在此模式下,formula_5的方差formula_11可表示为:  一般假设formula_11可视为一指数族随机变量的函数。  未知参数formula_7通常会以最大概似估计量,, 或以贝氏方法来估计。
title: 模式组成.
content: 广义线性模式包含了以下主要部分:
title: 指数族.
content: 指数族随机变量意指其具参数"θ"与"τ"的几率密度函数, "f" (在论离散型随机变量时,则为概率质量函数)可表为:  "τ"称之为"变异参数",通常用以解释变异数。函数"a"、"b"、"c"、"d" 及"h"为已知。许多(不包含全部)型态的随机变量可归类为指数族  "θ"与该随机变量的期望值有关。若"a"为恒等函数,则称该分布属于 正则型式。 另外,若"b"为恒等而"τ"已知,则"θ"称为"正则参数",其与期望值的关系可表为:  一般情形下,该分布的变异数可表为:
title: 线性预测子.
content: 线性预测子是用将独立变量经由线性组合来寻模式所能提供之资讯的计量变量。符号"η" (希腊字母 "Η")通常用来表示线性预测子。它与资料的期望值的链接函数值有关(故称"预测子")。 "η"表为未知参数β的线性组合(故为"线性")。X则为独立变量所组合而成的观测矩阵。如此一来,"η"可表示为  X的元素通常为模式设计时可观测的资料或为实验时所得的数据。
title: 链接函数.
content: 链接函数解释了线性预测子与分布期望值的关系。链接函数的选择可视情形而定。通常只要符合链接函数的值域有包含分布期望值的条件即可。  当使用具正则参数"θ"的分布时,链接函数需符合XY 为β的充份统计量此一条件。这在"θ"与线性预测子的链接函数值相等时方成立。下面列出若干指数族分布的典则链接函数及其反函数(有时称为均值函数):  在指数分布与Gamma分布中,其典则链接函数的值域并不包含分布均值,另外其线性预测子亦可能出现负值,此两种分布绝无均值为负的可能。当进行极大似然估计进行计算时需避免上述情形出现,这时便需要使用到非典则链接函数。
title: 范例.
title: 一般线性模式.
content: 有些人可能会把一般线性模式和广义线性模式给弄混了。一般线性模式可视为广义线性模式的一个链接函数为恒等的特例。一般线性模式有着悠长的发展历史。广义线性模式具非恒等链接函数者有着渐近一致的结果。
title: 线性回归.
content: 广义线性模式最简单的例子便是线性回归。此例中分布函数为常态分布而链接函数为恒等函数在变异数已知的条件下并符合正规式。 这个例子具有广义线性模式罕有的最大概似估计量的解析解
title: 二元资料.
content: 在讨论二元反应结果(如"有"跟"没有")时,通常以二项式分布建模。其期望值'μ"通常解释为样本"Y"发生事件的几率"p"  二项式分布有许多常用的链接函数,最常用的链接函数是logit:  以此建模的广义线性模式通常称为logistic回归模式。  另外,任何连续型几率分配累积函数(CDF)的反函数皆可使用此模式,因为其值域为[0,1],包含了二项式分布期望值的可能值域。常态几率分配累积函数formula_24是一个广受应用于probit模式的选择。其链接函数为  有时恒等函数也会被用为二项式分布的链接函数,其缺点为预测值可能超出合理范围。经过若干修正可以避免上述问题,但会在解释上造成困难。此模式通常适用于"p"接近0.5的情形。 此种建模很接近logit及probit的线性转换,有时计量经济学家会称其为Harvard模式。  二元资料的广义线性模式变异函数可写为  其中变异参数formula_27通常等于1,若非,则该模式称为溢变异或殆二元。
title: 计次资料.
content: 另一个常用的例子为用于计次的卜瓦松分布。此例的链接函数为自然对数,为正规链接。 变异数函数与均值成等比 其中变异参数formula_27通常为1。 若非,此模式通常称为溢变异或似卜瓦松。

Summary: 在统计学上,广义线性模型 (Generalized linear model、简称GLM) 是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。此模型假设实验者所量测的随机变量的分布函数与实验中系统性效应(即非随机的效应)可经由一链接函数("link function")建立起可资解释其相关性的函数。

Verallgemeinerte lineare Modelle: Verallgemeinerte lineare Modelle (VLM), auch generalisierte lineare Modelle (GLM oder GLiM) sind in der Statistik eine von John Nelder und Robert Wedderburn (1972) eingeführte wichtige Klasse von nichtlinearen Modellen, die eine Verallgemeinerung des klassischen linearen Regressionsmodells in der Regressionsanalyse darstellt. Während man in klassischen linearen Modellen annimmt, dass die Störgröße (die unbeobachtbare Zufallskomponente) normalverteilt ist, kann sie in GLMs eine Verteilung aus der Klasse der Exponentialfamilie besitzen. Diese Verteilungsklasse beinhaltet neben der Normalverteilung auch die Binomial-, Poisson-, Gamma- und inverse Gaußverteilung. Damit bietet die Verwendung der Exponentialfamilie in verallgemeinerten linearen Modellen ein einheitliches Rahmenwerk für diese Verteilungen. Die große Klasse von vektorverallgemeinerten linearen Modellen ( "vector generalized linear models", kurz "VGLMs") beinhaltet die Klasse der verallgemeinerten linearen Modelle als Spezialfall. Ebenso in dieser großen Modellklasse enthalten sind loglineare Modelle für kategoriale Daten und das Modell der "Poisson-Regression für Zähldaten". Um die Einschränkungen der verallgemeinerten linearen Modelle und verallgemeinerten additiven Modelle zu überwinden, wurden sogenannte Verallgemeinerte additive Modelle für Lage-, Skalen- und Formparameter entwickelt.