データ解析第十二回「一般化加法モデル」鈴木　大慈理学部情報科学科西八号館W707号室s-taiji@is.titech.ac.jp
。加法モデル。一般化加法モデル
●加法モデル●一般化加法モデル●カリフォルニア住宅価格データ
なる関数形で曲線を表現. 3次スプライン回帰では,
としてfを推定. ３次スプラインではB;は局所的３次多項式.
4 / 39

単変量:

5 / 39

重回帰モデル:
加法モデル:
sk(xk) = βk×kとすれば線形回帰に帰着される。その意味で一般化になっている.
6 / 39
加法モデルの推定
これも単変量の場合と同様に二次関数の最小化問題として定式化できる.
7 / 39

加法モデルは各変数の関数の和で表すため，変数間の絡みは表現できない.例：f(x,y) = xy.和で書けない関数sطو(xد, x )も入れて推定(2次の交互作用):
三次以上の交互作用はs abc (x a , x c )のように次数を増やしてゆけば良い.
関数形：

0 / 39

次の２つを紹介：
基本的には基底B sb.jの和で表す:
各スプライン手法の違いはこの基底の構成の仕方の違い.
10 / 30

三変数以降も同様.

11 / 30

I変数，滑らかさのパラメータm (> I/2)に対する薄板平滑化スプライン基底は次で与えられる:
に対し
m = l = 2 (2変数)の時は,
12 / 30
サンプル: {(x('),y;)};=1実際は，
とする。ここで,  M = (m+d-1)でφjは互いに一次独立なm次以下の多項式, α = [α₁, . . . ,α₁]   はΤ = ( η m,ι ( || x ( ′′ − x ∩ || )), j = 1に対しα Τ Τ = 0を満たすようにする.これは
の最小化元である.
14 / 30

I変数，m + 1次スプラインのテンソル積および滑らかさパラメータmの薄板平濟化スプラインの場合.各s(×₁, . . . , x₁)に対して，正則化項を次のように定める:
これらを足しあわせて回帰:
に対し，正則化項は
のようにする．いずれにせよ，二次関数最小化で解ける．
●加法モデル●一般化加法モデル●カリフォルニア住宅価格データ一般化加法モデルこれまでのモデル: y; = f(x;) + c;, c;は平均０の正規分布. →一般化: y; ~ Po=g(f(x;))(Y). ● P 0 (Y)あるパラメトリックモデル. ● g-1はリンク関数(固定). fをノンパラメトリックに推定したい.
●ポアソン分布と対数リンク関数: Poo(Y) = ֲצַy; ~ Po(θ = exp(f(x))) g(f(x)) = exp(f(x)), g-1(θ) = log(θ) = f(x): 対数リンク関数. f(x)が負の値をとっても大丈夫！ ●二項分布とロジットリンク関数: Bin θ IN (Y) = ( N ) θ Y (1 − θ ) N − Y   (θ ∈ (0,1),  Y = 0,1, . . . , N ).

20 / 30

負の対数尤度:
正則化項付き尤度最大化:

21 / 39

1+exp(−u)
fit <- gam(Y~s(X1,X2),data=artdata,family=binomial(link=logit))
fit <- gam(Y~s(X1,X2),data=artdata,family=binomial(link=logit))
fit <- gam(Y~s(X1,X2),data=artdata,family=binomial(link=logit))
Y~s(X1)+s(X2)のようにするだけで，glmと使い方は同じ. link関数，分布族ともにglmと同じものが使える.
●加法モデル●一般化加法モデル●カリフォルニア住宅価格データ
chouse <- read.csv("cal_house.csv",header=TRUE) 20640サンプル， 9変数,カリフォルニア州の各地区の住宅価格データ๑"MedHouseValue":その地区の住宅価格の中央値(これを説明したい) ●  " MedIncome": 収入の中央偵● "MedHouseAge":築年数の中央値● "TotalRooms":部屋数の中央値ゃ"TotalBedrooms":ベッドルーム数の中央値o "Population":人口e "Households":家持人の数● " Latitude":綿皮●  " Longitude": 経度> lmfit <- gam(log(MedHouseValue)~MedIncome+...+Longitude,
1 R-sq.(adj) =  0.643   Deviance explained = 64.3% GCV score = 0.11568  Scale est. = 0.11563   n = 20640 27 / 30
あまり当てはまりが良くない.
addfit <- gam(log(MedHouseValue) ~ s(MedIncome)+ s(MedHouseAge) + s(TotalRooms) + s(TotalBedrooms) + s(Population) + s(Households) + s(Latitude) + s(Longitude), data=chouse) s(·)でスプライン平滑化を当てはめ.
> summary(addfit) Approximate significance of smooth terms:
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.05 ‘.’ 0.1 1 R-sq.(adj) =  0.747   Deviance explained = 74.8% GCV score = 0.08206  Scale est. = 0.081799  n = 20640 GCVが改善(0.11568から0.08206へ).
addfit2 <- gam(log(MedHouseValue) ~ s(MedIncome) + s(MedHouseAge) + s(TotalRooms) +s(TotalBedrooms) + s(Population) + s(Households) + s(Longitude,Latitude), data=chouse) s(Longitude,Latitude)で，綽度・経度の交互作用を取り込む. > summary(addfit2)
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' 1 R-sq.(adj) =  0.778   Deviance explained = 77.8% GCV score = 0.072298  Scale est. = 0.072047  n = 20640 GCVが改善(0.11568 → 0.08206 → 0.072298).
0.8 0.4 0.2 0.0 -02 −0.4 0.6 -0.8 -1.0
緯度経度のみから価格を予測(c)交互作用あり(MSE= 0.180) (d)交互作用なし(MSE= 0.201)ノンパラメトリック回帰を多変量・非正規に拡張. ●加法モデル:各成分の非線形関数の和●交互作用モデル: 2つ以上の変数を用いて非線形関数を構成●一般化加法モデル:判別分析やポアソン回帰なども可能これらのモデルを用いることでデータ解析の幅もかなり広がる.講義情報ページhttp://www.is.titech.ac.jp/~s-taiji/lecture/dataanalysis/dataanalysis.html