ロジスティック回帰モデルによる確率判別
茨木志織

1(指導教員：吉田裕亮)
1. 結合係数 wi と R ユニットのオフセット θ を初期化し, パターン xi をセットする.
2. A ユニットで xi と重み wi の線形和

はじめに一般に, 判別分析とは, 2 変量の場合では散布図上に異なる群 (母集団) からの観測値を同時に打点し, 散布図上で異なる群を分ける領域を求める分析手法のひとつである.
本研究では, その判別分析において群を 0.5 対 0.5 に分けるのではなく, 発生確率に基づいて群を分ける手法として, ロジスティック回帰モデルを用いた手法を提案する.
一般にロジスティック回帰モデルの係数推定は非線形な最適化問題であり, 計算が複雑である. そこで, 本研究ではロジスティック回帰モデルと構造的に類似性の見られるニューラルネット・モデルを利用する. さらにロジスティック回帰モデルを用いて推定される確率的判別直線が, マハラノビス距離による 2 次判別曲線よりもより妥当な確率判別を与えることもみる.
まず, ロジスティック回帰についてみてみよう.

2

ξ = w1 x1 + w2 x2 + … + wn xn + θを構成し, R ユニットのシグモイド関数に送り,η=を出力値とする.
3. この出力 η を教師信号 T を使って結合係数をwi (t + 1) = wi (t) + C(T − η)xiと更新していく. 右辺の wi (t) が時刻 t の結合係数を, 左辺の wi (t + 1) が時刻の t + 1 の結合係数を表している. ここで C は学習速度を制御するパラメータである.
この学習をある基準に収束するまで繰り返すことにより, 重み wi を推定する.
この学習は入力データが与えられるたびに重みを更新するので, オンライン学習とも呼ばれている.

ロジスティック回帰モデル

n 次元の変量 X1 , X2 , …, Xn の観測値 x1 , x2 , …, xnが与えられたとき, ある現象の発生する確率をProb{ 生起 |x1 , x2 , …, xn } =1
1 + exp(−Z)

4

マハラノビス距離

多変量データの相関に基づき, 算出される距離としてマハラノビス距離がある. 2 次元データで各クラス(j = 0, 1) の平均が µj = t (µ0j , µ1j ) で, 分散共分散行
x = (x0 , x1 ) の各 j 群のマ列が Σj とする. このとき ハラノビス距離 Dj は,
Dj = t (x − µj ) Σ−1x − µj )j (で表すモデルをロジスティック回帰モデルという. ただし,Z = β0 + β 1 X 1 + β 2 X 2 + … + β n X n
で βi は各変量 Xi の重みである. このモデルは医療統計の分野でよく用いられるモデルのひとつである. また, 次のニューラルネット・モデルと構造的類似が見られる.

311 + exp(−ξ)

で与えられる.

ニューラルネット・モデル

5提案手法 (例)

本研究ではロジスティック回帰モデルを用いて確率判別を以下のように行うことを提案する.

1. ロジスティック回帰モデルに用いられる係数 βi をニューラルネット・モデルの重み wi として求める. ただしニューラルネット・モデルでは教師信号を群 1 のとき 1, 群 0 のとき 0 とする. 求められた係数をロジスティック回帰モデルに適用する.
2. 求められたロジスティック回帰モデルに発生確率を与えることにより, 判別直線を求める.

図 1: 単純パーセプトロンモデル
図 1 は S ユニット (Sensory unit), A ユニット (Associative unit), R ユニット (Response unit) の 3 層からなるパーセプトロンと呼ばれる, パターンを分類するために提案されたネットワークモデルのひとつである. 分類対象のパターンを入力すると S ユニットが反応し, 次に A ユニットは S ユニットからの入力を受けて信号を出力する. そして R ユニットは A ユニットからの入力により応答し, 入力パターンを分類する信号を出力する. S ユニットから A ユニットへの結合の強さ (重み w) は次のように学習されていく.

6

数値実験

本研究で提案した判別直線とマハラノビス距離の比で求められる判別曲線について, 精度を比較する.
以下のような 2 変量の群を用意する.
群 1：N (µ1 , Σ1 ) に従う 600 個のデータ
 
01.03 0.36
µ1 =, Σ1 =, ρ = 0.34
00.36 1.09

1

群 0：N (µ0 , Σ0 ) に従う 600 個のデータ
 
1.51.03 −0.36µ0 =, Σ0 =, ρ = −0.34
1.5−0.36 1.09

図 3: 群 1, 群 0 と確率判別直線

図 4: 群 1 と確率判別直線
図 2:

6.2

d1 ：群 1 の平均までのマハラノビス距離
d0 ：群 0 の平均までのマハラノビス距離
d1 ：d0 = 8 : 2・・・(※)とし,となるような x1 と x2 の関係を求めることで, 確率判
別曲線を描くと以下ようになる.

図 2 のように 0 群と 1 群 が混在した領域が存在しているものを用意する. 上においてρ は相関係数である.
群 1 に含まれる確率が 0.8 となるような判別直線を先のように求めていく.

6.1

提案手法の場合

6.1.1

重みの推定

マハラノビス距離の比の場合

群 1 と群 0 を分ける直線は

w1 x1 + w2 x2 + θ = 0と表せる. θ は R ユニットのオフセットである. 今回の実験では,

w1 = −13.852, w2 = −13.142, θ = 20.967
図 5: マハラノビス距離を用いた確率判別曲線を得る. これより直線は

図 5 のような曲線が求められた. (※) を満たすようなx1 と x2 の範囲は非常に狭いため, 判別曲線を短い区間でしか引くことが出来ず, 分かりにくい.

x2 = −1.05x1 + 1.60となり, 2 つの群を分ける判別直線が推定される.

7

次にニューラルネット・モデルで得られた結合係数をロジスティック回帰モデルに適用する. 群 1 に含まれる確率が 0.8 のロジスティック回帰モデルは,0.8 =今回, 2 次元の場合, ロジスティック回帰モデルを用いることによって確率判別直線を引くことができた.
マハラノビス距離の比を用いても確率判別線の 2 次曲線が描けるが, ロジスティック回帰モデルの方が正確で視覚的にもわかり易く, 確率の比で群を分ける手法に適していると思われる. 今後の課題として, バイキング法により確率判別直線を重ねることで, 非線形な確率判別に拡張することも考えられる.

11 + exp(−w1 x1 − w2 x2 − θ)と表される. この式を満たす x1 と x2 の関係を描く.

6.1.2

まとめ

結果

右の図 3 のような群 1 と群 0 を分ける直線が引ける.
また, この直線よりも下側にある群 1 のデータ数を数えたところ, 490 個 (/600 = 0.816) があることがわかる (図 4). よって, この直線より下側に群 1 のおよそ0.8 が存在する.

参考文献
1. 竹村彰通, 谷口正信, 統計学の基礎 , 岩波書店
(2003)
2. 中野馨, 入門と実習 ニューロコンピュータ, 技術
評論社 (1989)
2