ORと統計の融合

数理計画法を用いた最適線形判別関数（4）−2変量正規乱数データによるIP−OLDFの評価一
新村 秀一…………………l…‖＝‖‖‖＝＝‖‖…………l………l‖‖‖‖川‖……………llt川Il……‖＝‖‖‖‖＝‖‖＝‖‖‖＝………l…lI州I………＝‖‖川＝川＝‖‖＝‖‖‖‖‖川Illllll川＝‖‖‖‖‖‖＝‖‖‖‖‖‖‖‖＝‖‖‖‖‖‖‖川‖‖川＝川l

今回は，115組の2変量正規乱数データを用いて，アイリスデータと医学データの結果との比較及びExternalCheckを行った．ExternalCheckやクロスバリデーションは，分析結果を現実問題へフィードバ（2）判別データの作成

さらに，この4組の元データから，115組のデータを次のように作成した．

Gl群とG3群のデータは原点を中心に，0度，30度，45度，60度，90度のそれぞれで回転を行った．

ックするために必要な検討事項である．
内部標本とは，判別式を作成するために用いたデーG2群とG4群のⅩの値には0から8までのいずれかタのことである．その判別結果を検討することをの整数iを，Yには0，2，4のいずれかの整数jを加InternalCheckという．これに対して，計算に用いえて，原点を（i，j）に並行移動した．ていないデータ（外部標本）に判別式を適用し，その判別結果を検討することをExternalCheckという．
最近では，クロスバリデーションということが多い．

Speakeasyを用いたのは，データの回転や移動が配列や行列演算として簡単に行えるからである．

このようにして作られる5×9×3個の組み合わせ（135組）から，誤分類率が0になるものや50％近く1．2変量正規乱数データになるもの20組を省いた残り115組を本研究のため（1）正規乱数データの発生のデータとした．すなわち，115組の内部標本（Gl正規乱数データを，オブジェクト指向言語Speak−とG2）と，それに対応する外部標本（G3とG4）をeasy（新村（1999））を用いて，以下のように作成した．

作成したことになる．
この1組の判別デpタを，DijAkと表すことにす

X＝NORMRANDOM（ARRAY（400，1：））＊2；

ろ．DijAkは，Gl群とG3群をk度回転し，G2群とY＝NORMRANDOM（ARRAY（400，1：））；G4群の原点を（i，j）に平行移動したものを表す．例

400行×1列の2組の配列に，平均0で標準偏差が2えば，D12A30はG2群とG4群のⅩとYに1と2をと1の正規乱数を発生して，それを配列ⅩとYとし加え，Gl群とG3群を30度回転した内部標本と外部た．このデータを，400件×2変数からなる2変量正標本の4群のデータを表す．

規乱数データとする．そして，これを100件×2変数Gl群とG2群で各判別関数を通用し（Internalからなる，4組の2群判別用の元データとした．最初

Check），その判別式を用いてG3群とG4群を判別の2組を内部標本GlとG2として用い，残り2組を（ExternalCheck）するものとする．

それらに対応する外部標本G3とG4とする．すなわ

DiOAOタイプのデータは，2群が正規分布で等分散ち，Gl群は1番目から100番目のケースである．G3であるので，線形判別関数は良い結果が得られると考群は201番目から300番目のケースであり，Gl群のえられる．そして，DiOAkのkを大きくすると，2外部標本と考えている．同様に，G2群は101番目か次判別関数やIP−OLDFは，線形判別関数に比べて良ら200番目のケースである．G4群は301番目からくなることが期待される．また，jを2と4にして平400番目のケースであり，G2群の外部標本と考える．

行移動しても，等分散性が棄却されることになる．
Shinmura＆Miyake（1979）では，ヒューリスティ

しんむら しゅういち
成渓大学経済学部〒180−8633武蔵野市吉祥寺北町3−3−1244（40）ックなOLDFを用いて，DiOAOタイプのデータを分析し，内部標本ではヒューリスティックなOLDFが線形判別関数よりよく，外部標本ではヒューリスティ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

ックなOLDFの方が悪くなるという結果が得られて（2）回転の影響いる．

Gl群を回車云させることにより，DiOAkタイプのデ回転と平行移動を組み合わせることで，多くのテスータでは，線形判別関数よりも2次判別関数やIP−トデータが簡単に作成でき，2次元における2群のデOLDFの方が良くなると考えられる．すなわち，kがータに関して布置のかなりのパターンをカバーできた

大きくなるにつれFITOITとFITQITは値が大きくと考える．

なると考えられる．

太字で示したDlOAkの5個の結果は，回転するに

2．誤分類数による評価

つれ，FITOITの誤分類数の差は3例から17例へ単（1）分析結果調に増えている．D20Akでは，D20A90を除けば，5本データを，4つの判別関数（Fisherの線形判別関から8へ単調に増えている．このような明らかな傾向

数，2次判別関数，LP−OLDF，IP−OLDF）で分析し，は，誤分類数も少なくなることも影響して，他のタイその誤分類数で評価する．乱数データでありデータ件プのデータでは確認できない．

FITQITは，DlOAk，D20Ak，D70AkとD80Ak

数が等しいので，事前確率は0．5対0．5として問題は●ないだろう．また，リスクを考慮する必要もないだろで，回車云するにつれ2次判別関数の方が線形判別関数

う．

より成績が単調に良くなっている．この点で，2次判

表1に115組の判別結果のうち，10組を掲載した．

別関数の方がIP−OLDFより傾向が明らかである．

最初の列は判別データ名を，XとYはG2群とG4群以上から，一般に期待される回転の影響は，IP−のⅩとYに加えた値（i，j）を，DEGはGl群とG3OLDFより2次判別関数で認められたが，全ての群を回転させた角度kを表す．FIT以降の8変数ほ，DiOAkタイプのデータで認められなかった．すなわ

各判別分析の誤分類数である．

ち，本データでは，回転により等分散でなくなっても，FITは，線形判別関数の内部標本での誤分類数であまり大きな影響を及ばさないようだ．

ある．FはFisherの線形判別関数を，ITは内部標本（3）平行移動の影響（InternalSample）を表す．FETのETは外部標本同じⅩの値であっても，Yが0，2，4に対応して（ExternalSample）を表す．LITはLP−OLDFの内誤分類数が急に少なくなることがレーダーチャートを

部標本を，LETは外部標本の誤分類数を表す．0IT調べることで分かる．そして，おなじYの偶の場合，はIP−OLDFの内部標本，OETは外部標本での誤分Ⅹが大きくなるにつれ，誤分類数は減少している．

類数を表す．QITは2次判別関数の内部標本，QET

3．主成分分析とクラスター分析

は外部標本の誤分類数を表す．

次に，得られた誤分類数を総合的に把握するため，その後に続く3個の変数は，これらの誤分類数を比較するために，各判別手法の誤分類数の差を求めた．

主成分分析とクラスター分析で検討する．

● 例えば，FITOITは，FITからOITを引いたものを表す．これは，IP−OLDFが線形判別関数に比べてど（1）主成分分析

FITからQETまでの8個の変数で主成分分析を行った．第1主成分の寄与率が98．4％であり，ほぼ8れだけ誤分類数が少ないかを表している．

個の情報は第1主成分で表される．図1で，第1と第蓑1誤分類数
Group XY

DEG FTT FET UT LET OrT OET OIT QET FrTOrT QrTOrT FTTQrT

DlOAO

100 638080836084

DlOA301030 61 786981 57

7961 64

DlOA45

1

DlOA6010045 6360 68

DlOA901090 71 69

D20AO

200

D20A30

20D20A45

2

D20A60

2D20A902

2002年4月号

78726386647981 5881 封7281 54．．

．．

84

30 486061 T1 41 80

045 455855

T1 3752 40060 4350557235423539090 42

41 4670364334397266

5丁 62
51 56

●；．；

51 54・465445© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

34−14405−1￠

14−317

1丁−32054

17528358088−28（41）245

因子負荷量．因子1vs因子2
回転法：回転無抽出法：主成分分析

0．989

0．990

0．991 0．992

0．993

0．994

0．995

0．996

因子1

●

図1因子負荷量

散布図（総括表3d．STA46v11ほc）▲

YV V・⁝▼ YVV暮◆

2．5Y●

1．5
田子＿1

22222222人

0．5−0．5・■12345∧−Uこ7−00≡
三O︻U人YS

図2 サンプルスコア

2因子の負荷量をプロットしてみると，外部標本に関するQET，FET，OETが第1象限にあり，LETとうだ．

図2は，Y＝0のサンプルスコアである．第1因子

内部標本の4変数は第4象限にあることが分かる．第軸の正（3）から負（−1）にかけて，DlOAk（V2＝1，2主成分は，ほとんど情報を持っていないが，一応内○）からD80Ak（V2＝8，▲）のタイプに対応してい部標本と外部標本を分ける軸のようだ．第1軸では，る．（i，0）が同じグループでkが大きくなると，第2OITとQETと残りの6変数の3グループに分かれて因子軸の値は正から負になる．iが大きくなると，回いることが分かる．すなわち，内部標本のIP−OLDF転による影響（第2因子軸のバラツキ）は小さくなり，の誤分類数が少なく，外部標本の2次判別関数の誤分第1因子軸での各グループ間の間隔も小さくなってい類数が他に比べて多いことを表している．第1因子軸

る．すなわち，D50AkからD80Akは重なり合っては誤分類数の少なさを表す総合特性値と考えてよさそ

区分が難しい．

246（42）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ●

Y＝2のサンプルスコアからDO2Ak，D12Ak，

4．基本統計量の検討

D22Ak，D32Akは，一応区別ができるけれど，第1因子負荷量の値の違いで整然と区別で．きない．

（1）誤分類数の基本統計量

D42AkからD72Akは，研究論文では乱数データに

表2は，誤分類数の基本統計量である．ケース数はよる評価に重きをおく傾向があるが，異なったグルー115例である．

例えば，FITは0から71の値を取り，内部標本のプとして区別できないことが分かった．

Y＝4のサンプルスコアから第1因子軸の範囲が誤分類率は0％から35．5％になる．誤分類率が大きな［ −1．1，−0．1］と狭く，DO4AkからD64Akの7個データを判別しても応用上あまり意味がないので，本のグループはさらに重なり，区別できないことが分か

データは判別手法の分析データとしては適切と考える．

った．

平均値は17．017であり，中央値は9であり，歪み度以上から，Yを2と4へ平行移動すると，回転のが1．250（標準誤差は表より省略してあるが0．226）
なので，右に裾を引いた分布である．尖り度から，そ影響が小さくなることが分かる．
（2）クラスター分析

れほど大きな外れ値はない．四分位範囲は23であり，最近隣法，最遠隣法，重み付き平均法（図3）など標準偏差は17．620である．の手法によって異なった変数のクラスターが得られた．

（2）中央値の比較

その主な原因は，LP−OLDFが異なるクラスターに入中央値の大小を比較すると，0IT（6）＜QIT（8）＜FIT＝LIT（9）＜LET（13）＜OET＝QET（14）＜FET

ることによって起こっている．

この点を除けば，内部標本と外部標本同士で大きな（15）になる．

クラスターを構成している．その中で，内部標本では内部標本の全ての中央値は9以下であり，外部標本2次判別関数とIP−OLDFが，外部標本では線形判別は13以上である．内部標本の誤分類数が，外部標本関数とIP−OLDFがサブクラスターを形成しているとの中央値より悪ければ問題であるが，それはなかった．

いう特徴を持っている．

内部標本では，IP−OLDFの方が，2次判別関数より成績が良いことは注目に値する．2次判別関数は，推以上から，LP−OLDFは，計算時間が少なくIP−OLDFの代替手法になるかと期待されたが，現実の定パラメータが多いので，IP−OLDFや線形判別関数適用には問題があるようだ．

より成績が一般的に良くなると思われる．その反面，外れ値などのデータの影響を受けやすいと考えられる．

樹状図8変数
重み付き平均法（冊G轟仏）ユ」川，ド距締

FIT
OIT
qlT
FET
OET
QET
LITLET203040506070100110

結合距♯

図3 変数のクラスター分析
2002年4月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（43）24丁表2 基礎統計量
平均 中央値最小値 最大値 25％点 75％点
円T

17．017

FET

22．165 15

UT18．713LET

24．878 130IT

13．4350ET

21．939 14

QIT

15．678QET

20．122 14

口TOIT

3．583

QITOlT

2．243

UTOIT

5．278

円TQ【TUT円T
UTQ【T3．035

99

標準偏差標準誤差歪み度尖り度

071

4 27 17．620

180

6 36 20．455080

3 32 20．757

83760

2 22 15．824

1

1．643 1．250 0．622
1．907 1．089 0．282
1．936 1．163 0．162
2．2糾 1．039 −0．312
1．476 1．274 0．588
1．8411．168 0．502

42 24．279

6084

7 33 19．748

8064

3 26 16．594

079

5 32 19．006

30172

52．8002−313132．4550．2291．020 2．444

3020

18

5．485

0．5111．185 0．426

l．339

1−720

02

3．156

0．294 3．08315．286

l．696

0−6

17 −1

3

4．575

0．4271．2621．060

−4

21 −1

55．346

0．4981．4741．457

111．547 1．122 0．120
1．772 1．023 一っ．019
0．2611．668 4．755

表3 t検定

この点で，IP−OLDFは，推定パラメータも少なく，FrT R≡T UT LET OrT OET Q［T QET

誤分類数も少ないので，2次判別関数より好ましいことは明らかである．

2次判別関数は，線形判別関数やLP−OLDFより良かった．この点は，医学データと異なっている．乱数データであるためであろう．一方，線形判別関数とLP−OLDFの誤分類数の中央値は，同じである．このFIT
0．00 −11．68 −3．97 −11．05 13．72 −11．58 4．55 −6．82
F∈T 11．68 0．00 8．24 −4．9116．17 0．78 12．99 6．29
UT
3．97 −8．24 0．00 −ほ23 10．32 −8．39 6．09 −3．06
L亡T 11．05 4．9113．23 0．00 13．41 4．9111．28 7，070汀 −ほ72 −16．け −10．32 −ほ41 0，00 −ほ24 −9＿80 −14．19OET 11．58 ・カ．78 8．39 −4．9118．24 0．00 14．93 5．g8
QIT −4．55 −12．99 −6．09 −11，28 9．80 −14．93 0．00 −11．31
OET

6．82 −6．29

3．06 −7．07 14．19 −5．98 11．31 0．00

点からも，あえてLPTOLDFを新手法として薦める
p（p−1）／2個も多いことによる問題点が明らかにならことはできない．

外部標本では，LP−OLDFの成績が一番良く，IP−ないことを示唆していると考えた方が良さそうだ．線

OLDFと2次判別関数の中央値が同じ値になった．

形判別関数は，内部標本でも外部標本でも，IP−線形判別関数のそれが一番悪かった．しかし，LETOLDFと2次判別関数より悪かった．の第3四分位数（75％点）と平均値は，FET，OET，（4）ⅩとYによる層別箱ひげ図による検討

QETに比べて一番大きかった．これは医学データで図4は，0ITのⅩとYによる層別箱ひげ図である．

も指摘されたが，LP−OLDFの誤分類数の振幅の幅が3つのグラフの左上，右上，左下は，Y＝0，2，4に大きいことを示しているものと考えられる．

対応している．各グラフの横軸はⅩの0から8に対（3）平均値の比較応し，縦軸は誤分類数を表している．個々の箱ひげ図

平均値の大小順は，OIT（13．4）＜QIT（15．7）＜FIT

は，Gl群の角度を5個回転させたものが描かれてい（17）＜LIT（18．7）＜QET（20．1）＜OET（21．9）＜FET

る．Y＝0の場合（左上のグラフ），Ⅹの値が増える（22．2）＜LET（24．9）になる．LET以外では，中央値と急速に誤分類数は減少している．これに対して，Yの結果とそれほど大きな違いはない．

＝2の場合（右上のグラフ），Ⅹ＝0と1でそれほど減

表3は，平均値の差の検定結果を表すt値である．
OETとFET以外は全て1％で棄却された．

少しないが，2以上で減少している．Y＝4の場合は，緩く減少している．これを見れば，Gl群の回転より以上から，次のように分かりやすい結論が得られる．

も，G3群の平行移動の方が誤分類数に大きな影響を内部標本でも外部標本でも，IP−OLDF＜線形判別関与えていることが分かる．また，誤分類数が少なくな

数＜LP−OLDFの順に成績が悪くなる．内部標本では，るにつれ，回転の影響も少なくなっている．

2次判別関数はIP−OLDFより悪く，外部標本では2次判別関数がIP−OLDFよりも良かった．

他の7個の変数も程度の違いはあるが，似たような傾向を示した．

すなわち，アイリスデータや医学データと異なり乱数データでは，2次判別関数が健闘している．このことは乱数データを用いている限り，推定パラメータが248（44）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

76

爪V

得げ図：0IT43爪U■ヽV2tlO1O

聖巨
雪￣ ・車重O

缶聯

O−

爪U O 爪V O O 爪U O
O07O0O
6 5 4 3 2−11

↑岩O 1 2 3 4 5 6 7 8
Y：2

O 1 2 3 4 5 6 7 8Y：0些】申▲曹申・車中・

コ＝最小一点大ニ●

0 1 2 3 4 5 6 7 8⊂：：コ 25‡−75‡

口 中央値

Y：4
‡

図4 0ITの誤分類数の箱ひげ図

表4 回帰式

5．相関分析と回帰分析
回帰式

相関係数

FIT＝2．181＋1．104×0IT 0．992
QIT＝1．735＋1．038×0IT 0．990
LIT＝1．243†1．300×0IT 0．991
FET＝5．122†l．269×OIT 0．981
QET＝4．399＋1．170×0IT 0．974
LET＝4．594†1．510×0IT 0．984
OET＝5．430＋1．229×0IT 0．985（1）相関係数の検討

相関分析を行ったところ，IP−OLDFと線形判別関数の相関係数が0．992と一番大きく，他の相関係数も0．967以上であった．行列散布図から，全て直線相関であることを確認した．そこで，IPの誤分類数で他の誤分類数を回帰分析し，評佃することにする．
（2）回帰分析による検討

誤分類数は，事前確率やリスクの値によって異なり，●80

判別結果の比較評価に用いにくい．これに対して，

70

IP−OLDFの誤分類数は一意に決まるので，それを説60

明変数として他の誤分類数を評価することが考えられ

P 50

工る．

T40

表4は回帰式と相関係数をまとめたものである．
30

FITをOITの誤分類数で回帰した回帰式は，FITZO＝2．181＋1．104×0ITであり，相関係数は0．992とlO

高い．0ITに比べ，10％ほど誤分類数が増えるようOだ．

0ZO

10

図5は，内部標本の回帰直線を表している．一番上

304050600ェTの一点鎖線はLP−OLDF，実線は線形判別関数，破線

図5 内部標本の回帰式

は2次判別関数，一番下の太い破線はIP−OLDFをIP−OLDFで回帰した回帰直線を表す．これら4手法の誤分類数の予測値は，平均の大小順と同じく，IP−分かる．

図6は，外部標本の回帰直線を表している．OET

OLDF＜2次判別関数＜線形判別関数＜LP−OLDFにを0ITで回帰した直線は，実線で表した線形判別関なる．ただし，0ITの値の小さなところではこれら数と破線の2次判別関数の間にくる太い破線である．の差もなく，大きくなるに従い差も大きくなることが

この結果も，次のように平均値で検討した大小順と同

2002年4月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（45）249

80た．これは，乱数データであるためと考えられる．
すなわち，研究論文では乱数データによる評価に重70きをおく傾向があるが，現実のデータと乱数データの60両方で評価することが重要であることが分かる．
P 50

いずれにしても，2次判別関数とLP−OLDFは，乱E

T40

数データと現実のデータの両方で評価することで，適用に問題があることが指摘できた．

30

これに対して，IP−OLDFは，乱数データと現実のZO

データの両方で好成績を得たことは，評価できよう．

lO

外部標本では2次判別関数より悪かったが，線形判別O
0⊥O

ZO

38405060関数より悪くなかったのは，意外な結果である．

ヒューリスティ ックなOLDFでは，External0エT

図6 外部標本の回帰式

Checkで線形判別関数より悪かったのは，この手法が大局的な最適解を求めていないか，データがいわゆるDiOAOタイプでしか評価しなかったことのいずれじである．

2次判別関数＜IP−OLDF＜線形判別関数＜LP−OLDF．そして，0ITが大きくなるに従い，手法間の違いが大きくなっている．

かであるが，後者の可能性が大きい．
今後の課題として，さらに3変数以上の正規乱数データや，他の分布による乱数データ，あるいは物理乱数データによる検討を行っていく必要がある．さらに，

6．結論

医学データで得られた多重共線性に関する知見を検証

IP−OLDFの誤分類数は，データに対しユニークにする必要がある．

決まり，説明変数が増加するにつれ単調減少するといまた，多くの判別分析やクラスター分析の研究でアう特徴がある．今回は，アイリスデータと医学データ

イリスデータが良く利用されているが，優れて現実的で得られた結果を，乱数データで確認することにした．

なデータを発掘あるいは乱数データを設計し，広く研その結果，内部標本の平均値の大小順は，IP−究者に提供していくことが今後重要と考える．

OLDF＜2次判別関数＜線形判別関数＜LP−OLDFの参考文献順であった．

現実のデータでは，外部標本によるExternal［1］S，Shinmura＆A．Miyake，Optimallinear dis−

Checkは行いにくい．乱数データであるため，今回

Criminant functions and their applications，Proceed−

これが行えた．その結果，2次判別関数＜IP−

ingsoftheCOMPSTAT79，pp．167−172，1979．

OLDF＜線形判別関数＜LP−OLDFの順であった．
一方，アイリスデータと医学データでは，IP−OLDF＜LP−OLDF＜線形判別関数＜2次判別関数，という結果が得られている．

［2］新村秀一：パソコンらくらく数学，講談社，1999．

［3］新村秀一：数理計画法を用いた最適線形判別関数，計算機統計学，1ト2，pp．93−105，1998［4］新村秀一・垂水共之：2変量正規乱数データによるIP−OLDFの評価，計算機統計学，12−2，pp．107−124，1999．

これらを突き合わせると，LP−OLDFは現実のデー［5］S．Shinmura，OptimalLinearDiscriminantFunction

タでは既存の手法より良くなる場合があるが，乱数デ（OLDF）using MathematicalProgramming，Bulletinータでは一番成績が悪かった．これに対して，2次判Of theInternationalStatisticalInstituteISI9952nd

別関数は現実のデータでは一番成績が悪かったが，乱SessionContributedPapersBook3，pp．247−248，1999．

数データでは線形判別関数やLP−OLDFより良かっ

250（46）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ