ORと統計の融合

数理計画法を用いた最適線形判別関数（2）−アイリスデ・−タへの適用一
新村 秀一＝‖‖‖‖＝‖‖‖‖＝＝‖‖‖＝‖‖‖‖‖‖‖‖‖＝‖‖‖＝＝‖‖‖‖‖‖‖＝‖＝‖‖‖‖‖‖‖‖‖‖＝‖‖‖＝‖‖‖＝mlll………‖＝‖‖‖‖＝‖‖……………lll……………州‖l川＝‖‖‖‖‖‖‖‖‖＝＝‖‖‖‖＝‖‖‖‖‖＝‖‖‖‖‖‖‖‖＝＝‖‖‖‖＝＝‖‖‖‖＝州Il…‖ml

2．アイリスデータ

1．はじめにこれまで，多くの判別手法が提案されてきたが，現アイリスデータは，3種のアイリス（セトナ・バー

実問題への適用によってその有用性を示せず消えていシタル・バージニカ）から，がく片（Ⅹ1）・がく片ったものも数多くある．その理由としては，既存の手幅（Ⅹ2）・花びら（Ⅹ3）・花びら幅（Ⅹ4）という4法に比べて，操作性が悪い，計算時間がかかる，理論変数を各50個ずつ計測したものである．の前提が現実ばなれしている，判別成績が悪い，内部セトナは，他の2群と容易に判別できるので，本研標本で成績が良くても外部標本で成績が悪い，等の理

究ではバー・シタルとバージニカの2群を用いる．すな由が挙げられる．

わち，各50個の2群を4個の説明変数で判別する問判別分析では，Fisherの線形判別関数が既存の代表的な手法である．操作性に優れ，計算時間が速いこ題である．この場合，事前確率はデータ数と同じ0．5対0．5と考えればよく，リスクも考える必要はない．とが特徴である．2次判別関数は，操作性や計算時間

本データは，統計学の泰斗であり自ら線形判別関数

ではFisherの線形判別関数に比べて劣るが，2群がにも名を残す英国のFisher卿が判別分析のテストデ等分散でない場合，少なくともFisherの結果に比べータに用いたことで，統計研究者の間でつとに有名でて成績がよいことが理論上期待できる．これらの手法ある．このため，判別関数やクラスター分析の研究やは，これまでの多くの統計手法と同じく，正規分布を説明に必ずといってよいほど用いられている．

前提に構築されている．しかし，多くの現実のデータ

この点で，多くの統計研究家が知識を共有するこのは正規分布であることは少ないし，多重共線性などのデータで，IP−OLDFを評価することに意味がある．

問題があるため，これらの手法は全ての判別問題に適またIP−0IJDFは，線形で表される判別関数の中で標しているとは考えられない．

本誤分類率が一IP−OLDFは計算時間がかかるが，特定の分布を仮定していない点に特徴がある．すなわち，広範な現実のデpタに適用可能である．また，Fisherの線形判番良いので，本講座の結果は今後開発される判別関数の手法の評価に目標を与えることになる．

一方，これほど有名なデータであるにもかかわらず，別関数と共に用いることで，判別結果に違いがなけれ基本統計量から始まって徹底的に解析されてこなかっば対象データはFisherの線形判別関数の仮定に従いた．新村（1997）は，データ解析の教科書として，こ2群は多次元正規分布で等分散と考えてもよく，IP−のデータを徹底的に分析している．またこのデータは，OLDFの結果がFisherの線形判別関数よりも良けれ相関係数の間違った解釈を避けるという統計教育におばこの仮定に従わないと考えられる．

いても重要な意味を持っている．

今回は，これらの点を有名なアイリスデータで評価することにしたい．このデータは，新村（1997）のCDqROMに収録している．また，http：／／sun．econ．
seikei．ac．jp／〜shinmura／からダウンロードできる．

3．解析結果の説明
表1は，SASによる全ての回帰モデル（総当り法）の出力結果に，今回提案するIPhOLDFとLP線形判別関数，Fisherの線形判別関数と2次判別関数の判

しんむら しゅういち
成践大学経済学部〒180−8633武蔵野市吉祥寺北町3−3−1

2002年2月号

別結果を付け加えたものである．
最初の数字（pの列）は，判別分析（回帰分析）に用いられる説明変数の数を表わしている．4個の説明変数© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（37）109表1総当り法による全ての判別（回帰）モデル1
p R−Square C（p） AIC IP LP F5 Q5Independent Variables
1 0．68642．l−250

556 6＊ X41 0．618

71．7 −231 558 7 ‡3次判別関数を用いることが望ましいことになる．
しかし，ズ2検定で棄却された8モデルでは，5％で棄却されたモデル（Ⅹ2，Ⅹ4）と（Ⅹ1，Ⅹ2，Ⅹ4）

1 0．244 236．2 −163 24

2427 30

Ⅹ1の2例がFisherの線形判別関数の方が2次判別関数

1 0．095 301．9 −145 29

3542 42

Ⅹ2

より良く，5％と1％で棄却された4モデルが同じでがでないのではないかと考えられる．

㍊の方が線形判別関数より良かった．結局ズ2検定は，4M二最㍊★T
主W・l薫−・X・43654 3 5 7

2 2 6 301・鸞T00︻

2 2 3り一2一一lリ︼

7已U︻・−30∩‖▼03︻・−・＋一・ −3t﹁0︻■−3hU
ごUハ54 73 仁3
U76り︼り■り一M7り■∩′︼ハhU

㍊M Xl

1

仁U

1一あり，1％で棄却された2モデルだけで2次判別関数

M∵㍊

43

一別亡じ一㍍

5只じ﹀

600

一20312﹁ハリ∩′■一11ごU
2
ハ︻h・U−0nJ
ハ‖＞
ハhU
バリ
■リ■0ハhU
仁U
24242・山†史丁

64

一2㍊

70

3 3 3 5 5 4

一12 2 2 2 272224211亡U424072290037762∧‖U O O nU O O

25 7＊‡2‡3Ⅹ4月号で紹介する管理された乱数データでしか良い結果

4．逐次変数選択法と総当り法によるモデル決定

Ⅹ1‡3Ⅹ4‡1‡2‡44．1総当り法と基本系列

Ⅹ1Ⅹ2‡3

表1のように，総当り法の出力があれば，逐次変数

140．784 5．0 −282

3 3＊＊ ‡1Ⅹ2‡3X4

選択法などをこの表の上でシミュレーションできる．
逐次変数選択法の変数増加法で停止則（Fi。基準）から，15個の判別分析のモデルが作られる．最右端を考えないで，1変数からフルモデルの4変数まで求の変数はモデルに含まれる説明変数を表わす．2番目

めたものを上昇基本系列と呼ぶことにする．表1から，以降の数字は，決定係数，Mallow，sのCp統計量，赤

このモデル系列は，（Ⅹ4）→（Ⅹ2，Ⅹ4）→（Ⅹ2，Ⅹ3，池のAIC基準である．ここまでがSASの出力である．

Ⅹ4）→（Ⅹ1，Ⅹ2，Ⅹ3，Ⅹ4）であることが分かる．

それ以降は，IP−OLDF（IP），LP線形判別関数

変数減少法で停止則（F。。t基準）を考えないで求め（LP），線形判別関数（F5）と2次判別関数（Q5）られた下降基本系列は，（Ⅹ1，Ⅹ2，Ⅹ3，Ⅹ4）→

による誤分類数を表わしている1．F5とQ5の5は，（Ⅹ2，Ⅹ3，Ⅹ4）→（Ⅹ2，Ⅹ4）→（Ⅹ4）である．すな

事前確率が0．5対0．5であることを表わしている．

わち，このデー′タでは上昇基本系列と下降基本系列で例えば，1行目は，Ⅹ4を説明変数とするモデルである．バーシタルに0とバージニカに1というダミー選ばれたモテリレは一致している．

両方のモデル系列が完全に一致し，それが各p次の目的変数値を与えた回帰分析の結果として，そのモJ 元で一番良いモデルである場合，最終的に選ぶモデル

デルの決定係数が0．686，Mallow，sのCp統計量がはこのモデル系列から選ぶことは理にかなっている．

42．1，赤池のAIC基準が−250になった．各判別関

しかし，不一致の場合は，モデル決定は難しくなる．

数による誤分類数は，それぞれ5個，5個，6個，6多くの統計ソフトでは，逐次変数選択法を提供して個である．このモデルは，説明変数が1個のモデルのいるが，総当り法が利用できない場合が多い．そのよ中で，決定係数が1番よいモデルである．モデル

うな場合は，逐次変数選択法でこの雨系列のモデルを（Ⅹ2）は，決定係数が0．095で一番成績が悪いモデ慎重に検討すればよい．
4．2 モデル決定ルである．

pが2すなわち説明変数が2個のモデルは，全部良いモデルを決定することに関して，オーソライズで。C2＝6個あり，その中でモデル（Ⅹ2，Ⅹ4）の決された意見はまだない．しかし，良いモデルは，基本定係数が一番良いことを表わす．

系列に含まれることが重要である．もし，上昇基本系2次判別関数の誤分類数につけられた＊や＊＊は，列と下降基本系列が一致しておれば，これに含まれる2群の分散共分散が等しいか否かのズ2検定が，5％かモデルはいずれも各pで決定係数が一番良いモデル1％で棄却されたことを示す．この場合，理論上は2になっていることが多いので，このモデル系列からモデルを選ぶ理由は大きい．

1p変数モデルで，判別境界に（p＋1）以上のデータがある場合，IP解の修正が必要である．アイリスデータではp＝2でこれが起きているので，散布図で確認し行った．pが3以上の場合の一般的な方法は見つかっていない．
110（38）

本研究では，これまでの経験から，次のように考えている．

①1変数からフルモデルにおいて，上昇と下降基本系© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

列で，Mallow sのCp統計量や赤池のAIC基準をかし，誤分類数の差がわずかであるので，それでもっ参考にして，適切な説明変数の個数pを決める．て明確な優劣の比較を行えないという欠点もある．

本論文では，AIC最小基準を用いる．このためには，停止則を考えることは意味がない．
②このpあるいはそれより少ない説明変数のモデルの中から，決定係数やMallow sのCp統計量や赤6．回帰分析による検討
6．1回帰式による評価
表1の15例のLP，F5，Q5をIPの最小誤分類数

池のAIC基準，あるいはその他の判別結果を参考で回帰すると，次の回帰式が得られた．にして，統計的に妥当なモデルを決める．多重共線

LP＝0．589十1．088IP性などで，基本系列が異なる場合，多重共線性を解

F5＝1．593＋1．173IP消して再検討するか，基本系列にないモデルも検討

Q5＝1．539＋1．258IP
図2の一・番上にある破線はQ5，その下の実線は対象にする必要があろう．
③固有領域の研究者にこの道んだモデルを提示し，彼F5，1点鎖線はLPを，傾き1の直線はIPをIPでらの考えと調整し，必要であれば再検討する．すな

回帰したものである．IPのどの定義域でも，IP＜

わち，統計的に良いモデルをできるだけ早く選んで，LP＜F5＜一35の順に誤分類数が大きくなっている．

それを現実に役立つモデル選択の出発点にすべきで

すなわち，IP−OLDFが一番成績がよく，2次判別関ある．

数が一番悪かった．これは，異なった判別手法の新し以上のおおまかなモデル選択の手順に，大きな問題はい評価法になる．
また，これらの誤分類数の平均値に差があることが，ないであろう．
このような問題点を提起し知識を共有できる点が，t検定で確認できた．

アイリスデータの存在意義である．その反面，4変数6．2 判別係数の検討しかないこと，誤分類確率がたかだか数％しかないの

図3は，IP〜OLDF，LP線形判別関数，Fisherので，各判別手法の違いが僅かであり，研究データとし線形判別関数の判別係数である．最初の3行は，Ⅹ4ては物足りないことは明らかである．

を説明変数とする判別モテリレを意味している．1行目と4列目のⅩ4とクロスする−0．556は，IP−OLDF

5．誤分類数の比較のⅩ4の判別係数である．定数項は全て1なので表基本系列上のモデルの誤分類数を図1で示す．IP−から省いている．2行目の−0．625は，LP線形判別

OLDFの誤分類数は，5，3，2，1と単調に減少する．

関数のⅩ4の判別係数である．3行目の−0．06は，これに対し，LP線形判別関数では，2変数で7に増Fisherの線形判別関数の判別係数である．

えて，後はIP−OLDFと一致している．F5は6，5，網掛けしてあるモデルは，注目に催する．X3を説4，3と単調に減少しているが，Q5では2変数で7と明変数と1「るモデルでは，IP−OLDFとLP線形判増え，後はF5と一致している．

別関数のⅩ3の判別係数が−0．204で同じであり，すなわち，LP線形判別関数と2次判別関数は，特定のデータに影響され2変数で判別成績は悪くなっている． このように，わずか4変数しかないが判別結果に違いがでる点でも興味ある問題を提供している．し04日⊥之⊥6ZO24ヱ8工p

図1基本系列モデルの誤分類数
2002年2月号

図2 4判別手法の誤分類数のⅠILOLDFによる回帰式© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（39）1‖

Fisherの線形判別関数の判別係数は−0．020である．

は，Ⅹ3の判別係数が−0．020なのに対して，モデル

このモデルにⅩ2が追加された（Ⅹ2，Ⅹ3）では，（Ⅹ2，Ⅹ3）の判別係数は（0．011，Ⅶ0．027）である．

IP−OLDFとLP線形判別関数のⅩ2の判別係数が0Fisherの線形判別関数からは，説明変数Ⅹ3をⅩ2であり，Ⅹ3の判別係数が−0．204と同じである．すに付け加えることの無意味さが分からない．

なわち，モデル（Ⅹ3）にⅩ2を加えたモデル（Ⅹ2，モデル（Ⅹ1）に変数Ⅹ2を加えた（Ⅹ1，Ⅹ2）のⅩ3）において，Ⅹ2は何ら情報を加えていないこと間でも同じことが言える．すなわち，変数Ⅹ1にⅩ2が分かる．これに対して，Fisherの線形判別関数でを加えても判別に効果が無いことが分かる．

同じことであるが，モデル（Ⅹ2）に，Ⅹ1あるいⅩ2

Ⅹ1

Ⅹ3

はⅩ3を加えたモデル（Ⅹ1，Ⅹ2）と（Ⅹ2，Ⅹ3）

Ⅹ4−0．556

Ⅹ4−0．625−0．060
Ⅹ3

では，Ⅹ2の判別係数が0になっている．
これらの知見は，従来の統計的なアプローチから得られなかった数理計画法の功績であろう．すなわち，2垂回帰分析や判別分析の変数選択問題も，係数が0に卿なるかならないかで判断できれば随分すっきりしたも

願

Ⅹ1のになる．
6．3 判別結果
環きⅩ2

図4は，Ⅹ2を横軸にⅩ4を縦軸にして，（Ⅹ2，Ⅹ4）のデータを十（バージニカ）と□（バーシタル）

Ⅹ2Ⅹ4

0．357

−1．190→0．062−0．4970．（舛1−0．129

Ⅹ3Ⅹ4

Ⅹ1Ⅹ4

線はFisherの線形判別関数を表わす．LP線形判別−0．152 −0．152関数が他の2つと異なっていることが分かる．図から

0．119−0．3570．（汐2−0．323

0．031
0．028

−0．061−0．（汐2結んだ直線になっている．
−0．253−0．（X氾−0．059

0 ヰ0．011概8幻Ⅹ1Ⅹ3Ⅹ4

Ⅹ1Ⅹ2Ⅹ4Ⅹ1Ⅹ2Ⅹ3

Ⅹ1−Ⅹ40

されている．それが実線で表わされるIP−OLDFでは02個の十が誤分類されなくなっている．

0．181 −0．141 −0．482
0．185 −0．185 −0．370
0．031 −0．017 −0．062

0．067
0．066
0．022

図6は，（Ⅹ1，Ⅹ3）を表わす．IP−OLDFとLP−0．239 −0．146−0．222 −0．192−0．034 −0．042−0．（X旧 0．357−1．190−0．108 0．108−0．394−0．α施 0．036−0．0980．137 0．103 −0．445
0．090 −0．（X汐 −0．315
0．033 0．008 −0．067
0．038 0．070 −0．208 −0．251
0．060 0．045 −0．232 −0．212
0．021 0．034 −0．042 −0．074

図3IP，LPとFisherの判別係数112（40）なっていることが分かる．ただし，IP−OLDFの傾き
バージニカを結ぶ直線であり，2個の＋と□が誤分類−0．003
Ⅹ2Ⅹ3Ⅹ4

図5は，（Ⅹ3，Ⅹ4）を表す．3つの判別関数が異は他の2つの間にある．LP線形判別関数は，2個の0Ⅹ1Ⅹ2

分かりにくいが，IP−OLDFとLP線形判別関数は，端点解を求めているので，少なくとも2個のデータを−0．669

Ⅹ2Ⅹ3の判別関数を表す．点線はLP線形判別関数，一点鎖−0．127 −0．253−0．（X汐 −0．032

Ⅹ1Ⅹ3で2群に分けてプロットしている．実線はIP−OLDF

2三．4

之．8

3．Z

3．6

X

図4 2群のプロット（Ⅹ2：横軸vs．X4：縦軸）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ

4

6．8
6．4

十6．05．6Y5．Z
4．8
4．4
4．0
3．6
3．2
Z．83，之 3．64

4．4 4．8 5．2 占．6

2．426 6．4 6．8

2．葛3．2

3．g4X

X

図8 2群のプロット（Ⅹ2：横軸vs．X3：縦軸）

図5 2群のプロット（Ⅹ3：横軸vs．X4：縦軸）
6．8
6．4
6．ロ
吉．6Y占．Z
4．8
4．4
4＿0
3．6
3．Z
2．8

4．86

占．Z 占．6

6．4 6．8 ？．2

7．684．￠

5．2

5＿666．4X

図6 2群のプロット（Ⅹ1：横軸vs．X3：縦軸）

十十十十 十 十十十十十十 十十十 十十十十・．．十十■・・寸

6．Q ？．2

ワ．G8X

図9 2群のプロット（Ⅹ1：横軸vs，Ⅹ2：縦軸）十十十十十る．図8では，Ⅹ3にⅩ2を加えても何ら判別に貢献しないことを表わしている．すなわち，モデル（Ⅹ2，Ⅹ3）はモデル（Ⅹ3）と本質的に差がないことを表わしている．図9は，Ⅹ1にⅩ2を加えても意味のな■ ■■■■■● ■ 一■■ ■ −■−■■ 一■−・一、・−・−・−・●■・・■・・■・一・・・■■・−・・−

十・ −いことを表わしている．

・・ ・十・十‥十● ■ ●

1．2

●

−−■、■

● ■ ■ ○
● ■7．まとめと今後の課題

●

■

●●

今回，数理計画法を用いたIPLOLDFとⅠ，P線形判
4．8

占．2

占．6

6

6＿4

6．8？．2？．6

昏

別関数を提案し，アイリスデータに適用し，Fisherの線形判別関数と2次判別関数との比較評価を行った．

X

図7 2群のプロット（Ⅹ1：横軸vs．X4：縦軸）

アイリスデータは，説明変数が少なく，基本系列上の誤分類数がたかだか7個であるので，大きな優位性線形判別がほぼ重なっているが，Fisherの線形判別は認められなかったが，それでもIP−OLDFの判別成関数ともそれ程異なっていない．

績が一番良かった．

図7は，IP−OLDFとFisherの線形判別関数がほ3月号と4月号では19変数の多重共線性のあるデぼ同じ傾きであるのに対して，LP線形判別は負の傾ータと乱数データに通用し，従来の判別分析では得らきである．Fisherの線形判別関数のⅩ1の判別係数れない興味ある結果について述べる．

がほぼ0（−0．0002）である．

参考文献

図8，9は，判別係数で検討したことを表わしてい2002年2月号［1］新村秀一：パソコン楽々統計学，講談社，1997．

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（41）113