高次元データにおけるナイーブな正準相関を用いた特徴選択手法
玉谷充

1．はじめに
特徴選択手法とは，パターン認識において有効な特徴を抽出する方法の1 つである。そもそもパターン認識とは，認識対象がいくつかのクラスに分類できるとき，観測されたパターンをそれらのクラスのうちのひとつに対応させる処理のことである。単純なパターン認識としては，重さや大きさによって対応させる硬貨の認識， から  の数字のいずれかに対応させる数字の認識などが挙げられるが，キーボードからの入力に代わる文字の入力方法として，ヒトの話す音声をコンピュータによって何らかの処理をし，話している内容を文字データとして取り出す音声認識や，画像データの画像内容を分析し，その形状を認識する画像認識などがパターン認識の応用として挙げられる。近年における技術においても，音声認識だと
L3KRQH の 6LUL であったり，画像認識においても *RRJOH アプリであったりと，日常生活においてもパターン認識という技術が広く用いられていることが分かる。
パターン認識の枠組みとしては，2 値化やノイズ除去などのような認識過程を容易にするために前もって行う処理（前処理）をし，何らかの構造を持った特徴ベクトルを選択し，クラスが既知であるパターンを学習し，クラスが未知であるパターンを，前もって学習して得た評価式をもとに決定・出力するのがおおまかな流れである。本論文では，確率的な対応関係
─ 93 ─

成城・経済研究 第 238 号（2022 年 11 月）に基づいて判別関数をどのように構築すればいいのかという枠組みを紹介
し，高次元データにおいて特徴選択手法をどう組み込めば良いのかを考える。一般に，クラスが既知のデータに基づいて学習をする手法を教師あり学習と呼び，与えられたクラスが未知であるデータに対して誤って判別してしまう確率をなるべく小さくすることが目的である。その目的を得るた
めに，N1HDUHVW 1HLJKERU 5XOH や経験リスク最小化，カーネル法，ニューラルネットワークなど，様々な手法が提案されてきた（各手法については，
例えば 'HYUR\H HW DO  を参照）
。特に，クラス間の距離を大きく，クラス内の分散を小さくするような基準から導かれる )LVKHU の線形判別関数はよく用いられ，正規性かつ等分散の条件のもとではその最適性も証明されている。
しかしながら，)LVKHU の線形判別関数は少ない特徴（次元）に対して，既知のデータがある程度手元にあれば構築可能であるが，次元が手元にあるデータ数よりも大きい場合，線形判別関数に含まれている分散共分散行
列の推定量を求める際に特異行列となってしまい，従来の手法では構築することができないという問題が生じてしまう。そこで一つの改良として，得られた推定量の対角成分だけを取り出して判別関数を構築する。こうす
ることにより，各成分の分散が  でない限り，判別関数を構築することが可 能 と な る。こ の よ う な 手 法 を 1DLYH %D\HV と い い，%LFNHO DQG /HYLQD
 ，)DQ DQG )DQ  はこの判別関数の性能について考察を与えた。

一般に，データ数よりも次元が極端に大きいようなデータを高次元小標
本 +'/66 というが，近年では '1$ マイクロアレイデータの解析やゲノムに関する研究，すなわち +'/66 に関する研究が盛んに行われている。
しかしながら，このようなデータはコストが非常にかかるため，多くの標本を収集することは難しく，そのようなもとでの解析・理論は発展途上の段階である。1DLYH %D\HV の手法は，データ数と次元の関係に依らず構築することができるが，その反面で共分散構造を落とし過ぎているのが一つ─ 94 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法の欠点であり，+'/66 においては推定量の一致性についても議論がなされる。
本論文は次のように構成されている。第 2 節では，特徴選択を実行した後に行う判別分析を正準相関分析という観点で構築をする。その際，)LVKHU の評価基準というものに帰着するため，その辺りの部分について議論する。第 3 節においては +'/66 の設定においての判別手法について述べる。特に，+'/66 の設定のもとだと従来の手法を使うことができない問題に直面してしまうが，その問題を回避する手法の 1 つであるナイーブな正準相関に基づく判別関数という手法を紹介する。第 4 節では，特徴選択手法を紹介したもとで，先行研究を改善する特徴選択手法を新たに提案する。そして，第 5 節においては新たに提案した特徴選択手法の性能を見ていくために，適当な設定のもとで先行研究との比較を行っていく。

2．正準相関分析に基づく判別分析
判別分析とは，クラスへの属性が未知の G 個のデータがあり，どのク
ラスに属しているのかが未知の観測値が新たに得られたときに，G 個のデータを利用してその新たな観測値のクラスへの属性を決定する手法である。
数学的な枠組みとしては，( をクラス数としたとき，クラスを与える関数@  ī ơ ļ [  Ȑ ( ]を定義し，新しい観測値 QŻī ơ に対するクラスの割り当てを行う。このような関数 @ を判別関数といい，観測値 Q のクラスを R としたとき，なるべく @ Q ƨR とならないように判別関数 @ を構築する必要がある。
本論文では，(  として，2 値 R  の判別における最良の判別関
数 @ の構築方法について述べる。特に，ここでは各クラスの確率分布を= 変量正規分布に従っていると仮定する。一般に，確率変数ベクトル 3
─ 95 ─

成城・経済研究 第 238 号（2022 年 11 月）

が平均ベクトル á，分散共分散行列 ì の = 変量正規分布に従っているとき，3 の確率密度関数 ? ƚ は，? ƚ ΧQζχ  Qá ì Qá ϖ

>QI 

ơ

ĝ å DET ìƖ՞Ӯと書ける。これを 3^)ơ á ì と書く。この分布のもとで最良の判別
関数 @ を考えた場合，)LVKHU の線形判別関数が最適であると言われている。線 形 判 別 関 数 と は，ī ơ 空 間 に お け る 新 た な 観 測 値 ベ ク ト ル QQӮ Ȑ Qơ

Ɩ

に対して，重みベクトル : :Ӯ Ȑ :ơ

重み付けされた量 :ƖQơ:ӭƃ ƦӸӮ :ƦQƦ

Ɩと定数 :ӭ によって:ӭ の符号によって判別する関数のことである。このような関数は，複雑な超曲面を当てはめる手法よりも解釈しやすく，判別関数の精度評価をする際にも解析しやすいのが特長である。ここで問題となってくるのが，ī ơ における重みベクトル : をどのように決めれば良いのかであるが，実際に重みベクトル : の決定は，様々な評価基準によって実行できる。最初に提唱された手法は直感的な概念に基づく手法であり，)LVKHU  によって提唱された。この手法について理解するために，いくつかの記号を導入する。

定義 2.1. クラス D のもとでの条件付き平均ベクトル áƨ を以下で定義する：áƨ <3\4 D>

定義 2.2. 同じクラス内の散らばりの尺度を測る量をクラス内変動行列.ƙ とし，以下で定義する：.ƙ  < 3áӭ 3áӭƖ

͟ 4 >< 3áӮ 3áӮƖ

͟ 4 >定義 2.3. クラス間の散らばりの尺度を測る量をクラス間変動行列 .Ƅ とし，以下で定義する：
─ 96 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法.Ƅ áӮáӭ áӮáӭƖ

これらの尺度を用いて，観測値ベクトル 3 を重みベクトル : の向きで射影した 5 : :Ɩ 3 の量についての尺度を考える。このとき，5 : はスカラー量となり，この 5 : についての定義 2.1 から定義 2.3 によって
ΝΝ定義される量をそれぞれ áΝ ƨ : ，.ƙ : ，.Ƅ : とすると，áΝ ƨ : :Ɩ áƨ，Ν.ƙ : :Ɩ.ƙ :，Ν.Ƅ : :Ɩ.Ƅ:ΝΝ

で与えることができる。)LVKHU は，この変換後に得られた .ƙ : と .Ƅ :
に対する比
Ν

.Ƅ :
: Ɩ . Ƅ:% : Ν Ɩ: .ƙ :.ƙ :を最大にすることを考えた。つまり，クラス間変動をできるだけ大きくし，なおかつクラス内変動を小さくするようにしたのが )LVKHU の与えた概念である。この評価基準 % : を最大にするベクトルを :Ν としたとき，いくつかの線形代数における固有値問題を解くことによって՞Ӯ:Ν .ƙ
áӮáӭ

を導出することができることが知られている。ゆえに，互いのクラスを分ける分岐点を E とし，得られた :Ν を用いて E áΝ Ӯ :ΝáΝ ӭ :Ν  とする。

このとき，@Ν ƞ Q 5 :Ν E とすれば，)LVKHU の判別基準に基づく判別関数を得ることができる。
次に，正準相関分析について述べ，判別分析との関連性についてまとめる。正準相関分析を考える際に，改めて設定を表記する。まず，I 変量の中心化された確率変数ベクトル 3Ʃ3 <3> と J 変量の中心化された
確率変数ベクトル 4 Ʃ4  <4 > を考え，LMIN [I J] とする。また，重みベクトルを :ƦŻī ƭ，;ƦŻī Ʈ B Ȑ L としたとき，以下の合成変量
─ 97 ─

成城・経済研究 第 238 号（2022 年 11 月）

NƦ:ƦƖ 3，OƦ;ƦƖ4を考え，NƦ と OƦ の相関が最も高くなるような重みベクトル :Ʀ と ;Ʀ を求める。つまり，NƦ と OƦ の相関係数を K NƦ OƦ とし，この量が最大となる
ような重みベクトル :Ʀ，;Ʀ と定めれば良いが，これは 1 <NƦ>1 <OƦ>
という制約のもとで K NƦ OƦ を変形すると，ƖK NƦ OƦ :ƦƖ < 3 <3> 4  <4 > >;ƦƩ:ƦƖ ƃ ƚƛ ;Ʀ
となる。あとはラグランジュの未定乗数法を用いて
à Χ :ƦƖ ƃ ƚ :Ʀζ:ƦƖ ƃ ƚƛ ;Ʀ

â Χ ;ƦƖ ƃ ƛ ;Ʀζ

を解くと，固有値問題

Пƃ

՞ӮӬӯ
ƚ

՞Ӯ

՞ӮӬӯ

ƃ ƚƛ ƃ ƛ ƃ ƛƚƃ ƚПàƦӯ $ 

に帰着し，固有値が 0 でないものに対する固有ベクトルは L 個定まる。このときの NƦ，OƦ を第 B 正準変量といい，NƦ，OƦ の間の相関係数 æƦĝ àƦӯ を՞ӮӬӯ

第 B 正準相関係数という。特に，ƃ ƚ՞ӮӬӯƃ ƚƛ ƃ ƛとおけば，固有値

問題は П  ƖàƦӯ $ П と書き表すことができる。ここで，正準相関に基づいて判別関数を構築することを考える。すなわち，先の正準相関分析では3，4 を共に中心化された I，J 変量確率変数ベクトルと定めていたが，特に 4 を J とし，2 値をとる離散型確率変数ベクトルとする：
4

4ӭ

χ ϖ
4Ӯ

，

4Ӯ

ϥ

 +KH;:;BEBMRå +KH;:;BEBMRå

，

4ӭ4Ӯ．

そして，4 に関しては中心化しない以下の量を考える：
՞ӮӬӯ

ƃ ƚ

<Χ3áƚζ4 Ɩ> <44 Ɩ>

՞ӮӬӯ

．

このとき，各期待値部分について評価をすると，最終的に─ 98 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法

՞ӮӬӯ

ƃ ƚ

áӮáӭ υĝ å ååĝ å ϔ

が得られ，
՞ӮӬӯ

 Ɩæ ƃ ƚáӮáӭ áӮáӭ

Ɩ

՞ӮӬӯ

ƃƚ

となる。ただし，æå å である。ここで，固有値問題  Ɩ Iâ ӯ I՞ӮӬӯについて考え，;ƃ ƚI とおくと，Ɩæ Χ áӮáӭζΧ áӮáӭζ ;â ӯƃ ƚ ;となり，両辺左から ; Ɩ を掛ければ，)LVKHU の評価基準に帰着する：
Ɩ% Χ;ζ; Ɩ áӮáӭ áӮáӭ ;．
;Ɩ ƃ ƚ ;3．+'/66 における判別関数の構築
前節においては，母集団における判別関数の構築方法について述べてきた。しかしながら，実際には = 変量正規分布の場合だと平均ベクトル áƨや分散共分散行列 ì は未知であり，これらのパラメータは既に得られたデータに基づいて推定量を与えていかなければならない。従来，標本サイズがある程度得られており，次元が標本サイズよりも大きくない場合には先で議論した判別関数を構築することは可能であるが，次元が標本サイズ
よりも大きい場合だと判別関数を構築することすら不可能な状況となる。
ここで本節では，なぜそのような問題が生じてしまうのかを述べ，先行研究で実際に行われている手法 1DLYH %D\HV と正準相関に基づく判別関数の構築方法について述べる。
まず，標本に基づく従来の手法について与える。各クラスにおける観測値 ベ ク ト ル 3ƨ は，平 均 áƨ，分 散 共 分 散 行 列 ì の = 変 量 正 規 分 布 )ơáƨ ì に従っていると仮定する。また，ここでは各クラスで Gƨ 個のデ─ 99 ─

成城・経済研究 第 238 号（2022 年 11 月）ータがあると仮定し，クラス D における観測値ベクトルを 3ƨӮ，Ȑ，3ƨƫȞ
とする。このとき，各パラメータの推定量としてよく用いられるのは最尤ͬͬ
推定量である以下の標本平均 áƨ と標本分散共分散行列 ì である：
ƫȞ

ͬ 
á
3ƨƦ，
ƨ
Gƨ ƃ
ƦӸӮ
ͬ
.
ƨ
ͬ
ì

ƫ

Ȟ

ͬ 3 á
ͬ Ɩ，
3ƨƦá
ƨ
ƨƦ
ƨ
ƃ
Gƨ ƦӸӮGϤ G  .ͬӭӭͬGӮ .Ӯ ．

ϳ

このようにして得られた推定量を，対応するパラメータに代入した判別関数を，標本に基づく判別関数と呼ぶ。従来の手法では，得られたデータの標本サイズはある程度大きく，特徴（次元）が標本サイズを超えないような設定のもとで推定量を求めれば，データが互いに独立であるという仮定がある限り，判別関数を構築することができる。
一方，標本サイズ G と次元 = の関係が逆の関係になったとき，すなわͬち，データと次元が G= という関係になってしまったとき，本来 ì は G
ͬ本のベクトルを用いて行列を生成していることから，K:GD ìMIN[G =]ͬͬとなる。ì 自体は == の行列なので，GƬ= であれば K:GD ì= となり，
ͬͬ
ì は正則行列であることが分かる。しかし，G= だと K:GD ìG= とͬͬなってしまい，ì は正則行列でなくなってしまう。すなわち，これは ìの逆行列が存在しないことを意味し，)LVKHU の評価基準で用いられていた
分散共分散行列に代入することができないといった問題が生じてしまう。
では，標本サイズ G と次元 = の関係が G= のとき，どのように推定ͬ量 ì の逆行列が存在しない問題を回避すれば良いのだろうか。その問題解決の手法の 1 つとしては，対角成分だけを残し，非対角成分は全て 0 にするという手法が挙げられる。すなわち，従来の分散共分散行列の推定量
ͬ の代わりに，ͬ=B:@ ìͬ を用いることを考える。このようにして判別ì─ 100 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法

ͬ çͬ の対角成分 çͬ が非零である限り，逆行列は関数を構築すれば，ƦƧƦƦ
存在することから，判別関数を構築することができる。
次に，正準相関に基づく判別分析において，1DLYH %D\HV を適用するこ՞ӮӬӯ

とができないかどうかについて述べる。母集団においては ;ƃ ƚ

Iを用いることによって )LVKHU の判別基準に帰着することを述べていたが，こͬͬͬ
こでは  の推定量を与え，  Ɩ の最大固有値に対する固有ベクトル I を求め，この推定量を用いることにより 1DLYH %D\HV が導けることを示す。
ͬ ͬ ՞ӮӬӯ ͬ
その際に，G= だと推定量 ; ƃ ƚ I は，)LVKHU の線形判別関数と同ͬ様 ƃ ƚ の逆行列が得られないという問題が生じる。ゆえに，3，4 をそれぞれデータ行列とクラス行列とし，行列  の推定量をͬͬ ՞ӮӬӯ  34 Ɩ

G

Ω



θΩ G 44 θ՞ӮӬӯƖ

に よ っ て 与 え る。た だ し，3<3ӮӮ Ȑ 3Ӯƫո 3ӭӮ Ȑ 3ӭƫշ>，4 <4ӮӮͬͬ
Ȑ 4Ӯƫո 4ӭӮ Ȑ 4ӭƫշ> である。このとき，  Ɩ の最大固有値に対する固ͬͬ ͬͬ
有ベクトルの推定量 I を求めることができ，;  ՞ӮӬӯ I を得ることができる。つまり，通常の判別分析では )LVKHU の判別基準を満たすベクトル :Ν
を求めるために，固有値問題を考えていくのに対して，正準相関に基づく
ͬ判別手法においては， を用いてその行列の最大固有値に対する固有ベクトルを求め，データ行列 3 とクラス行列 4 の間で相関が大きくなるよͬͬ
うな I を与える。特に， の中でも 34 ƖG という量が 3 と 4 の間の相ͬͬͬ ͬ
関に関連している。一方， と  Ɩ を入れ替えた  Ɩ の最大固有値に対Ɩͬͬ
応する固有ベクトルの推定量 I ӭ は，I ӭ ĝ GӭGӮ  と求められる。
ͬはͬͬ Ɩ の最大固有値に対する固有ベクトルのため，したがって，求める I
固有値・固有ベクトルの関係式
ͬ Ɩ
ͬI
ͬ âI
ͬ ˥˧ ͬͬƖ ͬIͬ â 
ͬI
ͬ

ӭ
ӭ
ӭ
ӭ
ͬ
ͬ Ɩ の最大固有値に対する固有ベクトル IͬͬIͬ を得る。この Iͬより，ӭ─ 101 ─

成城・経済研究 第 238 号（2022 年 11 月）を整理すると，ͬͬIͬ  Gӭ ͬ ՞ӮӬӯ á
ͬ á
ͬ
I
ӭ
Ӯ
ӭ
Ğ GӮ
という厳密な等号が成立し，最終的に求める ;ͬ はͬ՞ӮӬӯ I
ͬ
;ͬ

Gӭ ͬ
;ƐƄ
Ğ GӮ

ͬ
となる。すなわち，; の長さは 1DLYH %D\HV と ĝ GӭGӮ 倍異なるだけであり，判別に影響を与えないため，正準相関に基づく判別関数から 1DLYH%D\HV が導ける。

4．特徴選択手法
前節では +'/66 に対する理論的な側面で判別関数の構築方法を述べてきたが，ここでは +'/66 における実用的な側面についてまずは見ていくことにする。+'/66 とは +LJK 'LPHQVLRQ /RZ 6DPSOH 6L]H の略称であり，標本サイズが数十，数百というのに対して，次元が数千，数万あるようなデータのことを指す。+'/66 の例としては白血病 /HXNHPLD データ，肺
がん /XQJ &DQFHU データ，前立腺がん 3URVWDWH &DQFHU データ等が挙げられ，
オープンデータとしても公開されている。これらのデータは次元が 
前後あるようなデータであり，各データの訓練データ 7UDLQLQJ 'DWD とテストデータ 7HVW 'DWD を各クラスごとで平均をとり，その差の値をプロットした図を以下に与える：

─ 102 ─

0

6000

Dimension

mu1−mu0

10000
0

4000

8000

4000

8000

12000

Dimension0

mu1−mu0
4000

12000

−10000mu1−mu00 50002000

8000

Dimension−1000004000

0 4000mu1−mu0
0

−6000

10000

6000

12000

Dimension

0 40004000

Dimension

−6000

2000

0

mu1−mu00−100000 5000−10000mu1−mu0

高次元データにおけるナイーブな正準相関を用いた特徴選択手法

0

4000

8000

12000

Dimension

図 2.1：+'/66 の可視化

図 2.1 を見てもわかるように，各特徴には大きな差が見られたり，ほとん
ど差の無い特徴もまた存在することが分かる。特に，ほとんど差の無い特徴については，判別を行うときに情報を得られないことからノイズとなってしまい，そのようなノイズが蓄積してしまうと，判別自体に弊害が生じてしまう可能性がある。実際には特徴選択をすることによって弊害を避ける こ と が で き，+'/66 に お け る 特 徴 選 択 手 法 の 先 行 研 究 と し て は
7LEVKLUDQL HW DO  の 1HDUHVW 6KUXQNHQ &HQWURLGV PHWKRG 16& や )DQ DQG)DQ  が提案した )HDWXUH $QQHDOHG ,QGHSHQGHQFH 5XOHV )$,5 等といったものが挙げられる。
本節では，)DQ DQG )DQ  が提案した +'/66 における特徴選択手法)$,5 を簡単に紹介し，そこからナイーブな正準相関を用いた特徴選択手法というものを新たに提案する。また，以下では特に断らない限り³次元（特徴）´とは，説明変数の個数を表すことにする。+'/66 における特徴選択手法 )$,5 は 2 標本 M 統計量に基づく特徴選択手法であり，C 番目の特徴を

─ 103 ─

成城・経済研究 第 238 号（2022 年 11 月）

/Ƨ

ͬ
ͬ
á
ӮƧáӭƧͬĝ ç ƧƧ Gӭ GӮとしたときに，この値が大きくなるような特徴の番号 C を上から順に取ってくる手法である。一般に，特徴選択手法は以下の 4 つの手順によって構築される。
6WHS ．特徴選択のベースとなるベクトル <ͬ を計算する。
ͬ
6WHS ．< の成分の絶対値が降順となるように並べ替えを行う。
\<ͬƦո\Ƭ\<ͬƦչ\ƬȐƬ\ <ͬƦȠ\ƬȐƬ\<ͬƦȗ\Ƭ．
6WHS ．上記で得られた並べ替えに基づいて，データ 3 とベクトル <ͬ を並べ替える。
ͬ
6WHS ．1 番目から F 番目までの特徴を用いて判別を行う。
先に挙げた )$,5 の場合，各成分において 2 標本 M 統計量を計算し，そのͬ
値 が 大 き い 順 か ら 取 っ て く る こ と に な る が，前 節 で 用 い ら れ た Iͬͬ ƖͬIӮ Ȑ Iơ から /Ƨ<ƫ I Ƨ として表現することができる。この先行研究ͬͬͬ Ɩに対して，本論文では前節で用いられた ;  ; Ӯ Ȑ ; ơ に基づいて並べ替えをする手法を提案する。この手法を 1DLYH &DQRQLFDO &RUUHODWLRQ 1$&&といい，詳細については 7DPDWDQL .RFK DQG 1DLWR  にてまとめている。
ͬ
一方，6WHS  において，F 番目までの特徴を用いて判別を行うとしていͬ
るが，F というのをどのようにして決めるのかという点も 1 つの重要な点となる。)DQ DQG )DQ  では，)$,5 を提案する際に 1DLYH %D\HV における誤判別確率というのを導出しており，その結果に基づいて以下の選択
ͬ
個数 F を与えている。
ͬF ARG MAXӮƫƪƫơàͬƪƞƵ -ƪ

φƃ

ƪ
ƧӸӮ

ͬ á
ͬ ӯçͬ
áӮƧӭƧƧƧ

GF GӮGӭ
─ 104 ─F GӭGӮƃ ƧӸӮ áͬӮƧáͬӭƧ çͬƧƧ
ƪ

ӯ

ϕ

ӯ

高次元データにおけるナイーブな正準相関を用いた特徴選択手法

ただし，-ƪ は相関行列であり，àͬƪƞƵ は行列に対する最大固有値である。
ͬ
本論文においても，この F に基づいて構築するが，いくつか改良をした
ͬ
もとで新たな特徴選択手法を提案する。まず，上記の F については点推定によるものであり，これを区間推定の形で与え直すことによって特徴選ͬͬ
択手法の改良を加える。7DPDWDQL DQG 1DLWR  では，  Ɩ の最大固有ͬ
値 àƫөơ における分布収束性について議論した。これは，適当な正則条件のもとでGӮGӭ G Ɩ ՞Ӯ
G= GG ͬÖ  Ö ӯàƫөơ ӯ
Ğ à
G G
G G

ϥ

Ɔ

ϴ ˡˣ )  Ûとなることを導いた。ただし，ÖáӮáӭ である。また，Û については特定の条件下であれば ÛÖ Ɩ ՞Ӯì ՞ӮÖ / Ö Ɩ ՞ӮÖ に収束することを示す
ことができる。その結果を用いることにより，以下の àƫөƪ の ΧÖζ
の信頼区間を得ることができる：
ͬàƫөƪ ͬ ͬ
F G
F G
ͬ
S ǒӯ
Û àƫөƪ0ƪ àƫөƪ
G G
G G
Ğ G

ω

SǒӬӯ
Ğ

ͬ
àƫөƪ ͬÛ
GϘ

ここで，SǒӬӯ は標準正規分布 )   の上側  Ö パーセント点であ
ͬ
ͬ
ͬ ͬ ͬ
る。一方，固有値 àƫөơ については àƫөơ GӮGӭGӯ Ö Ɩ ՞ӮÖ という形で表
ƪ
ͬ
ͬ
ͬ ӯ ͬ
すことができ，F の式の中にある ƃ ƧӸӮ áӮƧáӭƧ ç ƧƧ に依存しているこͬͬとが分かる。ゆえに，F を最大化にする量を ñ àƪ としたとき，
F ARG MAX MAX ñ NƪӮƫƪƫơƲȠ՘Ɨ Ƞ

という形で新たに特徴の選択個数 F を提案する。これにより，信頼区間内で最大にするような点を見つけるために区間 0ƪ 内で数値計算を行わなͬ
ければならず，F と比べると計算回数が多くなってしまうのが欠点ではあるが，実際の判別の精度を改善してくれる見込みはある。以下では，選択個数 F を用いて特徴選択する手法を )$,5 並びに 1$&& と命名す
─ 105 ─

成城・経済研究 第 238 号（2022 年 11 月）

る。次節では通常の特徴選択手法との性能を比較するために，数値実験を行うことにする。

5．数値実験
ここでは次のような形で数値実験を行う。まず，パラメータの設定として各観測値ベクトルは = 変量正規分布 )ơΧ áƩ ìζ E  に従っていると仮定し，クラス 1 の平均ベクトル áӮ は零ベクトル，クラス 0 の平均ベ
クトル áӭ は最初の 10 個の成分は 2 であり，それ以外の成分は 0 といった形で与えておく。また，分散共分散行列 ì については単位行列 $ ơ の場合と =B:@   Ȑ = としたとき，ìӮӬӯ -  ӮӬӯ の場合の 2 パ
ターンについて実行する。ここで，-  は $5 構造のことであり，
-Χæζ Χ æ ԲƦ՞ƧԲζӮƫƦөƧƫơ によって定義される。つまり， B C 成分の添字 Bと C の値が近ければ相関が高く，遠ければ相関が無くなっているような構造となっている。また，予め各クラスのテストデータを 5,000 個生成し，後の手順で出てくる誤判別率の推定値で用いることにする。次に，数値実験の手順について述べる。まず，トレーニングデータとして各クラス GƩ個生成する。この実験では特に偏りなく，GӮGӭ としておくため，GƩG
として考える。そして，そのトレーニングデータをもとに，前節で述べた
特徴選択手法を適用する。すなわち，)$,5 と 1$&&，そして，)$,5 と1$&& の 4 種類を実行することになるが，実際に特徴選択が有用であるのかを確かめるために 1DLYH %D\HV も実行するため計 5 種類の性能を比較することになる。性能については誤判別率によって比較し，これを 1,000回繰り返すことによって推定値を与える。以上の手順によって得られた数
値実験の結果が以下の表でまとめられる：─ 106 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法
表 4.1：ì$ ơ としたときの誤判別率の推定値
G =
)$,5
)$,5
1$&&
1$&&
1DLYH %D\HV 






 






表 4.1 から分かることは，次元が 200 の場合は通常の特徴選択手法の精度が良いことが分かり，1DLYH %D\HV の精度もそれほど悪くない傾向が見られる。しかし，次元が 1,000 の場合，1$&& と )$,5 の間で差が生じ，
1$&& の方が精度が良いことが分かる。さらに，1DLYH %D\HV については判別精度が明らかに悪くなっている傾向が見られる。これはパラメータの設定より，各クラスの平均ベクトル間で最初の 10 個の成分以外は全て同じ値であり，次元が 200 の場合は 190 次元，次元が 1,000 の場合は 990 次
元がいわゆる無駄な特徴を示している。今回の数値実験においては無駄な特徴が増えれば増えるほど判別性能が劣化してしまう傾向が顕著に表れている。
表 4.2：ìӮӬӯ -  ӮӬӯ としたときの誤判別率の推定値
G =
)$,5
)$,5
1$&&
1$&&
1DLYH %D\HV 




 






次に，分散共分散が単位行列ではないような設定 ìӮӬӯ -  ӮӬӯ を得られた表 4.2 から考察する。先ほどの表 4.1 の設定とは違い，誤判別率が少し高めの値となっているが，1DLYH %D\HV は表 4.1 と同様どの特徴選
択手法よりも精度が低く，次元が上がれば精度も悪くなっている様子が分かる。一方で，各特徴選択間の精度については )$,5 の方が精度が良い傾向が見られる。さらに，通常の特徴選択手法と今回提案した特徴選択手法を比べると，)$,5 と 1$&& いずれも提案した手法の方が良い傾向が得ら─ 107 ─

成城・経済研究 第 238 号（2022 年 11 月）

れている。
ここではさらに，特徴選択の精度を考察するために，誤判別率の推定値
以外にも有効な特徴，すなわち，最初の 10 個の成分を取ってきているかͬ
どうかを確認したり，選択個数 F F の挙動を見ていくことにする。まず，有 効 な 特 徴 を ど の 程 度 取 っ て き て い る の か に つ い て は，ΧG =ζ  かつ ì$ ơ の設定において以下のような表を得ることができた：
表 4.3：ì$ ơ としたときの有効な特徴を取ってきた割合
G = 

)$,5

)$,5

1$&&

1$&&

1DLYH %D\HV

ただし，1DLYH %D\HV に関しては常に全ての特徴を取ってきているため，
最初の 10 個の成分は常に取ってきていることを意味するため 100 としている。1DLYH %D\HV 以外の特徴選択だと 1$&& が一番有効な特徴を取ってきている傾向があり，次点で 1$&& ，)$,5，)$,5 と続いている。一方，表 4.1 と比較してみると 1$&& が最も誤判別率が低いため，有効な特徴を取ってきている割合と誤判別率には関連があることが分かる。次に，
ͬ
選択個数 F F の挙動を ΧG =ζ   かつ ìӮӬӯ -  ӮӬӯの設定において見ていくことにする。こちらも表としてまとめておく：
ͬ F
表 4.4：ìӮӬӯ -  ӮӬӯ としたときの選択個数 FG = 

)$,5

)$,5



1$&&



1$&&

1DLYH %D\HV

─ 108 ─の推定値

高次元データにおけるナイーブな正準相関を用いた特徴選択手法

ただし，1DLYH %D\HV に関しては常に全ての特徴を取ってきているため，
1,000 としている。各特徴選択手法同士を比較してみると，)$,5 が最も特徴を選択せず，続いて 1$&& ，1$&&，)$,5 の順で選択個数が増えている。表 4.2 で得られた誤判別率と比較すると，選択個数が多いからといって精度が最も低いというわけでなく，例えば )$,5 については誤判別率
は 2 番目に低いにも関わらず，選択個数は最も多く取ってきているため，
ì$ ơ の設定と比べると単純な結果となっていないことが分かる。実際に各成分がどれだけの割合で取ってきているのかを可視化を行うと以下の図が得られた：

2.5

3.0

0.0

0.5

1.0

1.5

2.0

2.5
2.0
1.5
1.0
0.0

0.5

log̲10(x+1)

Setting:Sigma̲2, Method=FAIR*
3.0

Setting:Sigma̲2, Method=FAIR

0

200

600

1000

0

Index of Dimension

600

1000

Index of Dimension

Setting:Sigma̲2, Method=NACC*

1.5
1.0
0.5
0.0

0.0

0.5

1.0

1.5

2.0

2.0

2.5

2.5

3.0

3.0

Setting:Sigma̲2, Method=NACC

0

200

600

1000

Index of Dimension

図 4.1

200

0

200

600

1000

Index of Dimension

ͬ FìӮӬӯ -  ӮӬӯ としたときの選択個数 F

─ 109 ─の割合

成城・経済研究 第 238 号（2022 年 11 月）

図 4.1 は横軸が特徴の番号，縦軸が対数化 LOG Ӯӭ 

Qした数値であり，値が大きければ取ってきている割合も高いことを意味する。例えば )$,5，)$,5 に関しては最初の 10 個の成分はそれ以外の成分よりも大きい割合
で取ってきているが，徐々に成分が高くなるほど取ってきている割合が少なくなっている様子が分かる。特に )$,5 に関しては 1,000 回の数値実験の中で全く取ってきていない成分も多くあることが分かり，これが誤判別率の推定値が低くなっている要因であることが分かる。一方，1$&&，
並びに 1$&& については )$,5 や )$,5 と同様最初の 10 個の成分はそれ以外の成分よりも大きい割合で取ってきているが，それ以外の成分はある一定の割合で取り続けている様子が分かる。特に，1$&& については
1$&& よりもより高い割合で取り続けているため，それが誤判別率の推定値に影響していると考えられる。どちらにも共通していることは，新たに提案した特徴選択手法は ìӮӬӯ -  ӮӬӯ としたときの設定上ではうまく特徴の選択個数が機能していることが分かり，それが誤判別率にも影響を及ぼしていることが考察される。

参考文献%LFNHO 3 - DQG /HYLQD (   6RPH WKHRU\ IRU )LVKHU¶V OLQHDU GLVFULPLQDQW IXQFWLRQQDLYH %D\HV¶ DQG VRPH DOWHUQDWLYHV ZKHQ WKHUH DUH PDQ\ PRUH YDULDEOHV WKDQREVHUYDWLRQV %HUQRXOOL    
'HYUR\H / *\|UIL / DQG /XJRVL *   $ 3UREDELOLVWLF 7KHRU\ RI 3DWWHUQ
5HFRJQLWLRQ 6SULQJHU 1HZ <RUN
)DQ - DQG )DQ <   +LJK GLPHQVLRQDO FODVVLILFDWLRQ XVLQJ IHDWXUHV DQQHDOHG
LQGHSHQGHQFH UXOHV $QQDOV RI VWDWLVWLFV    
)LVKHU 5 $   7KH XVH RI PXOWLSOH PHDVXUHPHQWV LQ WD[RQRPLF SUREOHPV $QQDOV RIHXJHQLFV    
7DPDWDQL 0 .RFK , DQG 1DLWR .   3DWWHUQ UHFRJQLWLRQ EDVHG RQ FDQRQLFDOFRUUHODWLRQV LQ D KLJK GLPHQVLRQ ORZ VDPSOH VL]H FRQWH[W -RXUQDO RI 0XOWLYDULDWH$QDO\VLV  
7DPDWDQL 0 DQG 1DLWR .   +LJK GLPHQVLRQDO DV\PSWRWLFV IRU WKH QDLYH +RWHOOLQJ

─ 110 ─

高次元データにおけるナイーブな正準相関を用いた特徴選択手法
7 VWDWLVWLF LQ SDWWHUQ UHFRJQLWLRQ &RPPXQLFDWLRQV LQ 6WDWLVWLFV7KHRU\ DQG 0HWKRGV   
7LEVKLUDQL 5 +DVWLH 7 1DUDVLPKDQ % DQG &KX *   'LDJQRVLV RI PXOWLSOH
FDQFHU W\SHV E\ VKUXQNHQ FHQWURLGV RI JHQH H[SUHVVLRQ 3URFHHGLQJV RI WKH 1DWLRQDO$FDGHP\ RI 6FLHQFHV    

─ 111 ─