THE UNIVERSITY OF TOKYO

複数情報源に対する主成分分析

諏訪恭平／冨岡亮太／矢入健久／○鹿島久嗣

DEPARTMENT OF MATHEMATICAL INFORMATICS

1

THE UNIVERSITY OF TOKYO

複数種類の情報源から得られたデータに対する主成分分析法を提案します はじめての複数情報源に対する主成分分析法– 重要な情報源を自動的に選択する機構をもつ
 みどころ：– グループラッソ制約を用いることで情報選択機構をもつ– 主成分ごとに異なる情報源を選択する– グループラッソから複数カーネル学習の導出レシピ
 観測データからの物体配置図復元タスクで有効性を検証– 相補的な情報を適切に組み合わせる– 不要な情報源を切り捨て、有用なもののみを残す
 いまのところ実験的にはいまひとつ…
2

THE UNIVERSITY OF TOKYO1

次元削減は 高次元空間のデータを 低次元空間に落として扱いやすくするための技術 です 多くの分析対象は高次元の実数値特徴ベクトル x として表現される
 もとのデータ x の性質を保ったまま、低次元の空間における y を得るための写像 f を求めるのが次元削減である
 視覚化や前処理に利用される低次元空間における表現

高次元の特徴ベクトルxyf
低次元空間への写像

3

THE UNIVERSITY OF TOKYO

たとえば 主成分分析は 代表的な次元削減法のひとつ です 射影行列 W （D£d 行列 ）を用いてD次元から d (≪D)次元に射影– W ： 正規直交基底（W>W = I）

x
W

y = W >x低次元空間への線形写像

4

THE UNIVERSITY OF TOKYO

2

本研究では 複数の情報源からデータが得られるような場合 の次元削減を考えます 多くの場合、一つの対象は複数の情報源からのデータをもつ– マルチメディアデータ：画像、テキスト、音声、…
– 医療データ： 検査項目、SNP、遺伝子発現、…
複数の情報源から得られたデータ

例：
マルチメディアデータ
画像データ

x1

テキストデータ

x2

音声データ

x3

低次元空間における表現

yf
低次元空間への写像

5THE UNIVERSITY OF TOKYO

本研究では 複数の情報源の取捨選択/重みづけを自動的に行う次元削減法を考えます データには特徴的な構造をもったものとそうでないものがある
 これらを自動的に取捨選択または重みづけする次元削減法がほしい 具体的には主成分分析をベースに考える
例：
マルチメディアデータ

6

画像データx1

テキスト
データx2

音声データx3yf
情報選択機構をもった次元削減

THE UNIVERSITY OF TOKYO3

主成分分析の復習

7

THE UNIVERSITY OF TOKYO

主成分分析の復習：
射影の分散を最大にするような写像を求めます 1次元に落とす場合を考える– X：データのデザイン行列（X>の列が各特徴ベクトル）– w：射影ベクトル
 射影後の分散を最大にするような最適化問題を解くことで、射影ベクトル w が求まる

maximize w w>X>Xw （射影後の分散）
s.t. kwk22 · 18（射影ベクトルの大きさを制限）

THE UNIVERSITY OF TOKYO4主成分分析の復習：
最適な射影は固有値問題を解くことで得られます
 最適解は固有値問題を解くことによって求まる

X>Xw = ¸w– 最大固有ベクトルを求める
 2次元以上に落とす場合には：– 方法１：固有値の大きいほうから固有ベクトルを複数とる– 方法２：d 次元目までの寄与分を取り除いたデザイン行列

X(d+1) ≡X(d) － y(d)w(d)>に対し固有値問題の最大固有ベクトル w(d+1) を求める操作
を繰り返す

9THE UNIVERSITY OF TOKYO

提案手法：複数情報源の主成分分析

10THE UNIVERSITY OF TOKYO5

提案手法：主成分分析の目的関数における2-ノルム制約をグループラッソの制約でおきかえます 主成分分析を 情報源がM 個ある場合に拡張する– X ≡ (X1, X2, …, XM ) ：M 個の情報源データのデザイン行列– w ≡ (w1, w2, …, wM ) ：射影ベクトル
 最適化問題における2ノルム制約を、グループラッソで用いられる制約で置き換える

maximize w w>X>Xw （射影後の分散）

s.t. m kwmk2■· 1（射影ベクトルの大きさを制限）※もともとの制約は m kwmk22 · 1
 グループラッソの制約は各情報源の射影ベクトル単位で0につぶす– 1-ノルムの特徴選択効果を特徴のグループに対して与える
11THE UNIVERSITY OF TOKYO

最適化のテクニック：
グループラッソ制約を 扱いやすい2ノルム制約に帰着します ラグランジアンはそのままは最適化しにくい

2-ノルムの1乗

L(w, ¸) ≡ w>X>Xw - ¸ (m kwmk2 - 1)
 ラグランジアンを扱いやすい形に変形する

2-ノルムの2乗！
（扱いやすい） 相加相乗平均から

 これをもちいて¯ が登場

 「2ノルムの2乗」の項を「2ノルムの2乗」で置き換えた 但しパラメータ¯ = (¯1, ¯2, …, ¯M) が増えていることに注意
12THE UNIVERSITY OF TOKYO6

新たに導入されたパラメータ¯ は 各情報源の重要度 として解釈できます 1/¯m はm番目の情報源に対応する kwmk22 の係数になっている ¯m はm番目の情報源の重要度として解釈できる¯ が大きい⇒wm の正則化が弱い ¯m が大きいほど wm の正則化が弱まる ⇒ wmを大きくできる ¯m が小さいほど wm の正則化が強まる ⇒ wmが0になりやすい

13

THE UNIVERSITY OF TOKYO

逐次最適化アルゴリズム：
射影ベクトル w と重要度パラメータ ¯ を交互に最適化します 射影ベクトルw ≡ (w1, w2, …, wM ) についての最大化 w ≡ (w1, w2, …, wM ) と X ≡ (X1, X2, …, XM ) をスケーリングする

 通常の主成分分析と同様の形のラグランジアンが得られる

 固有値問題に帰着される
 最大固有ベクトルを求める
 重要度パラメータ¯ = (¯1, ¯2, …, ¯M) についての最大化
 こちらは閉じた形で解が求まる
14THE UNIVERSITY OF TOKYO7

主成分の逐次抽出：第 d 主成分までの寄与分をデータから取り除き、第 d+1 主成分を求めます 繰り返しによって、主成分が1軸求まる
 射影ベクトルw についての最大化（最大固有ベクトル） 重要度パラメータ¯ についての最大化（閉じた形の解） さらにこれを繰り返すことで、1軸づつ主成分を求める
 第 d 主成分は

 第 d 主成分の寄与分をデータから取り除く

 主成分ごとに異なった情報源重要度が得られる
 既存の情報源選択法と異なる点
15

THE UNIVERSITY OF TOKYO

マルチカーネル化：2ノルム制約が現れたことによりカーネル関数による非線形化が可能になります 目的関数の変形によって2ノルムの2乗が登場した

 カーネル法による非線形化が可能– パラメータをおきかえる– 固有値問題は：情報源ごとのカーネル関数（マルチカーネル）ただし16THE UNIVERSITY OF TOKYO8数値実験：物体配置図の復元タスク

17THE UNIVERSITY OF TOKYO

物体配置図の復元タスクを題材に その復元精度で性能評価します 複数の物体の配置図を複数の観測点での観測データから復元する– 観測点と観測対象の座標はともに不明
 例えば、各観測点からの各物体への距離や方角などが観測される
 次元削減によって2次元に落とすことで配置図を復元する
物体
1

物体
2…

物体
N

観測点 1
観測点 2…

観測点と物体の距離

観測点 D

…

18観測点 D

物体
1

物体
2…

物体
N

X軸
Y軸

観測点 1
観測点 2

次元削減

観測点からみた物体の方角

THE UNIVERSITY OF TOKYO

9

評価方法：
配置図の復元精度は任意の3点の相対位置の一致度で測ります 教師なし次元削減では絶対的な座標は復元されない– わかるのは対的な位置関係のみ
 復元精度は任意の3点の相対位置が一致する割合で評価する（＝ 時計回りの順が一致する割合）

A
B

C

相対的な位置関係は一致AC推定された配置図

B

真の配置図

19

THE UNIVERSITY OF TOKYO

実験１：相補的な情報源の統合
 ランダムな3方向に物体を射影したときの距離を3つの情報源とする– 相補的に働く
 これらを組み合わせることで配置図の復元精度が上がるか？
 比較手法：– 提案手法– 通常の主成分分析– 各情報源で主成分分析を行ったもののうち最も精度の高いもの
 ランダムにデータを生成：軸への射影を観測– 物体数：50– 観測点数：500
20

ランダムな軸THE UNIVERSITY OF TOKYO10実験１：提案手法は相補的な情報をうまく組み合わせることができます 比較手法– 提案手法– 通常の主成分分析– 各情報源で主成分分析を行ったもののうち最も精度の高いもの
 提案手法が低い誤差と標準偏差を達成する

提案手法

通常のPCA

21

各情報源でPCATHE UNIVERSITY OF TOKYO

実験２：有用でない情報源の切り捨て ただ一つの有用な情報源に、役に立たない（ランダムな）情報源を加えて行った場合の復元精度への影響を調べる
 有用な情報源として：観測点から一定距離内に物体がある（1）かない（0）か

22

物体
1物体
2…

物体
N

観測点 1

10…

1

観測点 2

1

1…

0…

…

…

…

…

観測点 D

00…

1

各観測点から一定距離内にその物体があるかどうか

THE UNIVERSITY OF TOKYO11

実験２：提案手法はノイズに影響されず有用な情報源のみを選び出すことができます ランダム情報源の数を増やしていくと：– 通常の主成分分析では精度が悪化していく– 提案手法では悪化しない
通常の主成分分析

提案手法

ランダム情報源の数

23

THE UNIVERSITY OF TOKYO

まとめ: 複数情報源から得られたデータに対する主成分分析法を提案しました 複数情報源に対する主成分分析法を提案した
 ポイント：– グループラッソ制約を主成分分析に用いることで情報源選択機構を実現する– 情報源の重要度を導入することで問題を解きやすくする– 主成分ごとに異なる情報源を選択する
 提案手法は：– 相補的に働く情報源を適切に組み合わせることができる– 不要な情報源を取り除くことができる
ことを物体配置図の復元タスクで検証した
24

THE UNIVERSITY OF TOKYO12