49

第 6 章 スペクトル分解の応用

6.1

K-L 変換4.3.1 において，ブロック分割された画像デ− タを n 次元実ベクトルの集合 {xi ∈ Rn }Di=1 で表現し，個々に適当な直交行列 Q を施すことで効率的に情報圧縮ができることを説明した．例えば，変換後のベクトル
Qxi の上位 k 成分以外を零とするスカラ− 量子化
F : xi ∈ Rn 7→ Γk Qxi =Ik×k

0k×(n−k)0(n−k)×k0(n−k)×(n−k)!

Qxi ∈ Rnを行うことで，n 次元ベクトルの集合は，より小さな k 次元ベクトルの集合へ変換できる．このとき，復元された画像は，

Uk =DX
i=1k xi − QT Γk Qxi k2だけの 2 乗誤差を持つことに注意する．すなわち，最も効率の良い直交行列 Q とは，任意の k ∈ {1, 2, . . . , n}において，Uk を最小化するものと考えられる．

【定義 6.1 】ベクトル集合 {xi ∈ Rn }Di=1 による対称行列

xT1D
 .  X..  =C = (x1 |x2 | . . . |xD ) xi xTi

i=1xTDを共分散行列 (covariance matrix)1 という．

【定義 6.2 】共分散行列 C の正規直交固有ベクトルを {qi }ni=1 とする．ただし，対応する固有値はその大きさの順に並んでいるとする．これによる等長変換
q1T
 . n. f : x ∈ Rn 7→  . x ∈ R
qnT

を Karhunen-Loéve（K-L）変換 (Karhunen-Loéve transform) 2 という．

1 分散共分散行列ともいわれる．
2 ここでは，ユークリッド空間において K-L 変換を定義するが，K-L 変換は，一般にヒルベルト空間（関数空間）において定義される．詳細は，関数解析に譲る．

第6章

50

スペクトル分解の応用【補題 6.1 誤差関数の導出 】すべての k ∈ {1, 2, . . . , n} で 2 乗誤差 Uk を最小とする直交行列 Q は，

uk =DXxTi QT Γk Qxi

i=1を最大とする．


pT1
 . . 【補題 6.2 誤差関数の計算】直交行列を Q = 
 .  とすると，
pTn
uk =DXxTi QT Γk Qxi =i=1kX
j=1DX
pTj (xi xTi )pj ．
i=1【定理 6.1 K-L 変換 】すべての k ∈ {1, 2, . . . , n} で 2 乗誤差 Uk を最小とする直交行列 Q の第 i 行ベクトルは，K-L 変換行列の第 i 行ベクトルと平行である．

【証明】補題 6.1 および補題 6.2 から，Uk を最小化する Q は，

uk =kX
j=1を最大とする Q である．行列PDDXxi xTi )pj
pTj (i=1T
i=1 xi xi は，対称かつ半正定値であるため，その固有値をλ1 ≥ λ2 ≥ . . . ≥ λn ≥ 0とする．λi に対応する固有ベクトルを qi として，スペクトル分解すると，
DX

xi xTi = λ1 q1 q1T + . . . + λn qn qnT .

i=1

これを，uk に代入して，

uk =kX

pTj (λ1 q1 q1T + . . . + λn qn qnT )pj =j=1j=1k = 1 のとき，正規性kX

λ1 |pTj q1 |2 + . . . + λn |pTj qn |2 .

PnT2i=1 |q1 pi | = 1 に注意すると，

u1 = λ1 |pT1 q1 |2 + . . . + λn |pT1 qn |2 = λ1 − (λ1 − λ2 )|pT1 q2 |2 − . . . − (λ1 − λn )|pT1 qn |2から，pT1 qi = δ1,i のとき，u1 は最大値 λ1 をとる．よって，p1 k q1 ．
PnPn
同様に，k = 2 のとき，直交性 pT1 q2 = 0 と正規性 i=1 |pT2 qi |2 = i=2 |pT2 qi |2 = 1 に注意すると，

u2 = λ1 + λ2 |pT2 q2 |2 + . . . + λn |pT2 qn |2 = λ1 + λ2 − (λ2 − λ3 )|pT2 q3 |2 − . . . − (λ2 − λn )|pT2 qn |2

より，pT2 qi = δ2,i のとき，u2 は最大値 λ1 + λ2 をとる．よって，p2 k q2 ．

以下，帰納的にすべての i ∈ {1, 2, . . . , n} で pi k qi となる．■

6.2. 主成分分析

51【例示 6.1 K-L 変換の例 】2 つの 2 次元ベクトルx1 = (1, 1)T ,x2 = (−1, −1)TP2から K-L 変換を求めてみる．共分散行列は， i=1 xk xTk =22!

√12
√12!

22. したがって，固有値は 4 と 0 である．固有値 4 に関して，2222!

√12√12!

=4が成立し，固有ベクトルは， ( √12 , √12 )T となる．これに対して正規直交するもう一つの固有ベクトルは，(− √12 , √12 )T ととれるため，

Q=√となる．実際に，Qx1 = ( 2, 0)T ,

6.2

√12
√12−1
√2
√12!T

√12−1√
2=√12√12!

√Qx2 = (− 2, 0)T より，第 1 成分にのみ数値が現れることがわかる．

主成分分析

n 次元実ベクトル集合 {xi ∈ Rn }Di=1 は，n 次元空間上に分布する D 個の点である．これらは，本当に n次元空間全体に分布しているのだろうか？この集合が何らかの部分空間− 例えば， k(< n) 次元超平面上に分布しているならば，最初の k 成分のみが非零であり，それ以外は零となるような新たな直交座標系へ変換できるはずである．n 次元空間とは，単なる器に過ぎず，器の中身と一致するわけではない．したがって，中身の大きさを計ることは非常に重要な課題となる．このように「ベクトルの集合が存在する部分空間」を張る直交座標系を発見する方法は，統計学において主成分分析 (principal component analysis)と呼ばれ，情報処理において広く利用されている．

1【定義 6.3 】スカラー集合 {ai ∈ R1 }D
i=1 の平均 ā = DPD

PD

i=1 ai を中心とする 2 乗誤差の平均値

2i=1 (ai − ā)

Dをスカラー集合の分散 (variance) という．
1
【定義 6.4 】ベクトル集合 {xi ∈ Rn }D
i=1 の各々の元から平均値 x̄ = D

集合 {yi = xi − x̄}D
i=1 は，零平均 (zero mean) であるという．

PDi=1 xi を取り除かれたベクトル【定義 6.5 】零平均ベクトル集合 {xi ∈ Rn }Di=1 による対称行列PDT
i=1 xi xi

Dの正規直交固有ベクトルを {qi }ni=1 とする．ただし，対応する固有値はその大きさの順に並んでいるとする．これによる直交行列 Q で変換されたベクトル Qx の第 i 成分 qiT x を第 i 主成分 (the i-th principalcomponent) という．

第6章

52

スペクトル分解の応用

分散とは，直線上に分布した元がその中心（平均値）からどれだけ散らばって存在するかを示す尺度である．高次元空間において，分散を算定するためには，射影をとるべき方向を定める必要がある．

【補題 6.3 対称行列と分散 】零平均化されたベクトル集合 {yi = xi − x̄ ∈ Rn }D
i=1 において，単位ベクトル u ∈ Rn 方向の（射影の）分散は，に等しい．

PTuT ( Di=1 yi yi )uD【定理 6.2 主成分分析 】零平均化されたベクトル集合 {xi ∈ Rn }Di=1 において，分散を最大とする軸の方向と分散の値は，対称行列PD

Ti=1 xi xiDの最大固有値 λ1 と固有ベクトル q1 で与えられる．また，分散の最小値とその方向は，最小固有値 λn と固有ベクトル qn で与えられる．

情報圧縮に利用された K-L 変換と主成分分析で得られる直交変換は同じであることに注意する． K-L 変換とは，任意の成分数で 2 乗誤差を最小化する直交変換であったが，これは大きな分散を持つ主成分の順に情報を並べる変換であることを意味している．

6.3

情報処理への展開

6.3.1

汎化問題と画像情報圧縮汎化問題

6.1 において，画像情報圧縮に最も有利な直交変換は K-L 変換であることをみた．しかし，実際の応用において，これが情報圧縮に用いられることはほとんどない．その理由は，統計数理で主要な研究課題となっている汎化問題（generalization problem）にある．

“All work and no play makes Jack dull boy”3 という諺の如く，ある人物を正しく育てるためにはバランスのとれた規則に基づくトレ− ニングが不可欠となる．予測系，認識系そして圧縮系において優れた処理系を構成する場合も，本質的に同じ観点が重要となる．一般に，処理系構築において，系の理想的な動作を表した入出力関係がトレ− ニング集合（training set）として用いられる．無論，利用できるトレ− ニング集合は，有限であることに注意する．例えば，手書き文字認識系においては，実際の手書き文字デ− タを与え，出力の正解率が高くなるように処理系のパラメ− タを調整するが，調整の反復に伴って，トレ−ニング集合での正解率が高くなる程，トレ− ニング集合には属なさい未知デ− タの正解率の劣化が生じる．
これは，処理系が提示された有限のデ− タに過剰に適応したためである．
上記のように処理系の性能は，トレ− ニング集合に関する正解率の高さでは計ることはできず，未知デ−タに対する能力の高さ，いわゆる汎化能力 (generalization capability) を評価する必要がある．

JPEG と離散コサイン変換 K-L 変換が，画像情報圧縮に利用されない理由は，上述した汎化問題にある．例えば，画像デ− タ A に基づいて構成された K-L 変換は，画像デ− タ A の圧縮に最適な直交変換となるが，他の画像 B においては，その性能は著しく劣化する．ならば，その直交行列の成分をすべて付加情報として圧縮ファイルに添付できるかといえば，膨大なオ− バ− ヘッドによって圧縮とはならない．そこで，多種多様な画像デ− タによって K-L 変換を構成し，汎化能力を向上させる必要がある．この問題に
3 近年の日本においては，“All play and no work makes Taro stupid student” の傾向が強いようである．

6.3. 情報処理への展開

53

関して，画像を自然画像 4 に限定し，K-L 変換を構成した場合，得られる正規直交基底系は，離散コサイン変換に等しくなることが指摘され，以降，離散コサイン変換が最も汎化能力の高い直交変換として広く利用されるようになった．

章末問題【問題 6.1 行列のランク 】実正方行列 A に関して次の設問に答えよ．

(1) rankA2 < rankA を満足する自明な例を答えよ.
(2) rankAAT = rankA を証明せよ．尚，必要であれば A = [u1 |u2 | . . . |un ] を用いよ.
【問題 6.2 K-L 変換 】補題 6.1 を証明せよ．
【問題 6.3 K-L 変換 】補題 6.2 を証明せよ．
【問題 6.4 K-L 変換 】3 次元ベクトルx1 = (0, 1, −1)T ,x2 = (1, 0, −1)T ,x3 = (0, 1, −1)Tから K-L 変換 Q を求めよ．また，Qx1 , Qx2 , Qx3 を求めよ．
【問題 6.5 主成分分析】3 次元実空間上の 4 つのデータベクトル

x1 = (2, −1, 0)T , x2 = (0, 1, −2)T , x3 = (1, 0, −1)T , x4 = (1, −1, 1)Tに関して次の問に答えよ．

(1) 主成分分析を行い，3 つの主成分の単位方向ベクトルをそれぞれ求めよ．
（ただし，データを零平均化する必要はない）(2) データの分布について考察せよ．
(3) 次のデータの主成分をそれぞれ求めよ．
(a)(5, −2, −1)T ,(b)(2, −1, 1)T【問題 6.6 対称行列と分散 】補題 6.3 を示せ．
【問題 6.7 主成分分析 】定理 6.2 を示せ．
【問題 6.8 フィルタの構成 】ノイズの印加されていない離散的音響信号 {ai ∈ R1 }Di=1 を適当な時間幅 nで分割し，n 次元信号ベクトル {xi ∈ Rn }Mi=1 を考えるとき，信号ベクトルを包含する部分空間の次元 mおよびこれを記述する正規直交ベクトル {ei }mi=1 をどのように推定すれば良いか述べよ．

4 いわゆる写真等，実在のものを光学的に撮影した画像を意味する．統計的には，画像平面上の明るさの分布が，正規分布となる
画像デ− タとされる．