山下研の常識
線形代数の巻
山下幸彦
東京工業大学・大学院理工学研究科
概要• 「山下研の常識」は，山下研でやっていく上での基本的な常識をまとめたものです．線形代数，パターン認識，画像符号化，計算機アーキ
テクチャ，などについて，基本的な部分を独断と偏見と愚痴と長嶋監督的に擬態音 (「ヒュー」とか「ビュン」とか) を混ぜながら述べていく予定です．馬鹿馬鹿しいと思っても，あまり怒らないように．
• 「線形代数の巻」では，主に線形代数やその応用に関して述べていく
予定です．

1

1 はじめに
1.1 線形代数はお嫌いですか？
• 線形空間です．なぜか嫌いな学生が多いです．
• 社会人にも少なからずいらしゃいますので，心配は無用です．
– 特に無限次元の線形空間は嫌いな方がいらっしゃいます．
– 論文をヒルベルト空間を使って書くと，「(有限次元の) ユークリッド
空間で書け」という方がいらっしゃいます．
– (有限次元の) ユークリッド空間はヒルベルト空間の特別な場合です．
従って，ヒルベルト空間で書けるならば，それで書いておいた方が問題の性質を正確に切り出していることになります．
「『分数でなく小数で書け』と言っているのと同じだろ」とか「学会は学問をするところだろう．そうでないなら学会なんて名前を降ろして，お役立ちグッズ発表会とかにしたら」と言いたくなります．
– だいたい，カーネル法では関数空間へ写像したりするので，無限次
元なんだからそれを有限ベクトル空間で書けとは変です．不要な条件を付加して適用範囲を狭めることはないといと思います．
2

(話題閑休)1.2 空間を頭に描けるようになろう• 普通の人間には 3 次元空間までしか頭に描くとことができません．
• 従って，頭に描くときにユークリッド空間に落として考えることは必要です．
• ３次元までのユークリッド空間については，頭で図を描くことができるようにして下さい．
• このように頭に描けるということが，線形代数の最大の利点なのですから．
• 無限次元の線形空間は，それに収束に関する議論が加わるだけです．
• そこで，「ヒュー」とか「ピュー」とか言う感覚が必要になります．
点列が「ヒュー」と近付いていってくれるか，「ビュン」と飛んでいってしまうか，「グッパ，グッパ」と近付きそうに見えて近付かないかです．

3

1.3 線形代数とは• 線形代数は，線形空間の点であるベクトルの演算と，その性質をまとめた学問です．
• 線形代数の応用としては，ベクトルを，いま我々が存在している物理的な空間の点や電界とするもの，画像や信号を変換した数の並びとするもの，関数とするものなどがあります．
• 何で関数をわざわざベクトルなんかで表すんだと思うかもしれません．
– ベクトルで関数の全ての情報を表すことはできません．
– 例えば，空間がある性質 (再生核ヒルベルト空間など) を持っていな
い限り，ある一点での関数の値を論じることはできません．
– 関数をベクトルとして扱うことは，関数の情報の一部を切り出したもの，または，ある角度から見たものがベクトルであるということです．
– 例えば，2 つの関数の近さを，関数値の差の絶対値の 2 乗を積分したもので評価するものとします．
– このとき，関数を近似することを論じるなどということが，ベクト4ル間の距離で論じることができるようになり，そのまま扱うよりも非常にわかりやすくなります．
– わかりやすくなるというのは，記述が短くなる他に，空間を頭に描くことによって近似の様子がビジュアル的に描けるようになります．
– 関数の線形空間としての性質だけが必要なときに，それ以上の複雑な所を見ない方が良いわけです．
(人間関係も相手のイヤなところは見ない方が精神的に安定します．
それが，ダチョウの安全保障になっても困るわけですが)．
• このように「粗視化」して議論を容易にすることによって，理論や応用の発展が容易になるわけです．
• 数学は，「ある性質が成立すれば別の性質が成立する」というものの集まりです．即ち，ある粗視化したものと別の粗視化したものの間に成立する厳密な関係を論じているのです．
• 例えば，「連続関数の一様収束関数は連続関数である」という定理を考えるとき，実際には，「連続関数」というよりも，もう少し具体的な関数の列を考えています．ただ，その「連続」という性質だけが必要な場合は，このような具体的な関数をその連続性だけを見て粗視化した5

扱っていきます．もちろん，連続関数といっても，ほとんど不連続のような関数も作ることができますので，そのような粗視化が十分か不充分か考える必要があります．
• ある結果を導き出すためには，どう見るかが重要になります．線形代数はそのものの見方の重要な一つです．
• 確かに現在はコンピュータの計算速度が上がっいるため，コンピュー
タ万能で，問題を線形代数を使って解析的に考えるよりも，プログラ
ムを買ってきて，具体的に値を代入して計算させた方が容易に解けてしまうということがあります．
• 線形代数など知らなくてもほとんどのことができるでしょう．
• しかし，– そのプログラムにはやはり線形代数的な考えかたが使われている場
合が多いです．
– 物理的なものは無限次元の関数として扱いますから，それが有限で次元で扱って良い近似になるかとか，どのようなものが誤差で残るかなどを議論するときに必要になります．
– また，パターン認識におけるカーネル法は，最終的には有限次元に6

落としてきますが，その過程の議論には無限次元のヒルベルト空間が必要です．
– また，線形空間は高度な数学のすべての基礎となっています．多様体にしても，もっと高度な代数にしても，少なくとも有限次元の線形空間が基礎となっています．
– 例えば，定規とコンパスでは角の 3 等分が作図できないことを知っていると思いますが，もとの座標値がなす体に対して，作図された座標値で拡張された体を，元の体上の線形空間と見なすことができます．コンパスと定規だけでは，この次元が 2 のベキ乗にしかならないことが証明されますが，角が三等分できるとするとその次元の因数に 3 を含むことが証明されます．従って，角が三等分が作図できないこととが証明されます．
– これも，ある性質を次元というところまで粗く見る (空間の次元だけ) ことによって，証明しているわけです．
• せっかく山下研に入ったのですから，不本意ながら山下研に入らざるを得なかったとしても，線形空間に関して勉強すると良いと思います．
7

1.4 ベクトル
線形代数の点または要素となるものがベクトルです．
高校までで，2 次元のベクトル( )12
みたいなものは扱ったことがあると思います．
このベクトルには，ベクトルとベクトルの和
( ) (
) ( )
1
2
3
+
=
2
−1
1

(1)

(2)

とベクトルと数 (一般には実数か複素数，以後，ベクトルでなく単なる数の方をスカラーと呼ぶことにします) のスカラー積( ) ( )
1
3
3
=
(3)
2
6
が定義されていました．
8一般にはベクトルとベクトルの積は定義されていなかったはずです．
( ) (
)
1
2
×
=?
(4)
2
−1

2 次元ベクトルは，一般的に，

(

x1
x=
x2

)
(5)

と書くことができます．こう書くと x1, x2 は単なる数です．これは，スカ
ラー積のときの数と同じ集合に属します． x1 や x2 は，ベクトル x の成分
または要素と呼ばれます．また，α をスカラーとすれば，)( ) ( ) (x1 + y1
y1
x1
=
+
(6)
x+y =
x + y2yx2) 2( ) (2αx1x1=
αx = α(7)
αx2x2となります．「何を当り前のことを，ぐだぐだ書くなと．
」と思うかもしれませんが，これから，これを少しずつ一般化していきます．
9

2 次元が分かれば，N 次元ベクトルというものも考えられるでしょう．
 x1  x2 (8)
x =  .  . 
xNと，成分が N 個並ぶことになります．和とスカラー積も，    x1   y1   x1 + y1    

x
y
x
+
y

   x + y =  .2  +  .2  =  2 . 2 .
 .   .     xN
yN
xN + yN  x1   αx1  
 x2   αx2 
αx = α  .  =  .  .   . 

 

xN
αxN
として定義できます．
10

(9)

(10)

さて，これらの演算にはどのような性質が成り立つでしょうか．その性質をまとめてみましょう．ここでは，α, β をスカラーとします．

1.和の交換則：「任意の N 次元ベクトル x, y に対して，
x+y= y+xが成立する．
」証明は，ベクトルの要素が数で交換則が成り立つので簡
単です．

 

 x1 + y1   y1 + x1  
 x2 + y2   y2 + x2 
x + y = 
= 
= y+x


.
.


.
.

 
 
xN + yN
yN + xN

2.和の結合則：「任意の N 次元ベクトル x, y, z に対して，(x + y) + z = x + (y + z)が成立する．
」この証明も，ベクトルの要素が数で交換則が成り立つので簡単でしょう．是非，トライしてみて下さい．
11

3.和の単位元 θ(N 次元ベクトル) の存在：「任意のベクトル N 次元ベクトル x に対して，
x+θ = xが成立する．
」θ を， 
 0  
 0 
θ =  .  .  0とすれば条件を満たすことは明らかです．
4.和のスカラー積に対する分配則：「任意の N 次元ベクトル x, y と任意のスカラ α に対して，α(x + y) = αx + αyが成立する．
」これは，「 x + y という和の結果 (ベクトル) に対する α のス
カラ積の結果 (ベクトル) は，ベクトル x に対する α のスカラ積の結果(ベクトル) と，ベクトル y に対する α のスカラ積の結果 (ベクトル) の和の結果 (ベクトル) に等しい」ということです．証明は明らかでしょう．
12また，「任意の N 次元ベクトル x と任意のスカラ α, β に対して，(α + β)x = (α + β)xが成立する．
」これは，「ベクトル x に対する α + β というスカラーの和のスカラ積の結果 (ベクトル) は，ベクトル x に対する α のスカラ積の結果 (ベクトル) と，ベクトル y に対する β のスカラ積の結果 (ベクトル)の和の結果 (ベクトル) に等しい」ということです．この証明も明らかでしょう．
5.スカラー積の結合配則：任意の N 次元ベクトル x と任意のスカラ α β に対して，(αβ)x = α(βx)
が成立する．これは，「数としての α と β の積 (数) のベクトル x に対する
スカラ積の結果 (ベクトル) は，β の x に対するスカラー積の結果 (ベクトル) に対する，α のスカラ積の結果 (ベクトル) と等しい」ということです．これも，証明は明らかです．

13

6.その他にスカラー積の性質として，
0x = θ
1x = xが成立します．これらの式は，それぞれ，数 0 と x のスカラー積，数 1と x のスカラー積を意味しています．１番目，２番目の式は，

 
 

 x1   1 × x1   x1 

 
 

 x2   1 × x2   x2 
1x = 1  ..  =  ..  =  ..  = x
 .   .   . 

 
 

xN
1 × xN
xN

  

 
 x1   0 × x1   0 
  

 
 x2   0 × x2   0 
0x = 0  ..  =  ..  =  ..  = θ
 .   .   . 
  

 
0
0 × xNxN

より明らかです．上式の × は，数としての積です．
これを，抽象化したものがベクトルです．x, y をベクトルとし，α をス
カラー (一般には実数か複素数) とします．もうここでは，ベクトル x には x1, x2, . . . , xN のような成分から構成されているとは考えません．もっと抽象的に，集合の全ての元に和とスカラー積が定義されているものと
します．

14

K を体 (実数や複素数など) とします．K の元をスカラーと呼ぶことにします．また，X をある集合とします．この X の要素に対して和とスカラー積が定義され，上の性質 1-6 を満たすとき，X を K 上の線形空間あるいはベクトル空間と呼びます．
和とスカラー積が定義されているとは，
x+y
αx

(11)
(12)

という演算が一意に定まり， x + y ∈ X かつ αx ∈ X となることです．
すなわち，X の全ての 2 組の元に対して和が求まり，X の全ての元と全てのスカラーに対して，スカラー積が求まるということです．そして，線形空間であるためには，この 2 種類の演算が，上の性質 1〜6 を満たなくてはいけないのです．
この 1〜6 の性質さえ成り立てば，その抽象的なベクトル x に対しても，
N 次元ベクトル空間のようにして，議論を進めて行くことができます．

15

1.4.1 例 : C[0, 1]
例えば，X = C[0, 1] とします．C[0, 1] は区間 [0, 1] で定義された連続関数の全体です． x ∈ C[0, 1] とすれば，任意の t (0 ≤ t ≤ 1) に対して x(t) は実数値を持ち， x(t) は関数として連続です．
まず，ベクトルの和を定義します． x, y ∈ C[0, 1] に対して， x(t) + y(t)を考えると，これも区間 [0, 1] で定義された連続関数となります．従って，
この関数は C[0, 1] に含まれ，この関数をベクトルとして和 x + y として定義します．すなわち，任意の t (0 ≤ t ≤ 1) に対して，(x + y)(t) = x(t) + y(t)

(13)

です．
(この式の意味が分かりますでしょうか．右辺の x + y は，C[0, 1] の元で連続関数ですので，t (0 ≤ t ≤ 1) に対して値を持たなくてはいけません．
それが，任意の t に対して， x(t) + y(t) に等しいという意味です．)

16

次に，スカラー積を定義します． x ∈ C[0, 1] に対して，αx(t) を考えると，これも区間 [0, 1] で定義された連続関数となります．この関数を αx として定義します．すなわち，任意の t (0 ≤ t ≤ 1) に対して，(αx)(t) = αx(t)

(14)

です．
(右辺の αx は，C[0, 1] の元で連続関数ですので，t (0 ≤ t ≤ 1) に対して値を持たなくてはいけません．それが αx(t) に等しいという意味です．)
また，2 つのベクトルが等しいということも定義が必要です．x , y ∈ C[0, 1]が等しいとは，任意の t (0 ≤ t ≤ 1) に対して，

x(t) = y(t)(15)

となることです．すなわち，関数としてまったく等しいということです．

注：「等しい」という定義は，ベクトル空間を考える前の集合の時点で定義されています．
17

これが性質 1 から 6 を満たし，線型空間となることを見ていきましょう．

1.
(x + y)(t) = x(t) + y(t) = y(t) + x(t) = (y + x)(t)となりますので， x + y = y + x となります．これは，関数値における交換則がそのまま反映した形になっています．
2.
((x + y) + z)(t) = (x + y)(t) + z(t) = x(t) + y(t) + z(t)= x(t) + (y + z)(t) = (x + (y + z))(t)となりますので，(x + y) + z = x + (y + z) となります．これも，関数値における結合則がそのまま反映した形になっています．
3.θ ∈ C は，任意の t (0 ≤ t ≤ 1) に対して，いつでも関数値が 0 となる連続関数 θ (θ(t) = 0) を導入すれば，(x + θ)(t) = x(t) + θ(t) = x(t) + 0 = x(t)となりますので， x + θ = x となります．
18

4.
(α(x + y))(t) = α((x + y)(t)) = α(x(t) + y(t)) = αx(t) + αy(t)= (αx)(t) + (αy)(t) = (αx + αy)(t)((α + β)x)(t) = αx(t) + βx(t) = αx(t) + βx(t) = (αx)(t) + (βx)(t)= (αx + βx)(t)となりますので，α(x + y) = αx + αy と (αβ)x) = αx + βx が成立します．
5.
((αβ)x)(t) = (αβ)(x(t)) = α(βx(t)) = α((βx)(t)) = (α(βx))(t)となりますので，(αβ)x = α(βx) となります．
6.
(0x)(t) = 0(x(t)) = 0と，(1x)(t) = 1(x(t)) = x(t)より明らかです．
19

問題 1. 定義に従って，次の関係を示しなさい．

1. −x を (−1)x で定義すれば，和に対する x の逆元になる．即ち，x+(−x) =θ が成立する．
a + (−b) を a − b と記すことにする．
2. θ1 と θ2 が，公理 3 を満たすならば，θ1 = θ2 となる．
3. x + y = x + z ならば y = z になる.
4. αx = αy かつ α , 0 ならば x = y となる.
5. αx = βx かつ x , θ ならば α = β となる.
6. (α − β)x = αx − βx が成立する．
7. α(x − y) = αx − αy が成立する．
8. αθ = θ が成立する．
注: 等号の公理は使って良い．
一般に x = y ならば，式の x の部分を y に置き換えても値は変らない．一
般に x + y = w + z ならば，式の x + y の部分を w + z に置き換えても値は
変らない．
20

1.5 部分空間
部分空間とは，3 次元空間の中の原点を通る平面や直線みたいなものです．定義は次の通りです．線形空間 X の部分集合 S が部分空間であるとは，(S が線形空間の定義を満たすことですが) 任意の x, y ∈ S と任意のス
カラー α, β に対して，
αx + βy(16)が S に含まれるということです．これは，
x + y,αx(17)の 2 つのベクトルが S に含まれるという条件と等価です．これらの式は，
和とスカラ積に関して計算が閉じている (S のベクトルに関する演算の結果が S に含まれるということです) ことを意味しています．S の元は X の元ですので，計算が閉じていれば，結合則や分配則は満たされることにな
ります．また，「任意のスカラー α, β に対して」とありますので，α = β = 0に対しても成立することになります．従って，0x + 0y = θ + θ = θ
21

(18)

となりますので，θ ∈ S となります．すなわち，線形部分空間は θ(原点)を含んでいなくてはいけません．
線形部分空間を平行移動したものを線形多様体と呼びます．V を部分空
間 S をある固定したベクトル x で並行移動した線形多様体とすれば，V = {y + x | y ∈ S }で定義されます．

22(19)

1.6 線形独立と空間の次元n 個のベクトル x1, x2, . . . , xn (これはあるベクトルの要素でなくて，ベク
トルが n 個あるということです．太文字ですので，それぞれがベクトルになります) と n 個のスカラの組 α1, α2, . . . , αn に対して，
α1 x1 + α2 x2 + · · · + αn xn(20)を，x1, x2, . . . , xn の 1 次結合または線形結合と呼びます．(1 次結合でのベクトルの和は有限個です．)
n 個のベクトル x1, x2, . . . , xn が「線形独立」であるとは，n 個のスカラの組 α1, α2, . . . , αn に対して，

α1 x1 + α2 x2 + · · · + αn xn = θ(21)となるならば，必ず，

α1 = α2 = · · · = αn = 0(22)となることである．
逆に，少なくとも 1 つが 0 でない α1, α2, . . . , αn が存在して，式 (21) が成立するとき，「線形従属」と呼ぶ．
23

1.7 基底と空間の次元n 個のベクトル x1, x2, . . . が X の「基底」であるとは，それらが線形独立であり，任意の X のベクトルがその線形結合で表わせることです．
X に，その数が有限の基底ベクトルが存在するとき，X は n 次元であるといいます．逆に，有限の基底ベクトルが存在しないとき，X は無限次元であるといいます．
有限次元 (n 次元) 空間の基底ベクトルの数は，かならず一定 (n) です
問題 2. 上の文を証明して下さい．

n 次元 Rn の基底として，次の，
 
 
 
 1  0  0    
01
  
 0  0  0  0 e1 =  .  , e2 =  .  , . . . , en =  .  .
 .  .  .    
00  
 0 0
0
1
を取ることができます．これを，Rn の「自然基底」と呼びます．
24

これが基底になること (基底の公理を満たすこと) は明らかです．
問題 3. 上の文を証明して下さい．
部分空間は線形空間ですから，有限次元の線形空間の部分空間は次元を持ちます．N 次元の線形空間の部分空間の次元は，N 以下になります
問題 4. 上の文を証明して下さい．
線形多様体は部分空間を平行移動したものですから，その部分空間で次元を定義することができます．
超平面とは，N 次元の線形空間においては，N − 1 次元の線形多様体のことを指します (無限次元の場合は，商空間 (詳しくは後ほど) の次元が１として定義されます)．

25

1.8 線形作用素と行列線形作用素は，行列の概念を一般の線形空間に拡張したものです．微分やフーリエ変換などの線形作用素です．
2 つの線形空間 X と Y を考えます．A を X から Y の写像とします．すな
わち， x ∈ X に対して，Y の元 y が 1 つ定まります．A による写像は，一
般的には，
A(x)
(23)
と表します．A が線形作用素であるとは，2 つのベクトル x1, x2 ∈ X と 2つのスカラ α1, α2 に対して，
A(α1 x1 + α2 x2) = α1 A(x1) + α2 A(x2)(24)
を満たすことです．これは，A(x1 + x2) = A(x1) + (x2)(25)
A(α1 x1) = α1 A(x1)(26)という 2 つの条件をまとめて書いたものです．和やスカラー積を写像したものは，写像したものの和やスカラー積に等しい，すなわち，写像と和およぼスカラー積が可換であるというものです．
26

線形作用素の場合は，写像の結果 A(x) を一般に Ax と表します．
X および Y をそれぞれ，m および n 次元の空間とします．それぞれの基底を，e1, e2, . . . , em および b ≤01, e02, . . . , e0n で表します．任意の j (1 ≤ j ≤ m)に対して，Ae j は Y のベクトルですので，e01, e02, . . . , e0m の一次結合で表すことができます．これを，ai j をスカラーとして，

Ae j = a1 je01 + a2 je02 + · · · + an je0n(27)と書くことができます．X の任意のベクトル x は e1, e2, . . . , em の一次結合で表すことができます．従って，

x = ξ1e1 + ξ2e2 + · · · + ξmem

(28)となります．また，同様に， y = Ax を，

y = η1e01 + η2e02 + · · · + ηme0n

27

(29)

と表わすことができます．このとき，

Ax = A(ξ1e1 + ξ2e2 + · · · + ξmem)= ξ1 Ae1 + ξ2 Ae2 + · · · + ξm Aem= ξ1(a11e01 + a21e02 + · · · + an1e0n)+ξ2(a12e01 + a22e02 + · · · + an2e0n)+···+ξm(a1me01 + a2me02 + · · · + anme0n)= (a11ξ1 + a12ξ2 + · · · + a1nξm)e01+(a21ξ1 + a22ξ2 + · · · + a2nξm)e02
+···
0
+(an1
ξ
+
a
ξ
+
·
·
·
+
a
ξ
)e
nm m n
n2 2
 1

n ∑
∑

 0

=
 ai jξ j ei
i=1 j=1

28(30)

となります．すなわち，行列 a11 · · · a1m 
A =  · · · · · · · · · 

an1 · · · anm  ξ1   ξ2 ξ =  .  .  ξmに対して，行列に列ベクトルをかける演算と，列ベクトルη = Aξ
を行ない，

  η1   η2 η =  .  . 
 
ηn
29

(31)

を計算しておけば，

Ax =

n
∑

ηie0i

(32)

i=1

が成立します．従って，有限次元の線形作用素は行列を使って表現すことができることになります．
特に，空間が X = Rm, Y = Rn で ei, e0j が自然基底ならば，

x = ξ
y = η
となっています．

30

(33)
(34)

1.9 距離線形空間の定義だけでは，なかなか有意義な話を展開できません．それはベクトル間にに近いとか遠いという議論ができないからです
まず，一般的な集合 (線形空間とは限らない) の距離を定義します．
定義 1. 集合 S の距離とは，写像 d : S × S → R で，任意の a, b, c ∈ S に対して，以下の条件を満たすものです．

1.d(a, b) ≥ 0 であり，
d(a, b) = 0 ならば，a = b となる．
2.d(a, b) = d(b, a)
3.d(a, b) ≤ d(a, c) + d(c, b)
3 番目の性質が三角不等式と呼ばれるものです．a 地点から b 地点までまで行く距離は，c 地点に寄っていくよりも，遠くなることはないというものです．何故だと考えて夜が眠れなくなるようなことはないようにして下さい (若い人にはわからなそう)．ただ，そのようなものは距離と呼ぶにはふさわしくないことは，なんとなくは理解できると思います．
31

性質 1 と 2 を満たす写像で三角不等式 (性質 3) が成り立たない写像が存在します．例えば，2 次元の例で，(√)2√d(a, b) =|a1 − b1| + |a2 − b2|とします．性質 1 と 2 が成立することは明らかです．
a = (1, 0)， b = (0, 1)， c = (1, 1) とすると，(√√ )2
1 + 1 = 4,d(a, b) =(√√ )2
0 + 1 = 1,d(a, c) =(√√ )2d(c, b) =1+ 0 =1となり，三角不等式が成立しないことがわかります．

32

1.10 ノルム
ノルムはベクトルの大きさを定めるものです．ノルムの定義は次の通り
です．
定義 2. 体 K は任意の元 α に対してその絶対値 |α| が存在するものとします．体 K 上の線形空間 X のノルムとは，写像 k · k : X → K で，任意のx, y ∈ X と α ∈ K に対して，以下の性質を満たすものです．

1.kxk ≥ 0 であり，
kxk = 0 ならば x = θ となる．
2.kαxk = |α|kxk.
3.kx + yk ≤ kxk + kyk.
ノルムを使えば，ベクトルの差のノルムで，そのベクトル間の距離を定義することにができます．

d(x, y) = kx − yk
ベクトルのノルムというときのベクトルは矢印をイメージしていて，ノルムはその長さになります．ベクトル間の距離というときのベクトルは，
33ベクトルは矢印の先の点を表しています．その差によって決まるベクトルの大きさ (ノルム) が，その 2 点間の距離と言っているわけです．
問題 5. ノルムから定義された距離が，三角不等式を満たすことを証明し
て下さい．

34

1.11 内積
ノルムを定義できれば，大きさとか距離は定義できるのですが，ベクトル間の成す角のようなものが表せません．そのようなものを表するため，内積を定義します．R2 では，2 つの元 x = (x1, x2) と y = (y1, y2) に対して，
内積 hx, yi は，hx, yi = x1y1 + x2y2で定義することができます．もう少し一般に，RN では，2 つの元
x = (x1, x2, . . . , xN ) と y = (y1, y2, . . . , yN ) に対して，
hx, yi =

N
∑

xiyi

i=1

で定義することができます．RN でこの内積を持っている空間をユークリ
ッド空間 E N と呼びます．
N 次元の複素空間 C N では，複素数 α の複素共役 (虚数部をマイナスにす35る演算) を α で表せば，

hx, yi =

N
∑

xiyi

i=1

で定義されます．C N で，この内積を持っている空間を複素ユークリッド空間と呼ぶこともあります．
線形空間における内積の公理は以下の通りです．
定義 3. 体 K は任意の元 α に対してその共役な要素 α が存在するものとします．体 K 上の線形空間 X の内積とは，写像 h · , · i X × X → K で，任意の x, y, z ∈ X と α ∈ K に対して，以下の性質を満たすものです．

1.hx, xi ≥ 0 であり，
hx, xi = 0 ならば x = θ となる．
2.hx + y, zi = hx, zi + hy, zi.
3.hαx, yi = αhx, yi.
4.hy, xi = hx, yi.
36線形空間の公理と内積の公理から，次の関係が成立します．

• hθ, yi = 0.
• hx, y + zi = hx, yi + hx, zi.
• hx, αyi = αhx, yi.
• hx√ + y, z + wi = hx,√zi + hx, wi√+ hy, zi + hy, wi• hx + y, x + yi ≤ hx, xi + hy, yi.
問題 6. 内積の公理から上の関係を証明してみて下さい．(線形空間の公理から導かれる命題は使ってよいです．)
この公理を満たせば内積なので，R2 では，2 つの元 x = (x1, x2) と y =(y1, y2) に対して，
hx, yi = x1y1 + 2x2y2
や

hx, yi = x1y1 + x1y2 + x2y2 + 2x2y2で定義することもできます．もちろん，これらの内積を持つ空間はユー
クリッド空間とは呼びません．
37

問題 7. 上の 2 つの内積が本当に内積の公理を満たすことを証明してみて下さい．
内積を使って，√
kxk = hx, xiと定義すれば，これはノルムの公理を満たします．
問題 8. 上で定義したノルムが，本当にノルムの公理を満たすことを証明
してみて下さい．
内積が定義できれば実数空間ではベクトル x と y がなす角の角度 γ が，hx, yicos γ =
kxkkykで定義できます (この場合はベクトルを，2 つの矢印として考えているイ
メージ)．

38

1.11.1 l2
無限次元の空間の代表例として，l2 に関して述べます．l2 はユークリッド
空間 E N の無限次元版という感じです．l2 の各要素は，複素数の無限列で絶体 2 乗和が有界になるものです．
即ち， x ∈ l2 は， x = {xi}∞= (x1, x2, . . . , xn, . . .) で，
i=1∞∑|xi|2 < ∞i=1となるものです．この < ∞ で有界であることを表してます．有界の定義
は，ある実数 α が存在して，任意の M に対して，
M∑|xi|2 < αi=1が成立することです．つまり，ある天井 α が存在して，和をとる範囲をいくら増やしていってもそれを越えないということです．
ちなみに，論理学の話ですが，α と M を逆にすると意味がありません．
39

任意の M に対して，ある実数 α が存在して，M∑|xi|2 < αi=1

はいつでも成立します．1 つの要素は複素数ですので，それが無限ということはありません．数の集合には無限大は入っていません．ですので，∑M
α = i=1 |xi|2 + 1 とすれば良いです．従って，いつでも成立してしまい意
味はありません．
l2 は線形空間としては，次の演算で閉じる (その空間の元の演算の結果がその空間に必ず入る) ことになります．l2 の元 x = {xi}∞= (x1, x2, x3, . . .)i=1と， y = {yi}∞= (y1, y2, y3, . . .) と，スカラー α に対して，和とスカラー
i=1
積を，

x + y = (x1 + y1, x2 + y2, x3 + y3, . . .)αx = (αx1, αx2, αx3, . . .)と定義します (ほとんど，自明ですが)．この演算で閉じていること示さなくてはいけません．すなわち，この和やスカラー積が絶体 2 乗和が有40界であることを示さなくてはいけません． x と y の 2 乗和が α x と αy で抑えられているとすれば，和は，
M
∑
i=1

M
M
∑
∑
|xi+yi|2 ≤(|xi|2+|yi|2+2|xi||yi|) ≤(|xi|2+|yi|2+|xi|2+|yi|2) < 2(α x+αy)
i=1

i=1

となり (2 番目から 3 番目は相加相乗平均の不等式)，有界になります．ス
カラー積も，
MM∑∑|αxi|2 ≤ |α|2
|xi|2 < |α|2α x
i=1

i=1

となり有界になります．また，これが線形空間になること (6 つの公理を満たすこと) は簡単に証明できます．
このとき， x と y の内積を∞∑
hx, yi =
xiyi
i=1

41

で定義します．右辺の無限和の絶対和は，
M
∑
i=1

∞

1∑ 2
1
2
|xiyi| ≤(|xi| + |yi| ) < (α x + αy).
22i=1となり，有界になります．単調増加する有界列は必ず収束しますから，和は絶対収束します．絶対収束する級数は収束しますので，l2 の元に対して内積が定義できます．これが内積の公理を満たすことは明らかであると思います．
問題 9.

• l2 が線型空間になることを示して下さい．
• 上の定義が内積の公理を満たすことを示して下さい．

42

1.11.2 直交内積が定義されている実空間では角度が定義できますが，この角度が π/2(90 度) になっている場合を「直交」していると呼びます．cos π/2 = 0 ですから，2 つのベクトル x, y が直交しているならば，
hx, yi = 0(35)となります．複素空間でも，このように内積が 0 の場合を直交していると呼びます．このとき，次のピタゴラスの定理が成立します．

kx + yk2 = kxk2 + kyk2
問題 10. 上の式を証明して下さい．

43

(36)

1.11.3 正規直交基底
正規直交基底 (orthonormal basis, ONB){ϕi} とは，ノルムが 1 で互いに直交している基底のことです．
{
1 (i = j)
δi j =(37)
0 (i , j)とすれば，hϕi, ϕ ji = δi j

(38)

となます．
次に示す Schmidt の直交化法によって，任意の基底 {ψi} は ONB にすることができます．

1.n = 1∑n−12.an = ψn − i=1 hψn, ϕiiϕi
3.ϕn = an/kank4.go to 2
問題 11. 数学的帰納法を使って，{ψi} が ONB であることを示して下さい．
441.11.4 平行四辺形公式√
ノルムが内積から定義されたものであるとき (kxk = hx, xi)，次の式が成立します．
2kxk2 + 2kyk = kx + yk2 + kx − yk2(39)
これは，平行四辺形の 2 つの対角線の 2 乗の和が，平行でない 2 辺 (x とy) の 2 乗の和の 2 倍であることを表わしています．
問題 12. 上の式を証明して下さい．
この逆が成立する．すなわち，式 (39) が成立すれば，ある内積が存在して，そのノルムは内積から定義されたものとすることができます．
ノルムが存在しても，それに対応する内積が存在するとは限りません(そのノルムが内積から導かれたものになるとは限らないということです)．
しかしながら，式 (39) が成立すれば，存在することになります．
この証明は結構面倒です45

2 共役作用素
定義 4. 作用素 A に対して，その共役作用素 A∗ は，任意のベクトル x, y に対して，
hx, Ayi = hA∗ x, yiを満たすものとして定義されます．
問題 13. 任意のベクトル x, y に対して，

hA∗ x, yi = hx, Ayi
が成立することを示して下さい．

A∗∗ = (A∗)∗ = A が成立します．
問題 14. 上の式を示して下さい．
問題 15. 上の問題のために，あるベクトル x が任意のベクトル y に対して，

hx, yi = 0を満たすならば， x = θ を示して下さい．
46

実ベクトル空間では，行列 A の共役作用素は転置行列 AT になります．





∑
m
m ∑
n
n

∑
∑



 y

Ai jy jhAT x, yi =
A
x
xi 
hx, Ayi =i j i j



i=1

より，明らかです．

j=1

j=1 i=1(AT )i j = A ji

定義 5. 作用素 A が自己共役であるとは，A がA∗ = Aを満たすことです．
実ベクトル空間で作用素を行列で表わした場合，自己共役作用素とは対称行列のことです．
Ai j = A ji

47

3 作用素のノルムノルムが定義された空間からノルムが定義された空間への作用素 A には
ノルム kAk を定義することができます．一般に，作用素のノルムと言えば，
kAk = sup kAxk
kxk=1

(40)

で定義されます．これは，写像元のノルムが 1 のベクトルを様々に変える
とき，そのベクトルの写像先でのノルムの最大値として定義されています．どれだけベクトルを拡大するか示したものです．

48

4 作用素のトレース
X を内積が定義された空間とします．{ϕi} を X の ONB とします．X から Xへの作用素 A に対して，トレース tr(A) を，∑
tr(A) =
hϕi, Aϕii(41)iで定義します．この定義に ONB が使われていて，ONB の選び方によってはトレースの値が変化しそうですが，変化せず一定です．{ϕi} とは別の
ONB を使っても，上式の和は同じ値になります．
問題 16. トレースの値が，ONB の選び方に依らないことを示して下さい．
問題 17. X から Y への任意の作用素 A と Y から X への任意の作用素 B に対して，

tr(AB) = tr(BA)tr(A∗) = tr(A)を示して下さい．
49

ユークリッド空間では，ONB として自然基底を使えば，∑
tr(A) =
Aii

(42)

i

という，行列の対角和になることがすぐにわかります．(自然基底でなくても，トレースは ONB の選び方に依らないので，対角和になる．)

4.1 作用素の Hilbert-Schmidt ノルム
作用素 A に対して，tr(AA∗) の値が一定のとき，A の Hilbert-Schmidt ノル
ムを，√
kAk2 = tr(AA∗)(43)
によって定義します．(kAk22 は，kAk2 の 2 乗という意味です．)
一般に，
kAk2 ≥ kAk(44)
が成立します．

50

5 射影作用素部分空間への正射影という概念は図形にわかると思います．図のような場合です．
ここでは正射影作用素の前に，まず射影作用素を定義します．これは，図のように斜めに射影することを含みます．
定義 6. 作用素 P が射影作用素であるとは，PP = P(45)を満たすことです．
ベクトル的に考えると， f を一度 P で変換した P f をもう一度 P で変換しても，PP f = P f となり変らないということを意味しています．
式 (45) が成立すると，R(P) = N(I − P)
N(P) = R(I − P)
R(P) ∩ N(P) = {θ}R(P) + N(P) = RN
51

(46)
(47)
(48)
(49)

が成立します．この式から，P は N(P) に沿った R(P) への射影と解釈することができます．
証明f ∈ R(A) とすれば， f = Pg となる g が存在し，(I − P) f = (I − P)P g = Pg − PP g = Pg − Pg = 0となります．従って，R(P) ⊂ N(I − P)

(50)となります．
逆に， f ∈ N(I − P) とすれば，(I − P) f = θ となり， f = P f となるので，
f ∈ R(A) となります．従って，R(P) ⊃ N(I − P)

(51)となります．式 (50)，(51) より，式 (46) が成立します．

(I − P)(I − P) = I − P − P − P2 = I − P(52)

より，I − P も射影作用素になりますので，I − P を P と考えれば，式 (46)より式 (47) が成立します．
52

f ∈ R(P) ならば f = P g となる g が存在するので， f = Pg = PP g = P fとなります．従って， f ∈ R(P) ∩ N(P) = R(P) ∩ R(I − P) とすれば， f = P fと f = (I −P) f となり，f = θ より式 (48) が成立します．一般に，R(A+B) ⊂R(A) + R(B) であるので，式 (49) が成立します．
定義 7. 作用素 P が正射影作用素であるとは，式 (45) の他に，
P∗ = P(53)を満たすことです．
正射影ですから，沿う空間 N(A) と射影先の空間 R(P) が直交していることになります．任意の x ∈ N(A) と任意の y ∈ R(P) に対して，

hx, yi = hx, Pyi = hP∗ x, yi = hPx, yi = hθ, yi = 0となり，直交していることが分ります．
式 (45)，(53) の 2 つの式は，P∗ P = Pとまとめることができます．
問題 18. 上式を示して下さい．
53

P を部分空間 S への正射影作用素とします (R(P) = S )．そのベクトル空間の元 x から S にもっとも近い元は，Px によって与えられます．S の元 yに対して，Py = y であるので，
hy, xi = hPy, xi = hP2y, xi = hPy, P∗ xi = hPy, Pxi
が成立します．従って，

ky − xk2 = kPy − xk2= kPyk2 − hPy, xi − hx, Pyi + kxk2
= kPyk2 − hPy, Pxi − hPx, Pyi + kPxk2 − kPxk2 + kxk2
= kPy − Pxk2 − kPxk2 + kxk2
= ky − Pxk2 − kPxk2 + kxk2となります．上式より，y = Px のとき， x との距離が最小になります．

54

6 固有値・固有ベクトルA : n 次対称行列
固有方程式

Ax = λx(54)

λ : 固有値x : 固有ベクトル (x , θ)
縮退を含めて n 個の解が存在します．
固有値 : λ1 ≥ λ2 ≥ · · · ≥ λn
固有ベクトル : u1, u2, · · · , un
Aui = λiui
このとき，{ui}ni=1 を正規直交基底となるように取ることができます．
{
1 (i = j)(55)hui, u ji = δi, j =0 (i , j)

55

(証明)
式 (54) は，(A − λI)x = 0,(56)となります．ここで，I は単位行列です．x , 0 より Ax − λI は正則であってはいけません．従って，det(A − λI) = 0(57)が成立します．これは，λ に関する n 次方程式です．従って，「代数学の基本定理」より，複素数まで含めれば n 個の解が存在します．その 1 つの解を λ と記します．この λ に対して，成分が複素数の n 次ベクトル x = (xi)が存在して，(A − λI)x = 0
(58)

56

が成立します．A の成分 Ai j は実数ですので，

λn∑|xi|2 =

i=1

=

n
∑
i=1
n
∑

λxi xi =

xj

j=1

n
∑

n
n ∑
∑

Ai j x j xi =i=1 j=1n∑

A ji xi =

i=1

n
n ∑
∑

x jλx j = λ

j=1

Ai j<e(xi) = λ<e(xi)(59)|x j|2(60)

j=1 i=1n∑となり，λ が実数であることがわかります．また，n∑Ai j(x j + x j) = λ(xi + xi),j=1n∑

x j Ai j xi

j=1

(61)
(62)

j=1

となるので，一般性を失うことなく，全ての xi を実数の中から取ることができます．
57

従って，少くとも 1 組の実数の固有値と固有ベクトルが存在します．λn =λ，un = x/kxk とおき，{vi}n−1を un の直交補空間 (n − 1 次元の部分空間) のi=1
正規直交系とします．従って，n 以下の任意の自然数 i, j に対して，hvi, v ji =
δi j と hvi, uni = 0 が成立します．(n, n − 1) 行列 V を，

V = (v1 v2 · · · vn−1).
と定義します．

V T V = In−1.

は明らかです．また，(V T AV)T = V T AT V T T = V T AV,となりますので，V T AV は，n − 1 次対称行列になります．
あとは数学的帰納法を使って証明します．n = 1 のときに，固有ベクト
ルと固有値が存在することは明らかです．V T AV は，n − 1 次対称行列ですので，数学的帰納法の仮定より，固有値 λ1, · · · , λn−1 と，n − 1 次元実ベ
クトル空間の正規直交基底になる対応する固有ベクトル {u01, · · · , u0n−1} が存在します．定義より，次の式が成立します．
V T AVu0i = λiu0i
58

従って，

hun, AVu0i i = hAun, Vu0i i = λnhV T un, u0i i = λnhθ, u0i i = 0となります．un ⊥ AVu0i であり，

VV T AVu0i =n−1∑

hAVu0i , v jiv j = AVu0i

j=1

ですので，
と

AVu0i = λiVu0i(i = 1, 2, · · · , n)hVu0i , Vu0ji = hV T Vu0i , u0ji = hu0i , u0ji = δi j,

hVu0i , uni = 0.

λ1, · · · λn, Vu01, · · · Vu0n−1, un が，求める固有値と固有ベクトルになります．
注意 λi , λ j のとき，hui, u ji = 0 となります．実際，

λihui, u ji = hAui, u ji = hui, Au ji = λ jhui, u ji
従って，(λi − λ j)hui, u ji = 0 となり，題意が成立します．
59

Remark λi = λ j のときは，ui と u j の任意の線型結合が固有ベクトルになります．
Aui = λui と Au j = λu j が成立するので，実数 α と β に対して，A(αui + βu j) = λ(αui + βu j)となり，αui + βu j は固有ベクトルになっています．

U = (u1 u2 · · · un) と置けば，次の式が成立します．
U T U = UU T = I, λ1
 λ1
0 
0 



 T
...
.
.
.
U T AU = 
,
A
=
U
U ,










0
λn
0
λn
n
∑
A=
λiuiuTi = λ1u1uT1 + · · · + λnunuTni=160

(後の式の証明)∑{ui} は ONB なので，任意の x に対して， x = ihx, uiiui と書くことができます．従って，∑∑∑
Ax = A hx, uiiui =hx, uiiAui =λihx, uiiuiiiiとなり，ベクトル a と b に対して， abT x = hx, bia となりますので，


n
∑

∑
 λ u uT  x =λihx, uiiuii i i ii=1となります．
問題 19. 正射影行列 P の固有値は，0 または 1 であることを示して下さい．
従って，P は下のように書くことができます．

P=

d
∑

uiuTi

i=1

ここで，d = (1 の固有値の数) = (R(P) の次元) = (P の rank) です．
61

問題 20. m 個の n 次元データ { f i}mに対して，rank(X) ≤ l の n 次正方行列
i=1
の中で，
m
∑
kX f i − f ik2
i=1を最小にするものを求めて下さい (十分なもので構いません)．

(ヒント)• P を R(X) への正射影行列とすれば，kP f − f k ≤ kX f − f k．
• kP f − f k2 = k f k2 − kP f k2．
• h f , gi = tr( f gT )．
∑m∑m
T• R = i=1 f i f i とおけば， i=1 kP f ik2 = tr(PRP)．
• R の固有値を λ1 ≥ λ2 ≥ · · · ≥ λn，それに対応する ONB をなす固有ベ∑nnクトルを {ϕi}i=1 とおけば，tr(PRP) = i=1 λikPϕik2．
∑n• i=1 kPϕik2 = tr(P) ≤ l．
∑n∑n
• 一般に，αi (0 ≤ αi ≤ 1) かつ i=1 αi ≤ l の条件の元， i=1 λiαi を最大にする αi は，α1 = α2 = · · · αl = 1，αl+1 = αl+2 = · · · αn = 0．
62

7 特異値分解
A: (n, m)-行列
目的：対称とは限らない A を，A が対称行列のときの固有値よる方法のよ
うに分解する．
以下の式より明らかに，AAT は対称な (n, n) 次行列です．

(AAT )T = (AT )T AT = AAT .
従って， AAT は，固有値 λ1 ≥ λ2 ≥ · · · λn ≥ 0 とそれに対応する固有ベ
クトル u1 ≥ u2 ≥ · · · un ≥ 0 を持ち，{ui}ni=1 を ONB とすることができます．
従って，
AAT ui = λiui.
が成立します．また，
λikuik2 = hλiui, uii = hAAT ui, uii = hAT ui, AT uii = kAT uik2.
より，λi ≥ 0 (i = 1, 2, · · · , n) となります．
同様にして，AT A は固有値 µ1 ≥ µ2 ≥ · · · µn ≥ 0 を持つ．このとき，AT A(AT ui) = AT (AAT ui) = λi Aui
63

が成立するので，λi と AT ui は，それぞれ，AT A の固有値とそれに対応す
る固有ベクトルです．従って，i = 1, 2, · · · , min(m, n) に対して，µi = λiが成立します．
いま，λ1 ≥ λ2 ≥ · · · ≥ λk > 0，λk+1 = · · · = λn = 0 とします．vi を i ≤ k
に対して，
√
T
vi = A ui/ λi
T Ax = 0} の任意の正規直交系とおきます．
とおき，{vi}m
を，
{x
|
A
i=k+1
m
{vi}i=1 が ONB になることを示す．任意の i ≤ k と任意の j ≤ k に対して，* T
T u + hAAT u , u i
A
λi
A ui
i j
j
= √ √
= √ √ hui, u ji = δi jhvi, v ji = √ , √λi
λjλi λ jλi λ jが成立します．さらに，任意の i(≤ k) と任意の j(> k) に対して，
√
√
T
T
T
hvi, v ji = hA ui/ λi, v ji = hA AA ui/(λi λi), v ji = hvi/λi, AT Av ji = 0
64

とります．従って，任意の i (≤ m) と任意の j (≤ m) に対して，
hvi, v ji = δi j.
が成立します．
i ≤ k のとき，vi の定義より，√
T
A ui = λivi,と√√T
Avi = AA ui/ λi = λiui.
が成立します．また，{x | Ax = 0} = {x | AT Ax = 0} が成立するので，i > k
に対して Avi = 0 となります．従って，{√λivi (i ≤ m)T
A ui =,(63)θ(else){√
λiui (i ≤ n)
Avi =
.
(64)
θ
(else)となります．(n, n)-行列 U と (m, m)-行列 V を
U = (u1 u2 · · · un)(65)
V = (v1 v2 · · · vm)(66)65と定義します．U T U = I と V T V = I より，

UU T = U T U = I,

VV T = V T V = I,となります．また，
T (Av Av · · · Av )U T AV = Um T 1 2
 u  1T  u2  ( √)√√ . =  .  λ1u1 λ2u2 · · · λmin(m,n)umin(m,n) θ · · · θ T  un 

となります．

66

この右辺を計算すると，
 √



 λ1 0 · · ·

0


√





λ2 · · ·0θ · · · θ 
 0


 (m ≥ n)



.
.
.
.


.. ..
.
.






√







 0

0 ···
λmin(m,n)









√





0
  λ1 √0 · · ·
T


U AV = 
λ2 · · ·
0

 0




 ..
..
... ...






√






λ
0
0
·
·
·

(m < n)min(m,n) 







T



θ






.


.








θT
となり，2 つの直交行列によって対角化されることがわかります．
67

また，U を左から，V T を右からかけることによって，次の式を得ます．
√ λ1 0 · · ·

0
√


λ2 · · ·0[θ] · · · [θ] 
 0

 ..
..
... ...


√
 T

 V
0 ···
λmin(m,n)
A = U  0
(67)



T


[θ ]


.
.




[θT ]
これは次のように書くこともできます．
k √
∑
√
√
√
T
T
T
A=
λ1uivi = λiu1v1 + λ1u2v2 + · · · + λk uk vTk
i=1(Proof.){vi}mは ONB であり，A と上式の左辺を vi に作用させると，両方から√ i=0λiui が得られます．従って，両者は等しくなります．
68

(n, k)-行列 U 0 と (m, k)-行列 V 0 を，
U 0 = (u1, · · · , uk ),V 0 = (v1, · · · , vk )とおきます．((U 0)T U 0 = Ik ，(V 0)T V 0 = Ik は成立しています．)√ λ1 0 · · · 0 
√


λ2 · · · 0 
 0
T
0

U AV =  .
.
.
.
. . . . . 
 .
√ 

0
0 · · · λk
および

√

 λ1 0 · · · 0 
√


λ2 · · · 0  0T
 0
0
 V
A = U  .
.
.
.
. . . . . 
 .
√ 

0
0 · · · λkが成立します．
69

問題 21.

√ λ1 0 · · · 0 
√


0
λ
·
·
·
0

 0T
2V
A = U 0  .

.
.
.

.
.
.
.
. 
 .
√


0
0 · · · λk

問題 22. {x | Ax = 0} = {x | AT Ax = 0} を示して下さい．
問題 23. 任意の (n, m)-行列 A に対して，(n, m)-行列 X が，rank(X) ≤ l の条
件の元で
kX − Ak22 = tr((X − A)T (X − A))
を最小にする必要十分条件は，固有値の縮退による自由度を除いて，

A=

l √
∑

λiuivTi

i=1が成立することであることを示して下さい．

70

8 一般逆行列 (作用素)A : (n, m) 行列 (正則でなくてもよい)
一般逆行列の定義：
1-逆 AXA = A,
2-逆 XAX = X,
3-逆 (AX)T = AX,
4-逆 (XA)T = XA,

X = A(1) or A−
X = A(2)X = A(3)X = A(4)

一般逆の表記の例：
A(1), A− : A の 1-逆行列
A(1,2) : A の 1, 2-逆行列
A(1,2,3,4), A† : 1, 2, 3, 4-行列, Moore-Penrose 一般逆行列
A{1} : A の 1-逆行列全体の集合
A{1, 2} : A の 1, 2-逆行列全体の集合

71

補題 1. 任意の行列 A に対して，次式が成立します．

R(A)⊥ = N(AT ),R(AT )⊥ = N(A),

R(A) = N(AT )⊥R(AT ) = N(A)⊥

(68)
(69)

(証明)
任意の x ∈ R(A)⊥ と任意の y ∈ Rm に対して，Ay ∈ R(A) ですので，
hx, Ayi = 0が成立します．
⇒ hAT x, yi = 0 ⇒ AT x = 0 ⇒ x ∈ N(AT ) ⇒ R(A)⊥ ⊂ N(AT ).
逆に，任意の x ∈ N(A) と任意の y ∈ Rm に対して，Ay ∈ θ ですので，
0 = hAT x, yi = hx, Ayi ⇒ x ∈ R(A)⊥ ⇒ N(AT ) ⊂ R(A)⊥となり，R(A)⊥ = N(AT ) が成立します．
残りの式は，両辺の直交補空間を考える，あるいは，A に AT を代入することによって得られます．

72

8.1 1-逆行列
次の連立 1 次方程式を考えます．
Ax = y.

(70)

もし，式 (70) が解を持てば (⇔ y ∈ R(A))，その解の 1 つは，次の式で与え
られます．
A−y

(証明)
x = A−y とおけば，下式より明らかです．
Ax = A(A−y) = AA− Ax = Ax = y
A− A と AA− は，射影行列になります．
(A− A)2 = A− AA− A = A− A(AA−)2 = AA− AA− = AA−73一般に，1-逆行列は一意に決まりません．次の式は，A の一般形です．

X = A− + W − A− AWAA−.

(71)

すなわち，任意の W に対して X は A の 1-逆行列で，A の任意の 1-逆行列はこの形で書くことができます．
(証明)

AXA = A(A− + W − A− AWAA−)A= AA− A + AWA − AA− AWAA− A= A + AWA − AWA = A.
また， B を A の任意の 1-逆行列とすれば，W = B − A− とおいて，

X = A− + (B − A−) − A− A(B − A−)AA− = B + A−(A − A)A− = B.
が成立します．従って，式 (71) は一般形です．

74

次の式が成立します．

R(A) = R(AA−)
N(A) = N(A− A)

(72)
(73)

(証明)

R(A) = R(AA− A) ⊂ R(AA−) ⊂ R(A)となり R(A) = R(AA−) が成立します．同様に，N(A) = N(AA− A) ⊃ N(A− A) ⊂ N(A)が成立し，N(A) = N(A− A) が成立します．
しかし，一般には次の式は成立しません

× R(A−) = R(A− A)
× N(A−) = N(AA−)

75

(74)
(75)

• R(A− A) と R(A) のベクトルは 1 対 1 に対応します．
A− Ax と Ax が対応します．
• x + N(A) のベクトルはすべて Ax に写像されます．
• Ax + N(AA−) のベクトルはすべて A− Ax + N(A) に写像されます．
76

8.2 1,2-逆
2-逆を加えることによる最大の特長は，
(
)
(1,2)
rank(A) = rank A()

が成立することです．1-逆だけでは，rank(A) ≤ rank A(1,2) です．ここで，rank(A) は，部分空間 R(A) の次元で定義されます．
(証明) 一般に，rank(AB) ≤ rank(A) と rank(AB) ≤ rank(B) が成立します．
従って，
(
)
(
)
rank(A) = rank AA(1,2) A ≤ rank A(1,2)
と

(

)

(

)

rank A(1,2) = rank A(1,2) AA(1,2) ≤ rank(A)が成立します．
補題 2. 1-逆では成立しなかった，
(
)
(
)
(1,2)
(1,2)
R A
= R A
A
(
)
(
)
(1,2)
(1,2)
N A
= N AAが成立します．
77

(76)
(77)

問題 24. 上の式を示してて下さい．
問題 25. R(A(1,2)) の元と R(A) の元の間に，1 対 1 対応が存在します．A(1,2) yに対して A(A(1,2) y) が対応し，Ax に対して A(1,2)(Ax) が対応しています．
これを示して下さい．
問題 26. 1-逆における，R(A) と R(A− A) の 1 対 1 対応を示して下さい．
まだ，R(A(1,2)) と N(A(1,2)) は，それぞれ，N(A) と R(A) の補空間に任意に選ぶことができます．

78

(

)

• R A(1,2) と R(A) のベクトルは 1 対 1 に対応します．
A(1,2) Ax と Ax が対応します．
• x + N(A)( のベクトルはすべて
Ax に写像されます．
)• Ax + N A(1, 2) のベクトルはすべて A(1,2) Ax に写像されます．
79

8.3 1,3-逆
1,3-inverse: N(AA(1,3)) = R(A)⊥ : 最小 2 乗誤差を与えます．
定理 1. 与えられた y に対して，

kAx − ykを最小にする x は，A(1,3) y によって与えられます．
補題 3. AA(1,3) は正射影行列になります．
簡単のため 1,2,3-逆に関して図で説明します．

80• R(A(1,2,3)) と R(A) のベクトルは 1 対 1 に対応します．
A(1,2,3) Ax と Ax が対応します．
• x + N(A) のベクトルはすべて Ax に写像されます．
• Ax+R(A)⊥ のベクトルはすべて A(1,2,3) Ax に写像されます．
81

8.4 1,4-逆
1,4-inverse: R(A(1,4) A) = N(A)⊥ : 最小ノルム解定理 2. R(A) に含まれる y が与えられたとき，y = Az を満たすものの中で，kxkを最小にする x は，A(1,4) y によって与えられます．
補題 4. A(1,4) A は正射影行列になります．
簡単のため 1,2,4-逆に関して図で説明します．

82• N(A)⊥ と R(A) のベクトルは 1 対 1 に対応します．
A(1,2,4) Ax と Ax が対応します．
• x + N(A) のベクトルはすべて Ax に写像されます．
• Ax + N(A(1,2,4)) のベクトルはすべて x の N(A)⊥ への正射影へ写像されます．
83

8.5 1,2,3,4-逆
1,2,3,4-逆は，最小 2 乗解かつ最小ノルム解を与えます．
定理 3. 与えられた y に対して，

kAx − ykを最小にする x の中で，kxkを最小にする x は，A† y によって与えられます．
補題 5. AA† と A† A は，は正射影行列になります．
定理 4. N(A†) = R(A)⊥, R(A†) = N(A)⊥ が成立します．
問題 27. 上の定理を証明して下さい．
(N(A†) = N(A T ), R(A†) = R(AT ) を示します． )84

定理 5. 1,2,3,4-逆は，存在すれば一意です．

(証明)
B も，ABA = A， BAB = B，(AB)T = AB，(BA)T = BA を満たすものとします．
B = BAB = BAA† AB = B(A†)T AT BT AT = B(A†)T (ABA)T= B(A†)T AT = B(AA†)T = BAA† = BAA† AA†= AT BT AT (A†)T A† = AT (A†)T A† = (A† A)T A† = A† AA† = A†.
より，一意であることがわかります．
定理 6. 作用素の場合も含めて，一般逆は R(A) が閉集合ならば存在します．
有限部分空間は閉集合ですので，一般逆行列は必ず存在します．
証明には，Banach の可逆定理 (Harn-Banach の定理から得られます) を使
い，複雑ですので省略します．
85

• N(A)⊥ と R(A) のベクトルは 1 対 1 に対応します．
A† Ax と Ax が対応します．
• x + N(A) のベクトルはすべて Ax に写像されます．
• Ax+R(A)⊥ のベクトルはすべて x の N(A)⊥ への正射影へ写像されます．
86

8.6 一般逆行列の計算法
A− : 掃き出し法，LU-分解
A† :– 1-逆の利用 : A† = AT (AAT )− A(AT A)− AT– SVD:k∑A=µiuivTi
i=1と分解し，µi , 0 とすれば，以下の式が成立します．

A† =

k
∑
1

µ
i=1 i

viuTi

– 正則化で近似的に計算できます．
A† = lim AT (AAT + εI)−1 = lim (AT A + εI)−1 AT
ε→0

ε→0

ε を小さくしていくと，A† に収束する．
87

8.7 N(A) = N(AT A)
補題 6. 次式が成立します．
N(AT A) = N(A),
R(AAT ) = R(A).

(78)
(79)

(証明)
N(AT A) ⊃ N(A) は明らかです． x ∈ N(AT A) とすれば，
kAxk2 = hAx, Axi = hAT Ax, xi = 0,となり，Ax = 0 となります．従って，N(AT A) ⊂ N(A) となり，N(AT A) ⊃N(A) は明らかですから式 (78) が成立します．
A に AT を代入すれば，N(AAT ) = N(AT ) となりますので，補題 1 より，R(A) = N(AT )⊥ = N(AAT )⊥ = R(AAT ).
が成立します．

88