elinear:<2018/9/4>(10:52)

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

まえがき

Preface

線形代数は，理学，工学，農学，経済学，医学などの広い分野の基礎であり，それらの学部の基礎科目としてほとんどすべての大学で教えられている．そして，市販の線形代数の教科書のほとんどすべては，そのような広範囲の学生を対象とし，主に数学者によって書かれている．それに対して，本書は主として，音声・言語を含むパターン処理・認識，信号・画像処理，コンピュータビジョン，コンピュータグラフィクスなどのパターン情報処理を学ぶ学生や，研究・開発を行う研究者を対象としている．そして，筆者自身もこの分野の研究者である．
このようなパターン情報処理では，大量のデータを扱う．それらは高次元のベクトルや行列の形をとる．しかし，そこにおける線形代数の役割は，単に大規模なベクトルや行列の数値的な計算処理だけではない．データの処理にはその 幾何学的な解釈
集合に

直交する

る空間に 射影が伴う．例えば，あるデータ集合が別のデータという概念や，データ集合間の距離や，データをあするなどの幾何学的な関係が重要な意味を持つ．これは抽象的な高次元空間を直観的にイメージするのに役立つだけでなく，どのような目的のためにはどのような処理を行えばよいかという指針ともなる．
本書はこのような観点で，パターン情報処理を支える線形代数のテーマを説明する．まず，線形空間における射影という概念をとりあげ，それを用いて，スペクトル分解，特異値分解，および一般逆行列を記述する．そして，応用として，連立 1 次方程式の最小 2 乗解，ベクトルの確率分布を指定する
必ずしも正値でない共分散行列，点データに対する部分空間の当てはめ，おkbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

まえがき

iv

Preface

よび行列の因子分解とその動画像解析との関連を述べる．
これらのテーマすべての根幹となるのは，「射影」である．それは，射影が，「直交性」と「最短距離」という二つの概念を包含しているからである．
そして，パターン情報処理はこの二つの概念を基盤としている．欧米のパターン情報処理の教科書では，本書のような記述がよく見受けられるが，我が国ではあまり見かけない．我が国の多くの線形代数の教科書では，線形代数を行列の操作および数値計算の側面から説明している．この意味で，本書は多くのパターン情報処理の学生や研究者が線形代数をより深く理解する助けになるであろう．
本書は，読者が学部低学年で学ぶ線形代数の基礎（ベクトルや行列や行列式の計算，固有値や固有ベクトルの計算，2 次形式の標準化など）を既習であると仮定している．しかし，知識を整理するために，各章の末尾に，本文中に現れた線形代数やその応用に関連する基本的な用語をとりあげ，短い解説を加えている．また，本文のポイントを箇条書きの形でまとめた．さらに，巻末に「付録 線形代数の基礎」を付け，本文に関係する線形代数の基礎
知識，および関連する数学的事項をまとめた．それとともに，線形代数の必要な基礎事項のほとんどすべては，各章の問題，および巻末の解答としてとりあげられている（ややレベルの高い問題には ∗ 印を付した）．これらの工夫により，本書は線形代数を復習する目的にも役立つと思われる．
本書の多くの部分は和文英文併記にしている．そして，巻末に各章の問題の英訳（Q:）と英文による解答（A:）を与えている．このようにしたのは，今日，留学生の数が増加し，政府もこれを推進し，英語による授業や教員の海外への国際発信を求めている背景がある．また，日本人学生への英語論文
執筆の指導を支援する意味もある．
本書は，数学に興味のある一般読者や，企業や研究所において研究・開発を行っている研究者に広く読まれることを期待しているが，とりわけ，学部のパターン情報処理に関連する授業や演習の副教材として，また，大学院の授業や研究室セミナーのテキストとして利用されることを望んでいる．
本書に原稿段階で眼を通して，いろいろなご指摘を頂いた理化学研究所特別顧問の甘利俊一先生，米国テキサス大学アーリントン校の野村靖一教授，
長崎県立大学の金谷一朗教授，広島大学の玉木徹准教授，豊橋技術科学大学

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

まえがき

Prefacevの金澤靖准教授，菅谷保之准教授，群馬大学の松浦勉准教授，（株）朋栄の松
永力氏に感謝します．最後に，本書の編集の労をとられた共立出版の大越隆
道氏にお礼申し上げます．

2018 年 5 月

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

金谷健一

elinear:<2018/9/4>(10:52)

目次

Contents

第1章

線形空間と射影

Linear Space and Projection11.1

線形写像の表現

Expression of Linear Mapping ・・・・・

1

1.2

部分空間と射影，反射影

Subspaces, Projection, and Re-

jection ・・・・・・・・・・・・・・・・・・・・・・・・・

4

1.3

射影行列

5

1.4

直線と平面への射影

Projection onto Lines and Planes ・7

1.5

シュミットの直交化

Schmidt Orthogonalization

・・・・

9

Projection Matrices ・・・・・・・・・・・・・

用語とまとめGlossary and Summary

・・・・・・・・・・・・

10

第 1 章の問題

Problems of Chapter 1 ・・・・・・・・・・・・・

15

第2章

固有値とスペクトル分解

Eigenvalues and Spectral De-

composition

17

2.1

固有値と固有ベクトルEigenvalues and Eigenvectors ・・

17

2.2

スペクトル分解

Spectral Decomposition ・・・・・・・・

18

2.3

ランク

・・・・・・・・・・・・・・・・・・・・・

19

2.4

対称行列の対角化

2.5

逆行列とべき乗

Rank

Diagonalization of Symmetric Matrices

19

・・・・・・・・・・

20

Inverse and Powers

用語とまとめGlossary and Summary

・・・・・・・・・・・・

22

第 2 章の問題

Problems of Chapter 2 ・・・・・・・・・・・・・

26

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

目次

第3章

特異値と特異値分解

Contents

Singular Values and Singular Decom-

position
3.1

28

特異値と特異ベクトル

tors

vii

Singular Values and Singular Vec-

・・・・・・・・・・・・・・・・・・・・・・・・・・

3.2

特異値分解

Singular Value Decomposition ・・・・・・・

3.3

列空間と行空間

Column Domain and Row Domain

3.4

行列による表現

Matrix Representation

28
29

・・

30

・・・・・・・・

31

用語とまとめGlossary and Summary

・・・・・・・・・・・・

32

第 3 章の問題

Problems of Chapter3 ・・・・・・・・・・・・・

35

第4章

一般逆行列

Pseudoinverse

36

4.1

一般逆行列

Pseudoinverse ・・・・・・・・・・・・・・・

37

4.2

列空間と行空間への射影

Row Domains

Projection onto the Column and・・・・・・・・・・・・・・・・・・・・・

37

4.3

ベクトルの一般逆行列

Pseudoinverse of Vectors

・・・・

39

4.4

ランク拘束一般逆行列

Rank-constrained Pseudinverse ・

40

4.5

行列ノルムによる評価

Evaluation by Matrix Norm ・・・

42

用語とまとめGlossary and Summary

・・・・・・・・・・・・

43

第 4 章の問題

Problems of Chapter 4 ・・・・・・・・・・・・・

45

第5章

連立 1 次方程式の最小 2 乗解

Least-squares Solution ofLinear Equations
5.1

47

連立 1 次方程式と最小 2 乗法

Linear Equations and Least

Squares ・・・・・・・・・・・・・・・・・・・・・・・・・

47

5.2

最小 2 乗解の計算

Computing the Least-squares Solution

49

5.3

1 変数多方程式

Multiple Equations of One Variable

5.4

多変数 1 方程式

Single Multivariate Equation

・・

52

・・・・・

53

用語とまとめGlossary and Summary

・・・・・・・・・・・・

53

第 5 章の問題

Problems of Chapter 5 ・・・・・・・・・・・・・

55

第6章
6.1

kbdbook6<2017/01/25>:

ベクトルの確率分布
誤差の共分散行列

Probability Distribution of Vectors

57

Covariance Matrices of Errors ・・・・

57

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

目次

viii

Contents

6.2

ベクトルの正規分布

6.3

球面上の確率分布

Normal Distribution of Vectors ・・

59

Probability Distribution over a Sphere64

用語とまとめGlossary and Summary

・・・・・・・・・・・・

67

第 6 章の問題

Problems of Chapter 6 ・・・・・・・・・・・・・

72

第7章

空間の当てはめFitting Spaces

7.1

部分空間の当てはめ

7.2

階層的当てはめ7.3

特異値分解による当てはめ

Fitting Subspaces ・・・・・・・・・

75

Hierarchical Fitting ・・・・・・・・・・

77

Fitting by Singular Value De-・・・・・・・・・・・・・・・・・・・・・・

composition
7.4

74

アフィン空間の当てはめ

79

Fitting Aﬃne Spaces ・・・・・

81

用語とまとめGlossary and Summary

・・・・・・・・・・・・

85

第 7 章の問題

Problems of Chapter 7 ・・・・・・・・・・・・・

88

第8章

行列の因子分解

Matrix Factorization

8.1

行列の因子分解

Matrix Factorization

8.2

動画像解析の因子分解法

Analysis90
・・・・・・・・・

90

Factorization for Motion Image

・・・・・・・・・・・・・・・・・・・・・・・・

93

・・・・・・・・・・・・

97

用語とまとめGlossary and Summary

第 8 章の問題

Problems of Chapter 8 ・・・・・・・・・・・・・ 101

付録

線形代数の基礎

Fundamentals of Linear Algebra

A.1

線形写像と行列

Linear Mappings and Matrices

A.2

内積とノルムA.3

1 次形式 Linear Forms ・・・・・・・・・・・・・・・・・ 106

A.4

2 次形式 Quadratic Forms ・・・・・・・・・・・・・・・ 107

A.5

双 1 次形式

A.6

基底による展開

A.7

最小 2 乗近似

A.8

ラグランジュの未定乗数法

Inner Product and Norm

103

・・・・ 104

・・・・・・・・ 105

Bilinear Forms ・・・・・・・・・・・・・・・ 109
Basis and Expansion

・・・・・・・・・ 109

Least-squares Approximation

・・・・・・ 110

Lagrange’s Method of Inde-terminate Multipliers ・・・・・・・・・・・・・・・・・・ 112
A.9

kbdbook6<2017/01/25>:

固有値と固有ベクトルEigenvalues and Eigenvectors ・・ 113

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

目次

A.10 2 次形式の最大値，最小値
Quadratic Form

Contents

ix

Maximum and Minimum of a・・・・・・・・・・・・・・・・・・・・ 115

あとがき

Postface

117

参考文献

References

121

Problems and Answers 問題と解答

123

日本語索引

Japanese Index

143

English Index

英語索引

147

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

第1章
線形空間と射影

Linear Space and Projection

本章では，「射影」および「反射影」の概念を導入し，それを「射影行列」の形で表現する．これが本書で最も重要な役割を果たすのは，射影に「直交性」と「最短距離」という二つの側面があるからである．そして，以下の章のテーマはすべてこの性質に基づいている．まず，「部分空間」，「直交補空間」，「直和分解」を定義して，射影行列の具体的な形を導く．また，直線と平面への射影の例を示し，射影行列を用いてベクトルの正規直交系を作り出す「シュミットの直交化」を説明する．

In this chapter, we introduce the concepts of “projection” and “rejection” and express them in the form of the “projection matrix.” It
plays the central role in this book, because it implies “orthogonality”
and “shortest distance.” The themes of the subsequent chapters are allbased on these two aspects of projection. First, we define “subspaces,”“orthogonal complements,” and “direct sum decomposition” and thenderive concrete expressions of the projection matrix. As an illustration,
we show examples of projection onto lines and planes and explain the“Schmidt orthogonalization” for producing an orthonormal system ofvectors using projection matrices.

1.1 線形写像の表現

Expression of Linear Mappingn 次元空間 Rn から m 次元空間 Rm への線形写像は，ある m × n 行列 A
によって表される（,→ Appendix A.1 節）．これを定める基本的な方法は，Rn （これを定義域 (domain) と呼ぶ）に一つの正規直交基底 (orthonormal

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

第1章

2

線形空間と射影

Linear Space and Projection

Rn

Rm
ai

O

図 1.1

Fig. 1.1

uiAO

Rn の正規直交基底 {ui }, i = 1, . . . , n を Rm のベクトル ai , i = 1, . . . ,∑⊤n に写像する線形写像は m × n 行列 A = n
i=1 ai ui で与えられる．
The linear mapping that maps the orthonormal basis {ui }, i = 1, . . . ,n, of Rn to vectors ai , i = 1, . . . , n, of Rm is given by the m × n∑⊤
matrix A = n
i=1 ai ui .

basis)（すなわち，互いに直交する単位ベクトル）{u1 , . . . , un } を定め，それぞれが写像されるべき m 次元ベクトル（すなわち，像 (image)）a1 , . . . ,an を指定することである (Fig. 1.1)．このとき，行列 A は次のように書ける (,→ Problem 1.1)．
⊤
A = a1 u⊤
1 + · · · + an un(1.1)

ただし，⊤ は転置1) を表す．実際，上式を ui に掛けると，正規直交性

u⊤i uj = δij(1.2)（δij はクロネッカのデルタ (Kronecker delta)，すなわち，j = i のとき 1，j ̸= i のとき 0 をとる記号）より，Aui = ai となる．
特に，Rn の正規直交規定として自然基底 (natural basis) {e1 , . . . en } （eiは第 i 成分が 1，その他は 0 の n 次元ベクトル，標準基底 (standard basis,

canonical basis) とも呼ぶ）をとり，ai = (a1i , . . . , ami )⊤ と書くと，式 (1.1)
は次のように表される．
1)

数学者は transpose（転置）の頭文字 t を左上添字として，ベクトル u の転置を t u と書くことが多い．物理学や工学では記号 ⊤ を右上添字として u⊤ と書くのが普通である．

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

1.1 線形写像の表現 Expression of Linear Mapping

Rn

3

Rm
ai
ei

A

O

図 1.2

O

Rn の自然基底 {ei }, i = 1, . . . , n を Rm のベクトル ai =( (a1i), . . . ,ami )⊤ , i = 1, . . . , n に写像する線形写像は m × n 行列 A = aij で与えられる．

Fig. 1.2

The linear mapping that maps the natural basis {ei }, i = 1, . . . , n, of
Rn to vectors ai = (a1i(, . . .), ami )⊤ , i = 1, . . . , n, of Rm is given by
the m × n matrix A = aij .









a11
a1n


(
(
)
)
 .. 
 .. 
A =  .  1 0 ··· 0 + ··· +  .  0 ··· 0 1




am1


amn


a11 · · · a1n. ..
. ..  .
=  ..
(1.3)

am1 · · · amn()
すなわち，像 a1 , . . . , an を列として順に並べた行列 a1 · · · an となる (Fig.

1.2)．
例 2 次元回転

Rotation in two dimensions

2 次元空間の角度 θ（反時計回り）の回転は線形写像である．自然基底 e1 =(1, 0)⊤ , e2 = (0, 1)⊤ を角度 θ だけ回転すると，それぞれ a1 = (cos θ, sin θ)⊤ ,a2 = (− sin θ, cos θ)⊤ となる (Fig. 1.3)．したがって，角度 θ の回転は行列

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

第1章

4

線形空間と射影

Linear Space and Projection

y
(
a2 =

− sin θ
cos θ

)

e2
a1 =
θ
θ
O

図 1.3

e1

(
)
cos θ
sin θ
x

自然基底 {e1 } = (1, 0)⊤ , {e2 } = (0, 1)⊤ を角度 θ だけ回転すると，それぞれ a1 = (cos θ, sin θ)⊤ , a2 = (− sin θ, cos θ)⊤ となる．

Fig. 1.3

The natural basis {e1 } = (1, 0)⊤ and {e2 } = (0, 1)⊤ are mapped to
a1 = (cos θ, sin θ)⊤ and a2 = (− sin θ, cos θ)⊤ , respectively, after arotation by angle θ.

cos θ − sin θR(θ) = sin θ で表される．

cos θ

1.2 部分空間と射影，反射影
Subspaces, Projection, and Rejectionn 次元空間 Rn にある r 本の線形独立なベクトル u1 , . . . , ur を指定したとき，それらのすべての線形結合の全体 U ⊂ Rn を u1 , . . . , ur の張る (span)r 次元部分空間 (subspace) という．例えば，一つのベクトルの張る部分空間
はそれに沿う直線であり，二つのベクトルの張る部分空間はそれらを通る平
面である．

−
−
→
Rn の点 P に対して，部分空間 U の点 Q ∈ U で，P Q が U に直交する点−−→
Q を点 P の U への射影 (projection) と呼び2) ，QP を点 Q の U からの反射
影 (rejection) と呼ぶ (Fig. 1.4)．点 Q を U の別の点 Q′ に移動すると，三平方の定理（,→ Appendix 式 (A.12)）より，
2)

正式には「直交射影」(orthogonal projection) というが，本書では直交射影以外の射影は考えないので，単にこれを「射影」と呼ぶ．

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

1.3 射影行列

Projection Matrices

5

U⊥
P
Q′
O

図 1.4

Q

U
−
−
→

点 P の部分空間 U への射影 Q は U 上の P からの最短点である．QP ∈U ⊥ は U からの反射影．
Fig. 1.4

The projection Q of point P onto the subspace U is the point of U−−→
closest to P . The vector QP ∈ U ⊥ is the rejection from U .

∥P Q′ ∥2 = ∥P Q∥2 + ∥QQ′ ∥2 > ∥P Q∥2(1.4)

であるから，射影した点 Q は U の点 P から最短の点でもある (,→ Problem

1.2)．
以上のことは，次のように書ける

−
−
→ −
−
→ −
−
→
OP = OQ + QP ,−−→OQ ∈ U ,−−→QP ∈ U ⊥(1.5)

ただし，U ⊥ は U に直交するベクトルの全体であり，U の直交補空間 (or-thogonal complement) と呼ぶ．これも Rn の部分空間である．このように，
Rn のベクトルは U への射影とそれからの反射影の和として表される．こ−−→のような表し方は一意的であり，OP の U と U ⊥ への直和分解 (direct sum
decomposition) であるという．

1.3 射影行列 Projection Matrices
部分空間 U へ射影する写像を P U ，直交補空間 U ⊥ へ射影する写像を P U ⊥と置けば，射影の定義より，

P Ux =

kbdbook6<2017/01/25>:


x

x∈U

0

x ∈ U⊥

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):(1.6)

elinear:<2018/9/4>(10:52)

第1章

6

線形空間と射影

Linear Space and Projection

P U⊥ x =


0

x∈U

x

x ∈ U⊥(1.7)

である．部分空間 U に正規直交基底 {u1 , . . . , ur } を指定すると，それはRn の正規直交基底 {u1 , . . . , ur , ur+1 , . . . , un } に拡張できる．式 (1.6) は，P U が Rn の正規直交基底 {u1 , . . . , un } をそれぞれ u1 , . . . , ur , 0, . . . , 0 に写像することを意味する．同様に，式 (1.7) より，P U ⊥ は {u1 , . . . , un }をそれぞれ 0, . . . , 0, ur+1 , . . . , un に写像する．ゆえに，式 (1.1) より P U ,P U ⊥ はそれぞれ次のように書ける．
⊤
P U = u1 u⊤
1 + · · · + ur ur

(1.8)

⊤
P U ⊥ = ur+1 u⊤
r+1 + · · · + un un(1.9)

P U , P U ⊥ をそれぞれ，部分空間 U ，およびその直交補空間 U ⊥ への射影行
列 (projection matrix) と呼ぶ．

−
−
→
−
−
→
−
−
→
Fig. 1.4 より，すべての点 P に対して OP = P U OP + P U ⊥ OP = (P U +−−→P U ⊥ )OP であるから，
P U + P U⊥ = I(1.10)

である（I は単位行列3) ）．すなわち，単位行列 I が次のように，部分空間 Uとその直交補空間 U ⊥ への射影行列の和に分解される（単位行列 I 自体も全空間 Rn への射影行列である）．
⊤⊤⊤
I = u1 u⊤
1 + · · · + ur ur + ur+1 ur+1 + · · · + un un

|

{z

}

|

{z

PU

−
−
→

}

(1.11)

P U⊥

−
−
→

−
−
→

−
−
→

式 (1.5) の右辺の OQ = P U OP と QP = P U ⊥ OP は直交するから，

−
−
→
−
−
→
−
−
→
∥OP ∥2 = ∥OQ∥2 + ∥QP ∥2 である．ゆえに，任意のベクトル x に対して，
3)

数学者は E と書くことが多い．これはドイツ語の Einheit（単位）の頭文字である．英語の unit（単位）の頭文字をとって U と書くこともあり，英語では unit matrix と呼ぶ．一方，物理学や工学では I と書くことが多い．これは identity（同一性）の頭文字である．そして，英語では identity matrix と呼ぶのが普通である．

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

1.4 直線と平面への射影 Projection onto Lines and Planes

7

U⊥
∥x∥
O

∥P U ⊥ x∥∥P U x∥U

図 1.5

任意のベクトル x に対して，∥x∥2 = ∥P U x∥2 + ∥P U ⊥ x∥2 が成り立つ．

Fig. 1.5

The equality ∥x∥2 = ∥P U x∥2 + ∥P U ⊥ x∥2 holds for any vector x.

次の関係が成り立つ (Fig. 1.5)．

∥x∥2 = ∥P U x∥2 + ∥P U ⊥ x∥2(1.12)

射影行列 P U に対して，次式が成り立つ4) (,→ Problem 1.3)．

P⊤
U = PU(1.13)

P 2U = P U(1.14)

式 (1.13) は，P U が対称行列であることを意味する．これは式 (1.8) の定義
より明らかである．式 (1.14) は，一度射影した点をもう一度射影しても変化しないことを意味する．これも射影の定義より明らかである．式 (1.14) の性質を持つ行列はべき等 (idempotent) であるという．対称かつべき等な行列
は，ある部分空間への射影行列であることが示せる (,→ Problem 1.4)．

1.4 直線と平面への射影

Projection onto Lines and Planes

原点 O を通り，単位ベクトル u 方向へ伸びる直線 l は 1 次元部分空間である．直線 l 上への射影行列を P l と書くと，

P l = uu⊤
4)

(1.15)

式 (1.14) が一般の（必ずしも直交射影でない）射影の定義である．式 (1.13) は，それが直交射影であることを示す（,→ 脚注 2）．

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):

elinear:<2018/9/4>(10:52)

第1章

8

線形空間と射影

Linear Space and Projection

P

u
O

図 1.6

Fig. 1.6l−−→⟨OP , u⟩−−→ベクトル OP の，原点 O を通り，単位ベクトル u 方向に伸びる直線 l 上の−−→射影長は ⟨OP , u⟩ である．

−−→
The projected length of vector OP onto a line passing through theorigin O and extending in the direction of the unit vector u is given−−→
by ⟨OP , u⟩.

−−→である．したがって，OP の l 上への射影は

−
−
→
−
−
→
uu⊤ OP = ⟨OP , u⟩u(1.16)である．以下，ベクトル a, b の内積を ⟨a, b⟩ (= a⊤ b) と書く（,→ Ap-−−→
pendix A.2 節）．式 (1.16) の右辺は，直線 l に沿う長さ ⟨OP , u⟩ のベクトルを表している (Fig. 1.6)．ただし，u 方向に正，反対方向に負と約束する．これを射影長 (projected length) と呼ぶ．すなわち，単位ベクトルとの内積は，その方向の直線上の射影長である．
原点 O を通り，単位ベクトル n を法線とする平面 Π は n − 1 次元部分空間である（厳密には 超平面 (hyperplane) というべきであるが，混乱のな
い限り，以下では超平面も単に「平面」と呼ぶ）．法線ベクトル n の方向の直線は平面 Π の直交補空間であるから，Π 上への射影行列を P n と書くと，
式 (1.10), (1.11) より，

P n = I − nn⊤(1.17)−−→である．したがって，OP の Π 上への射影は
−
−
→ −
−
→
−
−
→
P n OP = OP − ⟨OP , n⟩nとなる (Fig. 1.7)．

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):(1.18)

elinear:<2018/9/4>(10:52)

1.5 シュミットの直交化 Schmidt Orthogonalization

9

P
−−→
⟨OP , n⟩

n
O

図 1.7

Fig. 1.7−−→
P n OPΠ−−→ベクトル OP の，原点を通り，単位法線ベクトル n を持つ平面 Π への射影．

−−→
Projection of vector OP onto plane Π passing through the origin O
and having unit surface normal n.

1.5 シュミットの直交化

Schmidt Orthogonalization

互いに直交する単位ベクトルの組を正規直交系 (orthonormal system) という．n 本の線形独立なベクトル a1 , . . . , an から次のようにして，正規直交系 u1 , . . . , un を作り出すことができる．まず，u1 = a1 /∥a1 ∥ とする．u1に直交する部分空間（直交補空間）への射影行列は式 (1.17) より I − u1 u⊤1である．ゆえに，a2 をこれに射影した

a′2 = (I − u1 u⊤
1 )a2 = a2 − ⟨u1 , a2 ⟩u1(1.19)

は u1 に直交する．したがって，これを単位ベクトルに正規化した u2 =a′2 /∥a′2 ∥ は u1 に直交する単位ベクトルである．
同じように考えると，u1 , u2 に直交する部分空間（直交補空間）への射影⊤
行列は I − u1 u⊤
1 − u2 u2 である．ゆえに，a3 をこれに射影した⊤
a′3 = (I − u1 u⊤
1 − u2 u2 )a3 = a3 − ⟨u1 , a3 ⟩u1 − ⟨u2 , a3 ⟩u2(1.20)

は u1 , u2 に直交する．したがって，これを単位ベクトルに正規化した u3 =a′3 /∥a′3 ∥ は u1 , u2 に直交する単位ベクトルである．以下，同様にして，直交する単位ベクトル u1 , . . . , uk−1 が得られたとき，u1 , . . . , uk−1 に直交する⊤部分空間（直交補空間）への射影行列は I − u1 u⊤
1 − · · · − uk−1 uk−1 である．ゆえに，ak をこれに射影した⊤
a′k = (I − u1 u⊤
1 − · · · − uk−1 uk−1 )ak= ak − ⟨u1 , ak ⟩u1 − · · · − ⟨uk−1 , ak ⟩uk

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):(1.21)

elinear:<2018/9/4>(10:52)

10

第1章

線形空間と射影

Linear Space and Projection

は u1 , . . . , uk−1 に直交する．したがって，これを単位ベクトルに正規化した

uk = a′k /∥a′k ∥ は u1 , . . . , u2 に直交する単位ベクトルである．これを k = 1,
. . . , n に対して繰り返すと，正規直交系 u1 , . . . , un が得られる．この操作を（グラム・）シュミットの直交化 ((Gram–)Schmidt orthogonalization) と呼ぶ．

用語とまとめGlossary and Summaryn 次元空間 Rn the n-dimensional space Rn ：n 個の実数の座標 (x1 , . . . ,xn ) で指定される点の集合．各点は，座標を縦に並べた列ベクトル( )x = xi , i = 1, . . . , n と同一視される．
The set of points specified by n real coordinates (x1 , . . . , xn ). Each( )point is identified with the column vector x =xi , i = 1, . . . , n,consisting of the vertically arranged n coordinates.
線形空間 linear space：和や定数倍が定義されている集合（「ベクトル空間」とも呼ぶ）．その要素を「ベクトル」と呼ぶ．

A set in which sums and scalar multiples are defined, also called “vector space.” Its elements are called “vectors.”
線形写像 linear mapping：f (u + v) = f (u) + f (v), f (cu) = cf (u) のよ
うに，和は和に，定数倍は定数倍に対応させる線形空間から線形空間への写像．その写像が適用される線形空間を「定義域」と呼び，写像された元をその線形写像の「像」と呼ぶ．n 次元空間 Rn では，像はベクトル u とある行列 A との積の形に書ける．

A mapping between linear spaces such that the sum corresponds tothe sum and the scalar multiple to the scalar multiple in the formf (u + v) = f (u) + f (v) and f (cu) = cf (u). The space for which themapping is defined is called its “domain,” and the mapped element iscalled its “image.” In the n-dimensional space Rn , the image has the

kbdbook6<2017/01/25>:

pLaTeX2e<2016/11/29>+0 (based on LaTeX2e<2017/01/01>+3):