特異値分解
, σ q ) {\displaystyle \Sigma ={\begin{cases}{\begin{bmatrix}\Delta &O\end{bmatrix}}&(m<n)\\\Delta &(m=n)\\{\begin{bmatrix}\Delta \\O\end{bmatrix}}&(m>n)\end{cases}}\quad {\text{where }}\Delta =\operatorname {diag} (\sigma _{1},\sigma _{2},\dotsc ,\sigma _{q})}
ここで Δ は σ1, ..., σq を対角成分とする q次対角行列、部分行列 O は零行列である。この分解を特異値分解、σ1, ..., σq を行列 M の特異値と呼ぶ。
入力情報を n次列ベクトル v として表し、出力として Mv が得られるモデルを考えると、行列 M の特異値分解によって得られるユニタリ行列と特異値について以下のような解釈を与えることができる。
行列 V の各列は、M の入力空間の正規直交基底を表す。
行列 U の各列は、M の出力空間の正規直交基底を表す。
特異値は増幅率を表し、入力成分がそれぞれ何倍されて出力されるかを表す。
Σ の対角成分の並びは自由だが、応用上は取り扱いを簡単にするため降順に並べることが多い。こうすると、U と V は一意には定まらないが、Σ は一意に定まる。