質問: cxx^(-1)・cxy (ii) ただし,'は転置,^(-1)は逆行列,・は積を表しています。また,cxxはxの分散共分散行列,cxyはxとyの共分散ベクトルです。 どうして(i)と(ii)の表現はイコールになるのでしょうか?教えて頂ければ幸いです。
回答: 簡単のために n個の入力x_i, (i=1,...,n)がn+1個のパラメターb_i, (i=0,...n)で変換されるものとします. y = b_0 + σb_i*x_i ただし,σは(i=1,...,n)の総和演算です.j番目の観測量をy_jと書き, y_jなる出力を生じるはずの入力をx_ijと書くとき, y_j = b_0 + σb_i*x_ij + e_j が成立します.ここで,e_jはxとbで説明できない観測誤差です. m個の観測量y_j, (j=1,...,m)からbの最小二乗の意味で最適な推定を行うには y_jを縦に詰んだm*1ベクタy, x = [1 x_11 x_21 ... x_n1] [1 x_12 x_22 ... x_n2] [: : : ... : ] [1 x_1m x_2m ... x_nm] なるm*(n+1)行列x, b = [b_0 b_1 ... b_n]' なるn*1ベクタを用いて, 以下のm*1誤差ベクタのノルムの最小化問題を解けば良い事になります. || x*b - y ||^2 -> min この問題の解はxの列空間にbを直交射影したものをxの行空間に戻すことで得られます. すなわち,以下の正規方程式の解です. x'*x*b = x'*y m>nでxが列フルランク,等価的にx'*xが正則であれば,解は b = (x'*x)^(-1)*x'*y と書けます(上の表現). 下の表現に関しては参考urlをご覧下さい. 参考url:http://case.f7.ems.okayama-u.ac.jp/statedu/hbw2-book/node4.html