質問: 偏相関から偏回帰係数を導出する yを応答とし,x1,x2,...,xpを説明変数とします。 それぞれの変数の平均と分散をそれぞれmy,m1,m2,...,mp; vy,v1,v2,...,vpとします。 説明変数間の相関をrij(i,j=1,...,p)とします。 また,yとxi(i=1,...,p)の偏相関をqi(i=1,...,p)とします。 上記の条件の下,応答と説明変数が下記の構造で表せるとします: y=b1 x1+b2 x2+,...,bp xp+e ここに,e~n(0,sigma^2)であるとします。 このとき,偏回帰係数bi(i=1,...,p)を他のパラメータで表現できますでしょうか。 あるいは,この議論が載っている参考文献をご存知でしたらご教示ください。 よろしくお願いいたします。
回答: 平均や分散で議論なさってますが、その元になる個々のサンプルを考えれば話が明快になりますんで、xjとyのk番目のサンプルをそれぞれx[k,j], y[k] (k=1,2,...,n)としましょう。 さて、 > 応答と説明変数が下記の構造で表せる という曖昧な文言が一体どういう意味なのか、がポイントです。 もしそれが、「bは最小二乗法の意味での解である」つまり「残差e[k]の二乗和eが最小になるようなb」ということであるなら f(b)[k] = σ{j=1~p}(x[k,j]b_j) とおくと e[k] = y[k] - f(b)[k] e = σ{k=1~n}(e[k])^2 であり、eを最小にするb_j (j=1~p)は、連立方程式 ∂e/∂b[i] = 0 (i=1~p) を解けば得られます。これは(実際に微分してみれば分かる通り) σ{j=1~p} ((σ{k=1~n}(x[k,i]x[k,j])) b_j ) = σ{k=1~n}(x[i,k]y[k]) (i=1~p) という連立方程式です。行列で書くなら a b = c ここに aはp×pの正方対称行列、bとcはp次元の縦ベクトルで、 a[i,j] = σ{k=1~n}(x[k,i]x[k,j]) b[i] = b_i c[i] = σ{k=1~n}(x[k,i]y[k]) であり、これを「線形最小二乗法の正規方程式」と言います。その解はもちろん b = (a^(-1)) c です。 以上の準備をした上で、さらに相関rijおよびqiをサンプルから計算する方法を具体的な式として書いてみれば、σ{k=1~n}(x[k,i]x[k,j]) とrij、σ{k=1~n}(x[i,k]y[k])とqiが対応しているということが直ちにお分かりになるでしょう。たとえば σ{k=1~n}((x[k,i]-mi)(x[k,j])-mj)) = a[i,j] - (n mi mj) ですから、rijからa[i,j]が計算できる訳です。