創造応用 IS（稲葉）No.15a2021.12.15(水 13:10 ∼)
兵庫高校

15

相関分析と回帰分析（この章のポイント）
１）2 次元の連続型データの分析には、相関と回帰がある。
２）相関分析とは、2 つの変量に関係があるかどうかを調べる手法である。
３）回帰分析とは、1 つの変量で、もう 1 つの変量を説明する手法である。
相関分析
相関分析は、6 章で紹介した 2 次元正規分布 にしたがうデータの分析方法です。

15.1

相関係数の分布
標本相関係数 r は、母相関係数が 0 のとき、次の定理が成り立ちます。

15.1.1

定理 15.1 相関係数の分布は、母相関係数が 0 かどうかで異なる。
1) ρ = 0 のとき、以下の t0 は自由度 (n − 2) の t 分布に従う。

√n−2 rt0 = √1 − r2

(15.1)

1 ) に従う。これを標準化して、次の式が近似的に成2) ρ ̸= 0 のとき、Z(r) が 近似的に N (Z(ρ), n −3り立つ。

u0 =√n − 3{Z(r) − Z(ρ)} ∼ N (0, 1)(15.2)

ただし、Z(t) は、Z 変換 という関数で、次の式で定義される。

Z 変換：−1 < t < 1 を満たす t に対して、(−∞, ∞) を動く次の Z(t) のこと。
Z(t) :=

1 1+tln= tanh−1 t
2 1−t(15.3)

無相関の検定無相関の検定 とは、2 つの変量に相関があるかどうかを、(15.1) 式を用いて調べる検定です。

15.1.2母相関係数の推定
母相関係数に関する点推定値と、Z 変換と (15.2) 式を用いることで、信頼率 95% の信頼区間を計算できます。

15.1.31) 点推定
ρb = r2) 区間推定1) r の Z 変換を行う。
1 1+rZ = ln
2 1−r1 1+ρ2) ζ = lnの信頼区間を求める。
2 1 − ρ()
1.960
1.960
(ζ1 , ζ2 ) = Z − √,Z + √n−3n−33) 逆変換の式を用いて、)( 2ζ1 ρ の信頼区間を求める。
e − 1 e2ζ2 − 1,(ρ1 , ρ2 ) =e2ζ1 + 1 e2ζ2 + 1

母相関係数の検定 ∗母相関係数 ρ が、特定の相関係数 ρ0 と等しいかどうか、Z 変換と (15.2) 式を用いて検定することができます。

15.1.4

従来の相関係数 0.7 と一致するかどうかの検定を行う。（有意水準は、α = 0.05 とする。）
検定：ρ0 = 0.7 として、帰無仮説 H0 : ρ = ρ0 , 対立仮説 H1 : ρ ̸= ρ0 を設定する。検定統計量は、(15.2) 式の u0 を用い、棄却域は両側検定なので R : |u0 | >= u(0.025) = 1.960 である。
√u0 = n − 3{Z(r) − Z(ρ0 )}で判定する。

15.2 単回帰分析
2 次元のデータ (x, y) について、x を用いて y についての情報を知りたいと考えるのは自然なことだと思います。その目的としては、予測と制御が主な事柄として考えられます。予測 とは、将来の値について、どのような値かを知りたいと思うことで、制御 とは、将来の値がこの範囲に収めたいと思うことです。
このとき、予測や制御される変数を 目的変数 といい、これを説明するのに用いる変数を 説明変数 といいます。このため、データは 2 次元正規分布ではなく、x は定数として扱われ、15.2.2 項で説明する「直線性の仮定」を分析の前提とします。

15.2.1 最小二乗推定量
2 次元のデータ (xi , yi ), i = 1, 2, · · · , n に対して、直線関係 y = a + bx を想定します。ここで、直線による予測値と実測値のズレを最小にするため、ズレの二乗和を最小にする係数 a, b を求める方法が最小二乗法 です。
この結果、次の推定量が得られます。導出方法は 15.3 節で述べます。

ba = y − bbx,

bb =SxySxx

直線性の仮定また、得られたデータには、次の直線性の仮定をします。

15.2.2直線性の仮定：Yi = β0 + β1 (xi − x) + εi , εi ∼ N (0, σ 2 ), i = 1, · · · , n(15.3)

このとき、β0 , β1 は 回帰係数、特に β1 のことを 偏回帰係数 と呼びます。また、εi は 誤差 と呼ばれます。
これらの偏回帰係数と a, b の関係は、b = β1 , a = β0 − β1 x ですから、β0 , β1 の推定量は、次のようになります。

βb0 = yβb1 =SxySxx(15.4)(15.5)

これらの推定量は、最小二乗推定量 と呼ばれます。
予測値とは説明変数 x = xi のときの回帰直線上の点の y 座標の値は、予測値 と呼ばれ、次の式で求められます。

15.2.3

ybi = βb0 + βb1 (xi − x)(15.6)

創造応用 IS（稲葉）No.15b2021.12.15(水 13:10 ∼)兵庫高校

平方和の分解
まず、次の等式を見て下さい。

15.2.4yi − y = (yi − ybi ) + (byi − y)(15.7)

この左辺は全変動で、データのばらつきを表しています。これを、右辺第１項の予測値からのズレとしての誤差的なばらつきと、第２項の回帰によるばらつきに分解しています。実は、これらの二乗和には、次の等式が成り立ちます。この性質を 平方和の分解 といいます。（ybi − y = βb1 (xi − x) に着目せよ。詳細は章末問題 15.3）

ST = SR + Se

(15.8)

n∑総平方和：ST =(yi − y)2 = Syyi=1n∑
回帰平方和：SR =(byi − y)2 ,i=1(15.9)n∑残差平方和：Se =(yi − ybi )2i=1

ここで、回帰平方和は、ybi − y = βb1 (xi − x) に着目すると

SR =2SxySxx(15.10)でも求められます（詳細は、章末問題 15.4）。
また各々の平方和にはその自由度があり、総自由度は ϕT = n − 1 で、回帰の自由度は ϕR = 1 で、残差の自由度は ϕe = n − 2 です。これらの自由度の間にも平方和の分解と対応した、次の関係式が成り立ちます。

ϕT = ϕR + ϕe(15.11)

統計量の分布
単回帰分析における分析の中心は、傾き β1 です。一方、回帰残差の平方和である Se は、傾きの推定量と独立になることが示されます。そこで、下記のように傾きの推定量 βb1 の分布が導かれます。

15.2.5()2σβb1 ∼ N β1 ,Sxx
Se
σ2

∼ χ2 (ϕe ), ϕe = n − 2(15.12)(15.13)

したがって (15.12) 式を標準化し、(15.13) 式と併せると、次の性質が得られます。

βb1 − β1t= √∼ t(ϕe )Ve /Sxx(15.14)定理 15.2 傾きの推定量 βb1 と残差平方和 Se は互いに独立に、(15.12), (15.13) の分布に従う。よって、(15.14) 式が成り立つ。

単回帰分析の計算手順（その１）
目的変数を説明するのに、説明変数が影響しているかどうか調べたいとします。この分析は傾きがゼロかどうかの検定を行えばよく、結果は無相関の検定と一致します。
このとき、(15.14) 式で β1 = β10 = 0 を代入した値は、15.2.6βb1∼ t(ϕe )t0 = √Ve /Sxx

(15.15)となり、(15.1) 式と一致することが確かめられます（両者を、Sxx , Syy , Sxy で表現せよ）。また、従来の傾き β10 と同じかどうかの検定も行えます。
単回帰分析の計算手順（その２）∗
前項と同じ結果をもたらす分散分析表による検定方法を紹介します。この方法は、説明変数が複数の重回帰分析においては、標準的な解法です。

15.2.7

例えば、傾きがゼロかどうかの検定は、以下のように分散分析表を用いて行うことができます。
解答：まずは、β10 = 0 として、帰無仮説 H0：β1 = β10 , 対立仮説 H1：β1 ̸= β10 , 有意水準は α = 0.05とする。
検定統計量は、F0 = VR /Ve で、棄却域は、

R：F0 >= F (ϕR , ϕe , 0.05)とする。
2/Sxx , Se = ST − SR となる。また、自由度は、ϕT =ここで、平方和は、ST = Syy , SR = Sxyn − 1, ϕR = 1, ϕe = n − 2 である。
さらに、分散は VR = SR /ϕR , Ve = Se /ϕe と得られる。

F0 =VRVe(15.16)

これが、棄却域に入るかどうかで判定する。
補足：(15.15) 式の t0 と (15.16) 式の F0 は、F0 = t20 が成り立つ。よって、これらの検定は同等（同じ結果をもたらす）である（詳細は、章末問題 15.5）。