Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

回帰分析と信頼区間～ばらつきの大きい少数データから誤った推論をしないための～唐沢好男
電波伝搬に関連するデータをグラフにすると、大きなばらつきを持つことがよくある。その傾向を見たいとき、年期を積んだその道のプロは、勘によってエイヤッと線を引き、なるほどと思える結果を見せてくれる。しかし、そういう職人芸が常に良いとは限らず、誰でも間違いなくできる統一的な手法が求められる。その有力な数学手段が最小二乗法であり、横軸（原因）と縦軸（結果）の関係性を示すカーブ（回帰曲線と言われる）を合理的に定めてくれる。そのようにして得られるカーブであっても、データ数が少なかったり、ばらつきが大きかったりすると、データの組毎に異なったものとなってしまう。この回帰曲線の信頼性を定量的に示すのが信頼区間である。得られたデータから間違った推論をしないために生まれた概念である。本レポートでは、データの統計的処理において最も基本となる直線回帰（単回帰モデル）にポイントを絞り、信頼区間の考え方や求め方を基礎から丁寧に示す。
目次………………………………………………

2………………………………………………………………………

5

１．回帰直線と信頼区間：その概要
２．数学的準備２．１

平均と分散………………………………………………………………

5

２．２

相関と共分散……………………………………………………………

7

２．３

中心極限定理……………………………………………………………

8

２．４

回帰分析に重要な確率分布

２．４．１

正規分布

２．４．２

２次元正規分布２．４．３

2 分布とガンマ分布

２．４．４

t 分布

………………………………………………

8

３．母平均の統計的推定……………………………………………………………

14

４．直線回帰と信頼区間…………………………………………………………

16……………………………………

16…………………………………………………………

18………………………………………………………

21………………………………………………………

21
22

４．１

最小二乗法による回帰直線を求める

４．２

信頼区間を求める

５．さらに理解を深めるために
５．１

モデル選択の重要性

５．２

x と y の関係………………………………………………………………

５．３

参考文献その他……………………………………………………………… 23

1

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

１．回帰直線と信頼区間：その概要
物事には原因があって結果が起きる。原因となる物理量の変数（説明変数、あるいは基準変数）の値を x、その観測量の変数（目的変数）を y とし、x と y には次式で与えられる線
形関係が有るとする（注 1）。統計で言うところの母集団の真の特性である。

y( x)  a  bx

(1)

実際には、これに誤差成分（e）が加わり、観測される目的変数の試行 i 毎の値は、次式となる。

yi  a  bxi  ei

(2)

N 個のデータの処理によって得られる回帰直線ˆyˆ ( x)  aˆ  bx

(3)

は、母集団の特性、すなわち、(1)式の y を推定するものになる。この(1)式で表されるモデ
ルは、単回帰モデルと呼ばれる。単回帰モデルでは、通常、以下の前提が採用され[2]、本レ
ポートでもそれに従う（注２）。
i) 変数 x のサンプル値 xi は誤差を含まない。
（誤差は yi のみ（グラフの縦軸方向のみ））ii) 誤差は毎回独立である（独立性）
iii) 誤差の期待値は 0 である（普遍性）
iv) 誤差の大きさ（標準偏差）は x の値によらない（等分散性）
v) 誤差の分布は正規分布に従う（正規性）
図１は本レポートでの要点を説明するための模式的な図である。

図１ ばらつきのある少数データとその回帰直線のイメージ図（データに基づく正確な図は、本レポートの最後に示す（図８）。図中のばらつき幅はデータそのもののばらつきの意味）

2Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

図１では、①の関係を持つ事象に対して、雑音が加わってばらつきのある６つのデータをプロットしている。最小二乗法によって求めた回帰直線が②である。②はあくまでも、得られたデータに対して誤差の最小化を行った直線なので、データが変わると回帰直線も変わってしまう。データ数 N を十分多くすることによって、②は①に漸近してゆくが、図１はまだその途中の状態である。②を見て、「y は x が大きくなると大きくなる傾向がある」と言ってよいのだろうか。これに答えを与えるのが、信頼区間の考え方である。信頼区間とは、
予め定めた確率に対して、真の特性①がその範囲に入っていると推量できる区間を言う（注３）。③のカーブが信頼区間の上限と下限を与えている。信頼確率を大きくとれば信頼度は上がるが、信頼区間の幅が広くなってしまうので、どこかで適当な確率を定める必要がある。
多くの場合、その確率の値は 95%に定められる。信頼区間内であれば、それに含まれる特性、例えば④の仮説（y は x の増加に対して減少する）も排除できないことになる。当然ながら、信頼区間の幅は、データ数が増えるとそれに応じて狭くなり、より精度のよい推定が可能になる。信頼区間とは、母集団の真の特性（(1)式で与えられる）が指定確率で存在する範囲を与えるものであって、図の点線に示すような母集団データのばらつき幅を意味する
ものではない。
本レポートでは、３章で母平均の統計的推定法を、４章で単回帰モデルに対する回帰分析の具体的な方法を述べる。２章ではその準備ための道具立てを述べる。
［注１］確率・統計の教科書等では、確率変数は大文字 X, Y で、その実現値は小文字 x, y で表記することが一般的であるが、ここではそれを区別せずに、共に小文字で与えている。
（区別すると、表記に混乱が起きそうな事例もあるため）［注２］明確な原因と結果の関係であれば、i)の仮定は合理的であるが、単に、x と y には（他の本質的な変数を介して）関連性があると言うような場合には、吟味が必要である。また、結果から原因を推定する
ような逆推定問題ではこの前提が逆になる。これらの議論については、第５章で触れる。
［注３］95%信頼区間が具体的に定まったとき、「母平均が 95%の確率でその範囲に存在する」と考えるのは、正確には正しくない。なぜなら、母平均が固定値であるのに対して、範囲そのものはデータセット毎に変化し、その値は一回のデータセット限りであるからである。ゆえに、「100 回信頼区間を定めたら、そのうちの 95 回は確率の意味で母平均がこの範囲（毎回変動する）に存在する」と考えた方がより正しい意
味になる。

【「回帰」の由来】
本レポートの導入として回帰直線の概要説明を行った。回帰分析というような使われ方もする。この「回帰」の英語名 regression には、後退、後戻りと言うような意味がある。なぜこの言葉が使われるようになったのであろうか。これには、興味深い生い立ちがある。
イギリスの人類学者・統計学者・遺伝学者であったゴルトン（Francis Galton: 1822-1911）
は、人の才能がほぼ遺伝によって受け継がれると主張する優生学を唱えたことで知られる。
3

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

ゴルトンは父親の身長(x)と彼等の息子たちの身長(y)の統計分析を行い、身長の高い父親からは身長の高い子供ができる傾向が強いこと（すなわち x と y には正の相関があること）を調べた。例えば、両世代ともその平均値が 170cm であったとする。そこで、父親の身長が180cm 近辺のグループの息子たちの平均身長を見ると、180cm より低い値に出た。すなわち
人の遺伝においては、親の代が平均からずれた値であっても、次の代には平均値に戻ってゆく（＝後戻りしてゆく、回帰してゆく）性質があることを発見した。これが、回帰＝regressionが用いられていることの由来のようである[2]。
この理屈を、相関を有する２系統の乱数で再現してみたい。基本的な用語の定義や説明、図の作り方などは、次節以降で行うため、ここでは、眺めるように見てほしい。
図２は、相関係数が 0.7 である２系統（x と y）の正規乱数（平均 0、分散 1 の正規分布する乱数）の散布図である。y=x で示される点線の周りにばらつきを持って分布している。図中の楕円はデータの 90%が含まれるエリアを示しており、当然ながら、この楕円も点線を
中心に 45°傾いている。このデータの回帰直線を最小自乗法で求めると、点線よりは傾きが小さい赤線のように求められる。赤線と楕円の交点の楕円部分は傾きが垂直になっている。
図より、平均からずれた x=2 を見ると、y の値は 1.5 程度に読める。これが、平均値（=0）
への回帰（regression）の意味になる。どうも遺伝の仕組みと言うよりは、モデル化の考え方そのものに帰着する話と言えそう。不思議な感覚を持つと思うが、その興味を維持したまま、次章に進んでほしい。

図２

相関を有する二つの正規乱数の散布図と回帰直線（赤線）

4

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

２．数学的準備
３章、４章で、信頼区間の求め方を述べる。本章はその準備のための基礎的な項目（解析のための道具立て）をまとめる。ここでは、項目の記述に留め、導出過程や証明を省いている。それらの詳細については確率・統計の教科書や専門書で学んでほしい。筆者も無線通信に現れる確率分布について、[5], [6]に、より詳しくまとめているので、併せて見てほしい。
２．１ 平均と分散
期待値 
確率変数 x が、確率密度関数 f(x)に従うとき、x の期待値は  x    xf ( x)dx

(4)



で求められ、母集団の平均値である。
（本稿では<・>を期待値を表す記号に用いる。E(・)で表される場合も多い。
）【注：(4)式の f(x)は連続関数を想定するが、離散値を含む場合でもデルタ関数を用いて表せば、連続・不連続を含んで通用する。また、この章と３章では確率変数として文字 x を代表として使うが、４章で扱う基準変数ではなく、一般的な意味である。
】
標本平均 x
母集団から N 個を取り出しそれぞれを xi（i=1, 2, …, N）とするとき、その算術平均値 x
は

x

1 N
 xi
N i 1(5)で求められ、標本平均と呼ばれる。標本平均の期待値は母平均と等しい。すなわち

x 

(6)

このように期待値が母集団の統計値と一致することを不偏性が有ると言い、 x は不偏推定量である。
分散 V, 標準偏差 
母集団の分散 V は次式で定義される。

V  Var ( x)  ( x   )2 








  ( x   )2 f ( x)dx   x 2 f ( x)dx   2
標準偏差は分散 V の平方根である。
5(7)

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

 V

(8)

標本平均の分散
標本平均 x はサンプルされたデータに依存してばらつきがある。その分散は



Var ( x )   x   

2

 N


2

(9)

となり、サンプル数 N の増加と共に 0 に近づく。
標本分散 v2 と不偏分散 V
サンプルされたデータの分散は標本分散と呼ばれ、

v2 

1 N
1 N 2 2
2
(
x

x
)

 i
 xi x
N i 1
N i 1(10)である。この分散は、式中の標本平均 x がデータの分散を小さくする方向に揺れているため、母集団の分散2 を予測するものとしては過小評価になる。標本分散の期待値を求める
と

v2 

1 N 2
2
N 1 2
2
2
2
x

x





 2 
i
N i 1NN(11)となり、母集団の分散2 より比率で(N-1)/N だけ小さい値だったと言うことになる。このため、標本値から母集団の分散を推定するためには、

V

1 N( xi  x )2
N  1 i 1(12)としなければいけない。このようにして求めた分散は不偏分散（あるいは不偏標本分散）と呼ばれ、母集団の x の分散2 に対する不偏推定量である。このため、母集団の分散推定に際して、少数データの処理では、標本分散より不偏分散が用いられる。
最小二乗法と標本平均の関係
サンプル値 xi（i=1, 2, …, N）と定数値 m との差 emi の２乗値の和を求める。
N

N

i 1

i 1

2
S   emi  ( xi  m)2(13)

S を最小とする m を求めたいために S を m で微分して 0 と置くと次式になる。

6

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

N
N
N
de
dS
 2 emi mi  2 emi  2 ( xi  m)  0
dm
dm
i 1
i 1
i 1

(14)

これより、S の極小値を与える m はNm   xi  x

(15)

i 1

となる。母平均の不偏推定値である x はサンプルデータの最小二乗誤差となる数値でもある。回帰分析では最小二乗法が有力な手段になるが、その理由はここにある。
２．２ 相関と共分散
物理量 x が（時間等により）変化するとき、別の量 y も変化する現象がある。このとき、
x と y の変化の似通い具合（類似度）を表す指標として相関が用いられる。人間の身長と体重のように、身長が増加すれば、体重も増加する傾向が強いようなものに対しては相関が強く、「風が吹くと桶屋が儲かる」的な因果関係の薄いものに対しては、相関が弱い、と言うように用いる。
最初に、母集団の変数 x, y に対する確率論的な定義から入る。定常確率過程においては、
x, y の平均値をx, y、標準偏差をx,y とするとき、相関係数は以下の式で与えられる。

( x   x )( y   y )( x   x )2 ( y   y )2

 xy2
 x y(16)

ここで、xy2 は共分散と呼ばれる量で、次式で定義される。

 xy2  ( x  x )( y   y )  xy   x  y(17)

相関係数は、x と y の変化が完全相似形のとき１（完全相関）、変動方向が正負反転した
完全相似形のとき-１（負の完全相関）、独立なとき 0（無相関）となり（注１）、この範囲（-1～1）に値を持つ。||が 1 を超えないことはシュワルツの不等式により保証されている。
次に、サンプル値に対する相関係数 r を求める。この場合、母集団の相関を推定するには、標本分散でなく不偏分散を使う必要がある。不偏共分散も式(12)と同様に N-1 で割ることになるので以下の式で表される。

r

1 N ( xi  x )( yi  y )N  1 i 1

N

1 N
 1 N
2 
2
(
x

x
)
 N 1  i N  1  ( yi  y ) 
i 1
i 1




7



 ( x  x )( y  y )
i

i 1

i

N

(18)

N

 (x  x )  ( y  y)
2

i 1

i

i 1

i

2

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

右辺の式（すなわち、最終的な形）は、普通に教科書等で見る式であり、中辺で用いている不偏分散を意識しなくてもよかったわけであるが、手順を踏んで考えれば、こうなっていると言うことを気に留めておくとよいであろう。サンプルデータの相関係数 r は、データ毎に揺らぐが、その期待値はになる。
【注１：無相関（相関係数が 0）には二つのケースがある。お互いが無関係であれば、統計的にランダムであり、無相関の一つのケース。もう一つは、sin と cos の変動のように、関係性は有るが直交している（内積が 0 になる）ケース。本レポートのテーマでは、前者の意味で用いるが、「無相関=無関係」ではないことを意識しておくとよい】

２．３ 中心極限定理
確率変数 x1, x2, …, xn が互いに独立に同一の確率分布に従い、その平均を、分散を2 とする。このとき、x1, x2, …, xn の平均： x =(x1+x2+ …+xn)/n の確率分布は、n が十分大きければ、
平均、分散2/n の正規分布となる（正規分布の関数形は次節）。元の分布の形を問わないことが味噌で、意味するところが深い。例外として、コーシー分布のように平均や分散が定まらない分布（いわゆる、裾の広がりが大きい分布）では成立しないが、それは特殊なものであって、自然界で普通に現れる分布についてはこの定理が成立する。その証明は確率論の道具である特性関数を用いて行われる。
互いに独立に同一の確率分布であることを前提とした説明を行ったが、異なる分布であってもそれぞれが十分多数であれば、それでも正規分布に収斂する堅牢性が中心極限定理にはある。
複雑な要因が多数加わって実現しているような物理量、すなわち、加法性の確率過程に従って生み出されるような量は、中心極限定理が働いて正規分布に、あるいはそれに近いものになる。多数の要因が掛け算によって生起する乗法性の確率過程では、積の対数をとったものが加算で現されるので、この現象による物理量は対数正規分布する[5]。
２．４ 回帰分析に重要な確率分布
２．４．１ 正規分布
正規分布の確率密度関数は以下の式で与えられる。ガウス分布とも呼ばれる。

f ( x)  ( x   )2 
1
2
exp    N ( , )
2
2
2



(19)

パラメータは平均値、は標準偏差である。正規分布を N(,2)の形で簡易に表すことも多い。
中心極限定理で述べられているように、正規分布は加法性確率過程での基本中の基本に位置する分布である。その中でも、平均値 0、標準偏差 1 の正規分布 N(0,1)は標準形、ある8

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

いは、標準正規分布と呼ばれ、特に重要である。任意の正規分布 N(2)は、確率変数 x を
変数変換

y

x

(20)



することで、確率変数 y に対しては N(0,1)の標準正規分布になる。正規分布 N(0,2)に対す
る n 次モーメント（あるいは、N(2)に対する中心モーメント）は、n=1,2,3,4 に対して、それぞれ、となる。
累積分布関数 F は次式である。

F ( x) x
 ( x   )2 
1
1 x   exp
 dx  1  erf 

2


2
2
2
 2  (21)

ここで、erf(・)は誤差関数で、次式で定義される。

erf x  

2

x

e dt
 
t 2

(22)

0

正規分布には、正規分布する二つの変数の和の分布は正規分布になると言う再生性がある。
図３は標準型正規分布 N(0,1)の確率密度関数と累積分布関数を示している。信頼区間評価
では、分布の端に値が存在する確率（図に影をつけた部分のような）が重要になる。注目される値としては、片側確率（1-F(x)）では、x=1,2,3 ()に対しては、0.1587, 0.0228, 0.0013 になる。両側確率（2(1-F(x)）では、それらの２倍になる。特異な存在の代表として 3が使われるが、だいたい 1/1000 のことである。
次節で述べる区間推定では、中心から確率 1-の中に入る x の下限（-x/2）と上限（x/2）が求められる。すなわち、



x /2

 x /2f ( x) dx  1   (0    1)

(23)

において、確率 を与えて x/2 を求める必要が出てくる。通常用いられる 95%信頼区間（=0.05）の場合は x/2=1.96、99%信頼区間（=0.01）では 2.58となる。

9

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

図３

標準正規分布の確率密度関数と累積分布

２．４．２ ２次元正規分布
二つの正規分布系列 x, y があり、それぞれの平均値と標準偏差は、x, y およびx,y、相関係数で結ばれているとする。この２変数の結合確率密度関数 f(x,y)は次式で表され、２次元正規分布と呼ばれる。

f ( x, y; x ,  x ,  y ,  y ,  )

12 x y2 x   2
( x   x )( y   y )  y   y  1xexp  

2



 


 2(1   2 )   x  x y y   (24)1  2


お互いの変動が無相関の場合、=0 なので、結合確率密度関数は、それぞれの確率密度関数（＝１次元正規分布）の積になる。
正規分布系列 x(t)、y(t)を相関係数となるように生成したい場合には、独立な２つの標準正規分布系列 u(t), v(t)を用いて、次式により生成する。

 x(t )    x 0   1 y (t )   0  y     u (t )    x  
1   2   v(t )    y 
0(25)

系列数が多い場合でも、その相互の相関係数を相関行列で与えることにより、設定した相関を有する複数ランダム系列を作ることができる。具体的には、文献[5]の 7.3.2 節を見てほしい。
２次元正規分布は横軸 x、縦軸 y として散布図で表すと関係をつかみやすい。両変数とも
標準正規分布で、相関係数を 0.7 としたものは、図２で示している。同様に、=0.9 と-0.5としたものを図４に示す。図には、約 90%のデータが含まれる楕円を示している。この楕円10

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

は、標本平均値 x , y 、不偏標準偏差（不偏分散の平方根）  x ,  y 、データから得た相関係数r（で設定している場合はその値）を用いて、以下の手順により求められる（図５）[2]。
1) 平均値（ x , y ）を通る十字線を引く
2) x  2 x , y  2 y の４辺形を描く
3) ４辺形の上に楕円の接点の位置： x  2r x , y  2r y に×印をつける（４箇所）
4) 十字線上の x  2 1  r 2  x , y  2 1  r 2  y に○印をつける（４箇所）
5) 上に求めた 8 つの点を通る楕円を描く（PowerPoint のような図形ソフトには、楕円のテンプレートがあるので、それがそのまま使える）

図４

図５

相関係数をパラメータとした２次元正規分布の散布図

約 90%のデータが含まれる楕円の求め方の説明図

11

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

２．４．３

2 分布とガンマ分布

確率変数 x1, x2, …, xn が各々標準正規分布 N(0,1) に従い、かつ、それらが独立であるとき、それらの二乗和 z=x12+x22+ … +xn2 の分布は自由度 n の χ2 分布（カイ二乗分布）と呼ばれる。その確率密度関数は次式である。

f  z; n  

1
z
 
2 Γ  n / 2  2 

n /2 1

 z
exp   
 2(z>0)（: ガンマ関数）(26)2 分布には、自由度 n の χ2 分布と自由度 m の χ2 分布の和の分布は自由度 n+m の χ2 分布になるという再生性がある。
χ2 分布は標準正規分布に対して与えられるものなので、スケールパラメータを導入し、
かつ、n/2 を形状パラメータ に置き換えて表わすとガンマ分布となり、式(27)が得られる。

f z  

２．４．４

1

Γ  

  z 1 exp  z 

(27)

t 分布

変数 x が標準正規分布 N(0,1)に従い、y が自由度 n の2 分布に従う独立な確率変数とする。
このとき、

t

x
y/n

(28)

の確率密度関数は次式となる（注１）。

f (t ; n)  t2 
1
1  
n
n 1
N B , 2 2

 ( n 1)/2(  t  )(29)

ここで、B(p,q)はベータ関数で、1

B( p, q)   x p 1 (1  x)q 1 dx

(30)

0

である。この分布を自由度 n の t 分布と呼ぶ。
【この分布の発案者は William Sealy Gosset（ゴセット）。1908 年、論文を Student というペンネームで発表したため、スチューデントの t 分
布とも呼ばれる。
】
この説明では n は自然数になるが、実数に拡張しても(29)式は確率密度関数の条件を満たしている。図６に n=1, 2, 5, 20 および標準正規分布の例を示している。式からも分かるように、t=0 を中心に正負対称の形である。n=1 では裾の広がりが大きいが、n の増加と共にその広がりが狭くなって正規分布に収斂することが分かる。（なお、n=1 はコーシー分布呼ばれる）
12

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

次節の区間推定では、両側/2 ずつの累積確率を除いた部分の確率を与える次式



t /2

 t /2f (t; n) dt  1   (0    1)

(31)

においては、確率を与えて t/2 を求める必要が出てくる。これは解析的に解くことができないため統計の本の付録等に載っている表から読み取る必要がある。これを表記上、t /2  t (n; )(32)と置く。表１に 95%信頼区間を求めるのに必要な=0.05 のときの n=1～30 に対する t/2 の値をまとめている。これ以上に n が大きくなると、標準正規分布の値である 1.960 に漸近してくる。n=30 (t/2=2.042)以上では、標準正規分布で代用しても問題となる誤差にはならない。

（注１）t 分布の別表現
式(29)はガンマ関数(を用いて、以下のようにも表される[3]。
（表現形式が違うだけなので、数値計算値は同じになる）

f ( z ; n)  n 1 
2  ( n 1)/2
 2  1  z (  z  )


n
n
N   
2



図６
13

t 分布

(33)

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

表１

t 分布の =0.05 のときの t/2 の値: t(n;0.05)

n =1
12.706

2
4.303

3
3.182

4
2.776

5
2.571

6
2.447

7
2.365

8
2.306

9
2.262

10
2.228

11
2.201

12
2.179

13
2.160

14
2.145

15
2.131

16
2.120

17
2.110

18
2.101

19
2.093

20
2.086

21
2.080

22
2.074

23
2.069

24
2.064

25
2.060

26
2.056

27
2.052

28
2.048

29
2.045

30
2.042

∞
1.960

３．母平均の統計的推定
正規分布する量の母集団があって、そこから N 個のデータを取り出す。そのデータから、母集団の平均値（母平均）と分散（母分散）2 を推定することを考える。
2.1 節で述べたように、得られたデータの算術平均（標本平均） x は、母平均の不偏推定量であることを述べた。しかし、標本平均は試行毎にばらつくので、母平均の値は一回の試行における標本平均を中心としてある範囲の中に存在すると言うことになる。確率的な現象を扱っているので、有限個のサンプル値からその範囲を 100%確実の意味で示すことはできない。そこで区間から外れる確率をとし、値が大きい方に外れる確率と小さい方に外れる確率をそれぞれ/2 として、この間に入る確率 1-の区間を定める。このような推定を区間推定と言い、そのようにして定められた区間を信頼区間と呼ぶ。当然ながら、を小さくすると区間が広がり、区間を狭くすると外れる確率が大きくなる。通常、=0.01 または 0.05
として、99%あるいは 95%の確率（注）でその信頼区間内に母平均が含まれる設定が採られる（95%がより多く採用されている）。この範囲に母平均が含まれるのは一定の合理性があると考える、あるいは、この範囲から外れたら母平均の候補として棄却される、と言うような使い方になる。
【注：１章の（注３）でも書いたように、95%信頼区間が１セットのデータによって
xmin<<xmax と定まったとき、「母平均が 95%の確率でその範囲に存在する」と考えるのには、
正確には正しくない。なぜなら、が固定値であるのに対して、範囲を決める xmin, xmax がデータセット毎に変化し、その値は一回のデータセット限りであるからである。ゆえに、「100
回信頼区間を定めたら、確率的に考えて、そのうちの 95 回は母平均がその都度の 95%信頼区間の範囲に存在する」と考えた方がより正しい意味になる。】
この節での対象は、母平均、母分散共に未知なものとするが、解析の第一歩として、分散

2 が既知の場合を考える。この場合、標本平均

x は、(9)式より、母平均を中心に、分散2/Nの正規分布をする。100(1-) %信頼区間を考えると、正規分布の累積確率の両端/2 に囲まれる部分であり、95%信頼区間では、

x  1.96 / N    x  1.96 / N
14(  0.05)(34)Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間と推定される。
次に、本来の目的である母分散2 が未知の場合について議論を進める。母分散が未知の場合は、(12)式で与えられる不偏推定量（不偏分散） V を(34)式の2 の代わりに用いる。しかし、単に置き換えただけではだめである。なぜなら、2 (=V)は固定値であるが、V は確率分布する量であるからである。
x を正規化した変数 x0 は

x0 

x 
V/N

(35)

となり、標準正規分布である。
一方、(35)式の V を V に置き換えた変数 t は次式となる。

t

x 

(36)

V/N
V と次式で関係付けられる以下の量 UNU ( xi  x )2

i 1



2



( N  1)V

(37)

2

は自由度 N-1 の2 分布である。(36)式の x   と V を x0 と U を用いて表すと、同式は

t

x 



V/N

 x0
N 2U / (( N  1) N )

x0
U / ( N  1)

(38)となる。これは式(28)の形であり、t は自由度 N-1 の t 分布をすることが分かる。
ゆえに、信頼区間を決めるパラメータに対しては、式(32)で用いた表記 t /2  t (n; ) を用いて、x  t ( N  1; )VV   x  t ( N  1;  )
N
N

(39)

と定められる。95%信頼区間（=0.05）については、t(n;)の値を表１に挙げている。

15

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

４．直線回帰と信頼区間
４．１ 最小二乗法による回帰直線を求める
この節の説明は、１章冒頭の繰り返しから入る。図７はその説明図である。
ある量 y が x の関数として次式の線形関係で与えられている。

y  a  bx

(40)

x と y に関する母集団での関係と言ってよい。x が原因（説明変数）、y が結果（観測値、目的変数）と捕らえられるような量である。
実際に観測される y には、これに誤差成分（e）が加わり、観測される目的変数の試行 i ごとの値は、次式となる。

yi  a  bxi  ei(41)

以下では、第１章で示した４つ前提：i)～v）のもとでモデル化が行われる。重要なのでこれを再掲する。
i) 変数 x は誤差を含まない。
（誤差は y のみ（グラフの縦軸方向のみ））ii) 誤差は毎回独立である（独立性）
iii) 誤差の期待値は 0 である（普遍性）
iv) 誤差の大きさ（標準偏差）は x の値によらない（等分散性）
v) 誤差の分布は N(0,2)の正規分布に従う（正規性）
x と y の組で与えられる N 個のデータ［(x1,y1), (x2,y2), …, (xN,yN)］の処理によって得られる
回帰直線

ˆyˆ  aˆ  bx

(42)

は、母集団の特性、すなわち、(40)式を推定するものになる。

図７

データの母集団特性と回帰直線（回帰直線が重心 ( x , y ) を通ることは後に説明する）

16

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

まず、回帰直線の決定法を述べ、その後に区間推定の方法を述べる。回帰直線の決定には
2.1 節で述べた最小二乗法を用いる。最小二乗法では図７に示す残差  i  yi  yˆi の２乗和
N

N

N

i 1

i 1

i 1

ˆ )2
S    i2   ( yi  yˆi )2   ( yi  aˆ  bxi

(43)が最小になるよう aˆ , bˆ を定める。ここでの残差i は回帰直線と観測値 yi とのずれであり、(41)式で与えた誤差要因としての ei とは違うものであることに注意してほしい。回帰直線の決定には、観測値から得られる次の１次処理データを用いる。

x
_

x2 

1 N
1 N
x
,
y

i
 yi
N i 1
N i 1(44a, b)1 N 2 _2 1 N 2yi
 xi , y  N 
N i 1i 1(45a, b)

_

N

N

_

S xx   ( xi  x ) 2  N ( x 2  x 2 ), S yy   ( yi  y ) 2 N ( y 2  y 2 )i 1(46a, b)

i 1

N

_

S xy   ( xi  x ) ( yi  y )  N ( xy  x y )

(46c)

i 1

以下、最小二乗法で aˆ , bˆ を定める。Sの aˆ , bˆ に対する最小値を決めるために Sを aˆ , bˆ でそれぞれ微分して、その値を 0 と置く。
N
N
N
S

ˆ )0
  2 i i  2  i  2 ( yi  aˆ  bx
i
aˆ
aˆ
i 1
i 1
i 1

(47a)

N
N
N
S

ˆ )x  0
  2 i i  2  i xi  2 ( yi  aˆ  bx
i
i
ˆ
ˆ
b
b
i 1
i 1
i 1

(47b)

上式は、以下の連立方程式に整理される。

ˆ yâ  bx(48a)_2ˆ  ( S xx  N x )bˆ  S xy  Nx y
Nax

(48b)

これより、 aˆ , bˆ は以下のように定まる。

aˆ  y 

S xy
S xx

x

(49a)

S
bˆ  xy
S xx

(49b)

17

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

このように定めた aˆ , bˆ は、二乗誤差を最小にすると共に、(47)式より、誤差の平均値もixiの平均値も 0 にしている。さらに、この回帰直線は、(48a)式より重心 ( x , y ) を通ることも分かる。
係数 b̂ は回帰直線の傾きを与えるが、相関係数 r とは

bˆ 

S xy

S yy

S xx S yy

S xx



S yy
S xx

r

(50)

で関係付けられ、相関係数に比例する傾きとなることが分かる。
残差i の二乗和 Sは2ˆ )2 S  S xy  S (1  r 2 )S   ( yi  aˆ  bx
i
yy
yy
S xx
i 1
N

(51)

となり、相関係数と関係付けられる。相関係数の二乗値 r2 は寄与率（あるいは決定係数）と呼ばれる。寄与率が高い（＝1 に近い）ほど、線形回帰がうまく言っていると解釈できる。
４．２ 信頼区間を求める
母集団特性推測の信頼区間を求める。このためには、回帰推定値 aˆ, bˆ のそれぞれの分散を求めることから始める。３章での議論と同様に、第１ステップとしてその分散が既知であるとする。
回帰係数 b̂ は
N
N
S xy
x x
1
bˆ 
  ( xi  x )( yi  y ) i( yi  y )S xx i 1
S xx i 1 S xx

(52)であるので、 yi  y の分散が既知（=2）であるとすると、独立な変数の分散の加法性から、b̂ の分散 Vb̂ は以下になる。
2 x x  2 2Vbˆ    i
  
S xx
i 1  S xx N(53)â の分散 Vâ も同様に

 1 x2  2Vaˆ  Vy  x 2Vbˆ    N S xx (54)となる。 â も b̂ も上記の分散を持つ正規分布をすると言うことになる。

18

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

しかし、分散2 は未知であって使うことができないため、３章で述べたと同じように、次のステップでは実現値から得られる残差の不偏分散 V で置き換える。この議論をするためには、2 分布における自由度の理解が重要になる。
三つの量：Syy, 回帰二乗和 S yyˆ ˆ , 残差二乗和 Sに着目する。
N

N

i 1

i 1

N

N

i 1

i 1

N

N

N

N

i 1

i 1

i 1

i 1

S yy   ( yi  y )2   yi2  Ny 2

(55a)S yyˆˆ   ( yˆi  y )2   yˆi2  Ny 2

(55b)S   ( yi  yˆi )2   yi2  yˆi2  2 yi yˆi(55c)

残差自乗和 Sの式(55c)右辺の第３項は
N

N

N

N

N

ˆ )  yˆ y yˆ   ( yˆ   ) yˆ  yˆ    (aˆ  bx

i 1

i

i

i

i 1

i

i

i 1

2
i

i 1

i

i

i 1

2
i

(56)

となる。最終辺は、前節で述べた最小二乗法の帰結である(47)式より、i もixi もその総和が0 となる性質を使っている。結局、
N

N

i 1

i 1

S   yi2  yˆi2

(57)となり、三つの量は、S yy  S yyˆˆ  S

(58)と関係付けられる。Syy の自由度（Syy は大きさが正規化されていないのでガンマ分布であるが、正規化すると2 分布になり、その意味での自由度）は N-1、S yyˆ ˆ は自由度１であるので、Sは残りの自由度である N-2 (=N-1-1)である。
これによって、式(53), (54)の分散2 を不偏分散 V で置き換える準備ができたことになる。
その不偏分散は、上記より次式である。

V  S / ( N  2)(59)

ˆ を少し書き換えていよいよ、最終段階である区間推定に入る。回帰直線 yˆ  aˆ  bx

ˆ  y  bˆ( x  x )yˆ  aˆ  bx

(60)として、 ŷ の分散 Vb̂ は
19

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

 1 ( x  x )2  2
Vyˆ  Vy  ( x  x )2Vbˆ   S xx 
N

(61)

となる。
この2 を自由度 N-2 の不偏分散 V に置き換えると、信頼度 1-の信頼区間（上限値と下限値）は、
2
ˆ  t ( N  2,  )  1  ( x  x ) Vaˆ  bx 
S xx N(61)となる。この式が、本レポートが主題とした区間推定を与える式になる。
繰り返し述べてきたように、( 61)式は、真の特性がこの範囲に存在する確率が高い部分を示す幅であって、個々の観測値 yi が分布する幅（ばらつき幅）ではない。この目的に対しては、以下の方法によって、その幅が決定できる。
観測値 yi は yˆi   i であるので、その分散は、


1 ( x  x )2  2
Vy  Vyˆ  V  1  
S xx  N(62)

これより、y の区間推定と同様に、yi のばらつき幅（分布の信頼区間）の区間推定は、


1 ( x  x )2 ˆaˆ  bx  t ( N  2,  ) 1  VS xx  N(63)で求められる。この区間は個々の観測値のばらつきの範囲を表しているので、この範囲は Nが増えても変化は少ない。N の増加と共に、95%区間では y  a  bx  1.96 に近づいてくる。
回帰分析の具体例を示す。元の特性は、a =3, b =1, =1 で、x は 1～５で等間隔に N =5, 10,
20, 100 としている。図８はこの分析結果を示す。図には、これまで述べてきた多くの特徴が表れており、それを感じ取ってほしい。

20

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

10

15

8

10

6

5
4

0
2

0

-5
0

1

2

3

4

5

0

6

1

2

(a) N =5 （他と縦軸スケールが違う）

3

4

5

6

4

5

6

(b) N =10

10

10

8

8

6

6

4

4

2

2

0

0

0

1

2

3

4

5

6

0

(c) N =20123(d) N =100

図８ 回帰直線と 95%信頼区間（グラフ：横軸 x, 縦軸 y、データ： a =3, b =1, =1; グラフ：赤実線：母集団特性、黒実線：回帰直線、太実線曲線：母集団特性の 95%信頼区間、外側の点線：データのば
らつきの 95%信頼区間）

５．さらに理解を深めるために
５．１ モデル選択の重要性
本レポートでは、直線回帰の方法について詳しく述べたが、データを見てどのようなモデルを採用するかがスタート時点で、大事なことになる。選ぶモデルを間違うと、苦労して導いた結論が間違ったものになってしまう。そのためには、散布図を見て、特徴を見誤らないことである。その心構えとして、アンスコムの例（統計学者の Frank Anscombe が 1973 年に紹介した例）が有名である（Wikipedia や文献[2]などに）。アンスコムは、平均・標準偏差・21Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

相関係数が等しく、かつ、回帰直線も同じになる４つの異なるデータセット例を示し、散布図をよく見てその傾向を確認することの重要性を指摘している。
図９は、アンスコムが提示した４つのケースの散布図と、それぞれの回帰直線と相関係数(r; 図では R で表記)を示している（元データの数値は[2]の表 4.5.1 より）。(a)は特段に問題なく、線形近似が妥当な例。(b)は曲線関係の有るデータに直線近似を行っていて、採用モデ
ルが間違っている。(c)は直線状に並ぶデータの一点だけが異なっていて、カーブがその影響を受けている。この一点は何らかの理由によるはずれ値なので、データそのものを吟味する必要がある。(d)は回帰直線が、右端の一点の影響を強く受けていて、統計的性質が正しく反映されていない可能性がある。繰り返しになるが、アンスコムの例は、回帰分析を行う際には、データの統計値だけで比較するのではなく、散布図を見て、データの傾向や外れ値の有無など、解析のスタート時点において、慎重な確認が必要であることを主張している。
５．２ x と y の関係
線形回帰を含む回帰分析では、x を原因とする量、y をその結果として現れる量とし、x には誤差が無いとして扱った。そのため、誤差は y 軸方向に発生し、それゆえ、誤差 e もその方向に採っている。そうすると、１章の図２で示したようなケースでは、x と y が同じ確率分布をしているとしても、回帰直線は 45°の直線とならず、相関係数に応じて傾きが緩やかになる。
x と y とが、明確な原因・結果の関係（主従関係）にあれば、本稿で述べた解析手法（回帰分析）でよいが、x も y も別の原因に支配されていて、単なる関係が有ると言う場合には、
x も y も誤差を含むことになる。例えば、x も y も誤差の分散が同じ程度にあれば、誤差は点と回帰直線との距離で見る（すなわち、y 方向ではなく、回帰直線と直交する方向に見る）
よう変更しなければならず、その場合の回帰直線は図に示した 45°の線になる。このように、回帰分析では、横軸(x)、縦軸(y)の関係性の吟味が大事である。
観測値 y から原因 x を推定することは逆問題と言われる。回帰直線（あるいは曲線）とその信頼区間で現された関係図があったとき、上記の変数の性質を理解して、逆問題をどのように推定するかは、各自で考えてほしい。

22

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

15

15

y = 3.0001 + 0.50009x R= 0.81642

y = 3.0009 + 0.5x R= 0.81624

10

10

5

5

0

0

0

5

10

15

20

0

5

(a)

10

15

20

(b)
15

15

y = 3.0025 + 0.49973x R= 0.81629

y = 3.0017 + 0.49991x R= 0.81652

10

10

5

5

0

0
0

5

10

15

0

20

(c)

5

10

15

20

(d)

図９ アンスコムの例（平均・標準偏差・相関係数が等しく、かつ、回帰直線も同じになる４つの例。
散布図で確認すると違いが歴然）

５．３ 参考文献等
本資料では、回帰分析のもっと基本である２変量の直線回帰（単回帰モデル）とその信頼区間の定め方について、自己完結的に詳しくまとめた。次のステップとしては、２変量の一般的な関数（例えば多項式や指数あるいは対数など）への回帰分析、さらには、多変量での解析（多変量解析法）へと進んでゆくことになるであろう。特に後者では、様々な分野に溢れるビッグデータが来るべき AI 時代を支えており、データを見る目（＝その分析技術）を養っておくことは非常に重要である。
最近の市販の数値処理ソフト（エクセル、カレイダグラフなど）では、回帰分析機能が具備されていて、自分で計算しなくてもカーブを出してくれるが、その真偽（妥当性）や結果の物理的意味を見極めるためにも、基礎から原理を学んでおいてほしい。

23

Technical Report YK-019
Jan. 8, 2019
Y. Karasawa

回帰分析と信頼区間

筆者はこの資料作成のために、以下の本を参考にしている。説明や数式の展開に大いに影響を受けている。
[1] 前園宣彦, 概説 確率統計[第３版], サイエンス社, 2018.10.
（入門編として回帰分析の基本を学ぶのにお勧め。t 分布（や F 分布）の数値表が載っていて便利）[2] 芳賀敏郎, 医薬品開発のための統計解析：第１部 基礎 改訂版, サイエンティスト社,
2011. （応用分野は違うが統計解析の基礎は同じ。直感的理解を呼び起こすユニークな図や記述が多い）[3] 芝 祐順他, 統計用語辞典, 新曜社, 1984.
（確率統計の勉強をする上において、用語の知識を得るに大いに役立つ）
次のステップとして、多変量解析に進むには、入門から本格的なものまで多くの専門書が出版されているので、身の丈にあったものを選んでほしい。後者に位置づけられるのもとして[4]を挙げておく。[4]では、本資料内容の単回帰モデルがベースとなる多変量の重回帰分
析や、異なる視点でデータ分析を行う主成分分析について、物理的意味を追いながら丁寧にまとめられている。
[4] 奥野忠一他, 多変量解析法 改訂版, 日科技連出版社, 1981.
統計の理解にはそのベースになる確率論やその帰結である種々の確率分布の勉強も必要である。確率論に関しても、多くの教科書・専門書が出版されているので、本屋さん等で手にとって見て、相性のよさそうなものを自分で選んでほしい。筆者も無線通信に現れる確率分布を以下にまとめているので、必要なときに参考にしてほしい。
[5] 唐沢好男, 改訂 ディジタル移動通信の電波伝搬基礎（第３章）, コロナ社, 2016.
[6] 唐沢好男, “伝搬モデルに現れる確率分布：～レイリーフェージングから Massive MIMOまで～,” 私報、Tech. Rep. YK-005, pp. 1-36, Dec. 2017.
http://www.radio3.ee.uec.ac.jp/ronbun/TR_YK_005_Probability_distribution.pdf

24