第章

最小二乗法による線形回帰分析

節で次元データ

帰直線でについて論述し生の身長ををで予測する単回

節では 母親の身長を女子学として 母親の身長から女子学生の身長を予測する式を導いた

このとき この直線の当てはまり度の尺度として決定係数があった またその節の後半では母親のみから女子学生の身長を予測することよりも 母親と父親から女子学生の身長を予測する重回帰直線について論述した この章ではもっと変数を多くしたモデルを含む回
帰直線の一般論について詳細に述べ 変数をどこまで採るべきかの議論も行う

線形回帰分析
節の線型単回帰モデルを考える 特にのときのモデルを線型重回帰モデルという変数と呼ばれる確率変数でを説明変数と呼ぶとする このときを一般化した線型回帰モデルを被説明個の要因に対応する確率変数でない変数値は誤差と呼ばれる確率変数で平均と分散を線形回帰分析である またのことを従属変数または応答変数といいを共変量または共変数ということがあるとし組のデータに対して 線型回帰モデルはでありは互いに独立で 平均分散の同一の分布に従う 便宜

上ベクトルは縦ベクトルで表し 観測ベクトル

係数ベクトル

誤差ベクトル行列とおくと表現できる

はベクトルと行列ででを説明変数行列を回帰係数ベクトルという節と同じように誤差の二乗和を最小にするようなの値を小値を与える解を解くためにの推定量とする方法を最小二乗法という 最をで偏微分すれば

第章

最小二乗法による線形回帰分析を得るから 最小二乗法の正規方程式はとなる この章では今後が正則行列の場合を考える このとき正規方程式より得られる最小二乗解はである そのときを回帰ベクトルといいによってを近似するを残差ベクトルといいを残差平方和様にといい節の単回帰の場合と同とおきを寄与率または決定係数というと線形回帰分析の標本相関係数で定義 をとすれば 寄与率と標本相関係数の間のつぎの興味ある結果を得る
定理

寄与率が成り立つ，ただしは標本相関係数はの標本平均とする．

証明よりかつを得る このつの関係式より
かつよりの二乗に等しい すなわち

第章

この値が最小二乗法による線形回帰分析

以上以下であることは標本相関係数の定義より解る これらにより結論を得た

よりはそれぞれとがの不偏推定量であるはともに対称な巾等行列でそれぞれ階数とである また積がである すなわちの線形関数の最小二乗法による推定量を得る また
定理

は共通分散
証明の不偏推定量である
より一般性を失うことなくと仮定する 定理

線形回帰分析個よりなる直交行列

るが存在す

とおくとここでは互いに独立で同一のに従うとき正規線形モデルといい 記号のモデルをで表す このときである
定理

証明のときとする このとき 系一般性を失うことなくよりは容易に示されるはの証明で定義したに従う これによりまたよりしたがって

定理のとの独立性は示せる

パーセント信頼区間はとなる
次にとし 回帰係数ベクトルの線形制約のときを考える こが線型制約を満たすかどうかの検定仮説は 以下のようになる
帰無仮説と 対立仮説

第章

最小二乗法による線形回帰分析

線形制約の下での制限最小二乗法を解くためにラグランジュ乗数法を使う

とおき それぞれのパラメータで偏微分してとおくととなり 制限正規方程式はとなる

とおき逆行列を求めるととなる ここでこの逆行列をとおく 制限正規方程式を解くととなり ここで 線形制約の下でのの制限最小線形回帰分析

二乗推定量はであり 制限回帰ベクトルは線形制約の下での残差平方和は正規線形モデルにおいて 回帰係数が線形制約を満たすかどうかの 帰無仮説と 対立仮説を検定するための統計量はであるとおくと 次が成り立つ
補題

つの等式個個個個を同時に満たすある直交行列個が存在する

証明

はいずれも対称な巾等行列より 階数はそれぞれより個個である 定理の固有値は交し長さがる 同様にかでのものをの固有値に対するの固有ベクトルとして互いに直個選ぶことができ それらを対するとすの固有ベクトルとして互いに直第章

交し長さが最小二乗法による線形回帰分析のものを個選ぶことができ それらを固有値対するを個選ぶことができ それらをの固有ベクトルとして互いに直交し長さがまたのものとするの間の積はである すなわち

より同様にしては互いに直交することが解る
よりあるの同様に

さらには固有値に対するの固有ベクトルでは固有値に対するの固有ベクトルは固有値は固有値に対するに対するの固有ベクトルの固有ベクトルである 以上によりとおくことにより個個が示せ
定理

個が解るも同様に示せる

正規線形モデルにおいて 帰無仮説の下で証明となくの下でより一般性を失うこと仮定してよくにより一般性を失うことなく式の分母と分子両方をで割ることと仮定してよい 補題の直交行列を使っての直交変換を考えるとここで 補題を使うことにより

線形回帰分析でありよりこの定理によりと式の分母と分子の独立性が示せ結論を得る
を自由度のエフ分布の上側ゆえに有意水準の検定方式は点とするのときのときと表現される
例

正規線形モデルと 対立仮説

とおきのにおいて 帰無仮説を検定したいならばを計算する 有意水準の検定方式はのときのときとなる

第章

最小二乗法による線形回帰分析

回帰係数の次元の決定
次元縦ベクトルをとおき正規線形モデルにおいて母数の次元に関する帰無仮説

について対立仮説

なるあるについての検定について考える

とおくことにより 帰無仮説と対立仮説はとおけば 帰無仮説の下でとなる モデルの下での残差平方和をとおくとで表現できるはより モデルの下での残差平方和は便宜上で表される 回帰係数が線形制約を満たすかどうかの仮説 帰無仮説と対立仮説となり 定理ら 統計量を検定するための統計量はより帰無仮説によって仮説の下でとことができる しかし真の母数の次元よりである このことかのどちらが成り立っているかを調べるが未知であって データ

ノンパラメトリック法とセミパラメトリック法によって決定されなければならない場合 有意確率が異なり 有意水準の決め方に大きく依存する そこで通常はのズを最小にするをで定義したものとし マロー統計量と呼ばれる次の統計量によって 母数の次元を決定する方法がよく使われる

ノンパラメトリック法とセミパラメトリック法の線形回帰モデルの回帰係数ベクトルの順位推定量と推定量がそれぞれプリ

センとフーバー

されの線形仮説の検定法と線形仮説の下での回帰係数ベクトルの推定法のノンパラメトリック論とセミパラメトリック論がサレーに論述
白石に載せられている これらの手法は計算機アルゴリズムが大変で明解なアルゴリズムが構築されるとよいかと思われる
演習問題
節の設定でのようにとおきとおくと上の全ての元に対してであることを示せ
においてので与えられることを示せ

ただしパーセント信頼区間はとして

第章

最小二乗法による線形回帰分析とするにおいて 対立仮説
非心度の非心はしの下では自由度分布に従うことを示せ ただ

節で定義したものとする

節のモデル設定でを次元定数列ベクトルとする またを満たすベクトルとし約をとする このとき 線形制の下でのの制限最小二乗推定量はで与えられることを示せの設定で 正規線形モデルにおいて 回帰係数が線形制約を満たすかどうかの 帰無仮説と 対立仮説を検定するための統計量はである このときは帰無仮説の下で自由度の分布に従うことを示せの設定では対立仮説の下で自由度の非心非心度分布に従うことを示せ