数理解析研究所講究録
916 巻 1995 年 90-11190

直線当てはめ問題の推定法について(Mot\‘oaki kawanabe)

東大工

川鍋 -晃

東大工

甘利俊– (Shun-ichi Amari)

要旨

線形関係にある 2 次元量を測定して得ちれた誤差を含む 2 次元データからこの直線を推定する方法
について議論する. この問題は観測ごとに真値の位置が異なり, 観測とともに撹乱パラメータが増加するので, セミパラメトリックモデルとして扱う必要がある.

情報幾何学の方法によりこのモデルの推定関数について調べた結果, 最尤推定量はデータの真値の分布の仕方によらず–致性を持つが, 情報量の意味では有効でないことがわかる. 特に, 原点を通る直線を当てはめる場合にはデータの真値の分布の平均と分散の情報を用いることにより最尤推定法を改良する推定関数法が構成できる.

1

はじめに

線形関係にある多次元量を測定して得られた誤差を含む多次元データからこの線形関係を推定する問題は, 変数誤差モデル ($\mathrm{e}\mathrm{r}\mathrm{r}o\mathrm{r}.\mathrm{S}- \mathrm{i}\mathrm{n}-\iota\prime \mathrm{a}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{b}\iota \mathrm{e}\mathrm{s}$前で数多くの文献の中で扱われている

model), 線形関係モデル, あるいは因子分析モデルという名$(\mathrm{A}\mathrm{n}\mathrm{d}_{6!}\mathrm{r}\mathrm{s}\mathrm{o}\mathrm{n}[1984])$. 本研究で扱うのはその中でも最も簡単な 2 次

元データに直線を当てはめる問題であり, 以下のように表される$x_{\alpha}$$=$$\xi_{t\mathrm{r}}+\mathcal{E}1\alpha$$=$$\wedge\prime 9\xi_{\mathrm{f}},+\wedge’+\mathcal{E}1^{\cdot}z_{\alpha}$$n$個の独立な 2 次元データ’$\alpha=1,$$y_{t1}$.

が観測される. すなわち, この 2 次元

3,

$y$

切片

$\wedge,J$$\overline{7}^{=-}$

クの即値は直線が推定したいパラメータであり,題では観測とともに未知の値しくなる. 実際,$\xi_{tt}$は. が増加していくため,$\xi_{t1}$

Neyman and,$\mathrm{s}_{\mathrm{c}o\mathrm{t}\mathrm{t}}[19481$$\alpha$$\ldots,$

(1.1)

$n$

, 上にのっていて, この直線の傾き$y=_{\wedge}\prime 9x’+\wedge\ovalbox{\tt\small REJECT}$

番目のデータの真野の位置を表している. この問$\mathit{3},$$\wedge 1’$の推定も通常のパラメトリックモデルより難によってこのような状況のもとでは最尤推定量が–致性を持たない, あるいは有効な推定量でない場合もあるということが指摘されている.

直線当てはめの問題においては, 真値の位置を表す未知の値の系列

2 通りが考えられる (Kendall and$\mathrm{S}\mathrm{t}_{11}\mathrm{a}\mathrm{r}\mathrm{t}[19\overline{‘}9]$$(\xi_{1}, \ldots, \xi_{r\iota})$の扱い方として以下の).

1. 非確率的な数列

2. 未知の分布$k(\xi)$からの i.i.d. 確率変数列

1 は線形関数関係 (linear functional relationship) あるいは層別モデル (stratified model) と呼ばれ,$\xi_{l1}$が観測とともに増加する撹乱パラメータとなる. 2 は線形構造関係 (linear structural relationship) ある.

91

いはミクスチャーモデル (mixture model) と呼ばれ,が関数自由度を持つ撹乱パラメータである.

$k(\xi)$

いずれの場合も無限自由度の撹乱パラメータを含むため通常のパラメトリックモデルの推定理論の枠内で扱うことはできない.
測定誤差$(\epsilon\iota_{\alpha}, \epsilon_{2r\mathrm{f}})$

は平均

$0$

の i.i.d. 確率ベクトルであり,もし, 真畔の分布ゐ (\xi ) や測定誤差

可能ではない. そこで,$(\epsilon_{\iota\alpha}, \epsilon 2\alpha)$, とは独立であると仮定する.

$\xi_{t}$の分布に何の仮定も設けなければパラメータ$‘\prime 9,$$\wedge|’$は識別推定したいパラメータが識別可能になるようにこれらの分布に様々な仮定を設けたモデルが提案され, 研究されている (は独立に正規分布2 の場合は$N(\mathrm{O}, \sigma^{2})$, Bickel et$\mathrm{R}6!\mathrm{i}\mathrm{e}\mathrm{r}\mathrm{s}\emptyset 1[1950]$$\mathrm{a}1.[19871$

etc). 本研究ではにしたがうと仮定する (制約正規誤差モデル). さらに,$\xi_{CY}$と$\epsilon_{\mathrm{I}}$$\epsilon_{2}$を i.i.d. 確率変数

列とみる線形構造関係モデル (ミクスチャーモデル) を扱う.
以上で述べたモデルにおいて, 真値の分布た (\xi ) のいかんにかかわらず$\beta,$$\wedge|’$の $\sqrt{n}-$ 一致推定量(広域

的ロバスト推定量) を与えるセミパラメトリック推定法について議論する. 広域的ロバスト推定量を議論するための有用な道具として$\mathrm{G}\mathrm{o}\mathrm{d}\mathrm{a}\mathrm{n}\mathrm{l}\mathrm{b}\mathrm{e}[1960,1976]$

によって導入された推定関数という概念がある.

定義 Ll 推定関数

推定したいパラメータが . 次元ベクトル$d$$\theta$

であるセミパラメトリックモデル.

$S=\{p(X, \theta, k)|\theta\in\ominus\subset R^{l}\mathrm{r}, k$ $\in K\}$において,と 9 の $d$ 次元ベクトル値関数$x$$y(x, \mathit{9})=(y_{1}(X, \mathit{9}),$ $\ldots,|_{\mathrm{f}}Jl(x, \theta))^{\mathrm{T}}$で以下の条件を満たすものを推定関数と呼ぶ.
$\mathrm{E}_{\mathit{9}.k}[y(x, \theta)]=0$$\det(\mathrm{E}_{\mathit{9}.k}[\partial_{\mathit{9}^{y}}(x, \mathit{9})])\neq 0$$\mathrm{E}_{\mathit{9}.k}[||y(x, \mathit{9})||.l]<\infty$

ただし,

E9

$.k$

は分布

$p(x, \mathit{9}, k,)$に関する期待値,$\forall \mathit{9},\forall k$,$\forall \mathit{9},\forall k$,$\forall \mathit{9},\forall k$$\partial_{\theta}=\partial/\partial\theta$

(1.2)

,

,

$||\cdot||\dagger 3$

(1.3)
(1.4)

:ユークリ ‘ノドノルムとする.

(1.2) は広域的ロバスト性を保証し, (1.3), (1.4) は推定量の妥当性を保証する条件である.

注もし推定関数が存在すれば,i.i.d. 観測値$x_{\rceil}$, . ..,$x_{r\iota}$が得られたとき, 推定関数$y(x, \mathit{9})$からつくられる推定方程式$\sum_{i=1}^{\prime\iota}y(X_{i},\mathit{9})\wedge=0$の解$\wedge \mathit{9}$(1.5)

は広域的ロバスト推定量になる. この推定量の漸近的性質は以下のようにまとめられる.

定理 Ll 推定関数$y(x, \mathit{9})$から得られる推定量$\wedge \mathit{9}$は真の撹乱パラメータ秘のいかんにかかわらず一致性を持ち, 漸近的に正規分布にしたがう. 漸近分散行列は$\sqrt{n}-$92$\mathrm{A}\mathrm{v}[y]$($A$$\equiv$$rarrow 1\mathrm{i}\mathrm{n}1\infty n\mathrm{E}\mathit{9}.k\mathrm{O}[(\theta-\mathit{9})\wedge(\mathit{9}-\mathit{9})\wedge\uparrow]$$=$$A^{-\rceil}V(A^{\mathrm{T}}’)^{-1}$

$=$

E9

$.k_{0}[\partial_{\mathit{9}^{y}}]$

,

(1.6)
$V=$

E9

)

$.k_{0}[yy^{\mathrm{T}}.]$となる.

このように推定関数が存在すれば広域的ロバスト推定量が構成できるが, 具体的なセミパラメトリッ
クモデルに対して推定関数を具体的に求めることは容易ではない. それどころか, これまでは推定関数の存在条件や最適な推定関数の特定というような基本的な問題に関してもほとんどわかっていなかった.
Amari and] は観測とともに撹乱パラメータが増加するモデル (Neyman-Scott 問題) にお$\mathrm{I}\backslash 1\mathrm{l}\mathrm{n}1O\vee \mathrm{n}1^{198}8$

いて情報幾何学$(\mathrm{A}\mathrm{n}\mathrm{l}\mathrm{a}\mathrm{r}\mathrm{i}[1985])$

問題に解答を与えた.

の方法を用いて推定関数が解析できることを示し, 推定関数に関する諸

この幾何学理論は Amari and

クモデルに拡張されている.

$\mathrm{I}\backslash ^{r}\mathrm{a}\mathrm{v}’ \mathrm{a}\mathrm{n}\mathrm{a}\mathrm{b}\mathrm{e}[1994]$

によって–般のセミパラメトリッ

本研究ではこの幾何学理論を用いて直線当てはめ問題の推定関数とセミパ

ラメトリック推定法について考察する.

本研究で扱っている 2 次元直線当てはめ問題をさらに–般化して, 多次元の線形当てはめ問題を考えることができる.

この問題は多次元変数誤差モデル, 線形関係モデル, あるいは因子分析モデルという名前で呼ばれ, 様々な研究がなされている (と$x_{1\alpha}$$r$

次元確率ベクトル勉 n からなる$n$$\mathrm{A}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{r}\mathrm{s}0\mathrm{n}[1984],$

Gle.s$6!\mathrm{r}[1981]$

etc).

$P$

次元確率ベクトル個の独立な $(p+r)$ 次元データ $x_{\alpha}=(x1\alpha’ X.z.\alpha)$ を観測する.

$x_{\alpha}=$$\mathrm{u}_{2_{ll}\gamma\iota\alpha}=+Bu$

観測データの真値 u。は$R^{(r^{)}+\prime\cdot)}$

ル ul。が観測毎に異なっている.

の中の

$P$

,

$a=1,$$\ldots,$

(1.8)

$n$

次元部分空間に制限されていて, その位置を表す

は測定誤差であり, 平均 , 共分散行列$\mathrm{O}$$e_{r\mathrm{r}}$ある. 観測データの真値がのっている$P$

次元部分空間を表すパラメータ $B,$$\gamma$$\Sigma$

$p$

次元ベクト

の i.i.d. 確率ベクトルでが推定したいパラメータである.

線形当てはめ問題は工学応用という側面からも重要な問題である. 近年, コンピュータビジョンにおける 2 次元画像からの 3 次元環境の認識・理解の過程が線形当てはめ問題, あるいはさらに–般の非線形当てはめ問題であることが知られるようになり, 数理工学的な研究が行なわれている (金谷 [1994, 1995]).
このコンビュ $-$ タビジョンにおける研究が本研究を始める動機となった.

2

原点を通る直線当てはめ問題の推定法
まず最初に原点を通る直線 ( 切片$y$$\wedge|^{i}=0$) を当てはめる問題を考える. ある決められた 1 点を通る直線を当てはめる問題は–般性を失うことなくこの問題に帰着できる. 観測されるのは$n$個の独立な 2 次

93

元データ
$x_{\alpha}$$=$$\epsilon tt+\epsilon 1\alpha$$/|\alpha$$=$$\wedge\prime 9\xi_{\alpha}+\mathcal{E}.z\alpha$’$\alpha=1,$$\ldots,$

(21)

$n$

’

であり, 推定したいパラメータは直線の傾き 3 である. 真野の位置$\xi_{\alpha}$は未知の分布 $k(\xi)$ からの i.i.d. 確率変数とし, 推定量の漸近的性質を調べるため $k(\xi)$ は有限の平均と分散を持つと仮定する.

$\mu_{\xi}$.
$\sigma_{\xi}^{l}$

測定誤差$\sigma^{2}$$\epsilon_{1\alpha},$$\epsilon_{2\alpha}$は独立に正規分布$N(\mathrm{O}, \sigma^{2})$$=$$\mathrm{E}_{k}[\epsilon]$$=$$\mathrm{V}\mathrm{a}\mathrm{r}_{k}[\xi]$にしたがい, かつ$\xi_{c\mathrm{r}}$と独立であると仮定する. 誤差分散

は既知の場合と未知の場合の両方について考える.

$\xi_{1},$. を i.i.d. 確率変数列とみる線形構造関係モデルにおいては $(x, y)$ の密度関数は,(2.2)$p(x, \mathrm{t}J, ‘\prime 9, \sigma, k2)=\int p(x, y, \theta, \sigma, \xi)2k(\xi)\mathrm{d}\xi$

ただし,

となる.

$p(x, y, \wedge 9’, \sigma^{2}, \epsilon)=\frac{1}{2\pi\sigma^{2}}\mathrm{e}x\mathrm{p}\{-\frac{1}{2\sigma^{2}}.(_{X}-\xi)^{2}-\frac{1}{2\sigma^{2}}(y-‘\prime 9\xi)^{2}\}$

は真値

$\xi$

を固定したときの (X, ) の (条件付) 密度関数である. このセミパラメトリックモデルを$y$$S=\{p(x, y, \theta, \sigma^{2}, k)\}$

を

$\xi$

$s$

とおく. 計算を簡単にするために,, 直交する方向の座標を,$a$$4\backslash ^{\tau}\prime\prime((1+\beta^{2})\xi, (1+‘ q_{)}^{2}\sigma^{2})$$N(\mathrm{O}, (1+\wedge\theta^{2})\sigma^{2})$’$h^{-t}$を固定したときの直線に沿う方向の座標とおく.

$s(x, y, \wedge\theta)$$=$$x+\theta y$(2.4)$a(x, y, \beta)$$=$$y-_{h}\theta_{X}$(2.5)

を固定したときの条件付分布を考えると,

規分布

(2.3)

にしたがう. -方,にしたがう. さらに,最初に, 幾何学理論 (Anlari and$s(x, y, \beta)$

$s$

は (

$\theta$を固定したとき)$a(x, y, \theta)$$\xi$の十分統計量になり, 正は補助統計量になり, 正規分布と $a$ は独立である.

$\mathrm{K}\mathrm{a}\backslash \backslash ’ \mathrm{a}\mathrm{n}\mathrm{a}\mathrm{b}\mathrm{e}1^{1}994]$) を適用してこのモデルの推定関数について考察した結果を簡単に要約しておく (川鍋 [1995]).

1. $g(s, \beta)$ を適当な正則条件を満たす$s$の任意の関数とすると,$g(s, \theta)a=g(x+\theta y, \theta)(y-\theta x)$は推定関数である.
$\Rightarrow$

2.

$\xi$

最尤推定法の関数は砂$+‘\prime 9y$) $(y-‘\prime 9x)$ であるから最尤推定法は推定関数法である (後述).

の分布がゐ (\xi ) のときの最適な推定関数は$\mathrm{E}_{\theta.\sigma^{2}.k}[\xi|S1^{a}=\mathrm{E}_{\beta.\sigma^{2}.k}1\epsilon|X+\beta y](y-\beta X)$

(2.6)

94

である (

$k$

に依存). この最適推定関数から得られる推定量はセミパラメトリックモデル $S$ のたにおける情報量限界を達成する.

直線当てはめ問題 (変数誤差モデル) において最も基本的な推定法は最尤推定法である. この推定法は
真心$\xi_{l1}$. を非確率的なパラメータとみなす線形関数関係モデルにおいて, 尤度関数$\mathrm{r}\mathrm{r}\iota\prod_{=}p$($\sigma^{2}$$=$を最大にする 3,$\xi_{\mathrm{r}},,$$\beta,$$x_{\mathrm{r}’/_{1}},\mathrm{t},,$

, Cn)
(2.7)

$\frac{1}{(2\pi\sigma^{2})^{r}p}\exp\{-\frac{1}{2\sigma^{2}}\sum_{\prime \mathrm{r}=1}(x,\mathrm{r}Y\iota-\sigma,.)2-\frac{1}{2\sigma^{l}}.(\mathrm{r}=\sum_{\rceil}r\iota(yC\mathrm{r}-\theta\xi_{c}p)2\}$$(\sigma^{2})$を推定量とする方法である. しかし,3 の最尤推定量$h^{\wedge}\prime 9_{\mathrm{k}\mathrm{f}\Gamma}$,は真値$\xi_{\gamma)}$. を確率変数とみなす線形構造関係モデルに対しても用いることができる. 尤度方程式は’$, \sum_{)=1}^{rp}\frac{\partial}{\partial_{\wedge}},,$$=$$\log P(X_{\alpha},yt\mathrm{r}’\theta,\xi‘ \mathrm{r})$$=$$\frac{\partial}{\partial\xi_{\mathrm{r}}},1o\mathrm{g}p(x\alpha’ \mathrm{t}J\alpha’\wedge;\prime y,\xi_{\mathrm{r}},)$

3, . の最尤推定量はとなり,$\sigma^{2}$$\xi_{C1}$$\frac{1}{\sigma^{2}}.\sum_{C1=\iota}^{l}$

Co

(2.8)

$(\mathrm{i}J_{C}r-‘\prime 9\xi_{\alpha})=0$(2.9)$\frac{1}{\sigma^{l}}.\{x_{\alpha}+\beta y_{\alpha}-(1+t9^{2}’)\epsilon(1^{\cdot}\}=0$によらずに決めることができる. すなわち, 誤差分散

知かにかかわらず, 最尤推定法は同じ手続きになる. (2.9) を$\xi,$).

$\sigma^{2}$が既知か未について解けば 3 を固定したときの推定量が得られる.

.

(2.10)$\xi_{\mathrm{r}\mathrm{r}}(\beta)\wedge.=\frac{x_{\alpha}+_{\mathrm{s}}q_{J}\mathfrak{l},\mathrm{r}}{1+\prime 9^{2}}‘$

これを (2.8) に代入して整理すると 3 の推定方程式 ($\beta$に関する 2 次方程式) が得られる.

(2.11)$\sum_{r\mathrm{r}=\iota}(X\alpha+\theta y_{9}l)(\mathrm{i}_{r1}J -\theta x_{tt})=0$(2.12)$\overline{x1J}‘\prime 9^{2}-(\overline{\mathrm{t}J^{2}}-\overline{x^{l}})\theta-\overline{X\mathrm{t}/}=0$$\Leftrightarrow$

ただし, 標本の 2 次モーメントを$\overline{x^{l},\cdot}$$\overline{J\mathrm{t}^{2}.}$

可
とおいた.

3 の 2 次の係数可$\neq 0$

ならば,

$=$

$\frac{1}{n}.\sum_{C1=}r1|x_{\alpha}.2$$=$$\frac{1}{n}\sum_{\prime \mathrm{r}=}^{l}Y1y_{t\mathrm{r}}.2$$=$$\frac{1}{n}.\sum_{\mathrm{f})=1}^{l}xy_{l1^{\cdot}}Y\prime t$

2 次方程式の解の公式より最尤推定量は(2.13)となる.

可 $=0$ のときには,$\overline{x^{2}}>\overline{/1^{2}}$ならば,$‘\wedge\prime 9_{\hslash\prime\prime,=0}.$$\overline{x^{2}}<\overline{J^{l}|}$ならば$‘\wedge\prime 9_{\mathrm{k}rr},$$=\infty$である.

直線当てはめ問題は観測とともに撹乱パラメータが増加するモデル (Neyman-Scott 問題) である.
かし,

しこのモデルの推定関数について考察すると, 幸運なことに最尤推定法は推定関数法であり, 最尤

推定量は広域的ロバスト推定量になることが示される (川鍋 [1995]).

95$\bullet$

最尤推定法は推定関数法である. すなわち, 適当な正則条件のもとで最尤推定量$k.(\xi)$によらずに$\sqrt{n}-$$\wedge^{\wedge}\prime 9_{\mathrm{h}r}’$

,

. だし,

$f^{\vee}$

.

の分布

.

$\mathrm{B}_{k}[\xi]=\mu\epsilon$

本稿のように観測誤差 ($\xi$

一致性を持ち, 漸近的に正規分布にしたがう. 漸近分散は(2.14)$\mathrm{A}\mathrm{v}[_{:\mathrm{k}}l\wedge 9\prime f,]=‘\ldots\frac{(1+J9^{2})\sigma\{2\sigma^{2}+(1.+\prime 9\prime)2(//_{\xi\epsilon}+\sigma^{2})2\}}{(1+\prime 92)(/l^{2}+\sigma^{2})\epsilon\epsilon 2’}‘.\cdot..\cdot$

となる (

は

$\epsilon_{\chi\rceil},,$, Var$\epsilon(I^{\cdot}2)$$2$$k[\xi]=\sigma_{\xi}$.

).

が正規分布にしたがうと仮定すると, 最尤推定法は実は 2 次元空間の最小自乗法になる.

最尤推定法は観測データ$(x_{\alpha}, y_{1},.),$$\alpha=1,$ $\ldots,$ $n$と直線 $y=‘\prime 9x$ の距離の自乗和(2.15)$\sum\frac{(_{J}\mathrm{t}_{t\mathrm{r}}-_{\iota}\prime 9x_{r\mathrm{r}}\prime)2}{1+_{h}\prime 9^{2}}\gamma 1.\cdot$$\alpha=1$を最小にする 3 を推定量とする最小自乗法に–致する.
以上で述べたように最尤推定法は推定関数法であるが, 推定関数法の中で最適な方法ではない. また,最適な推定関数は理論的には求めることができるが,できない. そこで, 本稿では

$\xi$

の平均

$\mu_{\xi}$と分散$\sigma_{\xi}^{2}$

.

$\xi$

の分布ゐ (\xi ) に依存するので実際には使うことがの情報のみを利用して最尤推定法を改良する推定関数法を提案する.
まず, 最尤推定法の推定関数 $(x+h\prime 9\mathrm{t}J)(y-\beta x)$ を含む推定関数の集合$\{(x+_{h}\prime 9\uparrow J+C)(y-_{\mathrm{g}}\prime 9X);c\in R\}$を考える. この集合に属する推定関数を L- 推定関数と呼ぶことにする.
関数になるから,. $=0$ のとき最尤推定法の推定$\mathrm{r}.\cdot$

L- 推定関数の中で漸近分散を最小にするものを用いた推定関数法は漸近分散 (あるいは情報量) という規準でみて最尤推定法を改良する. L- 推定関数の推定方程式は$a \cdot=\sum_{1}^{r\ell}(Xl\mathrm{r}+\beta yr)$となる ( $c=0$ のとき最尤推定法).

. $+\mathrm{r})(y\alpha-\theta x\prime\prime)=0$

この推定方程式から得られる推定量. の漸近分散は$\wedge^{\wedge}\prime 9_{\mathrm{r}}$‘$\mathrm{A}\mathrm{v}[.\prime_{C}’.\cdot]j\wedge=....\frac{(1+_{h}\theta^{2})\sigma 2[\{t:+(1+h9^{2}\prime)\prime\iota\epsilon\}.+(1+\prime 292)z_{\sigma_{\xi}^{2}+}(1+\prime 9^{2})\sigma^{2}]}{\mathrm{t}c/\iota\epsilon+(1+\wedge 9^{2}l)(\prime l+\sigma^{2})\xi\xi\}^{2}2}.\cdot.‘\cdot...$であり,.
(2.16)$\mathrm{r}^{-}=\frac{\sigma^{2}/\iota_{\xi}}{\sigma_{\xi}^{2}}$のとき最小値をとることがわかる (図 1).

L- 推定関数の中で漸近分散を最小にする推定関数$(2.1\overline{1})$$(x+ \wedge\theta_{J}|+C^{\mathrm{x}})(\mathrm{t}J-\wedge 9_{X}l)=(x+‘\prime 9y+\frac{\sigma^{2}\prime^{\iota_{\xi}^{2}}}{\sigma_{\xi}^{2}}‘..\cdot)(y-\beta_{X})$を最適 L- 推定関数 ($\sigma_{\xi}^{2}$$L^{\wedge}-$推定関数) と呼ぶことにする.

$L^{\mathrm{x}}-$推定関数には$\xi$の分布双\xi ) の平均,1\xi と分散という未知の量に依存する定数が含まれるので, 推定法を構成するときに G 幻 l\xi と換えたものを用いる. このようにして構成される推定関数法を最適 L- 推定関数法 (ぶ.

まず, 誤差分散$\sigma^{2}$が既知の場合には以下のような推定手順で 3 かを求める.

$\sigma_{\xi}^{2}$$L^{X}-$

を推定量で置き推定関数法) と呼96

哩L$\sim$

璽 7 調隔– $\mathrm{L}*$$\sim$$*$$\mathrm{g}$A$\mathrm{s}$

.

哩魅

–

$\mathrm{g}$$\sim$$-$ ♂鴨 A$\mathrm{a}\mathrm{s}\mathrm{y}^{--}.\mathrm{s}- \mathrm{s}1--\sim------$

図 1: L- 推定関数法の漸近分散
上

:

下 .’

$‘\prime 9=1,$$\sigma=1,$$/r_{\xi},=1,$$\sigma_{\xi}=1,$$c^{\mathrm{K}}=1$$\theta=1,$$\sigma=3,$$//,\epsilon=1,$$\sigma_{\xi}=1,$$Ci^{-}=9$

1. 未知パラメータ$\mu_{\xi},$$\sigma_{\xi}^{l}$の $\sqrt{n}-$ 一致推定量を用いて,係数 , の推定量を計算する.
$‘\backslash ^{\wedge}$$/ \iota_{\xi}\wedge=\frac{1}{n}\sum_{=tY1}xrp\gamma \mathrm{r}$(2.18)$\{$$\wedge\sigma_{\xi}^{l}.=\frac{1}{n}.\sum_{1(1=}^{r}\text{と}x_{\alpha}.-z(/’,\epsilon)\wedge 2-\sigma.2$.

(2.19)$\sim \mathrm{r}=\frac{\sigma^{2^{\wedge}}/\iota_{\xi}}{\wedge,\sigma_{\xi}^{l}}$2. 推定方程式 (2 次方程式) を解いて推定量 3r,、を求める.
$\sum_{t\mathrm{r}=1}^{\gamma}p(x_{\alpha}+_{\mathrm{s}}\theta_{J}\mathrm{t}_{l)}$$\Leftrightarrow$.

$+ \frac{\sigma^{l^{\wedge}}/l_{\xi}}{\wedge,\sigma_{\xi}^{2}}...\cdot)(|_{(\gamma}J-‘\theta_{X}\alpha)=0$$\overline{X\prime \mathrm{t}J}^{\theta-}‘ 2(\overline{|J^{z_{-\overline{x^{2}}-}}}\mathrm{r}i\sim_{\overline{X\text{ノ}})\wedge}‘\theta-\overline{x_{JJ}1}-\Gamma\overline{|}=0$(2.20)(2.21)

97

ただし,$\iota^{\prime 9r}\wedge’$

誤差分散$\sigma^{2}$$\overline{J\uparrow}=\frac{1}{n}.\sum_{\prime 1=1}^{r\iota}$$\overline{x_{\ovalbox{\tt\small REJECT}}}=\frac{1}{n}\sum_{tl=1}X_{\alpha}n,$.

三下可は標本 2 次モーメントである.

脚は標本平均,(2.22)$=.. \frac{\overline 1J^{z_{-x-\prime\overline{x}+}}\overline{z}\sim\sqrt{(\uparrow J^{2}-}\prime\sqrt{(\mathrm{t}^{2\overline{z}}y--x,)^{z}+4\overline{X|J}(\overline{x,|J}+^{\gamma}\overline{\mathrm{t}/})}}{22\overline{x_{J}J}\text{可}l}$が未知の場合には推定暴露 $k$. 求めなければならないが, これを計算するためには$‘\theta$の適当な初期推定量 (一致推定量) が必要になる.

1. 最尤推定量 31’ おを求める.

2. 誤差分散$\sigma^{2}$の–致推定量斜を求める.

(2.23)$\wedge\sigma^{2}=\frac{1}{\{1+(_{\wedge}\prime 9_{n}\wedge.\prime\prime,)2\}n}.\cdot\sum_{\alpha=\mathrm{i}}^{7\iota}(_{J4}\mathrm{t}\alpha-_{\iota’}\wedge 9,r\Gamma,x_{1}‘.)2$

3. 未知パラメー勾\sim \xi ,$\sigma_{\xi}^{l}$の $\sqrt{n}-$ 一致推定量を用いて,係数 . の推定量を計算する.
$c$$l’ \cdot\xi\wedge=\frac{1}{n}\sum_{\gamma \mathrm{r}=\iota}Xrp\alpha$(2.24)$\{$$\wedge\sigma_{\xi}^{2}.=\frac{1}{n}.\sum_{1\mathrm{f}1=}^{\gamma\ell}x.-l\alpha(^{\wedge}/\iota_{\xi}).-2\wedge 2\sigma$(2.25)$\sim(i=\frac{\wedge\wedge\sigma^{z_{l^{r}\cdot\epsilon}}}{\wedge,\sigma_{\xi}^{2}}..$

4. 推定方程式 (2 次方程式) を解いて推定量$\mu_{\xi},$

値.

$\mu_{\xi},$$\sigma_{\xi}^{\mathit{1}}$の–致推定量灰,$\sigma^{2}$$\sigma_{\xi}^{l},$を用いた$L^{\mathrm{s}}-$$\wedge\sigma_{\xi}^{2}$および$\sigma^{2}$$‘\wedge\theta,,\cdot$

を求める.

の–致推定量斜を用いれば, 推定量

推定関数から得られる推定量

適当な正則条件のもとで推定量 3,、は$\xi$$‘\wedge\prime 9_{r^{*}}.(c^{\wedge}=\sigma\mu 2\xi/\sigma^{l}\xi)$の分布双\xi ) によらずに$\sqrt{n}-$$‘\prime 9r\wedge,\cdot$の漸近的な性質は真と同じになる.

一致性を持ち, 漸近的に正規分布にしたがう. 漸近分散は(2.26)$\mathrm{A}\mathrm{v}[.h^{\wedge}9’,\cdot]\Gamma="..\cdot\frac{(1+\prime 9^{z})\sigma\{2\sigma^{2}+.(1+\wedge 9l)\prime\sigma..\}\epsilon 2}{(1+\theta^{2})(\prime l^{z2}+\epsilon\epsilon)\sigma^{2}\xi\prime n,\xi\sigma+\sigma^{2z}}.\cdot\cdot\cdot.\cdot$となる.

以上では情報量の意味で最尤推定法を改良するセミパラメトリック推定法として成した. 次に$L^{\mathrm{K}}-$

推定関数法の持つ性質について議論する.

$L^{\mathrm{x}}-$$L^{\mathrm{r}}-$推定関数法を構

推定関数法は正規分布モデルと密接な関係があり, またある意味でミニマックス推定法であるという特徴を持っている.

まず正規分布モデルとの関係について述べる.

$\xi$の分布ん (\xi ) のときの最適な推定関数は$\mathrm{E}_{9.\sigma^{2}.k}.1\xi|x_{=}+_{h}\prime 9y](_{J}1-\wedge\prime 9_{X})$と表される (みに依存する).

関数に–致する.

$k(\xi)$が正規分布$\mathrm{z}^{l\backslash l}\tau(\mu\cdot\xi, \sigma_{\xi}^{2})$のときの最適な推定関数を計算すると$L^{\mathrm{x}}-$

推定

98

補題 2.1

証明$\xi$$L^{\mathrm{x}}-$

推定関数は

$\xi$

の分布が正規分布の分布が正規分布$s”\backslash ^{\tau}(/l,\epsilon, \sigma_{\xi}^{l})$$4l\backslash ^{r}’(/l_{\xi}, \sigma_{\xi}^{z})$のとき,$s=x,$の場合の最適推定関数 (有効スコア関数) である.

$+\beta_{l}J$を固定したときの$\xi$の条件付分布は正規分布となる.

$\mathrm{A}l\backslash ^{\tau}’(\nu(\theta), T^{2})$$\nu(s)$.

$\equiv$$. \cdot\frac{\sigma^{\mathit{1}}s+\epsilon\sigma^{z_{l}}l,\epsilon}{\sigma^{l}+(1+\prime 9^{2})\sigma^{z}\xi}.‘.$$\equiv$$. \frac{\sigma^{2}\sigma_{\xi}^{2}}{\sigma^{z}+(1+_{\iota}l;2)\sigma^{l}\epsilon}..$.

$\tau^{2}$

定数倍の自由度は無視できるから, 正規分布$(2.2_{\overline{l}})$$4r\backslash ^{\tau}’(l\iota\xi, \sigma_{\xi}^{\mathit{1}})$(2.28)

における最適推定関数は(2.29)$\mathrm{E}[\xi|\mathit{8}]a=\nu(s)a\simeq(s+\frac{\sigma^{2}\prime^{\iota}\xi}{\sigma_{\xi}^{2}}.)a$となり,$L^{\cross}-$推定関数に–致する.

直線当てはめ問題の場合,$k$

口における最適推定関数はセミパラメトリックモデル $S$ の$k$

における情報量限界を達成するから補題 21 より以下の定理が示される.
定理 21

$\xi$

が正規分布にしたがっているとき,$L^{\mathrm{K}}-$

推定関数法によって求められる推定量洗. はセミパ

ラメトリッモデル $S=\{p(x, y, \theta, \sigma^{2}, k)\}$ の情報量限界を達成する.

注

正規分布

$s^{ll}\backslash ^{\tau}(\mu_{\xi}, \sigma_{\xi}^{z})$を仮定した場合,

3 を固定したときの , の推定量は$\xi_{Y}$(2.30)$\xi_{\alpha}(\beta)\sim=\nu(s)=.\frac{(1+\wedge 9^{2}\prime)\sigma^{2}\epsilon}{\sigma^{p}+(1+h9\prime 2)\sigma_{\xi}^{l}}..\cdot.\frac{s_{c\mathrm{r}}}{1+\prime\theta^{l}}.+.\frac{\sigma^{2}}{\sigma^{z}+(1+r\theta l)\sigma_{\xi}^{2}}...\mu_{\xi}$であるとみなすことができる$\mu_{\xi}$. $=x_{\alpha}+‘\prime 9y")$ . これは, 最尤推定量$(s_{\mathrm{f}1}$の方向へ–定の割合だけ縮小したものとみることができる.

$\xi_{\alpha}(\beta)\wedge=s_{r\mathrm{r}}/(1+‘;9^{2})$しかし,$L^{\mathrm{x}}-$

を

$\xi$

の平均

推定関数から得られる 3 の推定量に対しては直観的な意味はよくわからない.

L- 推定関数のクラス $\{(x+\theta \mathrm{t}J+c)(1J-h\prime 9x);c\in R\}$ は

注$R_{1)}’=\mathrm{t}\lambda’\backslash \prime\prime(\prime l\epsilon, \sigma^{l}\epsilon)|/t_{\xi},$$\sigma^{2}\epsilon\}$$\xi$の分布た (\xi ) に正規分布モデルを仮定したときに最適な推定関数がつくるクラスである.

$\xi$の分布 $k.(\xi)$ に異なるパラメトリックモデルを仮定すれば異なる推定関数のクラスをつくることができる.
$\xi$

の分布

$\mathrm{F}\approx/\iota_{\xi},$$\sigma_{\xi}^{2}$

をパラメータとする正規分布モデル$R_{1)}’=\{_{\wedge}’\backslash ^{\tau}’(/\mathit{1}\epsilon, \sigma_{\xi}^{l})|l^{\mathit{1}}\cdot\xi, \sigma_{\xi}2\}$を仮定する.

この.

(X, ) の分布は 2 次元正規分布モデルになり, 正規分布の平均と分散はパラメータ 3,

とき,

$y$

$\sigma^{2},$$\mu_{\xi},$$\sigma_{\xi}^{l}$によって$\wedge\prime 9^{/\epsilon}ll^{l}\xi|$,と表される. このようにしてできる $S$ のパラメトリック部分モデルをく.

$S$と S。の情報量限界に対する考察から,は正規分布モデル$S_{\mathrm{t}t}$$\xi$$S_{\mathrm{I}\}}=\{p(x, y, ‘\theta, /r_{\zeta,\epsilon},\sigma^{2})\}$

が正規分布にしたがっているときにはの最尤推定法と漸近的に等価であることがわかる.

$L^{\mathrm{x}}-$

とお

推定関数法

99

補題 2.2 正規分布モデル$S_{\mathrm{I}}$, 上でほ, セミパラメトリックモデル

情報量限界はパラメトリックモデル
定理 2.2モデル$S_{1)}$$S_{1)}$$L^{\mathrm{x}}-$の情報量限界を達成する (正規分布モデル

次にミニマックス性について述べる.

における$‘\theta$のにおける 3 の情報量限界と –致する.

が正規分布にしたがっているとき,$\xi$$s=\{p(x, y, \beta, \sigma^{l}, k)\}$推定関数から得られる推定量$S_{(}$$\wedge^{\wedge}\prime 9_{\Gamma\prime}*$はパラメトリックの最尤推定法と漸近的に同等).

の分布のセミパラメトリックモデルを以下のように位置 尺度
-

$\xi$

モデル (location-srale model) の形に書きなおす.

$K= \{\frac{1}{\sigma_{\xi}}f(\frac{\xi-.l^{\iota_{\xi}}}{\sigma_{\xi}})|/r_{\xi},,$ただし,$\sigma\epsilon,$(2.31)$f\in F\}$は平均 , 分散 1 の確率密度関数の集合とする. これに対応して $(x,|)$ のセミパラメトリッ

$F$

$0$

クモデルも

(2.32)$S=\{p(x, y, \iota^{l}?,\sigma^{2}, \eta, f)|\beta, \sigma^{2},\eta=(/l\xi, \sigma\epsilon), f\in F\}$のように書き換えられる.
推定関数$g(x,\mathrm{t}J, \theta)$の推定方程式(2.33)$CX^{\cdot} \sum_{=1}^{n}g(X_{\alpha}, y_{\alpha}, h\prime 9_{J})c=0\wedge$から得られる推定量を瑞と置く. 推定量に対するリスク関数として漸近分散$\mathrm{A}\mathrm{v}_{\theta,\sigma^{2}},\eta.\int[.‘\prime 9,/$を用いることにする. 推定量の良さを評価する際に$\xi$の分布の分布形 $f$ に関しては $F$ 全体で最大値をと

この最大値を最小ににする推定量をミニマックス推定量と呼ぶことにする.

ることにし,

定義 21 任意の 3,$\sigma^{2},$$\eta=(\mu_{\xi}, \sigma_{\xi})$に対して漸近分散の最大値$. \eta.\int[.h^{\wedge}’;’]j$$\mathrm{n}1\mathrm{a}\int\in F\mathrm{x}\mathrm{A}\mathrm{v}3.\sigma^{2}$

を最小にする推定量九をミニマックス推定量と呼ぶ.
定理 23$L^{\mathrm{x}}-$推定関数から得られる推定量 3 かはミニマックス推定量である. 最も不利な分布形は標準正規分布の密度関数
証明$h^{\wedge}\prime 9_{\Gamma,}$$\phi$になる.

. の漸近分散が$f$によらないことと, 正規分布$\phi$

においては$L^{\mathrm{x}}-$推定関数法が最適推定関数法

であることをあわせると,$\mathrm{n}\mathrm{l}\mathrm{a}\mathrm{x}\in \mathcal{F}$Av$\prime 9.\sigma^{2},\eta_{f}.[^{\wedge}.h\text{ノ^{}*}]\prime 9_{\Gamma}=\mathrm{A}\mathrm{V}_{\iota^{}};\wedge.\eta,\phi[^{\wedge}.\mathrm{r}^{\prime 9}r,\cdot]$$\leq \mathrm{n}_{f^{1}\in}\mathrm{a}\mathrm{x}\mathcal{F}$

る.

$\xi$

Av3,

$\sigma^{2}.\eta_{I}.[^{\wedge},\wedge/]\prime 9_{\mathrm{c}}$口が導かれる.
最後に$\leq \mathrm{A}\mathrm{v}_{\iota}9.\sigma.\eta 2.\phi[.‘ J9_{t\prime}.]\wedge$の分布 $k.(\xi)$ としていくつかの代表的な分布をとって計算機実験を行なった結果について述べ

誤差分散$\sigma^{l}$が未知の場合を考える. 各々の分布について 1000 個のデータを生成し, 最尤推定法お

100

よび

$L^{\mathrm{x}}-$推定量

推定関数法 ($‘\wedge\prime 9_{i},$$i=1,$$\cdots$$\sigma^{2}$

が未知の場合) を用いて推定量を計算する. これを 1000 回行なって 1000 個の, 1000 を求め, この 1000 個の推定量の標本 2 乗誤差を漸近分散の推定値とする.
$\overline{\mathrm{A}\iota}^{r}=\sum^{1}’(‘\prime 9_{i}-‘\theta)^{2}7\{)\mathrm{I}1i=1\wedge$

表中の比の数値は $(’.‘ 9’\wedge,\cdot \text{の漸近分散})/$

1. 正規分布$(\mathrm{i})\sigma=1$

(

$.$

,

の漸近分散) である.

101$(\mathrm{i}\mathrm{i})\sigma=3$

102

2. 一様分布 ;$(\mu_{\xi\xi}, \sigma)=(1,1)$

最尤推定法$\sigma$

$3$

推定関数法

$l\mathrm{L}$$158\cross 10^{-:}$’$868 \mathrm{x}10^{-4}$分散$125 \mathrm{x}10^{-2}.\cdot$$120 \mathrm{x}10^{-\mathrm{s}}$平均 2 乗誤差$125 \mathrm{x}10^{-?}$$120$

漸近分散 (推定値)

$125$

$120$

$0.963$

漸近分散 (理論値)

$125$

$120$

$0.96$

バイアス$197 \mathrm{x}10^{-2}$$-1.12\mathrm{x}10^{-\}$

分散$333 \mathrm{x}10^{-2}$$169 \mathrm{x}10^{-l}.$

平均 2 乗誤差$3.37\cross 10^{-2}$$169 \mathrm{x}10^{-2}$

漸近分散 (推定値)

$337$

$169$

$0.501$

漸近分散 (理論値)

$293$

$152$

$0.521$バイアス$1$$L^{\mathrm{K}}-$

3. ロジスティック分布 ; $(l^{l\sigma}\xi,\xi)=(1,1)$$\mathrm{x}10^{-:}$

’

103

4. 分布 (自由度 4) ;$\mathrm{t}$$(\mu_{\xi}, \sigma_{\xi})=(1,1)$

5. 両側指数分布 ; $(\mu\xi, \sigma\xi)=(1,1)$
指数分布の尺度パラメータが負の側と正の側で 1:$r$になっている連続な両側指数分布で実験を行なう. 平均 , 分散 1 に規格化したときの密度関数は$0$$\frac{\sqrt{r^{2}+1}}{r+1}\exp(-\frac{\sqrt{r^{2}+1}\xi+\gamma-1}{r})$$\xi\geq-\frac{r-1}{\sqrt{r^{2}+1}}$$\frac{\sqrt{r^{2}+1}}{r+1}\exp(-\sqrt{r^{2}+1}\zeta-\gamma+1)$$\xi<-\frac{r-1}{\sqrt{r^{2}+1}}$$f(\xi)=\{$‘となる.

$r=1$ のときは対称な分布であり,$r=3,$ $r=1/3$ のときは非対称な分布になる.

104

計算機実験の結論は以下のようにまとめることができる.

105

.
.

$L^{\mathrm{x}}-$.
.
推定関数法は誤差分散が大きい場合には最尤推定法を改良する.

$\sigma^{2}$.

$L^{\mathrm{x}}-$推定関数法を改良する推定方法は理論的には考えられるが, その改良度はわずかである.

漸近的にはバイアスは分散に比べて無視できることから漸近分散の推定量として平均 2 乗誤差を用

注

いたが,

$L^{\mathrm{K}}-$

推定関数法が最尤推定法を大きく改良している所では最尤推定量のバイアスも分散に比べて無視できない大きさになっている.

2 次元直線当てはめ問題の最尤推定法は経済学においては同時方程式モデルの制限情報最尤推定法

注として知られいる. この推定量の厳密な分布が計算されており, 特にモーメントを持たないことが示されている (Mariano and3$\mathrm{A}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{r}\mathrm{S}o\mathrm{n}\mathrm{l}\mathrm{l}9\overline{/}6]$$\mathrm{S}\mathrm{a}\mathrm{v}’ \mathrm{a}\iota 1972],$).

一般の直線当てはめ問題の推定法
ここでは–般の直線当てはめ問題について考える. 観測されるのは$x_{\alpha}.\cdot=$$\xi_{lY}+$$\epsilon_{1}a$.

$y_{t1}$.

$‘\prime 9^{\cdot}\xi_{l},$$\cdot=$

.

’

$J$

.
$\sigma_{\xi}^{2}$$\sigma^{2}$$\epsilon \mathfrak{s}\alpha’\epsilon 2\alpha$

(3.1)

,
$\wedge|’$である. 真直の位置$\xi_{1},$. は未知の分布ゐ (\xi ) か

推定量の漸近的性質を調べるためた (\xi ) は有限の平均と分散を持つと仮定する.

$\mu_{\xi}$

測定誤差個の独立な 2 次元データ$\alpha=1,$ $\ldots,$ $n$$+\wedge\epsilon|^{\prime+}.2,,$

であり, 推定したいパラメータは直線の傾き 3 と ? 切片
らの i.i.d. 確率変数とし,$n$は独立に正規分布$N(\mathrm{O}, \sigma^{2})$$=$$\mathrm{E}_{k}[\xi]$$=$$\mathrm{V}\mathrm{a}\mathrm{r}_{k}[\xi]$にしたがい, かつ$\xi_{\mathrm{f}1}$. と独立であると仮定する. 誤差分散

は既知の場合と未知の場合の両方について考える.
, を i.i.d. 確率変数列とみるミクスチャーモデルにおいては$\xi_{r}$$(x_{:}, y)$の密度関数は,(3.2)$p(x,|J, ’ \theta,\wedge|’’\sigma^{z}., k\backslash )=\int p(x,tJ, ‘\theta,\wedge’,\xi)k(\epsilon)"\xi \mathrm{d}$

ただし,

となる.

’

$p(x,1J, ‘ \prime 9,\wedge 1’\xi’, \sigma 2)=.\frac{1}{2\pi\sigma^{2}}\mathrm{c}!\mathrm{x}\mathrm{p}\{-\frac{1}{2\sigma^{2}}.(x-\xi)2-\frac{1}{2\sigma^{2}}(y-\beta\xi-\wedge|)^{2\}}$

は真値

$\xi$

(3.3)

を固定したときの $(x, y)$ の (条件付) 密度関数である. このセミパラメトリックモデルを$S=\{p(x,|J, \wedge’,|\sigma^{2}j\wedge’,, k.)\}$

とおく.

一般の直線当てはめ問題の推定関数とセミパラメトリック推定法は原点を通る直線当てはめ問題と同様に議論することができる.
一般の直線当てはめ問題の場合の最尤推定法は,の尤度関数を最大にする$\mathit{3},$$\xi_{1}"\cdot,$$\wedge’,$$(\sigma^{2})$. を非確率的なパラメータとみなす線形関係モデル$\xi_{\lambda},$を推定量とする方法であり, 尤度方程式は$\sum\epsilon_{r}1^{\cdot}(1_{(}Jl-\wedge|-’\theta \mathrm{r}\iota\xi_{t1}.)=0$$(1^{\cdot}=\rceil$

(3.4)

106

(3.5)

$C \cdot\cdot=\sum_{\iota}^{r}(\mathrm{t}J\mathrm{f}r-\wedge\prime’-\theta\xi_{l\mathrm{r}})4.=0$$x_{t}..-\xi_{tl}$である.

(3.6) より,$\mathit{3},$$\wedge|’$.

$+‘\prime 9(_{J\prime 1}1\cdot-\wedge\prime^{\prime-\theta,)}\epsilon_{\mathrm{r}}=0$を固定したときの,$\alpha=1,$$\ldots,$

(3.6)

,

$n$

. の推定量$\xi_{l1}$

‘

(3.7)

$\xi_{t1}\wedge.(\beta, \wedge’)|=\frac{x_{\alpha},+l9(y_{\alpha}-\wedge\prime)1}{1+\wedge\theta^{2}}$が得られ, これを (3.4),(3.5) に代入して整理すると(38)$(\overline{x\mathrm{t}J}-\wedge\prime’\overline{x,})\beta^{2}-(\mathrm{t}J^{\cdot}-2\wedge\overline{\mathrm{i}J}+\overline{z}\wedge’.z|’’)\beta-\overline{x\text{ノ}\mathrm{t}/}+\wedge’\overline{x}’=0$$\wedge f’=\mathit{1}--$

となる.

ただし,

$\overline{T,},$は標本平均,$\overline{\mathrm{i}/}$

(3.9)

訂

は標本 2 次モーメントである.

$x^{\overline{2}\overline{z}},$$\overline{x|J},|J$さらに,(3.9) を (3.8) に代入すれば 3 のみの推定方程式 (2 次方程式) が得られる.

$=0ifJ$(3.10)$S_{xy}\mathit{0}2-(s,-r\mathrm{V}S)_{\wedge}xx-S_{x}.,$ただし,$S_{xx},$$S_{xy},$, は標本共分散である.

’$‘ l;$$S_{y}.$.

の 2 次の係数$S_{J/}..$$\neq 0$ならば,2 次方程式の解の公式

より最尤推定量は’$‘\wedge\prime 9_{k\prime\Gamma J}$,$\wedge\wedge t’\mathrm{k}’\Gamma$となる.

$S_{r/}.,$

$=$

$=$

(3.12)$\overline{J\mathrm{t}}-‘\prime 9\mathrm{h}\cdot’\Gamma^{\overline{\mathit{7}\prime}}\wedge$,.

$–0$ のときには,(3.11)$\cdot..\frac{s_{JJ^{-}}srx+\sqrt{(S_{/f}-JS_{xx})^{2}+4(s_{x_{J}}.)l}}{2S_{x/}}.\cdot$$S_{xx}>S_{JJ}.$

ならば$‘\wedge\prime 9_{\mathrm{A}\cdot’\Gamma\prime}=0$,$S_{xx}<‘ S_{\tau/^{\tau}J}$ならば$h^{\wedge}\prime 9nr\Gamma,$$=\infty$である.

最尤推定法の性質は原点を通る直線当てはめ問題の場合と同じである. 第 1 に, Neyman-Scott 問題
であるにもかかわらず, 最尤推定法は推定関数法であり, 最尤推定量は広域的ロバスト推定量になる (川.

鍋 [1995]$)$.

最尤推定法は推定関数法である. すなわち, 適当な正則条件のもとで最尤推定量の分布 $k.(\xi)$ によらずに

Av 9.

$\sqrt{n}-$$(^{\wedge}‘\prime 9_{krr,|\mathrm{h}},\wedge\wedge.)\prime fr,$

は

$\xi$

一致性を持ち, 漸近的に正規分布にしたがう. 漸近分散は$k[^{\wedge}.‘\prime 9\mathrm{A}.\prime r_{\text{ノ}},f\mathrm{A},r\Gamma\wedge,]\wedge J$$=$$.. \frac{\sigma^{l}\{\sigma^{2}+(1+\wedge\prime 9^{2})\sigma^{2}\epsilon\}}{\sigma_{\xi}^{4}}..[-l^{J_{\xi}}1,$$\cdot,\cdot\frac{\sigma^{2}/l^{z}(\epsilon^{+}1+_{h}\prime 9^{2})-\prime\iota\epsilon\sigma^{2}\epsilon(l\iota^{z2}\xi\xi\sigma+.)}{\sigma^{2}+(1+\wedge 9^{2}\prime)\sigma^{2}\xi}...\cdot.\cdot]$(3.13)となる.

.

第 2 に, 最尤推定法は 2 次元空間の最小自乗法になっている.

最尤推定法は観測データ$(x_{\alpha},\mathrm{t}J,).),$. $=1,$ $\ldots,$ $n$ と直線$a$$J\mathrm{t}=t\nu’x\prime\prime+\wedge|’$.

$. \sum_{\theta=\iota}^{\gamma p}\frac{(\mathrm{t}_{n\cdot\backslash }J-l9\mathit{7}\prime l\mathrm{r}-\wedge)^{l}|’}{1+l^{2}}‘’$

を最小にする 3,$\wedge|’$を推定量とする最小自乗法に –致する.

の距離の自乗和(3.14)

107

原点を通る直線当てはめ問題の場合と同様に, 最尤推定法は推定関数法の中で最適な方法ではない.
また, 最適な推定関数は$\xi$の分布 $k(\xi)$ に依存するため実際には使うことができないということも同じで原点を通る直線当てはめ問題の場合には最尤推定法を改良する簡単なある.

$L^{\mathrm{K}}-$

推定関数法を構成した.

ところが, 一般の直線当てはめ問題の場合には L- 推定関数

(3.15)$\{x+‘\prime 9(y-\wedge|’)+c\}(y-\wedge,’-\theta x)$(3.16)$y^{-\wedge}|^{\prime-}\theta x$$(c\in R)$ はすべて最尤推定法の推定関数 $(c=0)$と同値になる. すなわち, デーダ

則関数行列をかけることにより互いに移り合う.

したがって, 任意の $c\in R$ に対して推定方程式$(x,\mathrm{t}J)$に依存しない正(3.17)$\alpha=\sum_{\iota}\{_{X_{\alpha}}+_{h}l9(.y_{\mathrm{f}\mathrm{r}}-\wedge’)’+c\}(\ddagger_{t1}/-\wedge|^{\prime-\theta x)}\wedge\alpha=0$(3.18)$\sum_{\alpha=1}^{n}(1J(l -\wedge.-|’\mathrm{t}lfX_{\alpha})=0$の解瓦,$\wedge\wedge|’t.\cdot$

は最尤推定量$\wedge’ \mathrm{h}rr\wedge j,$, 価、’ おに $-$ 致する.

この L- 推定関数の同値性より,問題における最尤推定法が原点を通る直線当てはめ問題における$L^{\mathrm{x}}-$一般の直線当てはめ推定関数法と類似の性質を持つことが示される.

まず正規分布モデルとの関係について述べる.
補題 31 最尤推定法の推定関数は$.\xi$の分布が正規分布$\mathrm{A}\backslash ^{\tau}\prime\prime(//,\epsilon, \sigma^{2}\epsilon)$.

である場合の有効スコア関数 (最適推定関数) と同値である.
定理 31

$\xi$

が正規分布にしたがっているとき, 最尤推定量$S=\{p(x,\mathrm{t}J, \theta, \gamma, \sigma^{2}, k.)\}$

$\xi$

の分布に

$\mu_{\xi},$$\sigma_{\xi}^{2}$, ^^1’A.r おはセミパラメトリックモデルの情報量限界を達成する.

をパラメータとする正規分布モデル$(x, y)$ の分布は正規分布モデルになり,とき,$h^{\wedge}’ h\cdot\prime\prime i,$を仮定する.

$R_{1)}’=\{_{\angle}’\backslash ^{r}’(\mu\xi, \sigma^{2})\epsilon|l^{\iota_{\xi},\sigma_{\xi}}2\}$正規分布の平均と分散はパラメータ$\mathit{3},$$\wedge\sigma^{2}|’’‘,$$//,\xi.’\sigma^{2}.\epsilon$

この

によっ

て

$\beta\mu_{\xi}+\wedge’/\iota_{\xi}||$,と表される. このようにしてできる $S$ のパラメトリック部分モデルを$S_{\mathrm{I})}=\{p(x_{:},\mathrm{t}J, \wedge\theta, \wedge,’, \sigma,\mu\epsilon, \sigma^{2})2.\xi\}$

とおく.

補題 32 正規分布モデル S。上では, セミパラメトリックモデル $S=\{P(x, y, \wedge 9,\wedge’, \sigma^{2}, k’\cdot)|.\}$ における

3,$\gamma$の情報量限界はパラメトリックモデル S。における

定理 32

$\xi$

$\mathit{3},$, の情報量限界と –致する.

$\wedge i$が正規分布にしたがっているとき, 線形関係モデルの最尤推定量$h^{\wedge}\prime 9_{M}r’$

情報量限界を達成する. さらに, 線形関係モデルの最尤推定法は正規分布モデルする.

’^^|\acute M おはモデル$S_{1)}$$S_{\mathrm{I})}$のの最尤推定法と –致108

次にミニマックス性について述べる.
モデル ( $]o$ ($.\mathrm{a}\mathrm{t}\mathrm{i}_{0\mathrm{n}-}\mathrm{s}\mathrm{C}\mathrm{a}\mathrm{l}\mathrm{e}$$\xi$の分布のセミパラメトリックモデルを以下のように位置 尺度-

model) の形に書きなおす.
$K= \{\frac{1}{\sigma_{\xi}}f(\frac{\xi-l^{\mathit{1}_{\xi}}}{\sigma_{\xi}})|\mu_{\xi},$

ただし,$\mathcal{F}$.

$\sigma_{\xi}$(3.19)$’ f\in \mathcal{F}\}$は平均 , 分散 1 の確率密度関数の集合とする. これに対応して (X, ) のセミパラメトリッ$0$$J\uparrow$

クモデルも(3.20)$S=\{p(x,\mathrm{t}J, \wedge 9’, \wedge’, \sigma^{2}|., \eta, f)|\theta, \wedge 1’’\sigma^{2}, \eta=(\mu_{\xi}, \sigma_{\xi}), f\in F\}$のように書き換えられるとおく).

$(\mathit{9}=(‘\prime 9, \wedge’)’$推定関数 $g(x, y, \theta, \wedge|’)$ の推定方程式$-$,(3.21)$\sum g(x_{\alpha’ J\mathit{9}’ \mathit{9}}|\alpha’ h\prime 9\wedge’\gamma p)\wedge=0\wedge$$cx\cdot=1$から得られる推定量を$\wedge^{\wedge}\prime 9\wedge Jg’ tg\wedge \mathrm{t}$と置く. 任意の 2 次元ベクトル $w$ を固定し,推定量妬,$\wedge\wedge|’g$のリスク関数を漸近分散行列 (定理 11 参照) による 2 次形式$w^{\mathrm{T}}.(\mathrm{A}\mathrm{v}_{\mathit{9},\sigma^{2}}.\eta.f.[^{\wedge}:^{9_{g’\prime}}’\wedge\wedge\prime g])w$とする.

定義 31 任意の

$h\prime 9,$$\wedge f’’\sigma^{2},$$\eta=(l^{l\sigma}\xi,\xi)$に対して$\mathrm{n}1\mathrm{a}\mathrm{x}wf\in\dot{f}.\mathrm{T}(\mathrm{A}\mathrm{v}_{\mathit{9}.\sigma^{2}}.\eta.\int[^{\wedge}.\wedge\wedge\prime 9_{g’ g}\wedge]\prime’)w$を最小にする推定量勉,$\wedge\wedge|’g$をミニマックス推定量と呼ぶ.

定理 33 任意の 2 次元ベクトル $w$ に対して最尤推定量

不利な分布形は標準正規分布の密度関数$\phi$$‘\wedge\prime 9_{l\backslash }.\prime r,$, 9Mゎはミニマックス推定量である. 最もになる.

最後に–般の直線当てはめ問題の推定法と原点を通る直線当てはめ問題の推定法の類似点と相違点をまとめておく.

類似点

1. 最尤推定法は推定関数法である.
$\Rightarrow$

最尤推定量は$\xi$の分布ん (\xi ) がどのようなものでもn–致推定量になる.

$\sqrt$2. 最尤推定法は最小自乗推定法と –致する.
相違点

1. L- 推定関数法は最尤推定法と同値になる (同じ推定量が得られる). 最尤推定法は最適 L- 推定関数法では改良できない.

2.

$\xi$

の分布が正規分布$N(//\cdot\xi, \sigma_{\xi}^{l})$のとき最尤推定法は最適な推定関数法である (情報量限界を達成).

109

4

結論と課題

本稿では昔から数多くの研究がなきれている線形関係の推定問題の最も簡単な場合である 2 次元直線
当てはめ問題の推定法について議論した. この問題では観測とともに撹乱パラメータ (データの真値の位置) が増加するので, セミパラメトリックモデルとして取り扱わなければならない$(\mathrm{N}\mathrm{P}.\backslash ^{\prime \mathrm{n}}1\mathrm{a}\mathrm{n}-\mathrm{s}c.o\mathrm{t}\mathrm{t}[1948])$

本研究では情報幾何学の方法を用いてこのセミパラメトリックモデルの推定関数といくつかのセミパラ
メトリック推定法について考察した. その結果, 通常用いられている最尤推定法は幸運なことに推定関数法であり, 最尤推定量は真値の分布の仕方によらず–致推定量であることが示される. また, 情報量限界および最適な推定関数法を求めることができて, 最尤推定法は推定関数法の中では情報量の意味で最適な方法ではないことがわかる. しかし, 最適な推定関数は真値の分布に依存するため実際にこれを用いて推定を行なうことはできない. そこで, 原点を通る直線を当てはめ問題において, 真値の分布の平均と分散の情報を用いることにより最尤推定法を改良する$L^{\mathrm{K}}-$

推定関数法を提案した. 一般の直線当てはめ問題の場合には, 最尤推定法の関数と L- 推定関数がすべて同値になるため,$L^{\mathrm{x}}-$推定関数法のよ

うな簡単な方法で最尤推定法を改良することはできない.
コンピュータビジョンなどの工学の問題への応用を考えると, 今後本稿で扱ったモデルをさらに複雑にして研究を進めていくことが必要になる.

1. 誤差分布が正規分布以外の場合, さらに誤差分布が未知の場合の議論.

2. 誤差分散が異なる未知の値である場合 (Reier.s$\emptyset 1$モデル) の議論.

3. 多次元線形当てはめ問題への拡張. 非線形当てはめ問題の考察.
また,現実のデータに本稿で考察した推定法を適用して実際にどの程度役に立つのかを示すことも今後の課題である.

参考文献[1] Anlari, S.

$Diffe,\gamma e\eta.\not\in i\mathcal{O},l-c_{eom},,e’,ri_{Ca}l$

Method in$St,at,i\rho t,i\mathrm{r},.9,$$Lec’,\eta\iota r\rho,$$Not,e$in $St,ati.9’,i’,.s,$

$28$

,

Spfinger-Verlag, New York, 1985.
[2] Amari, S. and Kawanabe, M. Information
statistical$\mathrm{m}o$. of estimating functi$\mathrm{g}\mathrm{e}\mathrm{o}\mathrm{m}\mathrm{e}\mathrm{t}_{\mathrm{l}\mathrm{v}}$$o\mathrm{n}\mathrm{s}$in semiparametricdels. 1994. submitted to Bern,oulli.

[3] Amari, S. and Kumon, M. Bstimation in the presence of infinitely many nllisance paranleters–geometry of estimating functi$o\mathrm{n}\mathrm{s}$. An.n..Stattst., 16, 1044-1068, 1988.

[4] Anderson,T.W. Estimation of linear functional relationships: approximate distributi

connections with simultaneous equati

1976.

$o\mathrm{n}\mathrm{s}$$o\mathrm{n}\mathrm{s}$andin econometrics. J. $Roy$ . Statist. Soc. Ser. $B,$ $38,1-36$ ,

.

110

[5] Anderson,T.W. Estimating linear statistical relationships. An.n.. Statist., 12, 1-45, 1984.
[6]$\mathrm{B}\mathrm{e}\mathrm{g}\tau \mathrm{l}\mathrm{n}$, J. M., Hall, W. J., Hllang, W. M., and Wellner, J. A. Information and a.symptotoic

efficiency in$\mathrm{P}^{\mathrm{a}\mathrm{r}\mathrm{a}\mathrm{n}1}\mathrm{e}\mathrm{t}_{\Gamma}\mathrm{i}\mathrm{C}-\mathrm{n}\mathrm{o}\mathrm{n}\mathrm{p}\mathrm{a}\mathrm{r}\mathrm{a}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}$models. $An,n$ .

[7] Bickel, P. J. On adaptive estimation. Ann.

$st,at,i\theta t.,$$Staf,i.\mathrm{s}’,..’$11,432$

10,64\overline{/}^{-}671$–

452, 1983.

,1982. The 1980$\backslash \mathrm{V}\mathrm{a}$]$\mathrm{d}$nlenlorial lectures.

[8] Bickel,P.J. and Ritov,Y. Efficient estimation in the errors in variables model. Ann. Statist.,

15, 513-540, 1987.
[9] Bickel,P.J., Klaa.ssen,C.A.J., Ritov,Y., and Wellner,J.A. Efficient an, Adaptive$d$$E.’ timat,i\mathit{0}n$,for

Semipammetric Models. Johns Hopkins University Press, BaltimorP, 1993.
[10] Gleser,L.J. Estimation in a multivariate errors in variables regression model: large sample
reslllts. Ann.

$s_{ft},|,i.st,.,$$9$,24-44, 1981.

[11] Godanibe, V. P. Conditional likelih
Biometrika, 63, 277–$o\mathrm{o}\mathrm{d}$and unconditional optimum estimating equations.

284, 1976.

[12] Godanibe, V. P., editor. $E_{9}.timat,in.g$ Fhm.ction.s, New York, 1991. Oxford Universit. Press.
[13] Godanibe,V.P. An optimum property of regular maximum likelihood estimation. Ann. Math.
$St,a\iota i.9t,.$, $1, 1208-1212, 1960.

[14] Huber, P. J. The behavior of maximum likelihood estimates under nonstandard conditions. In

Proc. Fiflh BerkelerJ Symposium on Mathem,atical Statistics and Probability, 221-233, Berkeley,

1967. Unversity of California Press.
[15] Kendall,M.G. and Stuart,A. $Th,eAdl’ ance,dThe\mathit{0}n_{J}$ of $St,at,i.Sf,ic\theta,$ , Griffin, London, 4th edition,
$2$

1979.
[16] Kumon, M. and Amari, S. Estimation of a structural paranleter in the presence of a large
number of nuisance parameters. Biometrika, 71, 445–459, 1984.
$[1_{\overline{l}}]$Lindsay, B. G. Conditional score functions : Some optimality reslllts. Biometrika,, 69, 503-

512, 1982.
[18] Lindsay, B. G. Using empirical partially bayes inference for increa.sed efficiency. $An,n,$ . Stati.st.,13, 914[19] Marian–931, 1985.

$\mathit{0},\mathrm{R}.\mathrm{S}$. and Sawa,T. The exact$\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{t}\triangleright$

saniple distribution of the limited-information

maximtlm likdihood estimator in the cikse of two included endogenous variables. J. Amer.
$S^{f},ati.St$. Assoc., 67, 159-163, 1972.

111[20] Nagaoka, H. and Amari, S.

metry of$\mathrm{D}\mathrm{i}\mathrm{f}\mathrm{f}^{1}‘ x\mathrm{I}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{l}\mathrm{g}\mathrm{e}o$$\mathrm{s}\mathrm{m}o$oth fanlilies of. distributions.

$\mathrm{p}\mathrm{r}o\mathrm{b}\mathrm{a}\mathrm{b}\mathrm{i}\mathrm{l}\mathrm{i}\mathrm{t}_{\mathrm{Y}}$Technical Report 82-7, Univ. Tokyo, 1982.
[21] Neyman, J. and Scott, E. L. Consistent estimates based on partially consitent obsevations.
$E\mathrm{r},onomet,f\dot{1}\mathrm{r},a,$[22]$\mathrm{R}\mathrm{e}\mathrm{i}\mathrm{e}\mathrm{r}\mathrm{S}\emptyset 1,\mathrm{O}$$32,1-32$ ,1948.

. Identifiability of a linear retation between variables which are subject, to error.

$Econ\mathit{0}m,e|,\dot{n}ra,$$18$,375-389, 1950.

[23] 金谷健–. コンビュ一タビジョンの数理的方法. 応用数理, 4, 259-268, 1994.

[24] 金谷健–. 空間データの数理. 朝倉書店, 1995.
[25] 川鍋元明. 推定関数の幾何学とその応用. 東京大学工学系研究科博士論文, 1995.