最尤推定
最尤推定が解く基本的な問題は「パラメータ θ {\displaystyle \theta } が不明な確率分布 f D {\displaystyle f_{D}} に従う母集団から標本が得られたとき、データを良く説明する良い θ {\displaystyle \theta } は何か」である。
ある母集団が確率分布関数 f D {\displaystyle f_{D}} と母数 θ {\displaystyle \theta } で表される離散確率分布 D {\displaystyle D} を従うとする。そこから n {\displaystyle n} 個の標本 X 1 , X 2 , . . . X n {\displaystyle X_{1},X_{2},...X_{n}} を取り出すことを考えよう。すると分布関数から、観察されたデータ(標本)が得られる確率を次のように計算できる(離散分布はP=f):
P ( x 1 , x 2 , ... , x n ∣ θ ) = f D ( x 1 , ... , x n ∣ θ ) {\displaystyle \mathbb {P} (x_{1},x_{2},\dots ,x_{n}\mid \theta )=f_{D}(x_{1},\dots ,x_{n}\mid \theta )}
このとき、母集団分布 D {\displaystyle D} の形(確率分布 f D {\displaystyle f_{D}} )はわかっているが母数 θ {\displaystyle \theta } は不明な場合、どうしたら θ {\displaystyle \theta } を良く推定できるか?