尤度関数

尤度関数（ゆうどかんすう、）とは統計学において、ある前提条件に従って結果が出現する場合に、逆に観察結果からみて前提条件が「何々であった」と推測する尤もらしさ（もっともらしさ）を表す数値を、「何々」を変数とする関数として捉えたものである。また単に尤度ともいう。
その相対値に意味があり、最尤法、尤度比検定などで用いられる。
概要.
"B = b" であることが確定している場合に、 "A" が起きる確率（条件付き確率）を
とする。このとき、逆に "A" が観察で確認されていることを基にして、上記の条件付き確率を変数 "b" の関数として尤度関数という。また一般には、それに比例する関数からなる同値類
をも尤度関数という（ここでformula_3は任意の正の比例定数）。
重要なのは数値formula_4自体ではなく、むしろ比例定数を含まない尤度比formula_5である。もしformula_6ならば、formula_7と考えるよりもformula_8と考えるほうが尤もらしい、ということになる。
formula_9が与えられた場合には、それからformula_10について推論するのには条件付き確率formula_11を用いる。
逆に、formula_10が与えられた場合に、それからformula_9について推論するのには条件付き確率formula_14（事後確率）を用いるが、これは尤度関数であるformula_11あるいはformula_16から、次のベイズの定理によって求められる：
ただし、尤度関数は後に示すように確率密度関数とは別の概念である。
簡単な例.
コインを投げるときに、表が出る（'H'）確率が "pH" であれば、2回の試行で2回とも表が出る（'HH'）確率は "pH2" である。 "pH" = 0.5 であれば、2回とも表が出る確率は0.25である。このことを次のように示す：
これのもう1つの言い方として、「観察結果が'HH'ならば "pH" = 0.5 の尤度は 0.25である」、つまり
と言える。一般には
と書ける。
しかしこれを、「観察値が0.25ならば、1回投げて表の出る確率は "pH" = 0.5」という意味にとってはならない。
極端な場合を例にとると、「観察結果が'HH'ならば "pH" = 1 の尤度は1」とはいえる。しかし明らかに、観察値が1だからといって表の出る確率 "pH" = 1 ということはない。'HH'という事象は "pH" の値が0より大きく1以下のいくつであっても起こりうるのだ。
formula_21の値はxが1に近づくほど大きくなる（しかし現実には"pH" はおよそ0.5である場合が多い）。観察はたった2回の試行に基づくもので、それからとりあえず「"pH" = 1 が尤もらしい」といっているにすぎない。
また尤度関数は確率密度関数ではなく、積分しても一般に1にはならない。上の例では "pH" に関する[0, 1]区間の尤度関数の積分は1/3で、これからも尤度密度関数を "pH" に対する確率密度関数としては解釈できないことがわかる。
母数を含むモデルの尤度関数.
統計学では標本の観察結果から母集団の分布を表現する母数（パラメータ）を求めることが重要であるが、母集団の母数がある特定の値であることを前提条件として観察結果が得られると考え、統計学の問題に尤度の概念を適用できる。尤度関数は特に最尤法、尤度比検定で重要な意味を持ち、尤度を最大にするという原理により多くの統計学的推定法が導かれる。
次のような母数を含む確率密度関数族を考える：
ここで "x" が確率変数、 θ が母数である。尤度関数は
ここで "x" は実験の観察値である。θ を定数として、 "f"("x" | θ) を "x" の関数として見たときには、これは確率密度関数であり、逆に "x" を定数として θ の関数として見たときには、尤度関数である。
この場合も尤度を、観察標本が与えられたときに「この母数が正しい」という確率と混同してはいけない。観察結果はあくまでも少数の標本にすぎず、仮説の尤度を仮説の確率として解釈するのは危険である。
負の対数尤度.
負の対数尤度（, NLL）は尤度関数の対数に formula_24 を掛けたものである。すなわち次の式で表される関数である：
密度関数の値域が formula_26 であるため、NLLの値域は formula_27 となる。尤度関数が「formula_28 の尤もらしさ」を直観的に表現するのに対し、NLLは「formula_28 のありえなさ」を直観的に表現する。
対数は単調増加し formula_24 は大小を逆転させるため、尤度関数が最大値を取る formula_28 とNLLが最小値を取る formula_28 は一致する。ゆえに最尤推定、ひいては最尤推定に基づく機械学習の損失関数としてNLLはしばしば用いられる（formula_33 を formula_34 で代用する）。
NLLの実現値 formula_35 は標本 formula_36 の自己情報量と等価である（式が同一）。直観的には、この実現値が表現する「formula_37 下で formula_36 が得られることのありえなさ」がまさに「驚き具合（サプライザル）」であることからわかる。
独立同分布.
formula_39 個の観測値 formula_40 が独立同分布から得られた場合、NLLは次の式で表現できる：
すなわち無作為抽出されたデータ群に対するNLLは「各データNLLの和」として表現できる。和で表現できるため、formula_42 をformula_39 で割ることで（標本数に依存しない）「formula_44 の標本平均」に相当する値を自然に導出できる。
歴史.
尤度に関する初期の考察はデンマークの数学者トルバルド・ティエレ（Thorvald N. Thiele）による1889年の著書にみられる。
尤度についての完全な考察が現れた最初の論文は、ロナルド・フィッシャーによる1922年の『"On the mathematical foundations of theoretical statistics"』である。ここでフィッシャーはまた「最尤法」（method of maximum likelihood）の語を初めて用いている。フィッシャーは統計学的推計の基礎として事後確率を用いることに反対し、代わりに尤度関数に基づく推計を提案している。