尤度関数
負の対数尤度(英: negative log-likelihood, NLL)は尤度関数の対数に − 1 {\displaystyle -1} を掛けたものである。すなわち次の式で表される関数である:
N L L ( θ ) = − log  L ( θ ∣ x ) = − log  p ( x ∣ θ ) {\displaystyle \mathrm {NLL} (\theta )=-\log {L(\theta \mid x)}=-\log {p(x\mid \theta )}}
密度関数の値域が 0 ≦ p ( x ) ≦ 1 {\displaystyle 0\leqq p(x)\leqq 1} であるため、NLLの値域は + ∞ ≧ p ( x ) ≧ 0 {\displaystyle +\infty \geqq p(x)\geqq 0} となる。尤度関数が「 θ {\displaystyle \theta } の尤もらしさ」を直観的に表現するのに対し、NLLは「 θ {\displaystyle \theta } のありえなさ」を直観的に表現する。
コインを投げるときに、表が出る('H')確率が pH であれば、2回の試行で2回とも表が出る('HH')確率は pH である。 pH = 0.5 であれば、2回とも表が出る確率は0.25である。このことを次のように示す:
P ( HH ∣ p H = 0.5 ) = 0.25 {\displaystyle P({\mbox{HH}}\mid p_{H}=0.5)=0.25}
これのもう1つの言い方として、「観察結果が'HH'ならば pH = 0.5 の尤度は 0.25である」、つまり
L ( p H = 0.5 ∣ HH ) = P ( HH ∣ p H = 0.5 ) = 0.25 {\displaystyle L(p_{H}=0.5\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.5)=0.25} .
と言える。一般には
L ( p H = x ∣ HH ) = P ( HH ∣ p H = x ) = x 2 {\displaystyle L(p_{H}=x\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=x)=x^{2}}