尤度関数
n {\displaystyle n} 個の観測値 d = { d i ∣ i ∈ { 1 , . . , n } } {\displaystyle {\boldsymbol {d}}=\{d_{i}\mid i\in \{1,..,n\}\}} が独立同分布から得られた場合、NLLは次の式で表現できる :
N L L ( θ ∣ d ) = − log  ( ∏ i = 1 n p ( d i ∣ θ ) ) = − ∑ i = 1 n log  p ( d i ∣ θ ) {\displaystyle \mathrm {NLL} (\theta \mid {\boldsymbol {d}})=-\log(\prod _{i=1}^{n}p(d_{i}\mid \theta ))=-\sum _{i=1}^{n}\log {p(d_{i}\mid \theta )}}
すなわち無作為抽出されたデータ群に対するNLLは「各データNLLの和」として表現できる。和で表現できるため、 N L L ( θ ∣ d ) {\displaystyle \mathrm {NLL} (\theta \mid {\boldsymbol {d}})} を n {\displaystyle n} で割ることで(標本数に依存しない)「 N L L ( θ ∣ d i ) {\displaystyle \mathrm {NLL} (\theta \mid d_{i})} の標本平均」に相当する値を自然に導出できる。
統計学では標本の観察結果から母集団の分布を表現する母数(パラメータ)を求めることが重要であるが、母集団の母数がある特定の値であることを前提条件として観察結果が得られると考え、統計学の問題に尤度の概念を適用できる。尤度関数は特に最尤法、尤度比検定で重要な意味を持ち、尤度を最大にするという原理により多くの統計学的推定法が導かれる。 次のような母数を含む確率密度関数族を考える:
f ( x ∣ θ ) {\displaystyle f(x\mid \theta )}
ここで x が確率変数、 θ が母数である。尤度関数は
L ( θ ∣ x ) = f ( x ∣ θ ) {\displaystyle L(\theta \mid x)=f(x\mid \theta )}
ここで x は実験の観察値である。θ を定数として、 f(x | θ) を x の関数として見たときには、これは確率密度関数であり、逆に x を定数として θ の関数として見たときには、尤度関数である。 この場合も尤度を、観察標本が与えられたときに「この母数が正しい」という確率と混同してはいけない。観察結果はあくまでも少数の標本にすぎず、仮説の尤度を仮説の確率として解釈するのは危険である。