ファノの不等式
X を、 r + 1 {\displaystyle r+1} 個の確率密度 f 1 , ... , f r + 1 {\displaystyle f_{1},\ldots ,f_{r+1}} の内の1つに等しい確率密度を持つ確率変数とする。さらに、密度の任意の対のカルバック・ライブラー情報量は大きすぎることはできない。
D K L ( f i ‖ f j ) ≤ β {\displaystyle D_{KL}(f_{i}\|f_{j})\leq \beta } (全ての i ≠ j {\displaystyle i\not =j} について)
ψ ( X ) ∈ { 1 , ... , r + 1 } {\displaystyle \psi (X)\in \{1,\ldots ,r+1\}} をインデックスの推定とする。すると、ファノの不等式は以下のように表される。
sup i P i ( ψ ( X ) ≠ i ) ≥ 1 − β + log  2 log  r {\displaystyle \sup _{i}P_{i}(\psi (X)\not =i)\geq 1-{\frac {\beta +\log 2}{\log r}}}
ここで、 P i {\displaystyle P_{i}} は f i {\displaystyle f_{i}} によって誘導される確率である。