情報量
情報量に対する直感的要請には「発生確率が低いほど大きく(単調減少性)」「確率に関して連続的に変化し(連続性)」「独立同時事象の情報量が周辺事象の情報量和に等しい(加法性)」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することで C log  p {\displaystyle C\log p} と一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定(C=-1)する。
整数 u {\displaystyle u} に対し、 u {\displaystyle u} の対数 log m  u {\displaystyle \log _{m}u} は m {\displaystyle m} 進法での u {\displaystyle u} の桁数にほぼ等しい値を表す。したがって、確率 1 / u {\displaystyle 1/u} で起こる事象の情報量は、ほぼ u {\displaystyle u} の桁数になる。