DCG
DCG と DCG の類似指標が使用される場面は次の2つが想定される。
関連性の高い文書は、検索エンジンの結果リストの早い段階で表示される(ランクが高い)と、より有用性が高くなる。
関連性の高い文書は、適合性の低い文書よりも有用であり、その結果、適合性の低い文書よりも有用となる。
DCG は CG(累積利得)から拡張した指標である。
DCG における前提として、検索結果リストの下位に表示される適合性の高い文書にはペナルティを与えて、評価値は検索結果のランキングに比例して対数スケールで減少させることである。
最初期に提唱された、ある順位 p {\displaystyle p} まで累積した DCG は次のように定義される:
D C G p = ∑ i = 1 p r e l i log 2  ( i + 1 ) = r e l 1 + ∑ i = 2 p r e l i log 2  ( i + 1 ) {\displaystyle \mathrm {DCG_{p}} =\sum _{i=1}^{p}{\frac {rel_{i}}{\log _{2}(i+1)}}=rel_{1}+\sum _{i=2}^{p}{\frac {rel_{i}}{\log _{2}(i+1)}}}
DCG が提唱された当時は、DCG の減損方法に対数を用いる妥当性は、削減具合がなめらかであったこと以外に理論的に証明されていなかった。しかしワンら (2013) によって nDCG(正規化減損累積利得)における対数による減損の妥当性が保証された。これは実質的に異なるランキングを評価する関数を対照的に、首尾一貫方法でそれらの関数による NDCG が優れているかを求めることで示した。
検索結果の数は、クエリごとに数が異なる。あるクエリから次のクエリにおける検索エンジンの性能を比較するときに、ある順位 p {\displaystyle p} までの利得を累積する DCG 単体で性能を測定することはできないため、選択したある順位 p {\displaystyle p} までの累積利得を正規化する必要がある。DCG を正規化するために、コーパス上でクエリに関連する文書を DCG の値が最大化されるように順位 p {\displaystyle p} まで並べる(理想的リストとも呼ばれる。)必要がある。順位 p {\displaystyle p} における DCG が最大化されたものは IDCG と呼ばれる。あるクエリに対する nDCG(normalized discounted cumulative gain)は:
n D C G p = D C G p I D C G p {\displaystyle \mathrm {nDCG_{p}} ={\frac {DCG_{p}}{IDCG_{p}}}}
と定義される。
このとき IDCG(理想的減損累積利得、ideal discounted cumulative gain)は: