Tf-idf
多数の単語重み付け手法はtf-idfからの派生である。そのうちの一つはTF-PDF (term frequency * proportional document frequency) である。TF-PDFは2001年にメディアにおける新たなトピックを特定するという文脈で導入された。PDF成分は異なるドメインの中でどのくらいの頻度である単語が出現したかの差を測定する。他の派生にはTF-IDuFがある。TF-IDuFでは、idfは文書コーパスに基づき計算されず、検索または推薦される。例えば、idfはユーザの個人的な文書コレクションに基づいて計算される。その著者らはTF-IDuFはtf-idfと等しく効果的であるが、例えば、ユーザーモデリング(英語版)システムにおいて、外部の文書コーパスにアクセスできない時などに、応用可能であると報告している。
inverse document frequency (idf) はその単語がどのくらい情報を提供するのかという指標である。すなわち、ある単語が、すべての文書の中で普遍的なのか珍しいのかということである。idfは、その単語の文書頻度の逆数を対数スケールにしたものである。(文書の総数をその単語を含む文書の数で除算し、その商の対数を取ったものとして得られる。)
i d f ( t , D ) = log  N | { d ∈ D : t ∈ d } | {\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{|\{d\in D:t\in d\}|}}}
この時、
N {\displaystyle N} : コーパスに含まれる文書の総数 N = | D | {\displaystyle N={|D|}}
| { d ∈ D : t ∈ d } | {\displaystyle |\{d\in D:t\in d\}|} : 単語 t {\displaystyle t} が出現する文書の数 (すなわち、 t f ( t , d ) ≠ 0 {\displaystyle \mathrm {tf} (t,d)\neq 0} でなくてはならない)。 もしその語がコーパスに存在しない場合、これはゼロ除算を招く。それゆえに、分母を 1 + | { d ∈ D : t ∈ d } | {\displaystyle 1+|\{d\in D:t\in d\}|} と調整するのが一般的である。