Tolong jelaskan mengenai Kaitan dengan teori informasi dari Tf–idf

Misalkan terdapat tabel jumlah istilah dalam korpus yang berisi dua dokumen seperti tabel-tabel di samping.

Untuk menghitung tf–idf istilah ini, dapat dilakukan langkah-langkah berikut.

Dalam bentuk frekuensi mentahnya, tf hanyalah frekuensi istilah ini dalam tiap dokumen. Dalam tiap dokumen, istilah ini sama-sama muncul sekali. Namun, karena dokumen 2 punya lebih banyak kata, frekuensi relatifnya lebih kecil.

Nilai idf bersifat tetap per korpus dan bergantung pada jumlah dokumen yang memiliki istilah ini. Dalam kasus ini, kita memiliki korpus yang semua dokumennya memiliki istilah ini.

Jadi, nilai tf–idf istilah ini adalah nol yang berarti bahwa istilah ini tidak terlalu bermakna karena muncul dalam seluruh dokumen.

Contoh lainnya, istilah contoh muncul tiga kali, tetapi hanya dalam dokumen 2.