Tf-idf

Bilgi almada (information retrieval), tf-idf (ayrıca TF*IDF, TFIDF, TF-IDF veya Tf-idf ), terim sıklığı-ters belge sıklığı ifadesinin kısaltmasıdır ve bir koleksiyon veya  bir  için bir kelimenin öneminin ölçüsüdür; bazı kelimelerin genel olarak daha sık göründüğü gerçeği göz önünde bulundurularak ayarlanmıştır. Kelime torbası modeli gibi, bir belgeyi  olmaksızın,  kelime kümeleri olarak modeller. Bu, kelimelerin ağırlığının metnin geri kalanına bağlı olmasına izin vererek, basit  göre bir iyileştirmedir.

Bilgi arama, metin madenciliği ve kullanıcı modelleme aramalarında sıklıkla ağırlıklandırma faktörü olarak kullanılmıştır. 2015 yılında yapılan bir araştırma, dijital kütüphanelerdeki metin tabanlı öneri sistemlerinin %83'ünün tf-idf kullandığını göstermiştir. tf-idf ağırlıklandırma şemasının varyasyonları , arama motorları tarafından bir kullanıcı sorgusu verildiğinde bir belgenin alakalılığını puanlama ve sıralamada merkezi bir araç olarak sıklıkla kullanılmıştır.

En basit sıralama fonksiyonlarından biri, her sorgu terimi için tf-idf'nin toplanmasıyla hesaplanır; çok daha karmaşık sıralama fonksiyonları bu basit modelin varyantlarıdır.

 Motivasyonlar 
Karen Spärck Jones (1972), Ters Belge Sıklığı (idf) adı verilen terim özgüllüğünün istatistiksel bir yorumunu tasarladı ve bu, terim ağırlıklandırmasının temel taşı haline geldi:

Örneğin, Shakespeare'in 37 oyunundaki bazı kelimelerin df (belge sıklığı) ve idf değerleri şu şekildedir:Speech and Language Processing (3rd ed. draft), Dan Jurafsky and James H. Martin, chapter 14.https://web.stanford.edu/~jurafsky/slp3/14.pdf
+WorddfidfRomeo11.57salad21.27Falstaff40.967forest120.489battle210.246wit340.037fool360.012good370sweet370
" Romeo ", " Falstaff " ve "salata" kelimelerinin çok az oyunda geçtiğini görüyoruz, dolayısıyla bu kelimelere bakarak hangi oyuna ait olabileceği konusunda fikir sahibi olabiliriz. Buna karşılık, "iyi" ve "tatlı" her oyunda karşımıza çıkar ve hangi oyun olduğuna dair hiçbir bilgi vermez.
 Tanım 

 tf-idf iki istatistiğin, terim frekansı ve ters belge frekansının ürünüdür. Her iki istatistiğin kesin değerlerini belirlemenin çeşitli yolları vardır.
 Bir belge veya web sayfasındaki bir anahtar kelimenin veya ifadenin önemini tanımlamayı amaçlayan bir formül.

 Terim Sıklığı 
Terim sıklığı, ,  belgesi içindeki  teriminin göreli sıklığıdır,

 ,

Burada  bir belgedeki bir terimin ham sayısıdır, yani  teriminin  belgesinde geçtiği zaman sayısıdır. Paydanın,  belgesindeki toplam terim sayısı olduğunu (aynı terimin her bir geçişini ayrı ayrı sayarak) unutmayın. Terim sıklığını tanımlamanın çeşitli başka yolları da vardır: 

 ham sayımın kendisi: 
 Boole "frekansları":   de meydana gelirse  aksi takdirde 0;
 logaritmik olarak ölçeklenmiş frekans:  ;
 artırılmış frekans, daha uzun belgelere doğru bir önyargıyı önlemek için, örneğin ham frekansın belgedeki en sık görülen terimin ham frekansına bölünmesiyle elde edilir:



 Ters belge sıklığı 
+Ters belge sıklığı (idf) ağırlığının varyantlarıağırlıklandırma şemasıidf ağırlığı ( )tekli1ters belge sıklığıters belge frekansı düzgünters belge sıklığı maksimumolasılıksal ters belge sıklığı
Ters belge sıklığı, kelimenin ne kadar bilgi sağladığının, yani tüm belgelerde ne kadar yaygın veya nadir olduğunun bir ölçüsüdür. Terimi içeren belgelerin sayısının, terimi içeren belgelerin sayısına bölünmesiyle elde edilen, kelimeyi içeren belgelerin logaritmik olarak ölçeklendirilmiş ters kesridir:

 küçükresim|288x288pik|Farklı ters belge frekans fonksiyonlarının çizimi: standart, pürüzsüz, olasılıksal.

  : korpustaki toplam belge sayısı 
  : terimin kullanıldığı belge sayısı  görünür (yani,  ). Terimin korpusta olmaması durumunda sıfıra bölme işlemi gerçekleşir. Bu nedenle paydayı ayarlamak yaygındır  ve payda  .
 Terim sıklığı–ters belge sıklığı 
Daha sonra tf–idf şu şekilde hesaplanır:

+Terim frekansı-ters belge frekansı (tf–idf) ağırlıklarının varyantlarıağırlıklandırma şemasıtf-idfsayaç(count)-idfçift normalizasyon-idfgünlük normalleştirme-idf
tf-idf'de yüksek bir ağırlığa, (verilen belgede) yüksek bir terimsıklığı ve tüm belge koleksiyonunda terimin düşük bir belge sıklığı ile ulaşılır; bu nedenle ağırlıklar ortak terimleri filtreleme eğilimindedir. İdf'nin logaritmik fonksiyonu içindeki oran her zaman 1'den büyük veya eşit olduğundan, idf'nin (ve tf-idf'nin) değeri 0'dan büyük veya eşittir. Bir terim daha fazla belgede göründükçe logaritmanın içindeki oran 1'e yaklaşır ve idf ile tf–idf'yi 0'a yakınlaştırır.

 IDF'nin gerekçesi 
Idf , Karen Spärck Jones'un 1972 tarihli bir makalesinde "terim özgüllüğü" olarak ortaya atılmıştır. Her ne kadar bir sezgisel yöntem olarak iyi çalışsa da, teorik temelleri en azından otuz yıl boyunca sorunlu oldu ve birçok araştırmacı bunun için bilgi teorik gerekçeleri bulmaya çalıştı.

Spärck Jones'un kendi açıklaması, Zipf yasasıyla bağlantı dışında pek fazla teori önermiyordu. Belirli bir belge   terimini göreceli belge sıklığı olarak içermesi olasılığını tahmin ederek, idf'yi olasılıksal bir temele oturtmak için girişimlerde bulunuldu See also Probability estimates in practice  in Introduction to Information Retrieval.



böylece idf'yi şu şekilde tanımlayabiliriz



Yani ters belge sıklığı, "ters" göreli belge sıklığının logaritmasıdır.

Bu olasılıksal yorumlama da öz-bilgilendirmeyle aynı biçimi alır. Ancak, bu tür bilgi-teorik kavramların bilgi alma sorunlarına uygulanması, gerekli olasılık dağılımları için uygun olay alanlarını tanımlamaya çalışırken sorunlara yol açar: yalnızca belgelerin değil, aynı zamanda sorguların ve terimlerin de dikkate alınması gerekir.

 Bilgi teorisiyle bağlantı 
Hem terim sıklığı hem de ters belge sıklığı, bilgi teorisi açısından formüle edilebilir; ürünlerinin, bir belgenin ortak bilgi içeriği açısından neden bir anlam taşıdığını anlamaya yardımcı olur. Dağıtım hakkında karakteristik bir varsayım  bu mudur:



Aizawa'ya göre bu varsayım ve bunun sonuçları: "tf-idf'nin kullandığı sezgisel yöntemi temsil ediyor." 

Gövdedeki "rastgele seçilmiş" bir belgenin koşullu entropisi , belirli bir terim içermesi koşuluyla  (ve tüm belgelerin seçilme olasılığının eşit olduğunu varsayarak) şudur:



Notasyon açısından,  Ve  sırasıyla bir belgeyi veya terimi çizmeye karşılık gelen "rastgele değişkenler"dir. Karşılıklı bilgi şu şekilde ifade edilebilir:



Son adım genişletmektir , bir belgenin (rastgele) seçimine göre, bir terim çizmenin koşulsuz olasılığı, şunu elde eder:



Bu ifade, tüm olası terimlerin ve belgelerin Tf–idf'sinin toplanmasının, ortak dağıtımlarının tüm özelliklerini hesaba katarak belgeler ve terimler arasındaki karşılıklı bilgiyi kurtardığını göstermektedir. Dolayısıyla her Tf-idf terim x belge çiftine bağlı "bilgi bitini" taşır.
 tf-idf Örneği 
Sağda listelendiği gibi, yalnızca iki belgeden oluşan bir metin gövdesinin terim sayım tablolarına sahip olduğumuzu varsayalım.
+Document 2TermTerm CountTurkiye1Anadolu1Ay2Su3
+Document 1TermTerm CountTurkiye1Anadolu1Ataturk2Yildiz1
"Turkiye" terimi için tf-idf hesaplaması aşağıdaki şekilde yapılır:

Ham frekans formunda tf, her belge için "Turkiye" ifadesinin frekansıdır. Her belgede "Turkiye" kelimesi bir kez geçiyor; ancak 2. belgede daha fazla kelime olduğu için, göreceli sıklığı daha az.




İdf, her metinde sabittir ve "Turkiye" kelimesini içeren belgelerin oranını belirler . Bu durumda, iki belgeden oluşan bir metin bütününe sahibiz ve hepsinde "Turkiye" kelimesi geçiyor.



Yani "Turkiye" kelimesi için tf–idf sıfırdır, bu da kelimenin tüm belgelerde göründüğü gibi pek de bilgilendirici olmadığı anlamına gelir.




"Su" kelimesi daha ilginçtir - üç kez geçer, ama sadece ikinci belgede:





Sonunda,




(10 tabanlı logaritmayı kullanarak).
 Terimlerin ötesinde 
Tf-idf'nin ardındaki fikir, terimler dışındaki varlıklar için de geçerlidir. 1998 yılında, İDF kavramı atıflara uygulandı. Yazarlar, "çok nadir bir atıf iki belge tarafından paylaşılıyorsa, bu atıfın çok sayıda belge tarafından yapılan atıflardan daha fazla ağırlıklandırılması gerektiğini" savundular. Ek olarak, tf–idf, videolarda  ve tüm cümlelerde  nesne eşleştirmesi yapma amacıyla "görsel kelimelere" uygulandı. Ancak, tf-idf kavramının tüm durumlarda düz bir tf şemasından (idf olmadan) daha etkili olduğu kanıtlanmamıştır. Tf-idf atıflara uygulandığında, araştırmacılar idf bileşeni olmayan basit bir atıf sayısı ağırlığına göre herhangi bir iyileştirme bulamadılar.
 Türevler 
Bir dizi terim ağırlıklandırma şeması tf-idf'den türetilmiştir. Bunlardan biri TF–PDF'dir (terim sıklığı * orantılı belge sıklığı). TF-PDF, medyada ortaya çıkan yeni konuların belirlenmesi amacıyla 2001 yılında ortaya çıkmıştır. PDF bileşeni, bir terimin farklı alanlarda ne sıklıkta geçtiğini ölçer. Başka bir türev ise TF–IDuF'tur. TF–IDuF'de  idf, aranacak veya önerilecek belge gövdesine göre hesaplanmaz. Bunun yerine idf kullanıcıların kişisel belge koleksiyonları üzerinden hesaplanır. Yazarlar, TF-IDuF'un tf-idf kadar etkili olduğunu ancak örneğin bir kullanıcı modelleme sisteminin küresel belge gövdesine erişimi olmadığı durumlarda da uygulanabileceğini bildirmektedir.

 Ayrıca bakınız 
 Latent Dirichlet allocation
 PageRank

 Kaynakça 

 Dış bağlantılar ve önerilen okumalar 
 Gensim, vektör uzayı modellemesi için bir Python kütüphanesidir ve tf-idf ağırlıklandırmasını içerir.
 Bir arama motorunun anatomisi
 tf–idf ve Lucene'de kullanılan ilgili tanımlar
 Scikit-learn'de TfidfTransformer
 Metin Madenciliğinde (TM) çeşitli görevler için kullanılabilen Metinden Matris Oluşturucu (TMG) MATLAB araç kutusu; özellikle i) indeksleme, ii) alma, iii) boyut azaltma, iv) kümeleme, v) sınıflandırma. İndeksleme adımı kullanıcıya tf–idf dahil olmak üzere yerel ve küresel ağırlıklandırma yöntemlerini uygulama olanağı sunar.
 Terim sıklığı açıklandı Terim sıklığının açıklaması

Kategori:İstatistiksel doğal dil işleme