Learning to rank with incomplete judgements
Tamamlanmamış kararlar ile sıralama öğrenme
Yazar: HİKMET BAHADIR ŞAHİN
Danışman: YRD. DOÇ. DR. EMİNE YILMAZ ; DOÇ. DR. DENİZ YURET
Koç Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Sıralamayı öğrenme alanındaki araştırmalar eğitim veri kümesinin verildiğini farzeden gelişmiş öğrenme algoritmalarına dayanmaktadır. Ancak eğitim veri kümesinin kalitesi sıralamayı öğrenme başarımını etkiler. Sorgu ile sonuç arasındaki ilişki kararını elde etmenin maliyeti ve bütçe kısıtı göz önüne alındığında, bir eğitim veri kümesi ancak sınırlı sayıda ilişki kararı içerebilir. Bütçenin sınırlı olduğu bir durumda, kararlama için sarfedilen çabanın çeşitli sorgular için önceliklendirilmesi ve bilgi erişim sistemlerinin etkili ve verimli bir şekilde değerlendirilmesi konusunda birçok araştırma vardır. Ancak, tamamlanmamış kararların sıralamayı öğrenmedeki etkileri hakkında çok az araştırma yapılmıştır. Varolan araştırmalarda, herhangi bir amaç metriği ve tamamlanmamış kararları oluşturan örnekleme dağılımı için uygulanabilir çözüm bulunmamaktadır.
Bu çalışmada, her sorgu için az sayıda karar barındıran eğitim veri kümelerinin daha iyi nasıl kullanılabileceğine ve bu kümeleri kullanarak nasıl dahha iyi sıralama başarımı elde edebileceğine odaklandık. Bu amaçla, katmanlama örnekleme yöntemi kullanarak tamamlanmamış kararlar oluşturduk. Bu kararları kullanarak, StatAP yöntemi ile amaç fonksiyonu olan ortalama kesinlik değerlendirme metriğinin tarafsız tahminini hesapladık. Ardından, gerçek ve tahmini amaç metriklerinin LambdaMART algoritması ile eniyi değerlerini bulduk. Tahmini ortalama kesinlik modelinin tamamlanmamış kararlar kullandığımızda, gerçek ortalama kesinlik modeline göre daha iyi başarım elde ettiğini gösterdik. Ortaya sunduğumuz yöntemin herhangi bir veri kümesi için uygulanabilir olduğunu gösterebilmek amacıyla, yöntemimizi iki farklı veri kümesinde test ettik.

Abstract:
Research in learning to rank has been placed on developing sophisticated learning
algorithms mainly, assuming the training set as a given. However, the quality of the
training set directly affects the quality of the learned ranking systems. Considering
the expense of obtaining relevance judgements and the budget constraint, one can
get limited number of judgements to construct a training set. Much research has
been devoted to distribute the judgement effort across different queries, and efficient
and effective evaluation of retrieval systems given a limited judgement budget. However,
little research has been done regarding the effect of incomplete judgements in
learning-to-rank and available studies do not propose a solution to the problem that
can be applicable given any objective metric and any sampling distribution that used
to generate the incomplete judgements.
In this work, we focus on how to better utilize training sets with shallow (less)
judgements per query and obtain better ranking performance using such training sets.
For this aim, we generate the incomplete judgements using stratified sampling strategy
and use StatAP method to compute unbiased estimates of the objective evaluation
metric, i.e. mean average precision (MAP), given these judgements. Then, we use
LambdaMART algorithm to train a ranking model by using the estimated and actual
objective metrics. By using two different datasets, we show that estimated MAP
performs significantly better than actual MAP as the training objective in learning
to rank when judgements are incomplete.