Gürbüz bilgi erişimi için seçkili gövdeleme
Selective stemming for robust information retrieval
Yazar: GÖKHAN GÖKSEL
Danışman: DOÇ. DR. AHMET ARSLAN ; PROF. DR. BEKİR TANER DİNÇER
Eskişehir Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Yazılımı Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgi erişim = Information access ; Gürbüz = Robust ; Sınıflandırma = Classification

Özet:
Gövdelemenin bir bilgi erişim sisteminin performansını artırması beklenir, ancak pratikte, daha önceden elde edilmiş deneysel sonuçlar bunun her zaman geçerli olmadığını göstermektedir. Tezde, gövdelemenin sorgu bazında uygulanıp uygulanmayacağına karar veren seçkili bir gövdeleme yaklaşımı önerilmektedir. Metodumuz, anlamsal olarak ilişkili dokümanların geri getirilmesinde gövdelemeden kaynaklanan başarısızlık riskini en aza indirmeyi amaçlamaktadır. Tez, gövdelemenin bir bilgi erişim sisteminde nasıl seçkili bir şekilde uygulanabileceğini tanıtmasının yanı sıra; kelimelerin gövdeleme uygulanmadan önceki ve sonraki terim frekanslarından türetilen bir dizi yeni öznitelik önererek bilgi erişim literatürüne katkıda bulunur. Önerilen yöntem, hem bazı mevcut sorgu performansı tahmin edicilerinden hem de yeni türetilmiş özniteliklerden ve denetimli sınıflandırma yapan bir makine öğrenme tekniğinden yararlanır. Yöntem, üç kural tabanlı gövdeleme algoritması ile TREC ve NTCIR'da yer alan sekiz sorgu seti kullanılarak değerlendirilir. WSJ doküman koleksiyonu hariç kullanılan doküman koleksiyonları, sayısı 25 milyon ile 733 milyon arasında değişen Web dokümanlarından oluşmaktadır. Deneylerin sonuçları, yöntemin, sistemin gürbüzlüğünü artıran ve sorgular arasında başarısızlık riskini (sorgu başına performans kayıpları) en aza indirerek doğru seçimler yapabildiğini göstermektedir. Sonuçlar ayrıca, yöntemin çoğu sorgu seti için tekil sistemlerden sistematik olarak daha yüksek bir ortalama geri getirim performansına ulaştığını göstermektedir.

Abstract:
Stemming is supposed to improve the average performance of an information retrieval system, but in practice, past experimental results show that this is not always the case. In this thesis, a selective approach to stemming that decides whether stemming should be applied or not on a query basis is proposed. Our method aims at minimizing the risk of failure caused by stemming in retrieving semantically related documents. The thesis contributes to the information retrieval literature by proposing an application of selective stemming and introducing a set of new features derived from the term frequencies of the words and their stems produced by different stemming algorithms. The proposed method leverages both some of the existing query performance predictors and the newly derived features, and a supervised classification (machine learning) technique. It is evaluated using three rule-based stemmers and eight query sets of the standard TREC and NTCIR tracks. The document collections used, except WSJ document collection, consist of Web documents ranging in number from 25 million to 733 million. The results of the experiments show that the method is capable of making accurate selections that increase the robustness of the system and minimize the risk of failure (i.e., per-query performance losses) across queries. The results also show that the method attains systematically higher average retrieval performance than the single systems for most query sets.