Kütüphane keşif araçlarının performans değerlendirmesi
Performance evaluation of library discovery tools
Yazar: CAN EKŞİ
Danışman: DOÇ. DR. YURDAGÜL ÜNAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Bilgi ve Belge Yönetimi Ana Bilim Dalı / Bilgi ve Belge Yönetimi Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgi ve Belge Yönetimi = Information and Records Management

Özet:
Kütüphaneler, sahip oldukları tüm basılı ve elektronik koleksiyonların tek bir arama motoru üzerinden taranabilmesine olanak sağlayan araçlara abone olmaktadır. Keşif aracı veya keşif servisi olarak adlandırılan ve ülkemizde çoğunlukla üniversite kütüphaneleri tarafından tercih edilen bu araçlar, çeşitlilik ve gelişim göstermeye devam etmektedir. Keşif araçlarının kapsamları, sorgulara getirdikleri sonuçların ilgi düzeyi, sağladıkları konu çeşitliliği gibi hususlar, bu araçların performanslarını belirleyen önemli göstergeler arasındadır. 

Bu çalışmanın amacı, ülkemizde yaygın olarak kullanılan EDS, EKUAL Keşif ve Piri Keşif araçlarını kapsam, sonuçları sıralama kalitesi ve konu çeşitliliği indeksi yönünden analiz etmek ve bulgular çerçevesinde karşılaştırmaktır. Bu amaçla arXiv'de yer alan makalelerden hazırlanan iSearch test derlemi ve bu derlemde kullanılan arama terimleri, araştırma kapsamında değerlendirilen keşif araçlarında sorgu olarak çalıştırılmıştır. Yapılan aramalarda yanıt alınan sorgulara getirilen sonuçların sayısı belirlenmiş ve bu sonuçların iSearch derlemini hangi oranda kapsadığı analiz edilmiştir. iSearch derleminde yer alan ve uzmanlar tarafından rastgele seçilerek ilgi değerlendirmesi yapılan makaleler, bu sorgulardan getirilen sonuçlar içerisinde tarandıktan sonra her bir sonucun kaçıncı sırada getirildiği tespit edilmiştir. Bu sıralamaların DCG (Discounted Cumulative Gain – İndirimli Birikimli Kazanç) ve NDCG (Normalized Discounted Cumulative Gain – Normalleştirilmiş İndirimli Birikimli Kazanç) değerleri hesaplanarak sıralama kalitesi ölçülmüştür. Ayrıca sorgulara getirilen ilk 20 sonucun Shannon çeşitlilik indeksi hesaplanarak konu çeşitliliği yönünden karşılaştırılmıştır. 

Araştırmanın sonucunda EDS ve EKUAL Keşif'in aynı sayıda ve sırada sonuç getirdiği, Piri Keşif'in ise bu keşif araçlarına göre ilk 10.000 sonuç içerisinde daha fazla ilgili makaleye erişim sağladığı ortaya çıkmıştır. Ayrıca Piri Keşif'te daha fazla sayıda ilgili sonuca yüksek sıralarda erişildiği ancak bu sonuçların geniş bir aralıkta sıralandığı tespit edilmiştir. Sıralama kalitesi yönünden ise keşif araçları benzer performans gösterirken EDS ve EKUAL Keşif'in Piri Keşif'e göre daha fazla konu çeşitliliği sağladığı saptanmıştır. 

Bu araştırmanın sonuçları, keşif araçlarından en iyi şekilde faydalanmak isteyen üniversite kütüphaneleri için referans olmalı ve bu araçlarda iyileştirilmesi gereken alanların belirlenmesinde kullanılmalıdır.

Anahtar Sözcükler
Keşif araçları, EBSCO Discovery Service, EKUAL Keşif, Piri Keşif, performans değerlendirme, ilgi sıralamaları, Shannon Çeşitlilik İndeksi.

Abstract:
Libraries subscribe to tools that allow all their print and electronic collections to be browsed through a single search engine. These tools, called discovery tools, or discovery services, and mostly preferred by university libraries, continue to show diversity and development. Issues such as the scope of discovery tools, the relevance of the results they bring to search queries, and the diversity of topics they provide, are among the important indicators which determine the performance of these tools.

The aim of this study is to analyze the EDS, EKUAL Keşif, and Piri Discovery Tool, in terms of the scope, ranking quality, and topical diversity index, and to compare the results within that framework. For this purpose, the iSearch test collection prepared from the articles in arXiv, and the search terms used in this collection, were run as queries in the evaluated discovery tools. The number of results returned to the queries was determined, and the extent to which these results matched articles in the iSearch collection was analyzed. The articles in the iSearch collection, which were randomly selected by experts and evaluated for relevance, were checked against the results returned from these queries, and the ordinal rank in which each result was placed was determined. The ranking quality was measured by calculating the DCG (Discounted Cumulative Gain) and the NDCG (Normalized Discounted Cumulative Gain) values of these rankings. In addition, the Shannon Diversity Index of the first 20 results returned to the queries was calculated, and compared in terms of topical diversity.

As a result of this research, it was revealed that, in the first 10,000 results, that EDS and EKUAL Keşif produced results of the same quantity and ranking order, while the Piri Discovery Tool provided access to more relevant articles than the two other discovery tools. In addition, it was determined that more relevant results were reached with higher rankings by the Piri Discovery Tool, but these results were ranked within a wider range. While the discovery tools showed similar performance in terms of ranking quality, it was determined that EDS and EKUAL Keşif provided more topical diversity than the Piri Discovery Tool.

The results of this research can be a reference point for university libraries which want to make the most of discovery tools, and to identify areas which might need improvement in these tools.

Keywords
Discovery tools, EBSCO Discovery Service, EKUAL Keşif, Piri Discovery Tool, performance evaluation, relevance ranking, Shannon Diversity Index