İçerik tabanlı atıf analizi modeli tasarımı: Türkçe atıflar için metin kategorizasyonuna dayalı bir uygulama

Araştırma/cı performanslarının ölçümünde önemli unsurlardan biri alınan atıf sayılarının değerlendirilmesidir. Aldıkları atıfların sayısına göre akademisyenler teşvik almakta, yükseltilmekte veya ödüllendirilmektedirler. Başlangıçta temel amacı birbirleri ile ilişkili yayınları saptamak olan atıfların kullanım amacı da yüklenen bu misyon ile birlikte değişmeye başlamış, bu değişim de etik olmayan bazı uygulamalar ile atıf sayılarının manipüle edilmesine kadar uzanmıştır. Gelinen noktada atıfların niceliksel olarak değerlendirilmesinin yanında içeriksel analizinin yapılması gerekliliği ortaya çıkmaya başlamıştır. Bu çalışmada Türkçe atıflar için içerik tabanlı bir atıf analizi modeli tasarlanması hedeflenmiştir. Bu hedef doğrultusunda Türkçe kütüphanecilik ve bilgibilim literatüründe yayımlanmış 423 hakemli makale derinlemesine incelenmiş ve analizler gerçekleştirilmiştir. İçerik tabanlı atıf analizi modeli yaratılabilmesi için öncelikle makalelere ait üst veri, kaynakça ve tam metin bilgileri toplanmış, bu makalelere ait 12.881 kaynakça ve 101. 019 cümle çalışma için oluşturulan veri tabanında depolanmıştır. Bu işlemin ardından atıflar için taksonomik türler belirlenmiş ve bu makaleler içindeki atıf cümleleri yürütülen uzlaşmalı etiketleme süreci ile sınıflara ayrılmıştır. Son aşamada ise Weka yazılımı kullanılarak sınıflamanın başarımı test edilmiş ve bu başarım oranları göz önüne alınarak içerik tabanlı atıf analizi modeli sunulmuştur. Çalışmada atıflar; anlamı açısından, yapılma amacı açısından, şekli açısından ve dizilimi açısından atıflar olarak dört temel taksonomik kategoriye ayrılmış, ardından her bir tür kendi içinde alt kategorilere bölünmüştür. Bu alt kategoriler; anlamı açısından atıflar için pozitif, negatif ve nötr; yapılma amacı açısından atıflar için literatür, tanım yapma, yöntem, veriye atıf ve veri doğrulama; şekli açısından atıflar için ise yazar adı anılarak, toplu ve tırnak içinde atıf şeklinde belirlenmiştir. Dizilimi açısından atıflarda ise atıfın yapıldığı bölüm, kaç kez ve kaç farklı bölümde atıf yapıldığı dikkate alınmıştır. Atıfların makinece sınıflandırılmasında kelime ön işleme yöntemi olarak 1-2 gram sözcük parçalayıcısı seçilmiş ve dur sözcükleri korunarak uygulama gerçekleştirilmiştir. Bunun temel sebebi dur sözcüklerinin atıf sınıflarını belirlemede önemli yere sahip olmasıdır. Kelime ön işleme sürecinin ardından sınıflamanın başarımı Weka yazılımı ile test edilmiş ve üç sınıf için de %90'ın üzerinde başarım elde edilmiştir. Anlamı ve yapılma amacı açısından atıfların makinece sınıflandırılmasında Naive Bayes Multinomial algoritması kullanılmış ve anlamı açısından atıflarda %96,5; yapılma amacı açısından atıflarda %90,4'lük başarım elde edilmiştir. Anlamı açısından atıfların sınıfladırılmasında en düşük başarımın negatif atıfların saptanması konusunda olduğu görülmüştür. Bu durum yazarların daha üstü kapalı bir dille negatif atıf yaptığı savını doğrulamaktadır. Literatürde yapılan çalışmalar doğal dil işlemenin diğer uygulamaları analize eklendiğinde başarımın arttığını göstermektedir. Bu sebeple gelecek çalışmalarda çeşitli analizlerin eklenmesi ile başarım oranları artırılabilecektir. Yapılma amacı açısından atıflarda en yüksek başarım veri doğrulama atıfları için saptanırken, en düşük başarım yöntem ve tanım yapma atıfları için elde edilmiştir. Bunun temel nedeninin de yöntem açıklarken yapılan tanımlar olduğu düşünülmektedir. Şekli açısından atıfların sınıflandırılmasında Random Forests algoritması kullanılmış ve algoritma %92 oranında başarılı bir sınıflama yapabilmiştir. En yüksek başarım yazar adı anılarak yapılan atıflar için, en düşük başarım ise tırnak içinde belirtilen atıflar için hesaplanmıştır. Türkçe kütüphanecilik ve bilgibilim literatüründe atıfların %85'inin giriş ve literatür değerlendirmesi bölümlerinde yapıldığı, negatif atıflar ile veri doğrulama atıflarının genellikle bulgular ve sonuç kısımlarında yer aldığı, yazar adlarının en sık sonuç kısmında yapılan atıflarda anıldığı gibi sonuçlara ulaşılmıştır. Bunun yanında kaynakçalarda yer alan künyelerin %67'sine metin içinde yalnızca bir kez atıf yapıldığı ve %6'sına metin içinde hiç yer verilmediği saptanmıştır. Ayrıca metin içinde yer alan göndermelerin %1'i de kaynakçada yer almamaktadır. Bu durum yazarlar ve editörlerin atıf verirken daha dikkatli olması gerekliliğini ortaya koymaktadır. Çalışma sonunda ortaya koyulan içerik tabanlı atıf analizi modeli ile araştırmacılar, editörler ve yönetici/karar vericiler için atıf değerlendirmelerinde dikkate alınması gereken temel noktalar belirlenmiş, bilimsel iletişim sürecindeki her bir rolün üzerine düşen görevler tanımlanmıştır. Bu noktada en önemli unsur tüm atıfların eşit olmadığının süreçteki herkes tarafından bilinmesidir. Söz konusu bilinç oluştuğunda atıflar üzerinden yapılacak manipülasyonlar da en aza indirilebilecektir.