Bilimsel çıktıların değerlendirilmesi için alternatif metrikler: Cezayir için bir açık değerlendirme platformu modeli
Alternative metrics for evaluating scientific outputs: A model for an open evaluation platform for Algeria
Yazar: BRAHİM KERTIOU
Danışman: PROF. DR. İSHAK KESKİN
İstanbul Üniversitesi / Sosyal Bilimler Enstitüsü / Bilgi ve Belge Yönetimi Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgi ve Belge Yönetimi = Information and Records Management
Dizin: Altmetrik = Altmetric

Özet:
Mevcut bilimsel yayın ve akran değerlendirmesi sistemi, büyük ölçüde, çoğu akademik dergi veri tabanı ve ölçütünü kontrol eden az sayıdaki güçlü endüstri firmasına dayanmaktadır. Bu firmalar genellikle yayınları ödeme duvarının arkasında gizler ve bu da değerlendirme sürecinin maliyeti, kalitesi, açıklığı ve doğruluğu hakkında endişeler yaratır. ResearchGate ve Academia.edu gibi bilimsel platformlar, geleneksel bilimlerin yayılmasını kolaylaştırmak amacıyla ortaya çıkmıştır; ancak bu platformlar, altyapıyı kontrol edecek tek bir platform sahibine bağlı olarak merkezileştirilmiştir. Bu merkezileştirme, tekelci iş modellerinde kullanıcıları ve verilerini etkileyebilecek sonuçlara neden olur.
Çalışma, bilimsel değerlendirme ve öneriler için açık bir bilimsel platform uygulamayı amaçlamaktadır. Platform, kullanıcılara güncel, alakalı ve yüksek kaliteli öneriler sunmak için konu modelleme ve diğer makine öğrenimi algoritmalarına dayalı bir TF-IDF (Term Frequency - Inverse Document Frequency - Terim Frekansı - Ters Belge Frekansı-) algoritması kullanır. Platform, sistemin veri tabanındaki makaleleri sıralamak için kayıtlı kullanıcıların yaptığı yorumlar veya verdiği oylardan yararlanarak işbirlikçi bir filtreleme yaklaşımını benimsemiştir.
Çalışma, araştırma etkisinin bir ölçüsü olarak altmetrilerle ilgili farkındalıkları, bilgileri ve kullanımlarını inceleyerek Cezayirli araştırmacılardan oluşan bir örneklem üzerinde bir değerlendirme ve tasarlanan bir öneri platformunu test etmeyi amaçlamıştır. Katılımcıları seçmek için amaçlı örnekleme tekniği kullanılarak tanımlayıcı bir anket tasarımı benimsenmiştir. Veriler, toplam 228 yanıt içeren çevrimiçi bir anket kullanılarak toplanmış ve SPSS Statistics 26 yazılımı kullanılarak analiz edilmiştir.
Araştırma sonuçları, çoğu Cezayirli araştırmacının alternatif metriklerin ve bunların geleneksel atıf sayımını tamamlayıcı olarak potansiyel kullanımlarının farkında olduğunu göstermektedir. Cezayirli araştırmacılar arasında araştırma performansını ölçmek için altmetrilerin farkındalığı ve kullanımı arasında pozitif bir korelasyon olduğu gibi, altmetrilerin bilgisi ve kullanımı arasında zayıf ama pozitif bir korelasyon vardır. Ek olarak, araştırmacıların araştırma değerlendirme araçlarını benimseme niyeti, Cezayirli araştırmacılar arasında araştırma performansını ölçmek için altmetrilerin kullanımıyla olumlu bir şekilde ilişkilidir. Sonuçlar ayrıca Cezayirli araştırmacılar arasında araştırma performansını ölçmek için altmetrileri kullanmaya yönelik tutumlarda profesyonel seviyelerine göre önemli bir fark olduğunu, ancak altmetrilere yönelik genel tutumlarda anlamlı bir fark olmadığını göstermektedir.

Abstract:
The current system of scientific publication and peer review relies heavily on a small number of powerful industry firms who control most academic journal databases and metrics. These firms often keep publications behind paywalls, leading to concerns about cost, quality, openness, and accuracy of the review process. Scientific platforms like ResearchGate and Academia have emerged to facilitate dissemination of traditional sciences, but these platforms are centralized, depending on a single platform owner to control the infrastructure. This centralization causes consequences such as problems with monopolistic business models that can affect users and their data.
This study aims to implement an open scientific platform for scientific evaluation and recommendations. The platform utilizes a TF-IDF algorithm that is based on topic modeling and other machine learning algorithms to provide users with recent, relevant and high-quality recommendations. The platform is based on a collaborative filtering approach, where registered users can rate or comment on articles in the database, which will be used to sort and rank the articles.
The current study aims to test an evaluation and recommendation platform on a sample of Algerian researchers by examining their awareness, knowledge, and use of altmetrics as a measure of research impact. A descriptive survey design was adopted, using a purposive sampling technique to select participants. Data were collected using an online questionnaire. Thus, a total of 228 responses were analyzed using SPSS Statistics 26 software.
The research results show that most Algerian researchers were aware of alternative metrics and their potential use as a complement to traditional citation count. There is a positive correlation between awareness and use of altmetrics to measure research performance among Algerian researchers, as well as a weak but positive correlation between knowledge and use of altmetrics. Additionally, researchers' intention to adopt research evaluation tools is positively related to the use of altmetrics to measure research performance among Algerian researchers. The results also indicate that there is a significant difference in attitudes towards using altmetrics to measure research performance among Algerian researchers based on their professional level, but no significant difference in overall attitudes towards altmetrics.