URAP

URAP (University ranking by academic performance) Araştırma Laboratuvarı 2009 yılında Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü bünyesinde kurulmuştur. URAP'ın amacı yükseköğretim kurumlarını akademik başarıları doğrultusunda değerlendirebilmek için bilimsel metotlar geliştirmek ve yapılan çalışmaların sonuçlarını kamuoyu ile paylaşmaktır. Bu çalışmaların bir ürünü olan 2016 URAP Dünya Sıralaması 2000 dünya üniversitesini, Türkiye Sıralaması da Türkiye'de yer alan ilk 76 üniversiteyi çeşitli akademik performans kriterlerine göre sıralamaktadır.

URAP sıralamaları üniversiteleri iyiler ve kötüler şeklinde ayırmayı hedeflememektedir. URAP'ın hedefi, çalışmalar sonucunda elde edilen veriler ile üniversitelerin kendi akademik performanslarını diğer üniversitelerle karşılaştırabilmesine ve belirlenen kriterlere göre gelişmeye açık yanlarını fark etmelerine yardımcı olmaktır.

URAP dünya sıralamalarında, değerlendirme yılında dünyada en fazla makale yayınlayan 2500 yüksek öğretim kurumunu temel almaktadır. Her yüksek öğretim kurumunun toplam puanı, belirlenen göstergelerdeki performanslarına dayalı olarak hesaplanmaktadır. Değerlendirme için seçilen 2500 yükseköğretim kurumu arasında en yüksek puana sahip 2000 kurum URAP tarafından açıklanmaktadır. URAP alan sıralamaları için, Avustralya ERA (Excellent in Research for Australia) tarafından belirlenen 23 bilim alanı temel alınmaktadır.

URAP dünya sıralamasında, 6 gösterge kullanılmaktadır. Bu göstergeler; makale sayısı, atıf sayısı, toplam bilimsel doküman sayısı, toplam yayın etkisi, toplam atıf etkisi ve uluslararası işbirliğidir. Bu göstergelere temel oluşturan ham bibliyometrik veriler istatistiksel olarak çarpık bir dağılıma sahiptir. Bu nedenle puanlamalarda ortanca(medyan) değerleri esas alınmıştır. Her göstergenin ağırlığı uzmanlardan oluşan bir grubun katıldığı Delphi yöntemi ile belirlenmiştir. Aşağıdaki tabloda 2014 itibarıyla URAP dünya sıralamaları için kullanılan göstergeler ve ağırlıklar verilmiştir.

Yükseköğretim kurumlarının Web of Science tarafından taranan dergilerde son yılda yayınladığı toplam makale sayısıdır. Bu gösterge, güncel bilimsel üretkenliğin ölçümü için kullanılmaktadır. Bu göstergenin toplamdaki ağırlığı %21’dir ve makaleleri, derlemeleri ve bilimsel notları kapsamaktadır.

Bu gösterge, bir kurumun bilimsel üretkenliğindeki kalitenin sürdürülebilirlik düzeyini göstermektedir. Bu gösterge için, son üç yılda yapılan yayınların aynı dönemde aldığı atıf sayısı kullanılmaktadır ve toplam puan içindeki ağırlığı %21’dir.

Toplam bilimsel doküman sayısı, bir kurumun bilimsel üretkenliğinin devamlılığını ölçmektedir. Bilimsel dokümanlar; Web of Science veritabanı tarafından sağlanan ve son üç yılda yayınlanan konferans bildirileri, derlemeler, akademik mektuplar (letters), irdelemeler (discussions), yazılı metinler (scripts) ve bilimsel dergilerde yayınlanan makaleler olmak üzere tüm akademik literatürü kapsar. Bu göstergenin toplamdaki ağırlığı %10’dur.

Uluslararası işbirliği göstergesi, bir kurumun uluslararası tanınırlığını ölçmeyi hedeflemektedir. Üniversitelerin yabancı ülkelerdeki kurumlar ile işbirliği yaparak yayınladığı çalışmaların toplam sayısı ile hesaplanan bu gösterge için InCites verileri kullanılmaktadır . Bu göstergenin toplam sıralamadaki ağırlığı %15’tir.

2011'de ilan edilen son URAP Türkiye Sıralaması'nda YÖK'ün 2010 toplam yayın sıralamasında yer verdiği 125 üniversite değerlendirmeye alınmıştır. Genel sıralamanın yanı sıra üniversiteler mühendislik , temel bilimler , sosyal bilimler , yaşam bilimleri , tıp ve ziraat/çevre alanlarında da sıralanmaktadır. Bunlara ek olarak 2000 yılından önce kurulan üniversiteler, tıp fakültesi bulunan kurumlar ile devlet ve vakıf üniversiteleri de kendi grupları içerisinde ayrıca sıralanmaktadır.

URAP, diğer büyük sıralama sistemlerinden daha fazla kurumu kapsamaktadır. European Education Dergisi’nde yayınlanan “Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Development” başlıklı çalışmanın URAP ile ilgili bölümünde URAP’tan, “SRG, ARWU, THE ve QS’ten daha az tanınmış olmasına rağmen ilgi çekici bir sıralamadır, çünkü adı geçen sıralamalar en fazla 700 üniversiteyi kapsarken URAP 2000 üniversiteden oluşan bir liste yayınlamaktadır.” şeklinde söz edilmektedir. Aynı şekilde Avrupa Üniversite Birliği (European University Association) “EUA 2013 Sıralaması Raporu”nda benzer bir ifade kullanılmaktadır: “URAP ve SCImago sıralama sistemlerinin göstergeleri önemli miktarda üniversitenin performansını ölçerek sıralama piyasasında önemli bir boşluğu doldurmaktadır. Bu miktar URAP için 2000, SCImago için ise 3000’in üzerindedir. Diğer sıralamalarla kıyaslandığında THE’nın sadece 400, ARWU, NTU Sıralama Sistemi ve CWTS Leiden ‘in 500, QS’in ise 700 civarında üniversite sıraladığı görülmektedir.”

URAP’ın sadece akademik performansı ölçen dört sıralama sisteminden biri olduğu bahsi geçmektedir. Diğer üçü ise; Dünya Üniversiteleri Akademik Yayınları Performans Sıralaması (Performance Ranking of Scientific Papers for World Universities), CWTS Leiden Ranking ve SCImago Kurum Sıralamaları’dır. URAP küresel sıralamalarda yer alan öğrenci kalitesi ve eğitim performansı gibi öğretim ile ilgili göstergeleri dahil etmemekte, yalnızca araştırma odaklı göstergeleri kapsamaktadır. URAP, İngiltere’deki Yükseköğretim İstatistikleri Kurumu’nun “International Benchmarking in UK Higher Education” raporunda, akademik performansı ölçen ve kıyaslamada kullanılacak kaynaklar arasında listelenmiştir. Aynı raporda URAP “tüm üniversite sıralamaları” içerisinde kategorize edilmiştir.

URAP, çeşitli çalışmalarda küresel sıralamalara atıfta bulunularak bahsedilmekte ve kullanılmaktadır. Higher Education Policy and Management Dergisi’nde yayınlanan “World University Ranking Systems: An Alternative Approach Using Partial Least Squares Path Modelling” makalesinde önerilen modelde URAP, dünya çapındaki 9 büyük sıralama sistemleri arasına dahil edilmiştir (Diğerleri ARWU, QS, Times, Webometrics, Taiwan, Leiden, SIR ve CWUR’dur.). Aynı çalışmada URAP yalnızca yayın performansına dayalı sıralama sistemleri arasında kategorize edilmiştir. Aynı kategorideki diğer sıralama sistemleri Performance Ranking of Scientific Papers for World Universities, CWTS Leiden Ranking ve SCImago Institutions Rankings’tir.

Aşağıda URAP’ı ele alan ya da modellerine veya kıyaslamalarına URAP’ı dahil eden kitap, hakemli makaleler ve konferans bildirilerinin bir kısmı listelenmektedir.

Collecting University Rankings for Comparison Using Web Extraction and Entity Linking Techniques, Information and Communication Technologies in Education, Research, and Industrial Applications.

Examining Job Description to Develop Job Performance Indicators for Higher Education Institution Based on MBNQA Education Criteria, Journal of Education & Vocational Research.

Methodology for comparative analysis of university rankings, with the Mediterranean and Black sea region countries taken as an example, Middle-East Journal of Scientific Research.

Apeejay Stya Eğitim Araştırma Kurumu tarafından yayınlanan “ ASERF E Eğitim Haber Bülteni” (ASERF E News Bulletin on Education) bazı ülkelerdeki en iyi 10 üniversitenin THE’daki sıralama sonuçlarını, URAP ve QS dahil olmak üzere diğer sıralama sistemlerinin sıralama sonuçları ile kıyaslamaktadır.

URAP sıralamalarında kullanılan göstergelerin mutlak değerli, büyüklük bağımlı olması, sıralamanın büyük kurumlara yanlı olmasına neden olmaktadır. Avrupa Üniversite Birliği tarafından yayınlanan “EUA 2013 Sıralama Raporu”na göre URAP kitapları göz ardı etmekte, sanat ve beşeri bilimler alanındaki çalışmaları kapsam dışı bırakmakta ve sosyal bilimler alanını yeteri kadar temsil etmemektedir. Ayrıca, bibliyometrik göstergelere alan normalizasyonu uygulanmaması nedeniyle URAP alanlar arası yayın yapma kültürlerindeki farklılıkları dengeleyememektedir. Ek olarak rapor “Yayın sayısı göstergesinde olduğu gibi bilhassa atıf sayısı göstergesinde sonuçlar, doğa bilimleri ve özellikle tıp alanında asimetrik dağılmıştır.” şeklinde bir ifadeye yer vermiştir. Ayrıca, URAP’ın eğitimle ilgili göstergeleri hariç tutmasının (dahil etmemesinin), yalnızca araştırma odaklı kurumlara odaklanmasına neden olduğu ifade edilmektedir.

Göteborg Üniversitesi Analiz ve Değerlendirme Birimi tarafından yayınlanan “University Ranking Lists: A directory” başlıklı raporda, bir sıralama sistemine 500’den fazla kurumun dahil edilmesinin neden olabileceği bir soruna işaret edilmiştir. Sorun, “URAP 2000 üniversite sıralamaktadır, amaç yalnızca Batıdaki elit grubu kapsayan bir sıralama yayınlamak değildir. Bu amaç, diğer sıralama sistemlerinin listelerindeki ilk 400-500 kurumdan fazlasını yayınlamama kararı ile tamamıyla çelişmektedir. Çünkü bu seviyenin altında, sıralama yöntemlerinin güvenilir olacağını düşünmemektedirler, URAP bu problem hakkında bir açıklamada bulunmamaktadır.” şeklinde ifade edilmiştir.