URAP

URAP (University ranking by academic performance) Araştırma Laboratuvarı 2009 yılında Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü bünyesinde kurulmuştur. URAP'ın amacı yükseköğretim kurumlarını akademik başarıları doğrultusunda değerlendirebilmek için bilimsel metotlar geliştirmek ve yapılan çalışmaların sonuçlarını kamuoyu ile paylaşmaktır. Bu çalışmaların bir ürünü olan 2016 URAP Dünya Sıralaması 2000 dünya üniversitesini, Türkiye Sıralaması da Türkiye'de yer alan ilk 76 üniversiteyi çeşitli akademik performans kriterlerine göre sıralamaktadır.
URAP sıralamaları üniversiteleri iyiler ve kötüler şeklinde ayırmayı hedeflememektedir. URAP'ın hedefi, çalışmalar sonucunda elde edilen veriler ile üniversitelerin kendi akademik performanslarını diğer üniversitelerle karşılaştırabilmesine ve belirlenen kriterlere göre gelişmeye açık yanlarını fark etmelerine yardımcı olmaktır.
Yöntem
URAP Dünya Sıralaması
URAP dünya sıralamalarında, değerlendirme yılında dünyada en fazla makale yayınlayan 2500 yüksek öğretim kurumunu temel almaktadır. Her yüksek öğretim kurumunun toplam puanı, belirlenen göstergelerdeki performanslarına dayalı olarak hesaplanmaktadır. Değerlendirme için seçilen 2500 yükseköğretim kurumu arasında en yüksek puana sahip 2000 kurum URAP tarafından açıklanmaktadır. URAP alan sıralamaları için, Avustralya ERA (Excellent in Research for Australia) tarafından belirlenen 23 bilim alanı temel alınmaktadır.
Dünya Sıralaması Göstergeleri
URAP dünya sıralamasında, 6 gösterge kullanılmaktadır. Bu göstergeler; makale sayısı, atıf sayısı, toplam bilimsel doküman sayısı, toplam yayın etkisi, toplam atıf etkisi ve uluslararası işbirliğidir. Bu göstergelere temel oluşturan ham bibliyometrik veriler istatistiksel olarak çarpık bir dağılıma sahiptir. Bu nedenle puanlamalarda ortanca(medyan) değerleri esas alınmıştır. Her göstergenin ağırlığı uzmanlardan oluşan bir grubun katıldığı Delphi yöntemi ile belirlenmiştir. Aşağıdaki tabloda 2014 itibarıyla URAP dünya sıralamaları için kullanılan göstergeler ve ağırlıklar verilmiştir.
Makale Sayısı
Yükseköğretim kurumlarının Web of Science tarafından taranan dergilerde son yılda yayınladığı toplam makale sayısıdır. Bu gösterge, güncel bilimsel üretkenliğin ölçümü için kullanılmaktadır. Bu göstergenin toplamdaki ağırlığı %21dir ve makaleleri, derlemeleri ve bilimsel notları kapsamaktadır.
Atıf
Bu gösterge, bir kurumun bilimsel üretkenliğindeki kalitenin sürdürülebilirlik düzeyini göstermektedir. Bu gösterge için, son üç yılda yapılan yayınların aynı dönemde aldığı atıf sayısı kullanılmaktadır ve toplam puan içindeki ağırlığı %21dir.
Toplam Bilimsel Doküman Sayısı
Toplam bilimsel doküman sayısı, bir kurumun bilimsel üretkenliğinin devamlılığını ölçmektedir. Bilimsel dokümanlar; Web of Science veritabanı tarafından sağlanan ve son üç yılda yayınlanan konferans bildirileri, derlemeler, akademik mektuplar (letters), irdelemeler (discussions), yazılı metinler (scripts) ve bilimsel dergilerde yayınlanan makaleler olmak üzere tüm akademik literatürü kapsar. Bu göstergenin toplamdaki ağırlığı %10dur.
Toplam Yayın Etkisi (TYE)
Toplam yayın etkisi (TYE), bilimsel üretkenliğini ölçmektedir. Her yükseköğretim kurumunun 23 bilim alanındaki makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranı hesaplanmaktadır. Bu oran ilgili alandaki yayın sayısı ile çarpılıp 23 bilim alanı için bu çarpımlar toplanır. TYE aşağıdaki formül kullanılarak hesaplanmıştır:
Bu göstergenin toplam puandaki ağırlığı %18dir.
Toplam Atıf Etkisi (TAE)
Toplam Atıf Etkisi (TAE), bilimsel üretkenliğin kalitesini ölçmektedir. TAE; her yükseköğretim kurumunun 23 bilim alanında makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranıdır. TAE aşağıdaki formül kullanılarak hesaplanmaktadır:
Bu göstergenin toplam sıralamadaki ağırlığı % 15tir.
Uluslararası İşbirliği
Uluslararası işbirliği göstergesi, bir kurumun uluslararası tanınırlığını ölçmeyi hedeflemektedir. Üniversitelerin yabancı ülkelerdeki kurumlar ile işbirliği yaparak yayınladığı çalışmaların toplam sayısı ile hesaplanan bu gösterge için InCites verileri kullanılmaktadır. Bu göstergenin toplam sıralamadaki ağırlığı %15tir.
URAP Türkiye Sıralaması
2011'de ilan edilen son URAP Türkiye Sıralaması'nda YÖK'ün 2010 toplam yayın sıralamasında yer verdiği 125 üniversite değerlendirmeye alınmıştır. Genel sıralamanın yanı sıra üniversiteler mühendislik, temel bilimler, sosyal bilimler, yaşam bilimleri, tıp ve ziraat/çevre alanlarında da sıralanmaktadır. Bunlara ek olarak 2000 yılından önce kurulan üniversiteler, tıp fakültesi bulunan kurumlar ile devlet ve vakıf üniversiteleri de kendi grupları içerisinde ayrıca sıralanmaktadır.
Sıralamada, YÖK, ÖSYM, ISI Web of Science gibi açık, güvenilir kaynaklardan alınan ve yayın sayısı, kişi başına düşen yayın sayısı, atıf sayısı, kişi başına düşen atıf sayısı, toplam bilimsel doküman sayısı, kişi başına düşen toplam doküman sayısı, doktora öğrenci sayısı, doktora öğrenci oranı, kişi başına düşen öğrenci sayısı gibi bilimsel üretkenliğe dayanan veriler kullanılmaktadır. Genel Türkiye sıralaması, 2000 yılından önce kurulmuş olan üniversiteler, 2000'den sonra kurulmuş yeni üniversiteler, tıp fakültesi olan ve olmayan üniversiteler, devlet ve vakıf üniversiteleri aşağıdaki tabloda açıklanan 9 kriter üzerinden hesaplanan puanlara göre sıralanmıştır :
2014-2015 Yılı URAP Sıralamaları
Dünya Sıralaması
Alan Sıralaması
Ülkelere göre Sıralamalar
Kıtalara göre Sıralamalar
Kabul ve Tanınırlık
URAP, diğer büyük sıralama sistemlerinden daha fazla kurumu kapsamaktadır. European Education Dergisinde yayınlanan Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Development başlıklı çalışmanın URAP ile ilgili bölümünde URAPtan, SRG, ARWU, THE ve QSten daha az tanınmış olmasına rağmen ilgi çekici bir sıralamadır, çünkü adı geçen sıralamalar en fazla 700 üniversiteyi kapsarken URAP 2000 üniversiteden oluşan bir liste yayınlamaktadır. şeklinde söz edilmektedir. Aynı şekilde Avrupa Üniversite Birliği (European University Association) EUA 2013 Sıralaması Raporunda benzer bir ifade kullanılmaktadır: URAP ve SCImago sıralama sistemlerinin göstergeleri önemli miktarda üniversitenin performansını ölçerek sıralama piyasasında önemli bir boşluğu doldurmaktadır. Bu miktar URAP için 2000, SCImago için ise 3000in üzerindedir. Diğer sıralamalarla kıyaslandığında THEnın sadece 400, ARWU, NTU Sıralama Sistemi ve CWTS Leiden in 500, QSin ise 700 civarında üniversite sıraladığı görülmektedir.
URAPın sadece akademik performansı ölçen dört sıralama sisteminden biri olduğu bahsi geçmektedir. Diğer üçü ise; Dünya Üniversiteleri Akademik Yayınları Performans Sıralaması (Performance Ranking of Scientific Papers for World Universities), CWTS Leiden Ranking ve SCImago Kurum Sıralamalarıdır. URAP küresel sıralamalarda yer alan öğrenci kalitesi ve eğitim performansı gibi öğretim ile ilgili göstergeleri dahil etmemekte, yalnızca araştırma odaklı göstergeleri kapsamaktadır. URAP, İngilteredeki Yükseköğretim İstatistikleri Kurumunun International Benchmarking in UK Higher Education raporunda, akademik performansı ölçen ve kıyaslamada kullanılacak kaynaklar arasında listelenmiştir. Aynı raporda URAP tüm üniversite sıralamaları içerisinde kategorize edilmiştir.
URAP ile İlgili Araştırma, Kitap ve Raporlar
URAP, çeşitli çalışmalarda küresel sıralamalara atıfta bulunularak bahsedilmekte ve kullanılmaktadır. Higher Education Policy and Management Dergisinde yayınlanan World University Ranking Systems: An Alternative Approach Using Partial Least Squares Path Modelling makalesinde önerilen modelde URAP, dünya çapındaki 9 büyük sıralama sistemleri arasına dahil edilmiştir (Diğerleri ARWU, QS, Times, Webometrics, Taiwan, Leiden, SIR ve CWURdur.). Aynı çalışmada URAP yalnızca yayın performansına dayalı sıralama sistemleri arasında kategorize edilmiştir. Aynı kategorideki diğer sıralama sistemleri Performance Ranking of Scientific Papers for World Universities, CWTS Leiden Ranking ve SCImago Institutions Rankingstir.
Aşağıda URAPı ele alan ya da modellerine veya kıyaslamalarına URAPı dahil eden kitap, hakemli makaleler ve konferans bildirilerinin bir kısmı listelenmektedir.
Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Developments, European Journal of Education
World university ranking systems: an alternative approach using partial least squares path modelling, Journal of Higher Education Policy and Management
Sustainable Development and Quality Assurance in Higher Education: Transformation of Learning and Society
Determinants of University Choice: A Study on Economics Departments in Turkey, Journal of Higher Education.
Collecting University Rankings for Comparison Using Web Extraction and Entity Linking Techniques, Information and Communication Technologies in Education, Research, and Industrial Applications.
URAP-TR: a national ranking for Turkish universities based on academic performance, Scientometrics.
Using VIKOR methodology for ranking universities by academic performance, Journal of Mathematics, Statistics and Operations Research (JMSOR).
Global University Rankings and Their Impact, EUA Report in Rankings 2013, European University Association.
Contributions of Turkish academicians supervising PhD dissertations and their universities to economics: an evaluation of the 19902011 period, Scientometrics.
A Type-2 Fuzzy MCDM Method for Ranking Private Universities in İstanbul, Proceedings of the World Congress on Engineering, 2014.
Adoption of Web 2.0 in academic libraries of top African universities, The Electronic Library.
Examining Job Description to Develop Job Performance Indicators for Higher Education Institution Based on MBNQA Education Criteria, Journal of Education & Vocational Research.
Methodology for comparative analysis of university rankings, with the Mediterranean and Black sea region countries taken as an example, Middle-East Journal of Scientific Research.
Software Quality in Academic Curriculum: A Case Study in Turkey, 12th International Conference on Computational Science and Its Applications (ICCSA).
University Ranking Lists: A directory., 2013 Report, Division of Analysis and Evaluation, University of Göteborg.
Apeejay Stya Eğitim Araştırma Kurumu tarafından yayınlanan ASERF E Eğitim Haber Bülteni (ASERF E News Bulletin on Education) bazı ülkelerdeki en iyi 10 üniversitenin THEdaki sıralama sonuçlarını, URAP ve QS dahil olmak üzere diğer sıralama sistemlerinin sıralama sonuçları ile kıyaslamaktadır.
Basında URAP
Thomson Reuters partners with Times on university rankings
03.04.2013 tarihinde yayınlanan Tübingen Üniversitesi basın bülteni, üniversitenin URAPtaki sıralamasını ele almıştır.
Turkey and Arab states announce new HE collaboration, University World News
Power and responsibility The growing influence of global rankings, University World News
10 Turkish universities rank among top 500, Hürriyet Daily News
Beş Romen üniversitesinin QS, URAP, U-Multirank gibi uluslararası ve diğer sıralama sistemlerine dahil edilmesi ile ilgili rapor
Değerlendirme
URAP sıralamalarında kullanılan göstergelerin mutlak değerli, büyüklük bağımlı olması, sıralamanın büyük kurumlara yanlı olmasına neden olmaktadır. Avrupa Üniversite Birliği tarafından yayınlanan EUA 2013 Sıralama Raporuna göre URAP kitapları göz ardı etmekte, sanat ve beşeri bilimler alanındaki çalışmaları kapsam dışı bırakmakta ve sosyal bilimler alanını yeteri kadar temsil etmemektedir. Ayrıca, bibliyometrik göstergelere alan normalizasyonu uygulanmaması nedeniyle URAP alanlar arası yayın yapma kültürlerindeki farklılıkları dengeleyememektedir. Ek olarak rapor Yayın sayısı göstergesinde olduğu gibi bilhassa atıf sayısı göstergesinde sonuçlar, doğa bilimleri ve özellikle tıp alanında asimetrik dağılmıştır. şeklinde bir ifadeye yer vermiştir. Ayrıca, URAPın eğitimle ilgili göstergeleri hariç tutmasının (dahil etmemesinin), yalnızca araştırma odaklı kurumlara odaklanmasına neden olduğu ifade edilmektedir.
Göteborg Üniversitesi Analiz ve Değerlendirme Birimi tarafından yayınlanan University Ranking Lists: A directory başlıklı raporda, bir sıralama sistemine 500den fazla kurumun dahil edilmesinin neden olabileceği bir soruna işaret edilmiştir. Sorun, URAP 2000 üniversite sıralamaktadır, amaç yalnızca Batıdaki elit grubu kapsayan bir sıralama yayınlamak değildir. Bu amaç, diğer sıralama sistemlerinin listelerindeki ilk 400-500 kurumdan fazlasını yayınlamama kararı ile tamamıyla çelişmektedir. Çünkü bu seviyenin altında, sıralama yöntemlerinin güvenilir olacağını düşünmemektedirler, URAP bu problem hakkında bir açıklamada bulunmamaktadır. şeklinde ifade edilmiştir.