Akademik performans odaklı uluslararası üniversite sıralama sistemlerinin genel sıralamalarına ve ölçütlerine göre değerlendirilmesi
Evaluation of academic performance oriented international university ranking systems based on general rankings and criteria
Yazar: GÜLEDA DOĞAN
Danışman: DOÇ. DR. UMUT AL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Bilgi ve Belge Yönetimi Ana Bilim Dalı
Derece: Doktora, 2017
Konu: Bilgi ve Belge Yönetimi = Information and Records Management ; Eğitim ve Öğretim = Education and Training
Dizin: Akademik kullanım = Academic use ; Akademik personel = Academic personnel ; Akademik çalışmalar = Academic studies ; Akademisyenler = Academicians ; Dünya üniversitesi = World university ; Performans = Performance ; Sıralama yöntemleri = Ordering methods ; Ölçme-değerlendirme = Measurement and evaluation ; Üniversite sıralaması = University ranking

Özet:
Son yıllarda popüler olan ve sayıları giderek artan uluslararası üniversite sıralama sistemleri kalitenin bir göstergesi olarak algılanmakta ve üniversiteler tarafından önemli bir pazarlama aracı olarak kullanılmaktadır. Öte yandan, politika yapıcı ve karar verici konumdaki kişilerin de üniversite sıralamalarını önemsediği stratejik belgelerde, politika ve yönetmeliklerde üniversite sıralamalarıyla ilgili maddelerin yer almasından anlaşılmaktadır. Uluslararası üniversite sıralama sistemlerinin büyük kısmının üniversitelerin topluma hizmet misyonunu dikkate almadıkları ve eğitimden ziyade araştırma misyonuna odaklandıkları görülmektedir. Bu çalışmanın kapsamını da akademik performans odaklı dokuz uluslararası üniversite sıralama sisteminin 2015 yılına kadar yaptıkları genel ve/veya ölçüt bazlı sıralamalar oluşturmaktadır.  
Üç aşamada gerçekleştirilen araştırmanın ilk aşamasında genel sıralama listelerinin benzerlikleri tespit edilmiştir. Sıralama sistemlerine göre ve yıllara göre olmak üzere iki yönlü gerçekleştirilen analizlerde dört farklı benzerlik ölçümüne göre bulunan sonuçlar ısı haritaları aracılığıyla görselleştirilmiştir. Araştırmanın ikinci aşaması üniversitelerin sıralama sistemlerindeki konum değişimlerine odaklanmakta ve bu kısımda üniversitelerin konumlarının sıralama sistemlerine ve yıllara göre nasıl değiştiği saçılım grafikleri yardımıyla ortaya çıkarılmaktadır. Aynı sıralama sisteminde kullanılan ölçütlerin birbirine benzerliklerinin ve birbirleri ile olan ilişkilerinin incelendiği üçüncü aşamada çok boyutlu ölçekleme ile Spearman korelasyon testi ve kosinüs benzerlik ölçümü kullanılmıştır.
Yapılan analizlerle aynı sıralama sisteminin her yıl oluşturduğu genel sıralama listelerinin birbirine yüksek düzeyde benzer olduğu saptanmıştır. THE, genel sıralama listeleri arasında en düşük benzerlik değerlerine sahip sıralama sistemidir. Öte yandan, aynı yıl sıralama listesi sunan farklı sıralama sistemlerinin karşılaştırılması sonucunda THE ve QS'nin diğer sıralamalara en az benzeyen listelere sahip olduğu tespit edilmiştir. Aynı sıralama sisteminin farklı yıllarda oluşturduğu genel sıralama listeleri arasındaki benzerliğin ölçüt, metodoloji, veri kaynağı ya da ölçütlerin ağırlıklarında değişiklik yapılmayan yıllarda daha yüksek olduğu, kullandıkları ölçütler farklılaştıkça sıralama sistemlerinin yaptıkları sıralamalar arasındaki benzerliğin de azaldığı anlaşılmaktadır. 
Aynı sıralama sisteminin farklı yıllarda yaptığı sıralamalarda ve aynı yılda farklı sıralama sistemleri tarafından yapılan sıralamalarda üniversite konumlarının önemli değişiklikler gösterebildiği saptanmıştır. Konum değişikliğinin en dikkat çekici olduğu yılların sıralama sistemlerinin ölçüt, metodoloji, veri kaynağı veya ölçüt ağırlıklarında değişiklik yaptıkları yıllar olduğu anlaşılmaktadır. Bu anlamda en fazla değişiklik yapan URAP ve THE, üniversite konumlarında en ani değişimlere neden olan iki sıralama sistemidir. Aynı yıl oluşturulan listelerde üniversite konumlarının birbirinden en farklı olduğu sıralama sistemleri URAP, THE, QS ve CWUR'dir. 
Ölçütler üzerine yapılan analizler mevcut sıralamalarda kullanılandan daha az sayıda ölçüt ile de çok benzer listelerin oluşturulabileceğini göstermiştir. Üniversite büyüklüğüne bağımlı ölçüt içeren sıralama sistemlerinden (ARWU, NTU ve URAP) URAP için beklenenin aksine bu ölçütlerin sıralamaya önemli bir etkisinin olmadığı saptanmıştır.
Sonuç olarak, bir üniversitenin sıralamalardaki konumunun kalitesi ile eşdeğer tutulamayacağı açıktır. Üniversite sıralamalarının neyi, nasıl ölçtüğü bilinmeden önemli kararları verme amacıyla kullanılmaması gerekmektedir.



Anahtar Sözcükler
Sıralama, üniversiteler, üniversite sıralamaları, akademik performans odaklı üniversite
sıralamaları, dünya üniversite sıralamaları, ARWU, CWTS Leiden Sıralaması, CWUR,
QS Dünya Üniversite Sıralamaları, THE Dünya Üniversite Sıralamaları, URAP, SIR, US
News En İyi Küresel Üniversiteler, NTU Sıralaması

Abstract:
International university ranking systems, popular in recent years and increasing in number, are perceived as a sign of quality and are used by universities as an important marketing tool. On the other hand, it is understood that policy- and decision- makers pay attention to the subject, as strategic documents, policies and regulations include articles related to university rankings. International university rankings do not take the community service mission of universities into consideration and focus on research rather than educational mission. Nine research/academic performance based international university ranking systems which produced general and/or criterion-based rankings until 2015 constitute the scope of this study.
Similarities of the general ranking lists have been identified in the first phase of the research that is carried out in three stages.  In the analyses which were performed in two ways, one according to the ranking systems, and the other according to the years, the results are obtained according to the four similarity measures and visualized through the heat maps.The second phase of the research focuses on ranking position change of the universities in the ranking systems and in this section the ranking positions of the universities are revealed by means of scatter plots. In the third stage, Spearman correlation test and cosine similarity measure were used along with multi-dimensional scaling to examine the similarities and relations of the criteria used within the same ranking system. 
It has been determined that the general ranking lists generated by the same ranking system are highly similar in every year. THE has the lowest similarity values among the general ranking systems. On the other hand, as a result of comparing different systems that provide ranking lists in the same year, THE and QS are found as the least similar to the others. It is understood that the similarity between the general ranking lists of the same ranking system is higher for the years where the weighted criteria, methodology, data source or criteria are kept steady. The similarity of the ranking systems decreases in parallel with the increasing criteria dissimilarity.
The rankings of the same system in different years and the rankings of different systems in the same year have shown that ranking positions changes significantly. 
It is understood that the years when change in the ranking positions was the most noticeable are the years where ranking systems changed their criteria, methodology, data source, or criterion weights. URAP and THE, which changed mostly in this sense, are the two ranking systems that cause the most sudden changes in university ranking positions. The ranking systems in which the university rankings are the most different from each other are URAP, THE, QS and CWUR.
Analyses on criteria have shown that very similar lists can be created with fewer criteria than the ones used in the current rankings. Among the ranking systems which contain university-size dependent measures, it has been found that there is no significant effect of size dependent criteria on the rankings for URAP, while there is for ARWU and NTU.
As a result, it is clear that quality of a university can not be equated with the position in the ranking lists. University rankings should not be used to make important decisions without knowing what and how they measure.




Keywords
Ranking, universities, university rankings, university rankings by academic performance,
world university rankings, ARWU, CWTS Leiden Ranking, CWUR, QS World University
Rankings, THE World University Rankings, URAP, SIR, US News Best Global
Universities, NTU Ranking