Eğitim türlerinin çok kriterli karar verme yöntemleriyle değerlendirilmesi
The evaluation of education types with multi-criteria decision making methods
Yazar: MEHMET SOYDAN
Danışman: PROF. DR. YUSUF İLKER TOPCU
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering
Dizin: Analitik hiyerarşi yöntemi = Analytical hierarchy method ; CRITIC yöntemi = CRITIC method ; Çok kriterli karar verme = Multi criteria decision making

Özet:
Tarihte ilk eğitim kurumu olarak bilinen Platon'un akademisinden günümüze kadar eğitime ulaşabilen insan sayısı sürekli artmıştır. Buna rağmen her dönemde insanlar eğitime erişimlerinin önünde birçok engelle (coğrafi, maddi, kapasite, savaş vb.) karşılaşmışlardır. 2020 yılına gelindiğinde dünyayı etkisi altına alan COVID-19 salgını nedeniyle birçok özel işletme ve devlet kurumunda olduğu gibi eğitim kurumları da çalışmayı bırakmak zorunda kaldı. En çok etkilenen kurumlardan biri olan üniversite eğitim kurumlarında geleneksel yüz yüze eğitime bir süre ara verildi. Bu dönemde öğrenciler eş zamanlı veya harmanlanmış olarak eğitimlerine devam etmişlerdir. Bu değişim sadece üniversite öğrencilerini değil, akademisyenleri ve üniversite yöneticilerini de olumlu ve olumsuz etkilemiştir.
Farklı eğitim türlerinde yer almış bu üç eğitim paydaşı üzerinde en uygun eğitim türünü seçmek için devlet üniversitelerinin laboratuvar çalışması gerektirmeyen bölümleri için bir karar verme çalışması yapılmıştır. Geleneksel yüz yüze eğitim, senkron uzaktan eğitim ve harmanlanmış eğitim arasındaki farkları belirlemek için literatür taranmış ve en çok tartışılan farklılıklar belirlenmiştir. Daha sonra bu farklılıklar olası kriterler olarak paydaşlara sunulmuş ve eğitim türleri arasında fark yaratacağını düşündükleri kriterler çalışmaya dahil edilmiştir. Ayrıca gözlemleri doğrultusunda üç eğitim türü arasında başka farklılıklar olup olmadığı sorulmuştur. Sonuç olarak üniversite yönetimi için 5, öğrenciler için 11, akademisyenler için 12 kriter belirlenmiştir.
Çalışmada kullanılacak kriterler belirlendikten sonra paydaşlara ait kriterler, ana kriterler altında toplanmıştır. Öğrenci paydaşı kriterleri iletişim (öğrenci-akademisyen iletişimi ve öğrenci-öğrenci iletişimi), maliyet (konaklama maliyeti ve teknolojik maliyet), teknoloji (internet erişimi ve gerekli teknolojik araçların kullanımı) ve eğitimsel (konfor alanı, motivasyon, adil değerlendirilme algısı, diploma geçerlilik algısı ve anlama kolaylığı) olmak üzere 4 ana kriter altında toplanmıştır. Akademisyen paydaşı kriterleri teknoloji (internet erişimi ve gerekli teknolojik araçların kullanımı), iletişim (akademisyen-öğrenci iletişimi ve akademisyen-akademisyen iletişimi), eğitimsel (öğrencilerin adil değerlendirilmesi, derse hazırlık için harcanan toplam zaman, konfor alanı, motivasyon ve öğretim ortamı) ve maliyet (işe gidiş geliş maliyeti ve teknolojik maliyet) ve çevresel etki olmak üzere 5 ana kriter altında toplanmıştır. Yöneticiler için daha fazla öğrenciye erişim, operasyon maliyeti, teknolojik maliyet, çevresel etki ve öğrencilerin adil değerlendirilmesi olarak elde edilen kriterler için ana kriterler oluşturulmamış ve her bir kriter ana kriter olarak ele alınmıştır.
Kriterler ana kriterler altında toplandıktan sonra üç paydaş için de anket hazırlanmıştır. Bu ankette, ana kriterler altındaki kriterler birbiriyle ve ana kriterler de diğer ana kriterlerle olmak üzere ikili karşılaştırma soruları oluşturulmuştur. Katılımcılardan ait olduğu paydaşın anketindeki sorularda daha önemli olduğunu düşündükleri kriterin önem derecesini 1 ile 9 arasında belirlemeleri istenmiştir. Ankete verilen yanıtlar toplandıktan sonra her bir karşılaştırmaya ait geometrik ortalamalar hesaplanmış ve Superdecision yazılımında AHP kullanılarak her bir kritere ait önem değerleri belirlenmiştir. Öğrenci paydaşı için elde edilen önem değerlerine göre sıralaması konaklama maliyeti (%19,13), öğrenci-akademisyen iletişimi (%11,98), teknolojik malyiet (%11,42), internet erişimi (%11,27), motivasyon (%8,49), adil değerlendirilme algısı (%7,80), öğrenci-öğrenci iletişimi (%7,50), gerekli teknolojik araçların kullanımı (%6,83), anlama kolaylığı (%6,73), diploma geçerlilik algısı (%5,50) ve konfor alanı (%3,36) şeklinde olmuştur. Böylece ana kriterlerin sıralaması eğitimsel (%31,88), maliyet (%30,55), iletişim (%19,48) ve teknoloji (%18,10) şeklinde olmuştur. Akademisyen paydaşı kriterlerinin elde edilen önem değerlerine göre sıralaması akademisyen-öğrenci iletişimi (%17,90), çevresel etki (%12,87), öğrencilerin adil değerlendirilmesi (%11,66), gerekli teknolojik araçların kullanımı (%10,52), motivasyon (%9,19), teknolojik maliyet (%8,57), akademisyen-akademisyen iletişimi (%7,94), internet erişimi (%7,20), ders için harcanan toplam zaman (%5,95), öğretim ortamı (%3,73), işe gidiş geliş maliyeti (%2,45) ve konfor alanı (%2,03) şeklinde olmuştur. Böylece, akademisyen paydaşının ana kriterlerinin önem sıralaması eğitimsel (%32,55), iletişim (%25,84), teknoloji (%17,72), çevresel etki (%12,87) ve maliyet (%11,02) şeklinde olmuştur. Üniversite yönetimi paydaşı kriterlerinin elde edilen önem değerlerine göre sıralaması öğrencilerin adil değerlendirilmesi (%39,03), daha fazla öğrenciye erişim (%24,61), çevresel etki (%13,41), teknolojik maliyet (%12,73) ve operasyon maliyeti (%10,23) şeklinde gerçekleşmiştir.
Paydaşlara eğitim türlerini her bir kriter için değişen sözel ifadelerle değerlendirmeleri için ayrı anketler hazırlanmıştır. Bu ankette, kriterlere göre eğitim türlerini her bir soru için değişen sözel ifadelerle değerlendirmeleri istenmiştir. Anket tamamlandıktan sonra en kötü sözel ifadeye 1, en iyi sözel ifadeye 5 değerlerini verilmiştir. Her bir eğitim türünün her bir kriterden aldığı puanı hesaplamak için yanıtların aritmetik ortalaması hesaplanmıştır. Öğrenci paydaşı geleneksel yüz yüze eğitime diploma geçerlilik algısı, öğrenci-öğrenci iletişimi, öğrenci-akademisyen iletişimi, motivasyon, adil değerlendirilme algısı, internet erişimi, gerekli teknolojik araçların kullanımı ve teknolojik maliyet kriterlerinde diğer eğitim türlerine göre çok daha yüksek puan verirken konfor alanı ve konaklama maliyeti kriterlerinden eş zamanlı uzaktan eğitim çok daha yüksek puanlar vermiştir. Anlama kolaylığı kriterinde ise geleneksel yüz yüze eğitim daha yüksek puana sahip olsa birbirine yakın puanlar elde edilmiştir. Akademisyen paydaşı geleneksel yüz yüze eğitimi akademisyen-öğrenci iletişimi, motivasyon, akademisyen-akademisyen iletişimi, adil değerlendirme, internet erişimi, öğretim ortamı, teknolojik maliyet ve gerekli teknolojik araçları kullanma kriterlerinden çok daha yüksek puanlamıştır. Eş zamanlı uzaktan eğitimi çevresel etki, işe gidiş geliş maliyeti kriterlerinde çok daha yüksek puanlamıştır. Konfor alanı ve derse hazırlık için harcanan toplam zaman kriterlerinde eş zamanlı uzaktan eğitim en yüksek puanları alsa da diğer kriterlerdeki gibi bir baskınlık söz konusu olmamıştır. 
Üniversite yönetimi paydaşı için yapılan ankette geleneksel eğitimin adil değerlendirme kriterinde bir baskınlığı söz konusu iken daha fazla öğrenciye erişim, çevresel etki ve operasyon maliyeti kriterlerinde eş zamanlı eğitimin baskınlığı söz konusudur. Teknolojik maliyet kriterinde ise geleneksel yüz yüze eğitim en iyi puana sahip olsa da puanlar birbirine daha yakındır.
İkinci bir kriter önceliklendirme yöntemi olarak CRITIC yöntemini uygulamak için eğitim türlerinin kriterlerden aldığı puanlar kullanılmıştır. Bu yöntem, Excel üzerinden yapılan hesaplamalarla uygulanmıştır. Öğrenci paydaşı kriterlerinin elde edilen önem değerlerine göre sıralaması konfor alanı (%24,95), konaklama maliyeti (%24,93), internet erişimi (%5,66), motivasyon (%5,63), teknolojik maliyet (%5,58), gerekli teknolojik araçların kullanımı (%5,56), adil değerlendirilme algısı (%5,56), diploma geçerlilik algısı (%5,56), akademisyen-öğrenci iletişimi (%5,53), öğrenci-öğrenci iletişimi (%5,53) ve anlama kolaylığı (%5,52) şeklinde olmuştur. Kriterlerin önemleri doğrultusunda oluşan ana kriter önemlerinin sıralaması eğitimsel (%47,22), maliyet (%30,51), iletişim (%11,22) ve teknoloji (%11,06) şeklinde olmuştur. Akademisyen paydaşı kriterlerinin elde edilen önem değerlerine göre sıralaması çevresel etki (%12,54), konfor alanı (%12,42), işe gidiş geliş maliyeti (%12,3), ders için harcanan toplam zaman (%12,29), teknolojik maliyet (%6,4), gerekli teknolojik araçların kullanımı (%6,37), internet erişimi (%6,36), adil değerlendirilme (%6,32), öğretim ortamı (%6,31), akademisyen-öğrenci iletişimi (%6,25), motivasyon (%6,22) ve akademisyen-akademisyen iletişimi (%6,22) şeklinde olmuştur. Böylece, akademisyen paydaşının ana kriterleri eğitimsel (%41,13), teknoloji (%18,07), maliyet (%16,97), iletişim (%13,83) ve çevresel etki (%9,99) şeklinde sıralanmıştır. Üniversite yönetimi paydaşı kriterleri teknolojik maliyet (%25,58), öğrencilerin adil değerlendirilmesi (%24,90), operasyon maliyeti (%16,82), daha fazla öğrenciye erişim (%16,36) ve çevresel etki (%16,34) olarak sıralanmıştır.
Kriter önemleri iki farklı şekilde belirlendikten sonra alternatif eğitim türlerinin sıralamasında PROMETHEE ve VIKOR olmak üzere iki farklı ÇKKV yöntemi kullanılmıştır. Böylece her bir paydaş için 4 farklı kombinasyon ortaya çıkmıştır.
PROMETHEE yöntemi ilk olarak AHP ile elde edilen önem değerleriyle uygulanmıştır. Öğrenci paydaşı için seçeneklerin sıralaması geleneksel yüz yüze, eş zamanlı uzaktan ve harmanlanmış eğitim şeklinde olurken, akademisyen ve üniversite yönetimi paydaşları için geleneksel yüz yüze, harmanlanmış ve eş zamanlı uzaktan eğitim şeklinde olmuştur. PROMETHEE yöntemi CRITIC yöntemiyle birlikte kullanıldığında ise sadece üniversite yönetimi paydaşı için bir değişiklik olmuştur. Üniversite yönetimi için alternatiflerin sıralaması eş zamanlı uzaktan eğitim, harmanlanmış eğitim ve geleneksel yüz yüze eğitim şeklinde değişmiştir. 
VIKOR yöntemi paydaşlar için alternatiflerin sıralanmasında uygulandığı zaman farklı sonuçlar ortaya çıkmıştır. Öğrenci için AHP yöntemiyle birlikte kullanıldığı kombinasyonda sıralamada geleneksel yüz yüze eğitim, eş zamanlı uzaktan eğitim ve harmanlanmış eğitim şeklinde olurken CRITIC yöntemiyle birlikte uygulandığında sıralama eş zamanlı uzaktan eğitim, geleneksel yüz yüze eğitim ve harmanlanmış eğitim şeklinde olmuştur. Akademisyen paydaşı için AHP yöntemiyle uygulandığında sıralama geleneksel yüz yüze, harmanlanmış ve eş zamanlı uzaktan eğitim olurken, CRITIC yöntemiyle uygulandığında eş zamanlı uzaktan, geleneksel yüz yüze ve harmanlanmış eğitim şeklinde olmuştur. Üniversite yönetimi için CRITIC ve VIKOR yöntemlerinin uygulandığı kombinasyonda sıralama geleneksel yüz yüze, eş zamanlı ve harmanlanmış eğitim şeklinde olurken diğer kombinasyonlarda geleneksel yüz yüze, harmanlanmış ve eş zamanlı uzaktan eğitim şeklinde olmuştur. 
Sonuç olarak, 3 farklı paydaşın her biri için ikisi önceliklendirme ve ikisi sıralama olmak üzere 4 farklı ÇKKV yöntemiyle toplamda 12 farklı kombinasyon uygulanmıştır. Akademisyen ve öğrenci paydaşlarında CRITIC-VIKOR ve üniversite yönetimi için CRITIC-PROMETHEE yöntemleri uygulanan kombinasyonlarda eş zamanlı uzaktan eğitim en iyi alternatif olurken kalan kombinasyonların tamamında geleneksel yüz yüze eğitim en iyi alternatif olmuştur.

Abstract:
From Plato's academy, which is known as the first educational institution in history, the number of people who can reach education has increased continuously. Despite this, in every period, people have faced many obstacles (geographical, material, capacity, war, etc.) in front of their access to education. In 2020, due to the COVID-19 epidemic that affected the world, educational institutions had to stop working, as were many private businesses and government institutions. Traditional face-to-face education was suspended for a while in university education institutions, one of the most affected institutions. During this period, students continued their education simultaneously or blended. This change has affected not only university students but also academicians and university managements both positively and negatively.
The decision-making study was conducted on these three education stakeholders, who took part in different types of education, to select the most appropriate education type. The literature was reviewed in order to determine the differences among traditional face-to-face education, synchronous distance education, and blended education types. The most discussed differences were determined. Then, these differences were presented to the stakeholders as possible criteria, and the criteria they thought would make a difference between the education types were included in the study. In addition, in line with their observations, they were asked whether there were any other differences among the three types of education. As a result, 5 criteria were determined for the university administration, 11 for the students, and 12 for the academicians.
The criteria for students were gathered under 4 main criteria the communication (academician-student communication and student-student communication), the cost (accommodation cost and technological cost), the technology (the internet accessibility and the use of required technology), and the educational (ease of understanding, perception of being assessed fairly, diploma quality perception, comfort zone, and motivation). The criteria for academicians were gathered under 5 main criteria technological (the internet accessibility and the use of required technology), cost (commute cost and technological cost), communication (academician-student communication and academician-academician communication), educational (fair evaluation of students, the total time spent for a class, comfort zone, motivation, and learning environment) and environmental impact. The criteria for the university management stakeholder were obtained as access to more students, operational cost, technological cost, environmental impact, and fair assessment of students. Main criteria were not established for university management, all criteria were considered as main criteria.
After the criteria were gathered under the main criteria, a survey was prepared for all three stakeholders. In this survey, pairwise comparison questions were formed so as criteria under the main criteria with each other and the main criteria with other main criteria. The participants were asked to determine the importance level of the criterion, which they thought to be more important, between 1 and 9 in the questions in the survey of the stakeholder they belonged to. After the answers given to the survey were collected, the geometric means of each comparison were calculated, and the importance values of each criterion were determined by using AHP in the Superdecision software. The ranking of the student stakeholder criteria according to the importance obtained by the AHP method was realized as accommodation cost (19.13%), student-instructor communication (11.98%), technological cost (11.42%), the internet accessibility (11.27%), motivation (8.49%), perception of being assessed fairly (7.80%), student-student communication (7.50), the use of required technology (6.83%), ease of understanding (6.73%), diploma quality perception (5.50%) and comfort zone (3.36%). Thus, the main criteria of student stakeholder were sorted as educational (31.88%), cost (30.55%), communication (19.48%), and technology (18.10%). The ranking of academician stakeholder criteria according to the obtained importance values is academician-student communication (17.90%), environmental impact (12.87%), fair evaluation of students (11.66%), the use of required technology (10.52%), motivation (9.19%), technological cost (8.57%), academician-academician communication (7.94%), the internet accessibility (7.20%), the total time spent for a class (5.95%), learning environment (3.73%), commute cost (2.45%) and comfort zone (2.03%). Thus, the order of importance of the main criteria of the academician stakeholder was educational (32.55%), communication (25.84%), technology (17.72%), environmental impact (12.87%), and cost (11.02%). The ranking of the university management stakeholder criteria according to the obtained importance values, fair evaluation of students (39.03%), access to more students (24.61%), environmental impact (13.41%), technological cost (12.73%) and operational cost (10.23%).
Different surveys were prepared for each stakeholder to evaluate different education types. In these surveys, they were asked to evaluate the types of education with changing verbal expressions for each question according to the criteria. After the survey was completed, the worst verbal expression was given a value of 1, and the best verbal expression was given a value of 5. The arithmetic mean of the responses was calculated to derive the score that each education type received on each criterion. According to student stakeholder answers, traditional face-to-face education got the highest scores of diploma quality perception, student-student communication, student-academician communication, motivation, perception of being assessed fairly, internet accessibility, the use of required technology, and technological cost criteria. On the other hand, synchronous distance education got the highest scores from comfort zone and accommodation cost criteria. In the criterion of ease of understanding, although traditional face-to-face education had higher scores, the scores of other education types were not obtained as differently. The academician stakeholder preferred traditional face-to-face education with much higher scores in academician-student communication, motivation, academician-academician communication, fair assessment, internet accessibility, learning environment, technological cost, and the use of required technology. However, synchronous distance education was preferred perceptibly in environmental impact and commute cost criteria. Although synchronous distance education got the highest scores in terms of two criteria, comfort zone and the total time spent for classes, there was no dominance as in other criteria. In the survey conducted for the university management stakeholder, while traditional education dominated the fair evaluation criteria, synchronous distance education dominates in terms of access to more students, environmental impact, and operational cost. In the technological cost criterion, although traditional face-to-face education has the best score, the scores are closer to each other.
To apply the CRITIC method as a second criteria prioritization method, the scores of the education types from the criteria were used. This method has been applied to calculations made in Excel. The ranking of the student stakeholder criteria according to the obtained importance values occurred as comfort zone (24.95%), accommodation cost (24.93%), the internet accessibility (5.66%), motivation (5.63%), technological cost (5.58%), the use of required technology (5.56%), perception of being assessed fairly (5.56%), diploma quality perception (5.56%), student-academician communication (5.53%), student-student communication (5.53%) and ease of understanding (5.52%). In line with the importance of the criteria, the order of main criteria importance was educational (47.22%), cost (30.51%), communication (11.22%), and technology (11.06%). The ranking of the academician stakeholder criteria according to the obtained importance values occurred as environmental impact (12.54%), comfort zone (12.42%), commute cost (12.3%), total time spent for class (12.29%), technological cost (6.4%), the use of required technology (6.37%), the internet accessibility (6.36%), fair evaluation (6.32%), learning environment (6.31%), academician-student communication (6.25%), motivation (6.22%) and academician-academician communication (6.22%). Thus, the main criteria of the academic stakeholder were listed as educational (41.13%), technology (18.07%), cost (16.97%), communication (13.83%), and environmental impact (9.99%). University management stakeholder criteria were sorted as technological cost (25.58%), fair evaluation of students (24.90%), operational cost (16.82%), access to more students (16.36%), and environmental impact (16.34%).
After determining the importance of the criteria in two different ways, alternative education types were ranked. Two distinct multi-criteria decision-making methods, PROMETHEE and VIKOR, were applied for ranking. Thus, 4 different scenarios were created for each stakeholder with four different methods, 2 for prioritization and 2 to rank.
PROMETHEE method was applied with the importance values obtained by AHP. The order of alternatives for the student stakeholder was as traditional face-to-face education, synchronous distance education, and blended education, while this was as traditional face-to-face education, blended education, and synchronous distance education for academician and university management stakeholders. When PROMETHEE method was used together with CRITIC method, there was a change only for the university management stakeholder. The order of alternatives for university management has changed as synchronous distance education, blended education, and traditional face-to-face education.
While VIKOR method was applied to rank the alternatives for the stakeholders, different results emerged. In the scenario in which VIKOR method was used with the AHP method for the student, the order occurred as traditional face-to-face education, synchronous distance education, and blended educatio. When it was applied with the CRITIC method, the order occurred as synchronous distance education, traditional face-to-face education, and blended education. For the academician stakeholder, when VIKOR method was applied with AHP method, the ranking was as traditional face-to-face, blended, and synchronous distance education. While the importance values derived from the CRITIC method were used in the ranking, the order became synchronous distance education, traditional face-to-face education, and blended education. In the scenario in which AHP was used for university administration, the ranking was traditional face-to-face education, blended education, and synchronous distance education. In the scenario in which university management stakeholder criteria were used with importance values derived from CRITIC method, the ranking became traditional face-to-face education, simultaneous distance education, and blended education.
In the last part of the study, sensitivity analysis was performed. Sensitivity analyses were applied differently according to the ranking method. In the PROMETHEE method, analysis was applied for criteria with importance of more than 10% for student and academician stakeholders and more than 20% for university management. In the VIKOR method, sensitivity analysis was applied for different v values between 0 and 1 so as in increments of 0.1.
As a result, 4 different MCDM methods, two of which are prioritization and two of which are ranking, were applied for each of the 3 different stakeholders. Thus, 12 different scenarios were evaluated in total subject to 4 scenarios for each stakeholder. Synchronous distance education was the best alternative in scenarios which CRITIC-VIKOR for academicians and student stakeholders and CRITIC-PROMETHEE for university management. In all the remaining scenarios, traditional face-to-face education occurred as the best alternative.