Panelist atama problemi için bir algoritma ve karar destek sistemi: TÜBİTAK örneği
An Algorithm and a Decision Support System for the Panelist Assignment Problem: The Case of TUBITAK
Yazar: Kat, Bora
Dergi: Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Vol. 36 No. 1, 2019
Anahtar kelimeler: Engineering ; Mühendislik ; Akran değerlendirmesi,panel değerlendirmesi,karar destek sistemi,hakem atama problemi,tamsayılı programlama,sezgisel algortima,dinamik panelist atama ; peer review,panel evaluation,decision support system,reviewer assignment problem,integer programming,heuristic algorithm,dynamic panelist assignment

Proje önerilerinin sağlıklı bir şekilde ve projekonusunda uzmanlığa sahip kişiler tarafından değerlendirilmesi hem kaynaklarınetkin bir şekilde kullanılması hem de bu hizmetleri yürüten kurumlarıngüvenilirliği açısından önem taşımaktadır. Bu çalışmada, birden fazla projeönerisinin değerlendirildiği panellerde en uygun panelist kümesinin oluşturulmasıiçin potansiyel panelist adaylarını dinamik bir şekilde listeleyen biralgoritma ve bu algoritmayı kullanan bir karar destek sistemi (PaneLIST)geliştirilmiştir. MS Excel VBA tabanlı PaneLIST, ülkemizde araştırma desteklerinininönemli bir bölümünü sağlayan ve bunu gerçekleştirirken her yıl çok sayıda paneldüzenleyen TÜBİTAK’ın verileri kullanılarak oluşturulan test panellerinde sınanmışve elde edilen sonuçların öngörülen kriterlerin tamamını önemli ölçüdesağladığı görülmüştür. Ayrıca, PaneLIST’in sunduğu çözümler, uygunluk skorlarıtoplamını en büyükleyen (EBSkT) ve proje önerilerinin değerlendirme seviyeleriarasındaki sapmaları en küçükleyen (EKSp) tamsayılı programlama modelleri ilebirlikte bu iki durumu bir arada ele alan üçüncü bir modelden (EBSkT-5) elde edilenkesin ve en iyi çözümleri ile kıyaslanmıştır. PaneLIST’in, yüksek uygunlukskorları toplamını, projeler arasında dengeli bir dağılım gözeterekgerçekleştirdiği ve bu yönüyle EBSkT ve EKSp’de yer alan iki hedefi bir aradagözettiği; %5’lik bir sapma kısıtı altında en büyük skoru bulmayı amaçlayan problem(EBSkT-5) ile hemen hemen aynı (%1’in altında yakınlık) performansı gösterdiğibelirlenmiştir.

Evaluation ofproject proposals in a proper manner and by the people who have expertise onthe topics of the proposals is crucial not only for efficient deployment ofresources, but also for credibility of the funding organizations. In thisstudy, an algorithm and a decision support system (PaneLIST) are developed toprovide a dynamic list of potential panelists from which the most appropriateset of panelists will be selected. PaneLIST, which is based on MS Excel VBA,has been validated by using the data of TUBITAK, primary organizationresponsible for research funding and conducts the comprehensive peer review activitiesfor a long time. The results showed that the PaneLIST satisfies the requiredcriteria to a great extent. Moreover, PaneLIST’s performance was compared withthe results of the two integer programming models having the objectives of maximizingthe sum of relevance scores (EBSkT) and minimizing the total deviation amongthe evalution levels of the proposals (EKSp) as well as a third model (EBSkT-5)which couples the two. The numerical experiments showed that PaneLIST attainshigh sum of relevance scores with a balanced distribution in terms ofevaluation levels of proposals, thus shows regard to objectives of both EBSkT andEKSp at the same time; moreover, the results are so close (less than 1%) to theresults of EBSkT-5 in which sum of relevance scores is maximized under a 5%constraint on the total deviation among the evalution levels of the proposals.