Tamamlanmamış aralık-değerli sezgisel tercih ilişkileriyle performans değerlendirmesi: Yazılım sektöründe bir uygulama
Performance assessment with interval-valued intuitionistic preference relations: An application on software development sector
Yazar: IŞILAY TEZCAN
Danışman: DOÇ. DR. BAŞAR ÖZTAYŞİ
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Mühendislik Yönetimi Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Mühendislik Bilimleri = Engineering Sciences

Özet:
Bilgi teknolojileri sektöründeki hızlı gelişim ve sıkı rekabet, yetenekli çalışanların işe alımını ve şirkette kalmalarını sağlamayı oldukça önemli hale getirmiştir. Bu noktada çalışanların performans yönetimi, insan kaynağının verimli yönetimi ve hem çalışanların hem de şirketin sürekli gelişimini sağlamak için kritik bir role sahiptir.
Üretim yapan bir şirket gibi geleneksel organizasyon yapısına sahip bir şirkette, çalışanların görev ve sorumluluklarını ayırt etmek ve bu görev sorumluluklara göre performans değerlendirmesini yapmak bünyesinde yazılım geliştirme ekipleri bulunduran bir şirkete göre çok daha kolaydır. Sürekli değişen iş gereksinimlerine uyum sağlayıp değişikliklere hızlı bir şekilde cevap verebilmek için yazılım geliştirme ekiplerinin Scrum ve DevOps gibi yeni yazılım geliştirme ve proje yaşam döngülerini kullanmalarını gerekmektedir. Bu yeni yaklaşımlar, çalışanların bireysel bir rol oynayıp kahraman olmaya çalışmalarındansa takım çalışmasını daha ön plana koymuş, çalışanların teknik yeterliliklerin yanı sıra sosyal becerilerin de iyi olmasını gerektirmiştir. Çalışanların çapraz fonksiyonlu alanlarda teknik beceriye sahip olmalarına ek olarak; yaratıcı düşünceye sahip, hızlı uyum sağlayabilen, ekibi yönlendirebilen, kendi kendine organize olabilen, hevesli ve iyi iletişim kurabilen birer takım oyuncusu olmaları beklenmektedir. Bu durumda, organizasyonların da performans yönetim sistemlerini, değişen çalışma biçimlerine uygun olarak uyarlamaları gerekmektedir.
Çevik yöntemleri uygularken bireysel performansı nicel olarak ölçmek zor olduğundan birçok yazılım geliştirme şirketi verimli ve doğru bir şekilde performans değerlendirmesi yapmakta zorlanmaktadır. Çalışanlarından yeni yeteneklere sahip olmalarını beklerken geleneksel performans değerlendirme yöntemlerini kullanan organizasyonlarda, çalışanların asıl yetenekleri performans sonuçlarına yansımamaktadır. Bu nedenle, yazılım geliştirme ekiplerinde bireysel performans değerlendirmesi yaparken kullanılan performans değerlendirme kriterlerinin çevik yazılım geliştirme prensipleriyle çelişmemesi ve kriter ağırlıklarının kriterlerin proje yaşam döngüsündeki önemine göre hesaplanması oldukça önemlidir.
Performans değerlendirmesi, karar vericilerin birden fazla kriteri göz önünde bulundurarak tercih yaptıkları bir karar verme sürecidir. Çevik metotlarla yazılım geliştiren ekiplerde, hangi perfromans kriterinin bireysel performansın ve takım performansının artmasına daha fazla katkı yaptığını ölçmek, kriterlerin çoğunun net sayılarla ifade edilebilen bir etkisi ve çıktısı olmadığından oldukça zordur. Ayrıca, yazılım geliştirme ekiplerinde performans ölçümünün zor olmasının yanı sıra, karar verme sürecinin kendisi, insan düşüncesinin belirsizliğini ve tereddütlerini içerdiği için karmaşık bir problemdir. Bu karmaşıklığın üstesinden gelmek için Analitik Hiyerarşi Süreci (AHS) ve Zadeh tarafından geliştirilen bulanık küme teorisi literatürde yaygın bir şekilde kullanılmıştır. Ancak Atanassov tarafından geliştirilen ve üyelik derecesi, üye olmama derecesi ve tereddüt derecesi ile ifade edilen sezgisel bulanık küme kavramı bulanıkla mücadele etmek için daha esnek bir çözüm sağlar. Daha sonra Atanassov ve Gargov tarafından geliştirilen aralık-değerli sezgisel bulanık küme kavramıyla, üyelik ve üye olmama derecelerini kesin ve gerçek değerlerle ifade etme zorluğu aşılmıştır. Xu'nun aralık-değerli sezgisel bulanık kümeleri, çok kriterli karar verme alanına uygulaması ve Tamamlanmamış Aralık-Değerli Sezgisel Tercih İlişkilerini (TADSTİ) tanımlamasıyla birlikte, karar vericinin üstündeki zaman baskısı veya karar vericinin yeterli bilgi ve deneyime sahip olmaması gibi problemlerinin önüne geçilmesi hedeflenmiştir. TADSTİ'ler sayesinde sadece bir kriterin diğer kriterlere göre öneminin karşılaştırılmasıyla kriter ağırlıklarını hesaplamak mümkün olmuştur. Bu çalışmada da uygulama olarak, uluslararası bir firmanın Arge departmanında faaliyet gösteren bir yazılım geliştirme test ekibinin performans ölçümü ele alınmıştır. 4 ana kriter ve 12 alt kriterin ağırlığı TADSTİ'lerle hesaplandıktan sonra, Öztayşi ve diğ. tarafından PROMETHEE (Değerlendirmenin Zenginleştirilmesi için Tercih Sırası Düzenleme Metodu)'den türetilen performans gösterge fonksiyonlarından tip-III ve Tip V, kriterlere uygun performans gösterge fonksiyonu olarak seçilmiş ve her bir kriter için elde edilen sonuçların ağırlıklı toplamıyla total performans skoru hesaplanmıştır.
TADSTİ'lerle yapılan hesaplamalara göre söz konusu ekip için çıktı kalitesi ile teknik yeterlilik ve sorun çözme kriterleri yüksek öneme sahipken; dürüstlük ve görevlerin tamamlanma süresi, ekip çalışmasına katkı, kendini adama, genel davranış, kendini geliştirme ve zorlu görevlerin başarımı orta derecede önemli kriterler; yönlendiricilik ve sorumluluk alma, çoklu görevleri başarabilme, bilgi paylaşımı ve stres yönetimi nispeten daha  düşük öneme sahip kriterler olarak görülmüştür.
Bu çalışmadan önce söz konusu ekibin liderleri performans ölçümünü yaparken her bir kritere eşit ağırlık vererek hesaplama yaptığından, toplam performans skoru çalışanların gerçek performansını yansıtmamaktaydı. Bulanık küme teorisinden türetilen Tamamlanmamış Aralık-Değerli Sezgisel Bulanık Küme teorisinin uygulanışıyla birlikte hesaplanan performans skoru takım liderlerine daha doğru bir veri sağlamıştır.
Ayrıca, ağırlıkları hesaplanan performans kriterleri sadece performans skorunun doğru hesaplanmasında değil, çalışanlarla birlikte bir sonraki dönem için hedefler belirlenirken hangi noktalara daha fazla önem verilmesi gerektiği konusunda da fayda sağlamaktadır.
Uygulama sırasında kriterlerin ağırlıklarının belirlenmesi için yapılan hesaplamaları daha hızlı ve doğru bir şekilde yapabilmek için Java programlama diliyle bir yazılım geliştirilmiştir. Uzmanlar, tek bir kriterin diğer kriterlere göre önemini "Çok Yüksek" ve "Çok Düşük" aralığında değişen 9 dilsel terimle ifade ederek bir kıyaslama yaparak bir excel dosyası oluştururlar. Geliştirilen yazılım, bu excel dosyasını girdi olarak alıp bulanık ağırlıkları, netleştirilmiş ağırlıkları ve normalize edilmiş ağırlıkları çıktı olarak ekrana basar. Yazılım, uzman sayısına göre değişen SAB vektörünü ve kriter sayısına göre değişen diğer tüm hesaplamaları girdi olarak verilen Excel dosyası sayesinde otomatik olarak yapacaktır. Ayrıca bu yazılım sayesinde, ekibin proje gereksinimlerine göre çalışanlardan beklentisinin değiştiği durumlarda, yeni performans kriterlerine göre ağırlıkların hesaplanması için sadece excel dosyasındaki kriterleri ve ikili karşılaştırmalarını güncellemeleri yeterli olacaktır. 
İleride yazılıma bir önyüz eklenerek, uzmanların karşılaştırmaları Excel yerine arayüzden yapıp, sonuçları da yine aynı arayüzde görmeleri sağlanabilir. Ayrıca yazılım, her bir kriter için uygun olan performans gösterge fonksiyonunu seçme olanağını uzmanlara sağlayarak,  çalışanların toplam performans skorunu da hesaplayacak şekilde geliştirilebilir.
Gelecek çalışmalarda, performans değerlendirme problemi, tip-2 bulanık kümeler ve tereddütlü bulanık kümeler gibi yeni bulanık küme uzantılarıyla da ele alınabilir.

Abstract:
Fast development and strong competition in the information technologies sector makes the employment and keep of the talented employees very important. To effectively manage the human resources, to ensure the continuous development of them and as well as the company and to improve the corporate performance, performance assesment of the employees plays a critical role. 
In traditional organizations like a production company, distinguishing the roles and responsibilities and assessing the performance of the employess is much easier than an organization where software development teams have been located in. Keeping up with continuously changing business environments and responding quickly, requires software teams to use modern software development approaches and project life cycles like Scrum and DevOps (Development and Operations). With these new approaches, teamwork is more important than being a hero and social competencies are also required as much as technical skills. Employees are not just expected to have technical knowledge in cross functional areas but also they have to be a good team player, communicator, creative thinker, mentor and fast adopting, self organized and dedicated worker. At this point, organizations should adopt their performance assessment methods as changing their working styles.
Most of the software development companies are struggling to assess the performance efficiently and correctly since quantitatively measuring the individual performance is very challenging while applying agile methods. As a result, in organizations using traditional performance measuring methods but requring new talents, assesments are not generally reflecting the actual competencies of the employees. Thus, it is important that criteria to be used during individual performance evaluation of software team members, should not be conflicted with agile software development principles and their weights should be decided according to their importance in project lifecycle.
Performance assessment is a decision making process for which decision makers have to make a preference considering multiple criteria. In agile teams, this criteria should be set based on the agile requirements. By nature of these requirements, it is hard to decide which of the performance criteria would make more contibution to individual and team performance since most of them has not direct effects and outputs which can be expressed in a crisp way. Also, regardless of the difficulties of performance management in software teams, decision making itself is a complex process since it involves hesitations and ambiguity of human thoughts. . In order to overcome this complexity, Analytic Hierarchy Process (AHP) and fuzzy sets theory developed by Zadeh are widely used together in the literature. However, the  concept of intuitionistic fuzzy set (IFS) which is introduced by Atanassov  and defined by a membership degree, nonmembership degree, and a hesitancy degree seems more flexible and practical to handle uncertainty and fuzziness than the fuzzy set developed by Zadeh. Atanassov and Gargov further studied the IFS, and defined the concept of an interval-valued intuitionistic fuzzy set (IVIFS) to overcome with the difficulty of expressing the membership degree and non-membership degree in the preference relation by exact real values. As each decision making process involves decision maker's preference of an alternative over another, a preference relation can be formed. Since, expressing the preference degree with intuitionistic fuzzy values are more convenient than expressing them in real numerical values, Szmidt and Kacprzyk had defined intuitionistic fuzzy preference relations. Then, Xu and Che applied the IVIFS theory to the multiple attribute decision making field and defined incomplete interval valued intuitionistic preference relations by considering the time pressure, lack of knowledge or experience of the decision makers. Thus with IIVIPR (Incomplete Interval-Valued Intuitionistic Preference Relation), it is possible to calculate weights of performance criteria just by having comparison result of one alternative to each other alternative in linguistic scale. And in this study, an application of IVIFS theory has been done for a software test team in R&D department of an international telecommunication company. 
In this study, first, some definitions about performance management and recent software development approaches like Scrum and DevOps are given. Then, literature review on performance measurement of software teams and performance measument with fuzzy methods have been mentioned. In forth section of the study; fuzzy logic, fuzzy sets, some new extensions of fuzzy sets, fuzzy AHP, preference relations, performance indicator functions and application steps are given one by one. In the fifth section where the application details exist, first, 4 main criteria which are technical capabilities, social capabilities, task success and contribution to team and their 12 sub performance assessment criteria used to measure performance of a software test team are expressed and then each step of performance measurement method are explained. With this method, after calculating weights of the criteria using fuzzy incomplete interval valued intuitionistic preference relations, type III and type V performance indicator functions defined by Öztayşi et al. and derived from PROMETHEE (Preference Ranking Organization METHod for Enrichment of Evaluation) has been used to calculate performance score for each criteria and then total score has been calculated by summing weighted scores.
As start of  the method application, pairwise importance comparison of the first criteria to the other criterias has been asked to 3 experts (2 test team leaders and 1 project leader) in a linguistic scale having 9 intervals ranging from "absolutely low" to "absolutely high". Then in step 2, by using incomplete interval values intuitionistic preference relations,  the preference relations of other alternatives to each other have been calculated for each expert and these preference values have been aggregated in step 3. After calculating the scores of the aggregated values, in step 4, preferences are ordered and using OWA vector, fuzzy weight of each criteria has been calculated in step 5 and 6. In step 7, defuzzified and normalized main criteria weights have been calculated. As result, it is seen that between main performance criteria categories, technical capabilities has most importance and contribution to the team has least importance. In step 8, steps between 1 to 6 have been repeated for sub criterias and in step 9, sub criteria weights have been defuzzified and proportioned according to their respective normalized main criteria values. As result, it has been seen that, in this software test team where Scrum and DevOps approaches have been applied, output quality and technical competency & problem solving criteria have high importance; integrity & delivery on time, contribution to teamwork, dedication, general behaviour, self improvement and challenging task success have medium importance and, guiding & taking initiative, multitasking, knowledge sharing and stress handling have low importance according to expert evaluations. In step 10, 2 test team leaders have evaluated each employee considering their success over each sub criteria; they gave a score using a scale ranging from 1 to 5 as 1 represents highly unsuccessful and 5 represents highly successful. Only exception to this scale is K33- challenging task success sub criteria as all employees do not have challenging task assignment. For this case, employees gets 0 performance score. In step 11, using performance indicator functions, K-33- challenging task success sub criteria related calculation has been done according to Type-V and for others type-III has been used. In last step, total performance scores of the employees has been calculated considering sub criteria weights and scores calculated and then, employees have been ordered according to their performance scores. The application of this method can make the evaluation results more scientific, accurate, and objective.
Before this study, test team leaders of this team, have been using same weights for all criteria which was causing unreliability in calculated performance score. With this Incomplete Interval-Valued Intuitionistic Fuzzy Set theory extented from Fuzzy Sets Theory, calculated weights of the criteria made calculation of total performance score more realistic. And with this total performance score, it is possible to rank employees of this team. 
As criteria weights calculated with IIVIFS method helps to correct evaluation of observed performance, they also support the goal setting process for the next term by highlighting, improving which points will be more contributing to increase of individual and thus team performance.
It is important to state that during application of this method, it has been assumed that experts who are giving comparison of one criteria according to others, are making correct evaluation. Additionnaly, since an incomplete preference relation method has been applied and unknown relations have been calculated, inconsistency ratio between pairwise comparison of sub criteria will be zero. This is why it is not found necessary to conduct a consistency analysis.
In addition, during the application of IIVIFS theory to performance measurement of a software team, a software has been developed  in Java programming language to make all computations during the weight calculation process which are included in steps from 2 to 10. This software takes an excel file as an input in which experts evaluations about pairwise comparison of one alternative to other alternatives in linguistic terms exist. This software will calculate OWA vector according to expert count and all other equations according to criteria count automatically taking this excel input file as reference. As output; fuzzy, defuzzified and normalized weights of the criteria have been printed in application console screen. If somehow, the team decides to change their software approach in a way that necessites the change of performance evaluation criteria, weight calculations of new criteria will be as easy as updating this excel file. In future, an interface to take expert evaluations and to show the result can be further developed. Also, calculation of total performance score of employees can be included in the software by letting experts to select correct performance indicator function for each alternative and then calculating the score of each criteria. 
Also, in future studies, performance evaluation problem can be analyzed with other fuzzy set extensions like Type-II fuzzy sets and hesitant fuzzy sets and an application of these methods can be further tried.