Hizmet sektöründe performans odaklı çok amaçlı karar verme: Banka performans ölçümünde analitik hiyerarşi süreci uygulaması
Performance-based multiple objective decision making in service sector: Analytical hierarchy application in banking performance evaluation
Yazar: YILDIZ ESRA ALBAYRAK
Danışman: PROF.DR. HALUK ERKUT
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2004
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
HİZMET SEKTÖRÜNDE PERFORMANS ODAKLI ÇOK AMAÇLI KARAR VERME: BANKA PERFORMANS ÖLÇÜMÜNDE ANALİTİK HİYERARŞİ SÜRECİ UYGULAMASI ÖZET Hizmetler, bir malın ya da hizmetin satışına bağlı olmaksızın, son tüketicilere ya da işletmelere pazarlandığında gereksinim ve istek doygunluğu sağlayan, bağımsız olarak tammlanabilen eylemlerdir. Bu yüzden hizmet sistemlerinin yapısı, müşteri ihtiyaçlarının karşılanmasına yönelik oluşturulmalıdır. Son 45-50 yıldır hizmet sektörünün dünya ekonomisi için taşıdığı önem çok artmıştır. Bu alandaki rekabetin artması, hizmet şirketlerinin ayakta kalması için çok daha fazla gayret sarfetmeleri gerekliliğini ortaya çıkarmıştır. Bu gelişmelere bağlı olarak hizmetin performansının tanımlanması, ölçülmesi, ölçüm değerlerindeki değişim ve dolayısıyla başarı, gittikçe önem kazanmaya başlamıştır. Hizmetler sektörünün büyümesi ve ulusal ekonomiler içinde önemli bir yer kazanması, son yılların en önemli gelişmelerinden biridir. İmalat sektörü, ekonomik gelişmede vazgeçilmez konumunu korumaktadır. Ancak, hizmetler sektörünün katkısı da azımsanamayacak boyutlardadır. Aslında ürün ve hizmet pazarları büyük Ölçüde birbirinden ayrılmaz ve birbirini karşılıklı destekleyen yapıya sahiptirler. Birinde başarılı olmadan diğerinde başarılı olmak mümkün değildir. Bu bağlamda hizmet işletmelerinde kalite yönetimi eskiye göre daha önemli hale gelmiştir. Hizmet kalitesi yaşam kalitesini belirlemektedir. Bir çok işletme, hizmet kalitesini, rekabet stratejilerinin en önemli bileşeni olarak kabul etmişlerdir. Kalitenin ölçülmesinde, müşterilerin hizmetin kalitesinden elde ettikleri doyum, ölçme hedeflerinin odak noktası olarak kabul edilmelidir. Verimliliğin ve etkinliğin yönlendirilmesinde iş ölçüm kriterlerinin kullanılması mümkündür. Ancak temel kriter, müşterilerin elde ettiği doyumdur. Çalışmada hizmet sistemlerinin performansını değerlendirmeye ve iyileştirmeye yönelik bir model oluşturulmaya çalışılmıştır. Birinci bölüm çalışmanın ana amacının açıklanmasına ayrılmıştır. Çalışmada, hizmet sistemleri için, literatürde mevcut ve pratikte kullanılan mali analiz ilkeleri ile birlikte, hizmet kalitesi, müşteri memnuniyeti gibi nitel ve nicel faktörleri birlikte değerlendiren bir performans modeli oluşturulmuş ve bu amaca yönelik olarak, literatürde geniş kullanım alanına sahip olan Analitik Hiyerarşi Süreci (AHS) yönteminden faydalanılmıştır. AHS'nin uygulanmasında, kriter, alt kriter ve ölçüm kriterleri hiyerarşik bir şekilde sınıflandırılmıştır. AHS ile oluşturulan modelin ana hedefi, performans değerlendirme işlemini hızlandırmak ve bunu yaparken de değerlendirmeyi doğru ve gerçekçi bir şekilde yapmaktır. xİkinci bölümde hizmet kavramı ve hizmet sistemlerinin yapısı üzerinde yoğunlaşılmış ve ekonomideki önemi anlatılmaya çalışılmıştır. Hizmet sistemlerini üretim sistemlerinden ayıran başlıca farklılıklar sıralanmış ve beklenen hizmet ilealgılanan hizmet arasında oluşan boşlukları ölçmeye yönelik "boşluk analizi" ile de ölçümlenebilen hizmet kalitesi anlatılmaya çalışılmıştır. Hizmet sektöründe sayısallaştırma yapılamaması, hizmetin stoklanamaması ve" talebin değişkenliği gibi nedenler, hizmet sistemlerine özel bir performans değerlendirme sisteminin oluşturulmasını gerekli kılmıştır. Çalışmada önce hizmet organizasyonlarım üretim sektöründeki gibi düşünerek verimlilik, kapasite, kalite, büyüme, rekabet gibi klasik performans boyutları hizmet işletmeleri performansı değerlendirmeye uyarlanmaya çalışılmıştır. Hizmet işletmeleri, en önemli rekabet stratejisi olarak yüksek hizmet kalitesini benimsemişlerdir. Bu yüzden aynı bölüm içinde, toplam kalite yönetimi yaklaşımının hizmet işletmeleri için önemi vurgulanmış, ancak hizmet işletmelerinde etkin kalite sistemlerinin kurulması ve yüksek kaliteli hizmetin" olıışturulmasını amaçlayan bu yaklaşımın tek başına çok da yararlı olmadığı ve söz konusu işletmelerin karlılıklarında herhangi bir iyileşme sağlamadığı belirtilmiştir. Bu başarısızlığın nedenleri ile ilgilenen bir çok çalışmadan söz edilerek bunlardan bazılarının başarısızlığın ana nedeni olarak, kalite iyileştirme çalışmalarında karar destek sistemlerinin eksikliğini görmelerinden ve bu amaçla gerçekleştirilen çok kriterli performans değerlendirme ve karar verme tekniklerinin kalite iyileştirmede ve performans değerlendirmede kullanımına yönelik çalışmalardan bahsedilmiştir. Bu çalışmada özellikle vurgulanmak istenen, kalitenin yalnızca belirli özelliklere uygunluk olmadığı, müşteri özelliklerine uygunluğun başlıca kabul kriteri olduğudur. Hizmet kalitesi, müşterinin beklentileri karşısında hizmet seviyesinin ne kadar iyi bir şekilde gerçekleştirilebildiğinin bir ölçüsüdür. Hizmet sistemlerinde müşteri memnuniyetinin önemi bir çok çalışmanın konusu olmuştur. Bu çalışmada da müşteri memnuniyetinin ölçümünün hizmet sistemleri performansında çok önemli bir yere sahip olduğu vurgulanmaya çalışılmıştır. Üretimde olduğu gibi hizmet sistemlerinde de başarının yolu müşteri odaklı olmaktır. Müşteri odaklı olmanın yolu da müşterilerin beklenti ve ihtiyaçlarım anlamak ve bunların tatminini sağlamaktır. Bu işin birinci adımı ihtiyaç ve beklentilerin tespitidir. Bu amaçla geliştirilen yöntemlerin odak noktası müşterilerden alınan bilgilerdir. Üçüncü bölümde, AHS yöntemi anlatılmıştır. AHS, farklı özellikteki kriterleri hiyerarşik bir yapıda bütünleştiren ve kriterler karşısındaki performansım tek bir değer olarak birleştiren bir metot ve karar süreci içinde, nitel ve nicel faktörleri birlikte değerlendirmeye olanak tanıyan bir yöntemdir. Dördüncü bölümde, hizmet sektöründe çok önemli bir paya sahip olan ticari bankaların tanıtımı yapılmış ve performans değerlendirmeleri ile ilgili olarak kullanılacak oranlar incelenmiştir. Bir yandan ödüne verilen fonlarla, ödünç alman fonlar arasında yaptığı aracılık, diğer yandan sermaye, iş gücü ve diğer malzemeyi girdi olarak kullanarak mevduat, kredi ve diğer bilanço kalemlerini yaratan bir rol üstlenmesi, ticari bankaların önemini gittikçe artırmaktadır. Bankalara parasını emanet eden tasarruf sahipleri, kredi ilişkisi içinde olan şirketler, bankalara kısa, orta ve uzun vadeli kredi veren yurt içi ve yurt dışı mali kuruluşlar, banka güvencesi ve garantisi ile bir taahhüt altına giren veya yatırım altına giren veya yatırım yapan kişi ve kuruluşlar, bankanın ortakları ile Merkez Bankası, ilgili bakanlıklar gibi resmi kuruluşlar, haklı sebepler ile bankaların fınansal yapıları hakkında bilgi sahibi olmak isterler. Bankaların fınansal yapılarının güçlü olup olmadığını anlamak, diğer bir xıifadeyle bankaların performanslarını değerlendirmek amacıyla finansal oranlardan yararlanan bir çok çalışma mevcuttur. Söz konusu bölüm, bankaların finansal performans değerlendirmesine yönelik olarak karlılık ve risk analizlerinin açıklanmasına yer vermiştir. Ancak banka performans değerlendirme sorunu, yapısı gereği kalitatif ve kantitatif çeşitli etkenleri, bir sistem yaklaşımı ile incelemeye olanak tanıyan bir modele gereksinim duymaktadır. Bu çalışmada, mevcut problemin bir araştırma kapsamında incelenebilmesi ve söz konusu karar probleminin hem soyut, hem somut değerleri yapısında bir arada bulundurması nedeniyle Analitik Hiyerarşi Süreci yöntemi kullanılmış ve bu yöntem çalışmanın son bölümünü oluşturmuştur. Beşinci bölüm, Türk ticaret bankalarının performansını değerlendirmeye yönelik ve AHS'nin kullanıldığı bir uygulama içermektedir. Kısaca AHS olarak bilinen Analitik Hiyerarşi Süreci yöntemi, sorunu parçalarına ayırıp alt sistemler halinde inceleyebilme şansı veren, konu ile ilgili olup da farklı kriterlere farklı tartılar uygulayan, finansal ve finansal olmayan kriterlerin bir arada kullanımına olanak veren uzmanların herbirinin görüş açılarına eş zamanlı olarak yer verebilen ve çeşitli etmenler arası etkileşimleri ortaya koyan çok amaçlı bir karar verme yöntemi olduğu için tercih edilmiştir. AHS'nin en önemli avantajları, basitliği, soyut değerleri modele dahil edebilme kabiliyeti ve değişikliklere karşı kuvvetli ve uyarlanabilir oluşudur. Çalışmanın son bölümünde AHS yönteminin bir performans modeli olarak kullanılmasıyla ilgili olarak AHS kavram ve ilkelerine dayanan ve Analitik Hiyerarşi Performans Modeli (AHPM) olarak adlandırılması uygun görülen bir model önerilmiştir. AHPM altı hiyerarşik seviyeden oluşmakta ve finansal ve finansal performans ölçütlerini birlikte bünyesinde buluşturma özelliğini taşımaktadır. Bu model sadece hizmet organizasyonları için değil, tüm işletmeleri kapsayan bir performans modeli olarak düşünülmüştür. Performans ölçüm sistemleri hizmet işletmeleri yönetiminde büyük önem taşırlar. Performans boyutları temel alınarak, diğer bir deyişle klasik yönetim anlayışıyla hizmet sistemlerinin performansı incelendiğinde tüm göstergelerin odak noktasının hizmetin fiziksel ve finansal özellikleri olduğu görülür. Modern yönetim anlayışının hizmet sistemlerinin performansına yönelik yaklaşımındaki farklılık bu yönde ortaya çıkmaktadır. Modern yönetim anlayışının hizmet sistemi performansını temel anlamda "müşteri memnuniyeti" bazında değerlendirdiğini görmekteyiz. Söz konusu çalışmada, hizmet sistemlerinin müşteri ihtiyaçlarına cevap verebilmesinin yanında söz konusu sistemlerde, bir yandan müşteri ihtiyaçlarının değişkenliği ve karmaşıklığı, diğer yandan bu ihtiyaçlara cevap verecek işlerin hızı ve etkinliği, diğer bir ifadeyle performanslarının ölçümünün önemi ve gerekliliği vurgulanmaktadır. Performans ölçümü imalat sektöründe çok kolay elde edilebilmesine rağmen hizmet sektöründe çoğunlukla zorluklarla karşılaşılmaktadır. Bu nedenle çalışma hizmet sistemlerinin performansını ölçmeye yönelik kıyaslamaya dayanan bir yöntem geliştirmeye çalışmıştır. Bu amaçla, hizmet süreçlerinin teşhisinde ve tasarımında kullanılacak iki boyutlu bir model geliştirilmiştir. Boyutlardan ilki, hizmet sistemlerini meydana getiren ve müşteri ihtiyaçlarını karşılama sırasına göre verilmiş işlerin değişkenliğini ve karmaşıklığını diğer bir ifadeyle hizmetin doğasını göstermekte, diğer boyut ise hizmet sistemlerinin bu karmaşıklık ve değişkenliğe karşı geliştirdiği finansal ölçütleri belirtmektedir. Alışılagelmiş klasik ölçüm sistemlerinin çoğunda işletme performansı çok dar boyutlarda ölçülmektedir. Klasik anlamda "daha az maliyetle daha çok üretim" ya da "üretimin ve üretim kaynaklarının verimini artırmak" olarak tanımlanabilen xuverimlilik kavramı günümüzün işletme yönetimi anlayışında işletme performansını yeterince ölçememektedir. Özellikle işletmelerin rakipleriyle yarışarak yaşamlarını sürdürme ve büyümeleri ile ilgili sorunlarında yönetime yol gösterici katkıları ve ölçülemeyenin yönetilemeyeceği gerçeği açısından, söz konusu işletmenin belirli bir zaman sonucundaki çıktısını ve çalışma sonuçlarını ortaya çıkaran performans ölçüm ve denetim sistemleri işletme yönetiminde büyük önem taşırlar. Bu çalışmada performans, işletme amaçlarının gerçekleştirilmesi için gösterilen tüm çabaların değerlendirilmesi olarak da tanımlanmış ve ekonomik performans ve sosyal performans olmak üzere iki boyutta inceleyen çok kriterli ve çok amaçlı bir yaklaşım geliştirilmeye çalışılmıştır. Performansın maliyet boyutu, üretim maliyeti ve organizasyonun verimliliğini içerir. Bu nedenle fînansal rasyolarla organizasyonların bir yandan maliyetini ve/veya riskini, diğer taraftan ise karlılığım ölçmek mümkündür.Performansın ekonomik boyutu, risk ve karlılığı içermekte, diğer yandan zaman, esneklik ve kalite gibi parasal olarak ölçümü yapılamayan, ancak finansal performansı etkileyen unsurlar ise performansın sosyal boyutunu oluşturmaktadır. Araştırmamızın uygulama konusu, 2002 yılı sonu itibariyle Türkiye'de faaliyet gösteren beş Türk ticaret bankasının performanslarının analiz edilmesidir. Araştırmanın kapsamı, Türk Bankacılık Sisteminde faaliyet gösteren beş ticaret bankası ile sınırlı tutulmuştur. Uygulamanın asıl amacı hizmet sistemlerinde finansal ve finansal olmayan ölçütlerin bir arada kullanıldığı çok ölçütlü bir karar verme modeli kurarak bir hizmet sistemi olan banka işletmesinin performanslarının değerlendirilmesine yönelik bir model önerisi getirmektir. Çalışmanın sonucunda söz konusu beş bankanın sıralaması elde edilmiş ve sadece finansal ölçütlerle yapılan performans değerlendirme çalışmalarının, diğer bir ifadeyle hizmet sistemlerinin performans değerlendirme çalışmalarının sosyal kriterler göz önüne alınmadan sadece ekonomik ölçütlerle yapılmasının yanlış ve eksik sonuçlar vereceği kanıtlanmaya çalışılmıştır. Bankaları hizmet sistemleri olarak ele alan, ve bu nedenle performanslarının değerlendirilmesinde finansal ölçütlerin yanında finansal olmayan ölçütleri de çalışmaya dahil edilmesi gerekliliği üzerinde duran uygulamanın sonucu hem sosyal hem de ekonomik göstergelerin sonuçlarım İçermektedir. xııı

Abstract:
PERFORMANCE-BASED MULTIPLE OBJECTIVE DECISION MAKING IN SERVICE SECTOR: ANALYTICAL HIERARCHY APPLICATION IN BANKING PERFORMANCE EVALUATION SUMMARY Services are actions that provide need and demand satisfaction when marketed to final consumers and organizations and that can be described independently, irrespective of the sale of a commodity or service. Because of this, the structure of service systems should be formed so that they will meet the consumers' needs. Over the last 45-50 years, the importance of service sector with regard to world economy has increased considerably. The increase in competition in this field has brought about the need for service companies to make greater efforts to survive. With these developments, defining and evaluating service performance, the change in evaluation measures and by extension success have started to be more significant. The growth of service sector and its attaining an important place in national economies is one of the most important recent developments. Production sector has been maintaining its indispensable state in economic growth. However, the contribution of service sector is not to be undervalued. In fact, the product and service markets have an inseparable and mutually supportive structure. It's impossible to succeed in one without succeeding in the other. In this context, quality management in service organizations has become more important than it used to.. Service quality determines life quality. To varying degrees, most organizations embrace high quality service as a component of their overall competitive strategy. In quality evaluation, the satisfaction of the customer with the service quality should be the focus of evaluation objectives. In productivity and efficiency measurement, financial performance evaluation criteria can be used. However, main criteria are the satisfaction of customers. The primary aim of the study is to develop an enhanced performance measurement model to assess and improve service systems' performance. The first chapter is dedicated to an appreciation of the main purpose of the thesis. The main starting point for this study is to measure the performance of service firms and to provide a multiple objective performance measurement model. In developing the model, analytic hierarchy process (AHP) approach is used. The second chapter addresses the nature of service operations, their distinctive characteristics and service quality, which is measured by the gap between customer expectations and perceptions of the service. Perhaps the most important characteristic of service systems is the presence of the customer in the service delivery system. The structure of a service system should be matched to the requirements of customers. It XIVis necessary to trade off the ability to handle the variety and complexity of the needs of different customers with the speed and efficiency of performing the required tasks. In the second chapter of this study, the service concept and the significance of service systems in economy are analyzed. The main differences between service systems and production systems are listed. In service sector, the inability to digitize and stock, and the variability of demand have led us to create a performance evaluation system peculiar to service sector. In this study, first of all, considering service organizations to be similar to production sector, classical performance dimensions such as productivity, capacity, quality, growth, and competition and service organizations performance have been tried to be evaluated and adapted. Service organization shave adopted high service quality as their most important competitive strategy. Therefore, in the same chapter, the importance of total quality management approach for service organizations has been emphasized; however, it is stated that this approach, which aims to set up effective quality systems in service organizations and to create high quality service on its own, is not very useful and also it is explained that no improvement has been achieved in the profitability of the organizations in question. Several studies about the reasons of this failure have been recited. Some of these studies regard the deficiency of decision support systems as the main cause of failure. Some other studies about the use of multiple criteria decision-making techniques in improvement of quality have been mentioned. What is especially emphasized in this study is that quality does not merely mean compatibility to certain characteristics but the main criteria for acceptance is compatibility to customer characteristics. Service quality is an evaluation of how well a service level is reached with regard to customer expectations. The importance of customer satisfaction in serviced systems has been the subject of various studies. In this study, as well, the important role customer satisfaction plays in service systems performance has been emphasized. The key to service systems, just like production, lies in being customer oriented. The only way of being customer oriented is to understand the expectations and needs of customers and ensuring their satisfaction. The first step to this is the diagnosis of these needs and expectations. The focus of the methods developed to achieve this aim is the feedback received from customers. In chapter 3, AHP method is presented. The AHP is a theory of measurement that has been extensively applied in modeling the human judgment process and it decomposes a complex decision into a multi-level hierarchical structure. In the real world of decision making, intangible factors are often more important than factors that can be measured. So AHP enables people to effectively combine both measurable and subjective factors in the decision process. In chapter 4, bank performance measurement is described. Today's competitive banking environment has heightened the need for methods to evaluate the risks and returns involved in banking. In the same chapter, some commercial with significant shares in service sector have been introduced and the ratios to be used in relation to performance evaluation have been analyzed. The issue of bank performance evaluation requires a model that enables us to analyze various factors, which are qualitative and quantitative by nature, with a system approach. Financial ratios are currently the method most often used to evaluate a bank's performance assessment. This chapter investigates the financial performance of Turkish commercial banks by using financial ratios analysis. Commercial banks play a vital role in the economy for two reasons: they provide a major source of financial intermediation and their xvcheckable deposit liabilities represent the bulk of the nation's money stock. Evaluating their overall performance and monitoring their financial condition is important to depositors, owners, potential investors, managers and, of course, regulators. In this study, because the current problem can be analyzed in research and both abstract and concrete values coexist in the decision problem in question, the method of Analytic Hierarchy Process, which comprises the last chapter of this study, has been used. Chapter five describes an application of AHP to the performance assessment of Turkish Commercial Banks. The AHP method has been preferred, because it gives us the opportunity to divide the problem into parts and analyze it in sub-systems, applies different criteria to different scales, simultaneously includes the perspectives of experts who enable the use of financial and no financial criteria together, shows interaction between various factors, and it is a multi-objective decision making method. The most significant advantages of AHP are its simplicity, ability to include abstract values to the model, and its resistance to change and its adaptability. In this chapter of the study, after AHP method has been introduced, a model about using AHP model as a performance model (Analytic Hierarchical Performance Model) has been suggested. The modeling method proposed in this study is based on the concepts and principles of AHP. The AHPM is an effective analytical and comprehensive performance model than simply financial measures and incorporates financial and no financial measures into the hierarchy. Furthermore these two types of measures are compared indirectly. A financial measure is compared with another financial measure while a no financial measure is compared with another no financial measure, respectively. The model proposed in this study uses five level hierarchical to combine financial and no financial performance measures and these financial and no financial measures are incorporated into the hierarchy by using one additional level. This model has been designed not only for service organizations, but also as a performance model involving all organizations. Performance evaluation systems play an important role in service organizations management. When service systems performance is studied, considering performance size or in other words, using classical management methods, it can be seen that the focus of all indications is the physical and financial features of service. This is where the difference in modern management's approach to service systems performance appears. It can be seen that modern management concept considers service systems performance as 'customer satisfaction'. In this study, in these service systems, on the one hand, the variability and complexity of customers' needs and, on the other hand, the speed and effectiveness businesses meeting these needs, in other words, the importance and necessity of performance evaluation are emphasized, in addition to service systems meeting customers' needs. Although performance evaluation is easy to attain in manufacturing sector, service sector often encounters problems. Because of this, a method based on comparison, designed to evaluate operational service systems, has been tried to be developed. To this purpose, a two-dimensional model to be used in the diagnosis and design of service processes has been developed. One of the dimensions shows the variability and complexity of tasks forming service systems and given according to meeting customers' needs, in other words, shows the true nature of service while the other dimension shows the financial criteria developed by service systems in reaction to this complexity and variability. xviIn most of the usual classical evaluation systems, organization performance is evaluated in a very limited way. The concept of productivity, which is classically described as 'more production with lower cost' or 'increasing the efficiency of production and production resources', in the light of modern management concept, is unable to evaluate organizational performance sufficiently. Especially, considering its guidance to the administration in dealing with organizations' problems about survival after competition and growth and considering the fact that something which cannot be evaluated cannot be managed either, the output of the organization in question after a certain time and performance evaluation and supervision systems both have a great importance in business administration. In this study performance is also described as the evaluation of all efforts made to reach organizational objectives, and a multiple criteria and multiple objective approach, which deals with performance in two dimensions, one being economic performance and the other social performance, has been tried to be developed. The economic dimension of performance involves risk and profitability. Because of this, with financial ratios, it is possible to evaluate financial performance of organizations. On the other hand, social performance dimension involves the factors of performance like time, flexibility and quality, which cannot be measured financially but affect financial performance. The last chapter of the study involves the application of these ideas. The main subject of the application is the performance analysis of five commercial banks operating in Turkey by the end of 2002. The scope of this study is limited to five commercial banks operating in the Turkish banking system. The objective of this study is to establish a multiple objective and multiple criteria decision making model in which financial and no financial criteria in service systems are used together and to suggest a model to be used in performance evaluation of banks, which are service systems. At the end of the study, a ranking of the five banks in question has been obtained, and it has been tried to prove that performance evaluation studies carried out with only financial criteria, in other words, performance evaluation studies of service systems, will produce wrong and deficient results if done only with economical criteria disregarding social criteria. Besides, a comprehensive literature scanning has been carried out prior to application and these previous studies have been presented fewer than three different headings. This study handles banks as service systems and emphasizes the necessity for including non-financial criteria as well as financial criteria in performance evaluation. The conclusion of this study includes the results of both economic indications. xvn