Kalkınma projeleri başarı ölçümü için bir yapısal eşitlik modeli: İSTKA projeleri örneği
A structural equation model for success measurement of development projects : The case of ISTKA projects
Yazar: MELTEM YONTAR
Danışman: DOÇ. DR. SEDA UĞURLU
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Son yıllarda, proje yönetimi konusunda yapılan araştırmalarda, proje başarı kriterlerinin ve kritik başarı faktörlerinin belirlenmesine yönelik yapılan çalışmalar büyük paya sahip olmuştur. Standart bir proje başarı tanımı yapmanın mümkün olmadığı bu alanda, her proje tipini kapsayacak başarı kriteri ve kritik başarı faktörü belirlemek de oldukça zordur.  
Bu çalışma ile Türkiye'deki 26 kalkınma ajansından biri olan İstanbul Kalkınma Ajansının finanse ettiği projelerin başarı kriterleri analiz edilerek, kalkınma ajansı projelerinde proje başarı algısı tespit edilmeye çalışılmıştır. Ayrıca başarı kriterleri ile kritik başarı faktörleri arasındaki olası ilişki incelenerek, başarıya etki eden en önemli faktörlerin bulunması amaçlanmıştır. Bu amaca ulaşmak için eğitim, proje ekibi, proje tasarımı, risk, sponsor, izleme ve proje başarısı değişkenlerini kapsayan bir Kısmi En Küçük Kareler Yapısal Eşitlik Modeli oluşturulmuştur. Bu model ile kurulan bağlantıların yani hipotezlerin belirlenen hedef kitle açısından desteklenip desteklenmediğinin test edilmesi amaçlanmıştır. Bunlara ek olarak, proje tipi ve proje sahibi kurumun tipi ile gerçekleştirilen projelerin algılanan başarısı arasında anlamlı bir ilişki olup olmadığı incelenmiştir. Araştırma ile ayrıca proje ekibi-proje koordinatörü, proje ekibi-izleme uzmanı ve proje ekibi-hedef kitle ilişkisi değişkenlerinin moderatör etkisi ölçülmek istenmiştir. Son olarak, model tahminlerinin farklı gruplar için farklı ilişkileri destekleyip desteklemediği test edilmiştir.
Araştırmada ilk olarak, başarı kriterleri ve başarı faktörlerinin genel çerçevesini oluşturmak için literatür çalışması yapılmıştır. Ardından, araştırma modeli kurulmuş ve test edilecek hipotezler belirlenmiştir. Daha sonra, İSTKA'nın desteklediği projelere ait belgeler ve veriler incelenmiştir. Bu aşamadan sonra, örneklem seçimi yapılmış ve belirlenen örneklemden anket çalışması yolu ile veri toplanmıştır. Toplanan veriler çeşitli analizlerden geçirilmiş ve elde edilen bulgular analiz edilmiştir. Son olarak, sonuçlar değerlendirilerek proje başarısı ve proje yönetimin iyileştirilmesi için önerilerde bulunulmuştur.
Araştırma kapsamında kullanılan veriler, İSTKA'nın 2014 ve 2015 yıllarında teklif çağrısı yöntemi ile  ilan etmiş olduğu 15 Mali Destek Programı kapsamında hibe desteği almaya hak kazanmış ve tamamlanmış 270 projeden oluşmaktadır. Çalışmada, projelerin başarı kriterlerini ve kritik başarı faktörlerini belirleyebilmek amacıyla anket uygulaması yapılmıştır. Anketi cevaplayan kişiler, projelerde görev almış proje koordinatörleri, koordinatör yardımcıları ve proje ekip üyelerinden oluşmaktadır. Bir proje üyesi, farklı dönemlerde İSTKA'nın destek olduğu birden fazla projede görev almış olabilmektedir. Bu nedenle, hedef nüfustan en son görev aldığı, faaliyetleri tamamlanmış İSTKA destekli proje için anket formunu cevaplaması istenmiştir.
Anket hazırlama sürecinde ilk olarak literatür taraması yapılmış ve başarı kriterleri ve kritik başarı faktörlerinin belirlenmesi amacıyla kullanılan anket ifadeleri belirlenmiştir. Literatür taraması ile elde edilen ifadelerin İSTKA destekli projelere uygunluğunu anlamak amacıyla projelerde görev almış proje koordinatörlerinden ve İSTKA bünyesinda çalışan ve projelerde izleme uzmanı olarak görev alan uzmanlardan görüş alınmıştır. Görüşmeler neticesinde oluşturulan anket formunda kullanılan ifadelerin anlaşılır olup olmadığının test edilmesi ve dil farklılığı nedeniyle anlam kaymasının önlenmesi amacıyla öncelikle pilot anket uygulaması yapılmasına karar verilmiştir. Pilot uygulama sonrasında oluşturulan kapsamlı anket ile veri toplanmaya başlanmıştır. Anket formu, üç ana bölümden oluşmaktadır. Birinci bölüm, anketi yanıtlayan kişinin demografik özellikleri, proje kodu ve proje ekibi büyüklüğü gibi temel soruları içermektedir. İkinci bölüm proje başarı kriterlerini, üçüncü bölüm ise başarı faktörlerini belirlemeye yönelik sorulardan oluşmaktadır. İkinci ve üçüncü bölümdeki sorularda 7'li likert ölçeği kullanılarak katılımcıların ifadelere ne derece katıldıkları belirlenmiştir.
Anket, çevrimiçi anket uygulaması Survey Monkey kullanılarak elektronik ortamda hazırlanmış ve e-posta yolu ile katılımcılara gönderilmiştir. 270 projede görev almış 460 kişiye e-posta başarılı olarak iletilmiş ve 156 kişiden yanıt alınmıştır. Sonuç olarak, analizler geçerli olan 148 katılımcının yanıtları kullanılarak yapılmıştır. Kullanılan analiz yöntemine göre bu sayının yeterli olduğu tespit edilmiştir.
Anket neticesinde elde edilen veriler üç aşamada analiz edilmiştir. İlk olarak, anketi yanıtlayanların demografik özellikleri incelenmiştir. Ardından tüm veriler dışa düşen değerler, kayıp veri, normal dağılıma uygunluk ve güvenilirlik açısından SPSS programı kullanılarak çeşitli testler yardımıyla incelenmiştir. Daha sonra, ölçüm modeli ve yapısal model SmartPLS'de analiz edilmiştir. Ölçüm modelinde her bir değişken için kullanılan ifadelerin güvenilirlik ve geçerliliği test edilmiştir. Bu amaçla, bileşik güvenilirlik (Composite Reliability), gösterge/ifade güvenilirliği, açıklanan ortalama varyans (Average Variance Extracted) ve son olarak ayrışma geçerliliği (Discriminant Validity) incelenmiştir. Hemen ardından yapısal model ile modeldeki değişkenler arasındaki ilişkinin anlamlılığı ve derecesi incelenmiştir. Bu sayede hipotezler test edilmiştir. Kurulan yirmi hipotezden on biri seçilen örneklem için anlamlı bulunmuş ve desteklenmiştir.
Sonuçlara bakıldığında, proje ekibinin projelerini başarılı olarak algıladıkları anlaşılmıştır. Fakat bu projeleri on başarı kriterine (süre, bütçe, çalışan proje, hedef kitle, proje ekibi tatmini, hedef kullanıcı yararı, en iyi çözüm, minimum problem, çarpan etkisi, hedef kitleye etki) göre değerlendirdiklerinde, algılanan başarının çok daha yüksek olduğu görülmüştür. Araştırma bulguları, İSTKA destekli projelerin proje ekibi tarafından gerçekte olduğundan çok daha başarılı algılandığını göstermiştir.
Demir üçgende yer alan süre, bütçe ve kalite ile ilgili yanıtlar incelendiğinde, İSTKA destekli projelerin yarısından fazlasının başarısız olarak nitelendirilebileceği anlaşılmıştır. Bu durum literatür çalıması kapsamında incelenen çalışmalar ile paralellik göstermektedir. Proje ekibi algısıyla, İSTKA projelerinin proje ekibi tatmini, çarpan etkisi gibi kriterler bazında başarılı olarak algılanmadığı tespit edilmiştir. Fakat hedef kitle ile ilgili olan kriterler incelendiğinde, başarı algısının yüksek olduğu görülmüştür.
Kısmi En Küçük Kareler Yapısal Eşitlik Modeli'nde yer alan altı başarı faktörü (eğitim, izleme, proje ekibi, proje tasarımı, risk ve sponsor) ile proje başarısı arasındaki ilişkiye bakıldığında proje başarısını etkileyen  en önemli kritik başarı faktörlerinin proje tasarımı, risk ve proje ekibi olduğu tespit edilmiştir.
Sonuçlara göre, proje tasarımı porje performansını etkileyen en önemli başarı faktörü olarak bulunmuştur. Bu faktör; hedeflerin belirlenmesi, faaliyetlerin tasarlanması, kilit personelin projedeki rollerinin belirlenmesi, proje çıktılarından yararlanacak olan hedef grubun belirlenmesi ve projenin uygulanması için gerekli zaman, bütçe ve işgücü gibi kaynak planının yapılmasını içermektedir. Proje performansını artırmak için bir diğer önemli kritik başarı faktörü ise risk olarak belirlenmiştir. Risk faktörü, projede olabilecek her türlü aksaklığa ilişkin planlamaların yapılması ile ilgilidir. Analizlere göre, proje başarısını etkileyen son kritik başarı faktörü olarak proje ekibi faktörü belirlenmiştir. Bu faktöre göre, proje ekibinin projeye uygun şekilde seçilmesi ve ekip üyelerinin projedeki rollerini anlamaları ve benimsemeleri proje performansını artırmaktadır.
Bu çalışmada ayrıca, proje tipi ve proje sahibi kurumun tipi ile gerçekleştirilen projelerin algılanan başarısı arasında anlamlı bir ilişki olup olmadığı incelenmiştir. Projelerin başarısının, farklı proje tiplerinden ve proje sahibi kurumların çeşitliliğinden etkilenmediği görülmüştür.
Araştırmanın diğer bir amacı ise proje ekibi-proje koordinatörü, proje ekibi-izleme uzmanı ve proje ekibi-hedef kitle ilişkisi değişkenlerinin moderatör etkisini ölçmektir. Analiz sonuçları incelendiğinde, proje tasarımının yapılması ve proje başarısı ilişkisinde proje ekibi-proje koordinatörü ilişkisi değişkeninin negatif yönlü moderatör etkisi bulunduğu görülmüştür. Dolayısıyla, proje ekibi ve proje koordinatörü arasındaki ilişkinin güçlü olduğu durumda proje tasarımının proje performansına olan etkisinin azaldığı yorumu yapılabilir. Fakat aynı analizde, proje ekibi-proje koordinatörü ilişikisinin doğrudan ve olumlu şekilde proje başarısını etkilediği görülmüştür. Eğitim ve izleme ilişkisinde proje ekibi-izleme uzmanı değişkeninin moderatör etkisi araştırılmış ve bu hipotez desteklenmiştir. Proje ekibi ile ajansın görevlendirdiği izleme uzmanı arasındaki ilişkinin güçlü olması eğitim ile izleme değişkenleri arasındaki ilişkiyi olumsuz yönde etkilediği anlaşılmıştır. Fakat aynı analizde, proje ekibi-izleme uzmanı ilişikisinin doğrudan ve pozitif olarak izlemeyi etkilediği görülmüştür.
Çalışmanın diğer bir amacı ise model tahminlerinin farklı gruplar için farklı ilişkileri destekleyip desteklemediğini test etmektir. Bu amaçla, yapısal modeldeki ilişkilerin proje uygulama yılı, projenin toplam bütçesinin büyüklüğü ve projeye verilen destek miktarının büyüklüğü açısından oluşturulan gruplar arasında farklılık gösterip göstermediği araştırılmıştır. Proje uygulama yıllarına göre yapılan grup karşılaştırması sonuçlarına göre proje tasarımın proje başarısına olan etkisi 2015 yılı MDP için daha yüksek bulunmuştur. Proje bütçesine göre yapılan karşılaştırmada, eğitimin izleme, proje başarısı ve proje tasarımı değişkenlerinin her biri üzerindeki etkisi küçük bütçeli projelerde daha yüksek bulunmuştur. Projelerin ajanstan almış oldukları toplam destek miktarı üzerinden yapılan karşılaştırmada ise izlemenin ve kurum tipinin proje başarısı üzerindeki etkisi küçük destekli projeler için daha yüksek bulunmuştur. 
Son olarak, projelerin gerçekleşen/hedeflenen performans göstergeleri ile proje ekibinin algısına göre şekillenen proje başarısı karşılaştırılmıştır. Katılımcıların algılarına göre şekillenen proje başarısı ile projelerin gerçekte olan performansları arasında anlamlı bir ilişki bulunmamıştır. Bu bulgudan, proje ekibinin projelerini olduğundan daha başarılı gördükleri sonucuna varılmaktadır.

Abstract:
In recent years, research studies on determination of success criteria and critical success factors have gained a large share in project management research. In this area, it is not possible to define a standard project success. It is also difficult to determine the success criteria and critical success factors to cover each project type.
In this study, the success criteria of the projects financed by Istanbul Development Agency, one of 26 development agencies in Turkey, were analyzed and efforts were made to determine the project success perception in the development agency projects. In addition, by examining the possible relationship between success criteria and critical success factors, it is aimed to find the most important factors affecting success. In order to achieve this goal, a Partial Least Squares Structural Equation Model has been established that includes variables of training, project team, project design, risk, sponsor, monitoring and project success. It is aimed to test whether the links established with this model, i.e. hypotheses, have been verified in terms of the target group. In addition, it has been examined whether there is a meaningful relationship between the project type and perceived success of projects, the type of project owner institution and the perceived success of the projects. It was also desired to measure the moderator effect of the project team-project coordinator, project team-monitoring specialist and project team-target group relationship variables. Finally, it was tested whether the model predictions support various relationships for different groups.
In the research, firstly literature studies were carried out to establish the general framework of success criteria and success factors. Then, the hypotheses to be tested and the research model were established. After that, the documents and data of the projects supported by ISTKA were examined. After this phase, sample selection was made and data were collected by means of survey study from the determined sample. The collected data and obtained findings were analyzed. Finally, the results obtained were evaluated and suggestions were made to improve project success and project management.
The data used within the scope of the research consist of 270 completed projects. These projects were financed under the 15 Financial Support Programs announced by ISTKA in 2014 and 2015 with the call for proposal method. In the study, a survey was conducted in order to determine the success criteria and critical success factors of the projects. The respondents consist of project coordinators, coordinator assistants and project team members. A project member may have been involved in more than one project, supported by İSTKA at different times. For this reason, they were asked to answer the questionnaire considering their completed projects. 
In the questionnaire preparation process, the literature survey was conducted and the questionnaires used to determine success criteria and critical success factors were specified. In order to understand the conformity of the statements obtained by the literature search, opinions were received from monitoring specialists and the project coordinators who worked on the projects supported by the ISTKA. Then it has been decided to conduct a pilot survey in order to test whether the expressions used in the questionnaire formed are understandable and to prevent any meaningfulness due to language differences. A comprehensive questionnaire was developed after the pilot application. 
The questionnaire consists of three main parts. The first part contains basic questions such as the demographic characteristics of the respondent, project code, and project team size. The second part consists of the questions about project success criteria and the third part consists of the questions about determining the success factors. In the questions in the second and third sections, it was determined how much participants agreement with statements by using the 7-point Likert scale. 
The questionnaire was prepared electronically using the Survey Monkey application and sent via e-mail to the participant. E-mail was successfully delivered to 460 people who were involved in 270 projects and 156 people were responded the survey. As a result, analyzes were made using valid responses of 148 participants. According to the analytical method used, this number was found to be sufficient. 
The data obtained on the basis of the questionnaire were analyzed in three steps. Firstly, the demographic data of respondents were examined. After that, all data were analyzed in terms of outliers, missing data, normality and reliability by using various tests on SPSS program. At the next section, the measurement model and the structural model were analyzed on SmartPLS program. The reliability and validity of the expressions used for each variable in the measurement model were tested. For this purpose; composite reliability, indicator/expression reliability, average variance extracted and discriminant validity were examined.  Afterwards, the meaning and degree of the relationship between the structural model and the variables in the model are examined. Hypotheses have been tested on this count. As a result, eleven of the twenty hypotheses established were significant and supported for the selected sample. 
According to the results, it was understood that the project team perceived the projects as successful. However, when evaluating these projects according to ten success criteria (schedule, budget, project worked, target group, project team satisfaction, target user benefit, best solution, minimum problem, multiplier effect, target group effect), perceived success was found to be much higher. The findings of the research showed that the projects supported by ISTKA were perceived more successfully by the project team than they were in reality. 
When the answers to the time, budget and quality in the iron triangle were examined, it was understood that more than half of the projects supported by ISTKA could be considered as unsuccessful. This situation is in parallel with the studies examined in the literature study. According to project team perception, it was determined that ISTKA projects were not perceived as successful according to criteria such as project team satisfaction, multiplier effect. However, when the criteria related to the target group were examined, it was seen that the perception of success was high. 
When we look at the relationship between six success factors (education, monitoring, project team, project design, risk and sponsor) and project success in the Partial Least Squares Structural Equation Model, it was determined that the most important critical success factors affecting project success are project design, risk and project team. 
According to the results, project design was found to be the most important success factor affecting project performance. This factor includes design of activities, identification of roles of key personnel in the project, determination of the target group to take advantage of the project outputs, and planning of the resource plan such as time, budget and labor required for the implementation of the project. Another important critical success factor to increase project performance is risk. The risk factor concerns the planning of any kind of glitch that may occur in the project. According to the analyzes, the project team factor has been identified as the final critical success factor affecting project success. According to this factor, the selection of the project team in accordance with the project and the members of the team understand the roles of the project and their adoption increases the project performance. This study also examined whether there is a meaningful relationship between the type of project and the type of institution that owns the project and the perceived success of the projects. It was seen that the success of the projects was not affected by the diversity of different project types and different project-holding institutions. 
Another goal of the research is to measure the moderator effect of the project team-project coordinator, project team-monitoring specialist and project team-target group relationship variables. When the analysis results were examined, it was seen that a negative moderator effect of the project team-project coordinator relation variable was found on the relation of project design and project success. Therefore, if the relationship between the project team and the project coordinator is strong, then the impact of the project design on the project performance can decrease. But, in the same analysis, it was seen that the project team-project coordinator relation directly and positively affected the success of project. The moderator effect of the project team-monitoring specialist variable on the relation of training and monitoring was investigated and this hypothesis was supported. It is understood that the strong relationship between the project team and the monitoring specialist, assigned by the agency, affects the relationship between the training and the monitoring negatively. But, in the same analysis, it was seen that the project team-monitoring specialist relation directly and positively affected the monitoring factor.
Another aim of the study is to test whether model predictions support different relationships for different groups. For this purpose, it was researched whether the structural model relations differed between groups in terms of project implementation year, total project budget size and amount of support. 
Finally, the actual/targeted performance indicators of the projects are compared with the project performance that is shaped by the perception of the project team. According to project team's perceptions, there was no significant relationship between the project performance and the actual performance of the projects. This finding is the result of the project team perceiving their projects more successfully than they are.
In the literature, no empirical study was conducted to examine the relationship between the performance and critical success factors of projects supported by regional development agencies in Turkey. Therefore, this study is thought to provide important contributions by filling this gap in the literature.