Bilişim alanında proje esaslı çalışan firmalarda ürün geliştirme süreçlerindeki bozucu etmenlerin modellenmesi ve etkilerinin belirlenmesi
Modeling destructive factors in product development process of project based companies in the field of information technologies and determining their impacts
Yazar: NERMİN SÖKMEN
Danışman: DOÇ. DR. FERHAN ÇEBİ ; PROF. DR. SITKI GÖZLÜ
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / İşletme Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2011
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering ; İşletme = Business Administration
Dizin: Karar ağacı = Decision tree ; Performans değerlendirme = Performance evaluation ; Risk tahmini = Risk forecasting ; Veri madenciliği = Data mining ; Yazılım projeleri = Software projects ; Çok değişkenli istatistik = Multivariate statistic

Özet:
Etkin bir ürün geliştirme süreç modelinin oluşturulabilmesi için süreci olumsuz yönde etkileyen tüm unsurların etki düzeyleriyle birlikte tanımlanmış olması gerekir. Bu doktora tezi, bilişim alanında ürün geliştiren organizasyonların ürün geliştirme yaşam döngüsü boyunca karşı karşıya kaldıkları sıkıntıları inceler; bu sıkıntıların neden olduğu takvim ve iş gücü sapmalarını ortaya çıkararak en uygun süreç performans modellerini oluşturur.Bu çalışmada ürün geliştirme süreç performansı, süre sapma miktarı, sapma oranı, iş gücü sapma miktarı ve iş gücü sapma oranıyla ölçülür. Ürün geliştirme yaşam döngüsünde süre sapmalarına neden olan tüm etmenler proje genelindeki sapma değerleriyle birlikte değerlendirilir. Yine bu etmenlerin üzerinde etkili olan diğer unsurlar belirlenir. İstatistiksel yöntemlerle ve karar ağaçları gibi veri madenciliği yöntemleriyle süre sapmasını etkileyen tüm etmenler tanımlanır. Ürün geliştirme sürecinde iş gücü sapmasına neden olan etmenler ise istatistiksel yöntemler kullanılarak ortaya çıkarılır.Bu çalışmada ürün geliştirme süreci üzerinde etkili olan etmenler iki sınıf altında toplanır. Ürün geliştirme sürecini doğrudan etkileyen etmenler, proje süresinde belirli bir gecikme yaratabilen ve gecikme miktarları bir şekilde proje ekibinden ya da proje planından elde edilebilen etmenlerdir. Süreci dolaylı bir şekilde etkileyen etmenlerin yarattığı etki doğrudan proje planlarından ya da proje ekibinden elde edilemez. Bu etmenlerin etkileri istatistiksel yöntemlerle ortaya çıkarılır.Yedi temel etmen sınıfı ürün geliştirme sürecini doğrudan etkiler. Mevcut gereksinimlerin anlaşılamaması, yeni gelen gereksinimler, genel teknik problemler, müşteri kaynaklı problemler, insan kaynaklarının temininden ve süreksizliğinden kaynaklanan problemler, satın alma problemleri ve alt yükleniciler ya da proje ortaklarından gelen problemler proje genelinde takvim gecikmelerine neden olur.Ürün geliştirme sürecini dolaylı bir şekilde etkileyen unsurlar ise on başlık altında incelenir. Geliştirilen ürünün araştırma ve geliştirme (Ar-Ge) düzeyi, yenilik yönü, ürün gereksinimlerinin tanımlı olma durumu, müşteri katılımı (desteği), proje ön hazırlık çalışmaları, yeniden kullanım, referans alınan ürünler, proje yöneticisinin yetkinlik düzeyleri, ekip elemanlarının yetkinlik düzeyleri ve ekip içi koordinasyon ve eğitim etmenleri ürün geliştirme sürecini ve yedi temel etmen sınıfını etkileyen önemli unsurlardır.75 adet biten proje üzerinde gerçekleştirilen çalışmalarda bu bozucu etmenlerin proje süresini nasıl etkilediği ortaya çıkarılmıştır. Çalışmalarda geciken projelerin hangi etmenler nedeniyle geciktiği, bu etmenlerin proje süresini ne kadar uzattığı sorgulanmıştır. Bu çalışmada ürün geliştirme sürecini doğrudan veya dolaylı bir şekilde etkileyen etmenlerle ilgili önsavlar oluşturulmuş, bu etmenlerin geliştirme süreci üzerindeki etkileri önsav sınamalarıyla ortaya çıkarılmıştır. Önsav sınamalarında Pearson, Kendall's tau_b, Kruskal-Wallis ve Mann-Whitney U yöntemleri kullanılmıştır.Bu çalışmada temel bozucu etmenler ile dolaylı etmenlerin bağımsız değişken olarak kullanıldığı beş adet regresyon modeli geliştirilmiştir. İlk regresyon modeli gereksinimlerin anlaşılamaması, genel teknik problemler, yeni gelen gereksinimler, insan kaynakları ve satın alma sıkıntıları nedeniyle oluşan sapma miktarları üzerinden toplam süre sapma miktarını tahmin eder. Modeldeki süre sapma miktarlarındaki değişkenlik, bu beş bozucu etmeninin sapma miktarları tarafından %89.5 oranında açıklanır. İkinci regresyon modeli gereksinimlerin anlaşılamaması, yeni gelen gereksinimler, genel teknik problemler, satın alma sıkıntıları ve müşteri kaynaklı sıkıntılar üzerinden toplam süre sapma oranlarını tahmin eder. Süre sapma oranlarındaki değişkenlik, bu beş bozucu etmeninin sapma oranları tarafından %90.5 oranında açıklanır.Üçüncü regresyon modeli, referans yapıların kullanılma durumunu gölge değişken olarak kullanır. Burada yeni gelen gereksinimlerin, genel teknik problemlerin ve müşterilerin neden olduğu sapmalar bağımsız değişken olarak kullanılır. Bu üç bozucu etmen modeldeki süre sapma oranlarındaki değişkenliğin %76.7'sini açıklar. Dördüncü regresyon modelinde proje yöneticisinin yönetim tecrübesi gölge değişken olarak seçilmiştir. Bu denklem gereksinimlerin anlaşılamaması, yeni gelen gereksinimler, genel teknik problemler ve müşteri problemleri etmenlerini bağımsız değişken olarak kullanır. Süre sapmalarındaki değişkenlik, bu dört bozucu etmeninin sapma değerleri tarafından %91.6 oranında açıklanır.Beşinci regresyon modelinde proje ön hazırlık çalışmaları gölge değişken olarak kullanılır. Oluşturulan regresyon modelinde yeni gelen gereksinimler, genel teknik problemler, müşteri problemleri ve proje ekibinin alan uzmanlığı etmenleri bağımsız değişken olarak seçilmiştir. Bağımlı değişkendeki değişiklik bu üç bozucu etmenin sapma oranları ve ekibin alan uzmanlığı tarafından %79.8 oranında açıklanır.Çalışmanın son bölümünde karar ağaçları tekniklerinden biri olan otomatik ki-kare etkileşim belirleme analizi (CHAID-Chi-squared Automatic Interaction Detection) yöntemi kullanılmış ve projelerdeki süre sapma oranlarını etkileyen etmen sınıfları ortaya çıkarılmıştır. Karar ağaçları üç adımda oluşturulmuştur. İlk olarak süre sapma oranları bağımlı değişken, temel etmen sapmaları ve dolaylı etmenler ise bağımsız değişken olarak seçilmiştir. Bu kapsamda iki karar modeli geliştirilmiştir.İlk model gereksinimlerin anlaşılamaması etmenini ilk ayrışma noktasına yerleştirir. Bu model proje öncesinde ön hazırlık yapılma durumunu, ürünün yenilik düzeylerini, genel teknik sıkıntılara ve sapmalara göre toplam süre sapma oranlarının bir kestirimini verir. Gereksinimlerin anlaşılamaması nedeniyle geciken projelerde sapma oranları oldukça yüksektir. Burada proje öncesinde yürütülen çalışmalar ve ürünün yenilik özelliği ön plana çıkar. İkinci modelde ilk ayrışma noktası, yeni gelen gereksinimlerdir. Bu model yeni gelen gereksinimlerin kabul edilme durumunda proje performansının nasıl etkileneceğini ortaya koyar.Daha sonra temel etmen sapmaları bağımlı değişken, süreci dolaylı bir şekilde etkileyen etmen sınıfları bağımsız değişken olarak seçilir. Bu kapsamda beş karar modeli geliştirilir. Çalışmanın üçüncü ve dördüncü modelleri, ürün gereksinimlerinin anlaşılamaması nedeniyle oluşan süre sapmalarını hedef değişken olarak seçer. Üçüncü karar modelinde ilk ayrıştırma noktası işlevsel gereksinimlerin tanımlanma düzeyidir. Bu oldukça basit bir karar ağacı modelidir. Dördüncü modelin ilk ayrıştırma noktası ise proje ön hazırlık çalışmalarıdır. Proje ön hazırlık çalışmalarını yürütmeyen projelerde gereksinim kaynaklı süre sapma oranları oldukça yüksektir. Bu modelde proje yöneticisinin alan uzmanlığı ve referans alınan yapılar ön plana çıkar.Beşinci modelin hedef değişkeni genel teknik problemlerden kaynaklanan süre sapma oranlarıdır. Tasarım gereksinimlerin tanımlanma düzeyi bu modelin ilk ayrıştırma noktasıdır. Bu modelde tasarım gereksinimlerinin tam ve doğru bir şekilde tanımlanması oldukça önemlidir. Tasarım gereksinimlerinin yeterli olmadığı durumda ekip elemanlarının teknik deneyimi ve becerisi ön plana çıkar.Altıncı modelde yeni gelen gereksinimlerden kaynaklanan süre sapma oranları hedef değişken olarak seçilmiştir. Model ilk ayrıştırmayı bu gereksinimlerin kabul edilme durumuna göre yapar. Yeni gereksinimlerin kabul edilmesi durumunda geliştirilen ürünün yenilik düzeyi ön plana çıkar. Yedinci modelde satın alma sürecinin neden olduğu sapma durumları hedef değişken olarak seçilir. Bu modelde gecikme olasılığını ürünün Ar-Ge özelliği belirler.Son aşamada süre sapma oranları bağımlı değişken ve süreci dolaylı bir şekilde etkileyen etmen sınıfları ise bağımsız değişken olarak seçilir. Sekizinci ve dokuzuncu modellerde projelerdeki süre sapma oranları ürün gereksinimlerinin tanımlı olma durumuna ve proje yöneticisinin yetkinlik düzeylerine göre incelenir.Proje yöneticisinin yetkinlik düzeyini referans alan model, yönetim tecrübesinin çok iyi olduğu durumlarda yüksek gecikme oranlarına sık rastlanılmadığını gösterir. Bu kategorideki gecikmelerin neredeyse tamamı ürünün yenilik özelliğiyle ilgilidir. Model, ön hazırlık çalışması yapılmayan ve yetkin proje yöneticileri tarafından yönetilmeyen projelerin çoğunda süre sapma oranlarının çok yüksek olduğunu gösterir.Gereksinimlerin tanımlı olma durumunu referans alan model, proje başlangıcında ürün gereksinimlerini tam ve doğru bir şekilde tanımlayan projelerde yüksek süre sapma oranlarına rastlanılmadığını gösterir. Gereksinimlerin tam olduğu durumda müşteriden kuvvetli bir destek gelirse, projelerin tamamı gecikmeye uğramadan ya da çok az bir gecikmeyle tamamlanır. Bu durumun geçerli olmadığı projelerde gecikmenin yüksek miktarda olması kaçınılmazdır. Model, ürün gereksinimlerinin tam olmadığı durumlarda proje yöneticisinin süreç üzerideki etkisini gösterir.Özet olarak, geniş bir literatür taraması sonunda ürün geliştirme sürecinde etkili olan bozucu etmenler ortaya çıkartılmış ve bununla ilgili önsavlar oluşturulmuştur. Elde edilen gerçek proje bilgileri yardımıyla proje performansı üzerinde etkili olan etmenler, istatistiksel yöntemlerle incelenmiştir. Yürütülen tüm sınamaların sonuçları ilişki diyagramlarında özetlenmiştir. Tespit edilen bozucu etmenlerin süreç performansını ne şekilde etkilediği çoklu regresyon ve karar ağaçları yöntemleriyle modellenmiştir. Çoklu regresyon modellerinde temel bozucu etmenlerle birlikte dolaylı etmenler de girdi değişkeni olarak seçilmiştir. Oluşturulan bu modeller girdi değişkenleri üzerinden süre sapma değerlerini tahmin eder. Bu çalışma, bozucu etmenlerin etkilerini oluşma olasılıkları ve sapma değerlerine göre de inceler. Bu incelemelerde karar ağacı yöntemi kullanılmıştır. Karar ağacı mekanizmaları yardımıyla bozucu etmenlerin hangi koşullarda tetiklendiği ve etkilerinin ne olacağı ortaya çıkarılmıştır.

Abstract:
All the factors and their level of efficiency, which have a negative impact over the process, should be defined for the model of an efficient product development process. This doctorate thesis analyses the difficulties faced by the organizations developing product in the information technologies field during the product development lifecycle and creates the most appropriate performance models, uncovering the time and effort deviations coming from these difficulties.In this work, the process performance of product development is measured by four basic deviation values: time deviation quantity, time deviation rates, effort deviation quantity and effort deviation rates. When the planned period is removed from the completion period of the project, the deviation quantity is reached. When the deviation quantity is divided by the planned project period, the deviation rate is found. Similarly, the effort deviation quantity is the difference between the actual and the planned project efforts. The effort deviation rate shows at what rate development effort calculated in the beginning of the project deviates.All the factors causing time and effort deviations in the product development lifecycle are evaluated with their deviation rates and quantities in the total project and the elements having an impact on these factors are exposed.There are seven basic factor classes having a direct impact over the product development process and cause the deviations from the plan in the project. The requirements coming from the users and clients make a start to the product development process. The problems or misinterpretation or deficient interpretation of the requirements have a negative impact over the development process during the requirement analysis. These factor classes gathered under the title of the understandability of requirements define the difficulties and deviations caused by the product requirements. The change of the requirements in the product development lifecycle is an inevitable situation. The difficulties of the changing requirements were analyzed under the title of new requirements.In some projects, the environment, data, document and confirmation, which will be provided by the customer to go on the development process are needed. When the customer cannot provide this information on time, the process has difficulties. The situations rising from the clients are evaluated under the title of customer based difficulties.Another important facility of the product development process is the implementation of the analyzed requirements. The difficulties appeared during the product development (difficulties rising from the technical features, development and test environments and devices) were evaluated as general technical difficulties.The difficulties arising from the discontinuity of the human resources, the difficulties arising from the subcontractors and the project partners and the difficulties during the product supply were evaluated respectively under the name of human resources difficulties, subcontractor and project partner difficulties, and purchasing difficulties.During the product development process, there are also some factors having an indirect impact over the process. These factors are the factors whose effect on project performance cannot be obtained directly from project plans or project team. Factors such as reusing strategy, preliminary preparation studies, the state of taking a product or a system as a reference, competence levels of team members, competence levels of project manager, innovation level of the product, Research and Development level (R&D) of the project, state of product requirements being identified and customer participation are included in this category.The impacts of direct and indirect destructive factors over the project period and project effort were exposed with the works carried out on the 75 finished projects. Which factors have an impact over the delay of the projects and how much these delays prolong the project period (as quantity and rate) were analyzed. Similarly, the factors that could affect project effort and effort deviations are also studied.All the hypotheses about all the factors having a direct or indirect impact over the product development process were composed in this work. With respect to their appearance frequency and magnitude, the effective factors over the process were uncovered after testing the hypotheses. The hypotheses were analyzed with the methods of Pearson, Kendall?s tau_b, Kruskal-Wallis and Mann-Whitney U.When the appearance frequency of the destructive factors and their level of affecting the process were evaluated, it was seen that the understandability of requirements and the general technical difficulties have a great effect over the product development process. These factors are followed by new requirements, client based difficulties, and human resources. Even when this order can change within itself, the general perspective does not change in time deviation rates. The correlation analyses carried out supports these findings.The relations among the factors indirectly affecting the product development process, time deviation quantities, time deviation rates, effort deviation quantities and effort deviation rates are evaluated. It was revealed that there is a negative relationship between the management experience of the project manager and the time deviation values. This relationship is better at the groups having a perfect management experience. The similar results are reached when the domain expertise and technical skill of the project manager are compared with the time deviation values. Furthermore, there is a negative relationship between the competence levels of the project manager and effort deviation rates. On the other hand, there is no relationship between the domain expertise and management skill of the project manager and effort deviation quantity.It is seen that there is a weak and negative relationship between the competence levels of the project team and time and effort deviation quantities. Conversely, there is no relationship between the project and technical experience of the team and time deviation rates. Furthermore, no relationship was found between the competence levels of the team and effort deviation rates. The competence levels of the team members are contrasted with the deviation rates rising from the basic destructive factors. It was seen that there is a negative relation between the domain expertise and the understandability of requirements and new requirements. Also, there is a negative relation between the technical experience and general technical problems and purchasing difficulties.Time deviations are influenced by preliminary preparation studies, the use of existing products, and the state of taking a product or a system as a reference. On the other hand, effort deviations are only influenced by preliminary preparation studies. It was understood that there are negative relationships between three basic factor classes (the understandability of requirements, new requirements and customer problems) and level of defining the operational, functional and design requirements. On the other hand, it is seen that the general technical problems are only related to levels of defining the functional and design requirements. Furthermore, effort deviations are influenced by level of defining the operational, functional and design requirements.Although there is a difference among the R&D levels of the projects in terms of their quantities of time and effort deviation, there is no such difference in their rates of time and effort deviation. When the relation between the innovation levels of the product and time deviations of the project was analyzed, it was seen that there is a difference between the projects which have innovative features and which do not in terms of time deviation values. The similar results were found for the effort deviation quantities. On the other hand, it was revealed that there is no difference among the innovation levels of the products in terms of their effort deviation rates.After a few tests carried out, the impacts of the all factors over the project time values were found and they were visualized with the correlation diagrams.In the last two parts of the work, factor classes were uncovered with two different modelling methodologies, namely multiple regression analysis and decision tree techniques. Multiple regression analysis was used to analyze the relationship between the project time deviations and the basic factors having a direct impact over the product development process. A total of five regression models were composed in this study.The understandability of requirements, new requirements, general technical difficulties, purchasing difficulties and human resources difficulties were selected as independent variables for the overall project deviation quantities model. Time deviation quantities of these basic factor classes were weighted by the regression analysis procedure to obtain best prediction model for the deviation quantities. The generated regression equation can explain 89.5% of the variance in the dependent variable.The second regression model predicts the total time deviation rates based on the understandability of requirements, new requirements, general technical difficulties, purchasing difficulties and customer based difficulties. 90.5% of the variance in the time deviation rates can be explained by these five destructive factors.The state of taking a product or a system as a reference is used as dummy variable to estimate the overall project deviation rate in the third regression model. The deviations rates caused by new requirements, general technical problems and customer based problems are the independent variables of the model. 76.7% of the variance in the time deviation rates can be explained by these three destructive factors.The fourth regression model uses management experience of the project manager as a dummy variable. This model predicts the overall time deviation rates based on the understandability of requirements, new requirements, general technical difficulties and customer based problems. %91.6 of the variance in the time deviation rates can be explained by this regression equation.Furthermore, in the last regression model, the preliminary preparation studies are used as dummy variable to estimate the overall project deviation rate. The model uses new requirements, general technical difficulties, customer based difficulties and the domain experience of the team as independent variables. %79.8 of the variance in the time deviation rates can be explained by these three basic destructive factors and the domain experience of the team.In the last part of the work, the factor classes which influence the rates of the project time deviation were uncovered, with CHAID, which is one of the decision tree techniques. The decision trees were composed in three steps. Two models were created at the first step. These models accept the total project time deviation rates as dependent variable and basic factor deviations and indirect factors as independent variable.The first model assumes the factor of the understandability of requirements as the first decomposition point. This model estimates the total project time deviation rates according to the state of preliminary preparation studies, the innovation levels of the products, the general technical difficulties and deviations. If the requirements are not well understood, it is inevitable that the delay will be at high level. The state of preliminary preparations and the innovation level of the products come to the fore.In the second model, the first decomposition point is the problems coming from the new requirements. This model uncovers how the new requirements will affect the project performance if they are accepted.Five models were created at the second step. These models accept the basic factor deviations as dependent variable and the factor classes influencing the process indirectly as independent variable. The third and fourth models accept the time deviations originating from the understandability of requirements as the target variable. The third model is a very easy model. The state of functional requirements being identified is only one decomposition point in the model. The fourth model accepts the deviations rising from the understandability of requirements as the target variable and makes a start to decomposition with the preliminary preparation works carried out before the project. If systematic preliminary preparation studies have not been conducted, the deviation rates increase. Domain knowledge of the project manager and the state of taking a product as a reference come to the fore in this model.In the fifth model, the time deviation values coming from the general technical problems are accepted as the target variable. The accurate definition of the design requirements is the first decomposition point in the generated decision tree.In the sixth model, deviation states of the new coming requirement were chosen as the target variable. All elements having an impact over the deviations due to this factor were uncovered. In the seventh model, the delays resulting from the purchasing process were analyzed. The R&D level of the products determines the probability of delay.Finally, two models which accept the total project time deviation rates as dependent variable and the indirect factor classes as independent variable were created. These models analyze the time deviation rates in terms of the state of requirement to being defined and the competence levels of project manager.The model taking the competence levels of project manager as a reference shows that there are usually no significant delays at the groups having a perfect management experience. Almost all of the delays in this category are related to the innovation features of the product. The model taking the state of the requirements to be defined as a reference shows that there are not high rates of time deviation in the projects whose product requirements are defined completely and properly at the beginning of the project. The model shows how the other factors influence the process performance in case of the deficient product requirements.In summary, the destructive factors having an impact over the product development process were completed after a wide research and the hypotheses were written. Seventy-five pieces of project information were reached after the studies were done over the finished projects. The impact of these factors (their frequency and magnitude) was exposed by the statistical methods executed on the real project information acquired. The result of all the tests carried out with the correlation analyses was summarized in correlation diagrams. The impact of the defined destructive factors over the process performance were modelled with the multiple regression analysis and decision trees techniques, and the interaction between the factors, which affect the process directly and indirectly was shown with these models. The decision models and regression equations mentioned in this thesis are the best models among other models in terms of the results of estimation.