Η ανάλυση αρχετύπων στη σύγκριση μοντέλων πρόβλεψης λογισμικού:
Creators: name: Πανιτσίδης, Ηλίας Ευθυμίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2014
Subjects: Εκτίμηση Κόστους Λογισμικού
Ανάλυση Αρχετύπων
Συγκριτική Αξιολόγηση
Software Cost Estimation
Archetypal Analysis
Benchmarking

description: Η ακριβής εκτίμηση του κόστους λογισμικού είναι καίριας σημασίας. Τα τελευταία είκοσι χρόνια έχει προταθεί ένα μεγάλο πλήθος μοντέλων πρόβλεψης. Παρόλα αυτά, τα αποτελέσματα σε σχέση με την ανωτερότητα του ενός ή του άλλου μοντέλου είναι αντικρουόμενα. Είναι κοινή η πρακτική των ερευνητών να συγκρίνουν το προτεινόμενο μοντέλο τους με τα ήδη υπάρχοντα έτσι, ώστε να αποδείξουν την ανωτερότητά του. Επιπλέον, δεν υπάρχει σύγκλιση απόψεων ούτε σχετικά με το ποια είναι η καταλληλότερη τεχνική σύγκρισης. Στην παρούσα διπλωματική εργασία εισάγεται για πρώτη φορά η χρήση της Ανάλυσης Αρχετύπων (ΑΑ) στη συγκριτική αξιολόγηση μεθόδων πρόβλεψης κόστους λογισμικού βάσει του σφάλματος που αυτές παράγουν. Αν και η ΑΑ είναι μια στατιστική μέθοδος που αρχικά χρησιμοποιήθηκε στο πεδίο της ελάττωσης των δεδομένων, τα τελευταία χρόνια εφαρμόστηκε και για τους σκοπούς της συγκριτικής αξιολόγησης. Ο στόχος της ΑΑ είναι η εύρεση ενός περιορισμένου αριθμού ακραίων παρατηρήσεων (τα αρχέτυπα) σε ένα σύνολο πολυμεταβλητών δεδομένων έτσι, ώστε το σύνολο των δεδομένων να μπορεί να αναπαρασταθεί ως γραμμικός συνδυασμός των αρχετύπων. Η γενική ιδέα της προτεινόμενης τεχνικής είναι ο προσδιορισμός του «καλύτερου» αρχετύπου βάσει των τιμών των μέτρων ακριβείας που εξετάζονται και στη συνέχεια η εύρεση των παρατηρήσεων-μοντέλων που παρουσιάζουν ανάλογη συμπεριφορά με το βέλτιστο. Με αυτόν τον τρόπο επιτυγχάνεται ο σκοπός της συγκριτικής αξιολόγησης των υπό εξέταση μοντέλων πρόβλεψης κόστους λογισμικού. Εκτός από τη συγκριτική αξιολόγηση των μεθόδων, τα παραγόμενα αποτελέσματα του πρώτου πειραματικού σταδίου μπορούν να χρησιμοποιηθούν για τη δημιουργία συνόλων μεθόδων, δηλαδή μεθόδων που προκύπτουν από το συνδυασμό δύο ή περισσότερων από τις βέλτιστες ανεξάρτητες μεθόδους. Το δεύτερο πειραματικό στάδιο περιλαμβάνει τη συγκριτική αξιολόγηση του συνόλου των μεθόδων - των ανεξάρτητων (solo) και των σύνθετων (ensembles) μεθόδων αποδεικνύοντας την ανωτερότητα των σύνθετων μεθόδων έναντι των ανεξάρτητων. Ο πειραματικός σχεδιασμός περιγράφεται λεπτομερώς, ενώ τα δεδομένα αντλήθηκαν από την PROMISE repository. Τα εξαγόμενα αποτελέσματα ευθυγραμμίζονται πλήρως με αυτά στα οποία κατέληξαν στην εργασία τους οι Kogacuneli et al. (2012) και η οποία αποτέλεσε τη βάση και για την παρούσα μελέτη.
description: Correctly estimating the effort to develop software is of vital importance. A large number of different estimation models have been proposed over the last twenty years. However, results regarding the superiority of one model over another are contradictory. It is common practice for the researchers to compare their model with the ones that already exist, so as to prove the superiority of the proposed model. Moreover, there is a lack of convergence regarding the techniques used for the comparison of models. In the current thesis a new approach is introduced. This is the use of Archetypal Analysis (AA) in benchmarking effort estimation models based upon the error that they produce. Although AA is a statistical method primarily used for data reduction, it has been also applied lately for benchmarking purposes. AA has the aim to find a few extreme observations (the archetypes) in a multivariate data set, in a way that all the data can be well represented as convex combinations of the archetypes. The proposed technique’s general concept is to identify which of the archetypes corresponds to the “best” model, considering the values of the accuracy measures examined, and subsequently to determine the observations-models that perform similar to the archetype model. In this manner, the objective of benchmarking effort estimation models is fulfilled. In fact, the results produced are really impressive and confirm the conclusions drawn from former studies. Apart from benchmarking purposes, the results obtained from this first phase of experimentation can also be used for building ensembles, i.e. combinations of two or more of the “best” models. The second phase of experimentation includes the benchmarking of solo and ensembles methods as a whole, demonstrating the superiority of the ensembles over the solo methods. The experimental setup is fully described, while the data used are publicly available in the PROMISE repository. The results derived concerning the superiority of ensembles over solo methods are in total accordance with those of the study of Kogacuneli et al. (2012), which constitutes the basis of the current study.