Συνθετική εκτίμηση κόστους ανάπτυξης λογισμικού με τη χρήση της περιβάλλουσας ανάλυσης δεδομένων
Creators: name: Χαρμάνας, Κωνσταντίνος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Εκτίμηση κόστους ανάπτυξης λογισμικού
Περιβάλλουσα ανάλυση δεδομένων
Συνθετικά μοντέλα
Software development effort estimation
Data envelopment analysis
Ensemble models

description: Η θεματολογία της συγκεκριμένης διπλωματικής εργασίας περιστρέφεται γύρω από το γενικό επιστημονικό πεδίο της εκτίμησης κόστους ανάπτυξης λογισμικού. Στην παρούσα εργασία υλοποιείται μία έρευνα δημιουργίας ενός συνθετικού μοντέλου πρόβλεψης, με σκοπό τη χρήση του για μεταγενέστερες εκτιμήσεις κόστους ανάπτυξης λογισμικού και τη μελέτη της απόδοσης του. Σαν αρχικά δεδομένα της εργασίας χρησιμοποιηθήκαν πραγματικές τιμές κόστους ανάπτυξης λογισμικού και αντίστοιχες εκτιμήσεις από διάφορα μοντέλα πρόβλεψης για κάθε παρατήρηση. Συλλέχθηκαν στο σύνολο πληροφορίες για 10 σύνολα δεδομένων τα οποία εξετάστηκαν ξεχωριστά για τη σύγκριση της απόδοσης των μοντέλων. Με τη χρήση αυτών των πληροφοριών έγινε εφικτή η βαθμολόγηση της προβλεπτικής ικανότητας του κάθε μοντέλου υπολογίζοντας συγκεκριμένες μετρικές σφάλματος, 7 στο σύνολο, και υλοποιώντας συγκρίσεις μεταξύ των μοντέλων με τη χρήση της Περιβάλλουσας Ανάλυσης Δεδομένων (ΠΑΔ). Δημιουργώντας 10 κατατάξεις για κάθε σύνολο δεδομένων αντλήθηκαν πληροφορίες για τις βαθμολογίες των μοντέλων και εφαρμόστηκε ο αλγόριθμος Scott-Knott Algorithm για την εύρεση των αποδοτικότερων μοντέλων πρόβλεψης με βάση αυτές. Το υποσύνολο που αντλήθηκε χρησιμοποιήθηκε για την κατασκευή του συνθετικού μοντέλου πρόβλεψης , όπου το κάθε μοντέλο έχει συμμετοχή-βάρος που σχετίζεται με τις βαθμολογίες του. Το τελευταίο στάδιο της έρευνας αφορά της σύγκριση του μοντέλου που δημιουργήθηκε με τα «απλά» μοντέλα πρόβλεψης που ήδη διατέθηκαν. Χρησιμοποιώντας τα ίδια δεδομένα και αυτά που παράχθηκαν από το καινούριο μοντέλο δημιουργήθηκαν κατατάξεις (θέσεις) για κάθε μετρική σφάλματος και κάθε σύνολο δεδομένων, οπότε 70 στο σύνολο κατατάξεις, όπου στόχος είναι η ελαχιστοποίηση της κάθε μετρικής. Με αυτόν τον τρόπο έγινε εφικτή η διερεύνηση της απόδοσης του καινούριου συνθετικού μοντέλου υπολογίζοντας τη μέση κατάταξη για όλα τα μοντέλα πρόβλεψης. Διερευνώντας μία περίπτωση για τις μέσες και μια για τις διάμεσες μετρικές σφάλματος για κάθε μοντέλο, εξήχθηκαν τελικά αποτελέσματα που κατατάσσουν το καινούριου συνθετικό μοντέλο ως το καλύτερο για τα συγκεκριμένα δεδομένα που αναφέρθηκαν. Τα αποτελέσματα της συγκεκριμένης έρευνας ενθαρρύνουν την περαιτέρω μελέτη των συνθετικών μοντέλων και την εφαρμογή του αντίστοιχου μοντέλου που δημιουργήθηκε μέσω αυτής. Όλα τα πειράματα υλοποιήθηκαν με τη χρήση της γλώσσας προγραμματισμού R, χρησιμοποιώντας κυρίως συναρτήσεις που δημιουργήθηκαν για το σκοπό αυτής της εργασίας και κάποια πακέτα δεδομένων που υπήρχαν ήδη.
description: The theme of this thesis is oriented to the general topic of Software Develpoment Effort Estimation. In this project a research to create an ensemble predicting model is implemented having a further goal to produce new estimations and observe it’s forecasting performance. The datasets that was included in the first phase of this research contain values of actual software development efforts and corresponding estimations of a variety of models. Overall ten different datasets were examined separately to study the performance of these models. Next step of this methodology is to obtain scores derived from the application of a method called Data Envelopment Analysis (DEA) that uses as inputs 7 performance measures, comparing this way the models’ performance based on the information extracted from each dataset. By applying this procedure ten overall rankings and scores were evaluated based on the experiments mentioned. A process to find a superior subset of methods based on their performance follows using an algorithm named Scott-Knott Algorithm that is able to detect a corresponding cluster of methods that is superior from the rest, the inputs of this algorithm are based on the ten rankings mentioned. This cluster is used to create an ensemble model that will produce weighted estimations using the models obtained, where the participation of each model is based on the scores obtained from DEA experiments. The last phase of this project is to produce new estimations using the ensemble model that was created and compare it’s performance using with the rest of the models that was used in this study. For this cause new rankings were evaluated based on the same performance measures and datasets, creating one for each measure and dataset so 70 overall rankings were created. By applying experiments for both mean and median measures, by observing both occasions the main information derived by exporting the mean rank for each model was that the new ensemble model had the best ranking for both mean and median measures ,so based on this information the final result is that the new ensemble model is performing better under these specific circumstances. The results of this thesis encourages the future related to ensemble models work and the application of this specific model. All the experiments were developed using the programming language R, utilizing functions that were created for this project and some packages that were already existed.