Comparing machine learning methodologies for prediction of employee attrition
Creators: name: Καργάκος, Ανδρέας Περικλή
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Πρόβλεψη απομάκρυνσης εργαζομένων
Μηχανική μάθηση
Εξισορρόπηση δεδομένων
Employee attrition prediction
Machine learning
Data balancing

description: This thesis aims to identify the main aspects that are associated with employee attrition and to develop a model that can accurately predict it. To this end we propose a machine learning pipeline to address the issue of predicting employee attrition by utilizing various prediction algorithms and preprocessing techniques. Initially the definition of employee attrition and the associated business problem is discussed, followed by an extensive literature review on the drivers and the consequences of employee attrition as well as on the existing prediction approaches. Furthermore, we utilize the IBM HR Analytics Employee Attrition &amp; Performance dataset in order to develop a benchmarking model architecture that incorporates eight machine learning algorithms, namely Logistic Regression, Gaussian Naïve Bayes, k-Nearest-Neighbors, Gradient Boosting, Support Vector Machines, Decision Trees, Random Forests, and Multilayer Perceptron. Additionally, the model employs four data balancing techniques, such as random resampling, Tomek-Links, ADASYN, and SMOTE. The results of the evaluation indicate that XGBoost classifier in combination with ADASYN balancing technique outperform all other methodologies, achieving an accuracy and F1-Score, 0.89 and 0.511 respectively. Furthermore, a feature importance ranking is conducted to identify the most influential factors in employee attrition. Features such as income, age, years at the current company, commute to work, and working overtime being found to have the greatest impact.
description: Η παρούσα διπλωματική εργασία έχει σαν στόχο τον εντοπισμό των βασικών πτυχών που σχετίζονται με την απομάκρυνση των εργαζομένων από έναν οργανισμό όπως και την ανάπτυξη ενός μοντέλου που μπορεί να την προβλέψει. Για το σκοπό αυτό προτείνουμε μια μεθοδολογία η οποία αντιμετωπίζει το ζητήματα χρησιμοποιώντας διάφορους αλγορίθμους μηχανικής μάθησης και τεχνικές προ-επεξεργασίας. Αρχικά δίνετε ο ορισμός της απομάκρυνσης των εργαζομένων όπως και αναλύετε το επιχειρηματικό πρόβλημα, ενώ ακολουθεί εκτενής βιβλιογραφική ανασκόπηση σχετικά με τους παράγοντες και τις συνέπειες της αποχώρησης εργαζομένων, αλλά και διαφόρων τεχνικών ταξινόμησης. Στην συνέχεια χρησιμοποιούμε την βάση δεδομένων IBM HR Analytics Employee Attrition &amp; Performance προκειμένου να αναπτύξουμε ένα μοντέλο συγκριτικής αξιολόγησης ενσωματώνοντας οκτώ αλγορίθμους μηχανικής μάθησης, όπως τους Logistic Regression, Gaussian Naïve Bayes, k-Nearest-Neighbors, Gradient Boosting, Support Vector Machines, Decision Trees, Random Forests και Multilayer Perceptron. Επιπλέον χρησιμοποιούμε διάφορες τεχνικές εξισορρόπησης δεδομένων, όπως τυχαίας δειγματοληψίας, Tomek-Links, ADASYN και SMOTE. Τα αποτελέσματα δείχνουν ότι ο XGBoost ταξινομητής συνδυαστικά με τεχνική εξισορρόπησης δεδομένων ADASYN υπερτερούν, επιτυγχάνοντας Accuracy και F1-Score, 0.89 και 0.511 αντίστοιχα. Επιπλέον, αναλύετε η σημαντικότητα των παραγόντων με τη μεγαλύτερη επιρροή στη πρόβλεψη της αποχώρησης των εργαζομένων. Χαρακτηριστικά όπως το συνολικό εισόδημα, η ηλικία, τα έτη στην συγκεκριμένη εταιρεία, απόσταση σπιτιού - εργασίας και οι υπερωρίες διαπιστώνεται ότι έχουν τον μεγαλύτερο αντίκτυπο.