Makine öğrenmesi ile etkileşimli yardım masası sistemi tasarımı
Interactive helpdesk system design with machine learning
Yazar: BUĞRA KAAN TÜRKMENOĞLU
Danışman: DOÇ. DR. OKTAY YILDIZ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Makine öğrenmesi = Machine learning ; Sınıflandırma = Classification ; Tasarım = Design ; Vektörleştirme = Vectorization

Özet:
Yardım masası sistemi kullanıcılar ile müşteri hizmetleri arasındaki ana iletişim aracıdır. Yardım masası bilet alanının manuel seçilmesi sonucunda bilet alanı yanlış atanabilir, biletin çözüm süresi uzayabilir ve iş gücü kaybedilebilir. Biletin önceliğinin yanlış seçilmesi durumunda kritik önemi olmayan biletlere yüksek öncelik verilebilir. Birçok konu hakkında bilgi sahibi olma zorunluluğu, süreç aktarımının zorluğu ve tekrarlayan biletler sebebiyle müşteri hizmetleri temsilcileri üzerinde çok sayıda bilet birikir. Bu sorunların üstesinden gelmek için biletleri üst ile alt alanlara ve önceliklerine göre sınıflandıracak, müşteri hizmetleri temsilcileri tarafından kapatılan biletlerle aynı anlama gelen biletleri önererek bir an önce kapatılmasını sağlayacak modellerin tasarlanması amaçlanmıştır. Çok sınıflı bilet alanı sınıflandırmanın zorluğunu aşmak için hiyerarşik yaklaşım kullanılmıştır. Bilet sınıflandırma modellerinin eğitimi için bir şirketin yardım masası sisteminden Türkçe bilet açıklamasıyla üst ile alt alan ve öncelik etiketlerini içeren 4 adet veri kümesi toplanmıştır. Benzerlik modelini eğitmek için bir bilet üst alanına ait biletler kartezyen olarak eşleştirilmiş ve manuel olarak etiketlenmiştir. Veri ön işleme adımları, yeniden örnekleme ve boyut küçültme sayesinde, dengesiz bir veri kümesinde geleneksel makine öğrenmesi algoritmalarını kullanarak çok sınıflı metin sınıflandırma probleminin zorluğu aşılmıştır. SVM yöntemi kullanılarak biletlerin %94,4 doğrulukla üst alana, %88,22 ile %98,92 arasında doğrulukla alt alanlara sınıflandırılması gerçekleştirilmiştir. K-NN yöntemi kullanılarak biletlerin %97,35 doğrulukla öncelik sınıflandırması gerçekleştirilmiştir. MaLSTM modeli kullanılarak bilet benzerliği için 0,235 ortalama kare hata, 0,4848 kök ortalama kare hata, 0,4603 ortalama mutlak hata, 0,2528 Pearson korelasyon katsayısı, 0,2487 Spearman'ın sıralama korelasyon katsayısı elde edilmiştir. Bu tez çalışması, TUSAŞ Bilimsel Araştırmalar Programı (TUSAŞ BAP) kapsamında desteklenmiştir.

Abstract:
The helpdesk system is the main communication tool between users and customer service representatives. Because of the manual selection of the helpdesk ticket field, the ticket field may be assigned incorrectly, the resolution time of the ticket may be extended, and the workforce may be lost. In case of wrong selection ticket priority, non-critical tickets may be given higher priority. Customer service representatives accumulate a large number of tickets due to the necessity of having knowledge about many subjects, the difficulty of transferring the process, and repetitive tickets. To overcome these problems, it is aimed to design models that will classify tickets according to upper and lower fields and their priorities, and that will suggest the closing of tickets that have the same meaning as tickets closed by customer service representatives. A hierarchical approach was used to overcome the difficulty of multi-class ticket field classification. For the training of ticket classification models, four datasets were collected from a company's help desk system, with the upper field, lower field and priority classes, and ticket description. To train the similarity model, tickets belonging to a ticket upper field were mapped as cartesian and manually labeled. Thanks to data preprocessing steps, resampling and dimension reduction, the challenge of multiclass text classification problem was overcome by using traditional machine learning algorithms on an unbalanced dataset. The classification of the tickets to the upper field with 94.4% accuracy and to lower fields with an accuracy between 88.22% and 98.92% was carried out using the SVM method. Priority classification of tickets with an accuracy of 97.35% was performed using the K-NN method. Using the MaLSTM model, 0.235 mean squared error, 0.4848 root mean square error, 0.4603 mean absolute error, 0.2528 Pearson correlation coefficient, and 0.2487 Spearman's rank correlation coefficient were obtained for ticket similarity. This thesis study was supported within the scope of TUSAŞ Scientific Research Program (TUSAŞ BAP).