Makine öğrenmesi tabanlı uçtan uca çağrı merkezi görüşmelerinin değerlendirme sistemi
Machine learning based end-to-end call centers call evaluation system
Yazar: ÇAĞATAY AYDIN
Danışman: DOÇ. DR. ORHAN AKBULUT
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Duygu analizi = Sentiment analysis ; Makine öğrenmesi = Machine learning ; Ses işleme = Speech processing ; Çağrı merkezi = Call center

Özet:
Çağrı merkezi, mevcut ve potansiyel müşterilerden gelen ve giden aramaları yöneten merkezi bir departmandır. Çağrı merkezi değerlendirme formu, bir çağrı merkezi temsilcisinin etkinliğini ve performansını değerlendirmek için kullanılan bir değerlendirme aracıdır. Bu form ile temsilciler, şirket politika ve kurallarına bağlılıkları temelinde değerlendirilmektedir. Çağrı kanalıyla gelen ve giden taleplerin sayısının çok olması tüm çağrıların değerlendirilememesine neden olur. Çağrı performans analizinin yapılması ve yaşanılan problemin tespit edilebilmesi doğal dil işlemenin çözüm bulabileceği bir alandır. Çağrı performans değerlendirmesinin en zor tarafı, çağrı performansını değerlendiren kişinin tüm çağrı kayıtlarını dinleyecek zamanının olmamasıdır. Çağrı performans analizinin doğru yapılabilmesi için tüm çağrıların detaylı bir şekilde değerlendirilmiş olması gerekmektedir.
Bu tez kapsamında çağrı merkezlerinde yaşanan sorunlara çözüm olabilmek adına; tüm çağrılar Google Speech to Text aracılığıyla metne çevrilmiştir. Ardından hangi kelimenin hangi aralıkta söylenildiği bilgisi ve söylenilen metin elde edilmiştir. Sesin, metne çevrilmesinden sonra anlamsal metin benzerliği yöntemiyle çağrı kaydı metne dönüştürüldükten sonra diyalog içerisinde geçen metinler ile çağrı performans formlarında geçen metinlerin benzerlikleri hesaplanmıştır. Benzerlik oranının yüksek olduğu durumlarda temsilci söylemesi gereken kelime ve kelime öbeklerini söylemişse görevini başarıyla yerine getirmiş sayılmaktadır. Ayrıca tüm çağrılarda duygu analizi kullanılarak müşterinin ve çağrı merkezi yetkilisinin genel duygu durumu bulunmuştur. Çağrı merkezi yetkilisinin ve müşterinin duygu durumunun pozitif olmasına performans metriklerinde yer verilmiştir. Bu aşamalar sonucunda çağrı merkezinin görüşmüş olduğu tüm çağrılar için uçtan uca çağrı performansı değerlendirme sistemi önerilmiştir.

Abstract:
The call center is a central department that handles incoming or outgoing calls from existing and potential customers. The call center evaluation form is an evaluation tool used for to evaluate the effectiveness and performance of a call center agent. With this form, call center agents are evaluated on the basis of their observance to company policies and rules. The high number of incoming and outgoing calls causes not all calls to be evaluated. Identifying the problems experienced in the calls made by the call center agents and performing the call performance analysis is an area where natural language processing can find a solution. The most difficult part of call performance evaluation is that the person evaluating the call performance does not have time to listen to all the call recordings. In order for the call performance analysis to be carried out correctly, all calls must be evaluated.
In this thesis, in order to solve this problem, all calls have been converted into text via Google Speech to Text. Then information on which word was said in which interval and the spoken text was obtained. After the call recording was converted into text, with the semantic text similarity approach, the similarities of the texts in the dialogue and the texts in the call performance forms were calculated. In cases where the similarity rate between call center agent's words and the phrases that necessary to say is high, call center agent considered to have successfully fulfilled the task. In addition, the general mood of the customer and the call center officer was found by using sentiment analysis in all calls. The positive emotional state of the call center officer and the customer is included in the performance metrics. As a result of these stages, an end-to-end call performance evaluation system has been proposed for all calls that the call center has met.