Twıtter üzerinden müşteri duygularının analiz edilerektürkiye'deki telekom operatörleri ile ilgili müşterimemnuniyetinin değerlendirilmesi
Evaluation of customer satisfaction about telecom operators in turkey by analyzing sentiments of customer through twitter
Yazar: DOĞUKAN KÜNDÜM
Danışman: PROF. DR. MİTAT UYSAL ; DR. ÖĞR. ÜYESİ ZEYNEP HİLAL KİLİMCİ
Doğuş Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Duygu analizi = Sentiment analysis ; Makine öğrenmesi = Machine learning ; Müşteri tatmini = Customer satisfaction

Özet:
Amaç
Günümüzde sosyal medyanın kullanımının arttığı düşünüldüğünde, insanların bu
sosyal medya platformları üzerinden duygularını ve düşüncelerini paylaştığı hale
gelmiştir. Bu nedenle, bireylerin deneyimlerini hızla paylaştığı bu platformlar üzerinden
duygu analizi hassasiyet kazanmıştır. Özellikle, bireysel yorumların yoğunlaştığı bu
platformlar, müşteri gözünden şirketleri değerlendirilebilir kılmaktadır. Müşteri
memnuniyetin tahminlenmesi şirketler açısından önemlidir. Bu çalışmanın amacı,
geleneksel makine öğrenme algoritmaları ve geleneksel derin öğrenme algoritmaları
kullanarak gömme modelleri ile zenginleştirip, Türkiye'deki en büyük üç operatörlerden
olan Türk Telekom, Vodafone Türkiye ve Turkcell şirketleri üzerinden müşteri
memnuniyet tahminlemede önemli bir kaynak yaratmayı hedefliyoruz. Bildiğimiz
kadarıyla, Türkçe metinler üzerinden Türkiye'deki bu operatör şirketlerine yönelik
geleneksel makine öğrenme algoritmaları ve geleneksel derin öğrenme modellerinin
yanında gömme modelleri de kullanarak müşteri memnuniyet tahminlemesi adına
yapılan ilk çalışmadır.
Materyaller ve yöntemler
Türkiye'deki en büyük müşteri hacmine sahip üç operatör ile ilgili, kullanıcı
yorumları değerli bir kaynak olarak sosyal medyadan Türkçe metin kaynağı olarak
toplandı ve kullanıldı. Müşteri veya kullanıcı yorumları Twitter akışından @vodafone,
@turktelekom, @turkcell, #turktelekom, #vodafone, #turkcell hashtag ve mention
kavramları üzerinden taranarak hesaplardan toplandı. Twitter'daki Türkçe müşteri
yorumları toplamak için Pyhton programlama dilinde yazmış olduğumuz Selenyum
Crawler hazırlanarak bu üç operatör özelinde url ve image bilgilerinden arındırılarak
toplandı. Toplanan veriler lokasyon olarak Türkiye ve 1 Eylül 2019 ile 1 Aralık 2019
tarihleri arasında filtrelenerek toplanmıştır. Bu filtreler bize daha üzerine çalışılabilir bir
veri seti sunmak için hazırlanmıştır. Toplanan veriler, eğitilmiş olan envanter çalışmalar
ile eğitim kümesi oluşturup, olumlu ve olumsuz etiketlenmiştir. Bu çalışmada, etikelenen
veri seti üzerinden, gömme modellerimiz olan FastText, Word2Vec ve GloVe ile kelime
anlam ve sözdizimi zenginleştirmesi yapılıp, makine öğrenmesi algoritmaları olan
Rastgele Orman, Destek Vektör Makinesi (SVM), Çok Katmanlı Algılayıcı (MLP), KEn Yakın Komşular (k-NN), Naive Bayes sınıflandırıcı (NB), Karar Ağacı ve derin 
iii
öğrenme algoritmaları olan Evrişimli Sinir Ağları (CNN'ler), Tekrarlayan Sinir Ağları
(RNN'ler) ve Uzun Kısa Süreli Bellek Ağları (LSTM'ler) kombinasyon oluşturacak
şekilde doğruluk değerinin tahminlenmesi amacıyla uygulanmıştır.
Deneysel Sonuçlar
Bu çalışmada, geleneksel kelime gömme modelleri, derin öğrenme algoritmaları ve
yeni nesil kelime gömme modelleri kullanılarak Türkiye'deki en büyük müşteri hacmine
sahip olan operatörleri olan Türk Telekom, Vodafone Türkiye ve Turkcell müşteri
memnuniyetini tahmin etmek için kapsamlı deneyler yapılmıştır. Belirtilen tüm
doğruluklar, her modelin sınıflandırma performansını ve yaptığımız çalışmanın katkısını
göstermek için deneylerde kullanılan bir değerlendirme ölçütüdür. Ön işleme
yöntemlerinin uygulanması ile önerilen modelin sınıflandırma performasını iyileştirme
amaçlanmıştır. Kullanıcı yorumlarını içeren Türkçe metinleri geleneksel makine öğrenme
modelleri, kelime gömme modelleri ile birlikte derin öğrenme modelleri hibrit modelleri
ve derin öğrenme modelleri ön işleme yöntemleriyle birleşimi, kullanıcıların hisselerini
yönlendirmedeki hassasiyetini belirlemek ve en iyi sınıflandırma başarısı elde etmek için
avantajlı bir seçim olacağı sırasıyla Twitter'dan toplanan Türkçe veri setinden elde edilen
%80 ve %97 arası doğruluk değeri ile ortaya koyulmuştur. Ancak Türkçe metin içerikli
veri setlerinde yeni nesil kelime gömme modellerine göre geleneksel derin öğrenme
algortimaları daha iyi sonuçlar üretmiştir.
Sonuçlar
Bu çalışmada, geleneksel kelime gömme modelleri, derin öğrenme algoritmaları ve
yeni nesil kelime gömme modelleri kullanılarak müşteri memnuniyetine yönelik büyük
müşteri hacmine sahip olan Türkiye'deki operatörler üzerinden müşteri memnuniyetini
tahmin etmek için deneyler yapılmıştır. Belirtilen her doğruluk, modellerin sınıflandırma
performansını ve yaptığımız çalışmanın katkısal çıktısını göstermek için deneylerde
kullanılan bir değerlendirme oluşturmaktadır. Ön işleme yöntemlerinin uygulanması ile
önerilen modelin sınıflandırma performasını iyileştirme amaçlanmıştır. Kullanıcı
yorumlarını içeren Türkçe metinleri sınıflandırmada yeni nesil kelime gömme modeli
olan ön işleme yöntemleriyle birleşimi, müşterilerin memnuniyetine yönelik tahminini
belirlemek ve en iyi sınıflandırma başarısı elde etmek için avantajlı bir seçim olacağı
Twitter'dan toplanan Türkçe veri setinden elde edilen %80 ve %97 arasında doğruluk
değeri ile ortaya koyulmuştur. Ancak haberler ve analizler gibi Türkçe metin içerikli veri 
setlerinde yeni nesil kelime gömme modellerine göre geleneksel derin öğrenme
algortimaları daha iyi sonuçlar üretmiştir.

Abstract:
Objective
Considering that the use of social media is increasing today, it has become that
people share their feelings and thoughts through these social media platforms. For this
reason, emotion analysis has gained sensitivity through these platforms where individuals
quickly share their experiences. Especially, these platforms, where individual comments
are concentrated, make companies evaluable from the perspective of the customer.
Estimating customer satisfaction is important for companies. The purpose of this study,
traditional machine learning algorithms and enriched them with embedded models using
conventional deep learning algorithms, Turkey, which is one of the three largest operators
Turk Telekom, Vodafone Turkey, and Turkcell through customer satisfaction prediction
of company we aim to create important resources. As we know, the traditional machine
learning for the operator company in Turkey over Turkish text algorithms and customer
satisfaction is the first study conducted on behalf of estimation using the deep recessed
models alongside the traditional learning model.
Materials and Methods
In this study, conventional word recessed models, deep learning algorithms and
new generation word is the largest operator with the customer volume in Turkey using
recessed models Turk Telekom, Vodafone Turkey and comprehensive experiments to
estimate the satisfaction Turkcell customers are made. All the stated accuracies are an
evaluation criterion used in experiments to show the classification performance of each
model and the contribution of our work. It was aimed to improve the classification
performance of the proposed model with the application of pre-processing methods. The
combination of Turkish texts containing user comments with traditional machine learning
models, word embedding models, deep learning models hybrid models and deep learning
models preprocessing methods will be an advantageous choice to determine the
sensitivity of users in directing their shares and to achieve the best classification success.
The accuracy values between 80% and 97% obtained from the collected Turkish data set
were demonstrated. However, traditional deep learning algorithms produced better results
than the new generation word embedding models in data sets with Turkish text content.
Results
vi
In this study, conventional word recessed models, deep learning algorithms and new
generation word is the largest operator with the customer volume in Turkey using
recessed models Turk Telekom, Vodafone Turkey and comprehensive experiments to
estimate the satisfaction Turkcell customers are made. All the stated accuracies are an
evaluation criterion used in experiments to show the classification performance of each
model and the contribution of our work. It was aimed to improve the classification
performance of the proposed model with the application of pre-processing methods. The
combination of Turkish texts containing user comments with traditional machine learning
models, word embedding models, deep learning models hybrid models and deep learning
models preprocessing methods will be an advantageous choice to determine the
sensitivity of users in directing their shares and to achieve the best classification success.
The accuracy values between 80% and 97% obtained from the collected Turkish data set
were demonstrated. However, traditional deep learning algorithms produced better results
than the new generation word embedding models in data sets with Turkish text content.
Conclusions
In this study, conventional word recessed models, deep learning algorithms, and
having a large volume customers for customer satisfaction experiments using a new
generation of models to predict the word flush out the operators in Turkey has made
customer satisfaction. Each accuracy specified constitutes an evaluation used in
experiments to show the classification performance of the models and the additive output
of our work. It was aimed to improve the classification performance of the proposed
model with the application of pre-processing methods. Accuracy between 80% and 97%
obtained from the Turkish data set collected from Twitter, where the combination with
pre-processing methods, which is a new generation word embedding model for
classifying Turkish texts containing user comments, will be an advantageous choice to
determine the estimation of customer satisfaction and to achieve the best classification
success. It has been demonstrated with its value. However, traditional deep learning
algorithms produced better results than new generation word embedding models in data
sets with Turkish text content such as news and analysis.