Doğal dil işleme teknikleri  ile duygu analizi : Mobil uygulama yorumları için bir vaka çalışması
Sentiment analysis with natural language processing techniques: A case study for mobile application comments
Yazar: SEMA UĞUR
Danışman: DOÇ. DR. SEDA YANIK ÖZBAY
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Her geçen gün değişen ve hızla yaygınlaşan sosyal ağ ve mesajlaşma uygulamaları
ile kullanıcıların ürün ve hizmetlere ilişkin değerlendirmeleri anlık olarak takip
edilebilmektedir. Bu değerlendirmeler, hizmet sağlayıcılar için oldukça değerli bir veri
kaynağıdır. Bu veriler, müşterilerin sorunlarının çözümü ve ilgili ürün veya hizmetlerin
gelecekteki gelişimi için saklanması ve analiz edilmesi ile karar alma süreçlerine etki
etmiş, satış ve pazarlama faaliyetleri üzerinde önemli rol oynamıştır. Hizmet sağlayıcı
olan ¸şirketlerin müşteri kaybını önlemek için rakiplerinden önce müşterilerinin değişen
gereksinimlerine göre sorunları çözmeleri ihtiyaç ve beklentilerine göre yeni ürün
ve servis geliştirmeleri gerekmektedir.Mobil uygulama kullanıcıları da deneyimlerini
çevrimiçi uygulama mağazalarında yorumlamakta ve ya¸sadıkları deneyimleri puanlamaktadırlar.
Kullanıcıların yaptıkları bu geri bildirimler şirketler açısından değerli veri
olarak görülmektedir.Doğal dil işleme teknikleri kullanılarak bu veriler işlenmektedir.
Karar destek sistemlerinden biri olan duygu analizi bu verilerin anlamlandırılmasında
kullanılmaktadır. Tezde yer alan çalışmada BiP global mesajlaşma uygulamasının
iki farklı mobil platformun çevrimiçi uygulama mağazaları (App Store, Google Play
Store) üzerinden 2021 Ocak ve 2022 Mayıs tarihleri arasındaki kullanıcı yorumları
derlenmiştir. 7718 farklı yorum üzerinde çalışma gerçekleşmiştir.Bu yorumlar olumlu,
olumsuz ve nötr olmak üzere üç farklı grupta sınıflandırılmıştır.Toplanan veriler
üzerinde doğal dil işleme teknikleri kullanılarak duygu analizi yapılmıştır.Yapılan
çalışmada derlenen global verilerin Türkçe dilindeki yorumlar çalışmaya dahil
edilmiştir.Yorumlara çeşitli veri manipülasyonu işlemleri yapılarak modele uygun
hale getirilmiştir.Yorumların kategorileri dengesiz dağıldığı için suni veri ekleme
ve belirlediğimiz eşik değerine göre veri eksiltme yöntemleri ile iki farklı veri seti
hazırlanmıştır.Hazırlanılan iki veri setinin en sık geçen kelimeler birli, ikili ve üçlü
kelimeler gruplanarak görselleştirilmiştir. Dilin doğru ve tam bir şekilde algılanması
için Türkçe dilini algılayabilecek doğal dil işleme modellerinden TF-IDF,Word2vec
ve BERT vektörleştirme yöntemleri kullanılmıştır.Metin sınıflandırması için farklı
makine öğrenmesi algoritmaları (Xgboost, Multinomial Naive Bayes , Destek Vektör
Makineleri (DVM ) ile çeşitli modeller uygulanmış, doğruluk değerleri ve F1
skorları hesaplanarak karşılaştırılmıştır. Doğruluk değerleri hesaplamaları sonucunda
Word2vec – Dvm modeli F1 skoru 0.763 ile en yüksek model başarısını sağlamıştır.

Anahtar Kelimeler: Doğal Dil İşleme, Duygu Analizi, Makine Öğrenmesi, TF-IDF,
Word2Vec, BERT, Sınıflandırma

Abstract:
The ever-growing and fast-spreading social network apps can momentarily monitor
users' ratings the products and services.These ratings are valuable data sources for
service providers.This data has been kept and analyzed to solve the problems of the
customers and for ensuring the future improvement of the products and services, thus
affecting the decision-making processes and playing an important role in sales and
marketing activities. Service provider companies need to solve the problems according
to the changing needs of the consumers or develop new products and services
according to their needs and expectations before their competitors to avoid losing
customers.Mobile app users also rate their experience and comment about it on the
online app stores.This feedback is considered a valuable data source by the companies.
This data is processed using Natural Language Processing. Sentiment Analysis, one of
the decision support systems, is used in making sense of this data. In this study, the user
comments between January 2021 and May 2022 on the two mobile platforms of the
BIP global messaging app (App Store, Google Play Store) were collected. The study
was conducted on over 7718 different comments. These comments were separated
into 3 groups and were labeled as positive, negative, and neutral. Sentiment Analysis
was made on the collected data using Natural Language Processing techniques. The
comments that were in the Turkish language in the collected global data were also
included in the study. These comments were processed to fit the model by using
different data manipulation techniques. As the categories of the comments were
unbalanced, adding artificial data and data reduction according to the set threshold
values techniques were used to prepare two different data sets. The most commonly
used words from the two data sets were grouped as one, double, and triple, then they
were illustrated. Three of the Natural Language Processing systems that can detect the
Turkish language TF-IDF, Word2vec, and Bert vectorizing techniques were used for
the language to be fully and correctly detected. For text classification, various models
were designed using different machine learning algorithms [(Xgboost, Multinomial
Naive Bayes, Support Vector Machines(SVM)]. Their accuracy rates and F1 scores
were calculated and compared. In conclusion of the accuracy rate calculations, model
Word2vec – Svm was the most successful model with an F1 score of 0.763.
Keywords: Natural Language Processing, Machine Learning, TF-IDF, Word2Vec,
BERT, Classification