Büyük dil modelleri kullanılarak anahtar kelime üretimi ve konu modelleme : Müşteri geri bildirimlerinden içgörü edinimi
Keyword generation and topic modeling using large language models: Extracting insights from customer feedback
Yazar: ALEYNA ER
Danışman: PROF. DR. BANU DİRİ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Turizm sektöründe faaliyet gösteren Setur'un müşterilerinden anketler ile topladığı geri bildirim yorumları doğal dil işleme ile analizi yapılarak sunulan hizmet ile ilgili nelerden memnun kalındığı ve hangi noktaların gelişime açık olduğu tespit edilmek istenmiştir. Önerilen yöntemde, ilk aşamada yorumları temsil eden anahtar kelimeler (AK) oluşturulur, bu kelimeler ile metindeki önemli kelimeleri yakalamak amaçlanır. Yorumlardaki önemli kavramları yakalayabilmek için, Türkçe ve çok dilli veri setleri ile eğitilmiş ön eğitimli TRT5, MT5, TRBART ve MBART dil modellerine ince ayar yapılarak öğrenme transferi gerçekleştirilmiş ve GPT3.5, GPT4, Gemini Pro büyük dil modellerine one-shot ve few-shot stilinde istemler vererek anahtar kelimeler üretilmiştir. Üretilen AK'lerin etiketli AK'ler ile ne kadar örtüştüğü, yoruma benzerlikleri ve birbirlerine göre anlamsal çeşitlilikleri incelenmiştir. Aynı zamanda üretilen AK'lerin uzunluğu yorumun uzunluğu ile kıyaslanarak metni ne kadar sıkıştırabildiği ölçülmüştür. Konu modellemenin sonraki adımında, üretilen anahtar kelimeler ve yorumlarının vektörleri oluşturulur ve uç uca eklenir. Elde edilen yeni vektörler kümelenerek konu modellemesi yapılır, oluşturulan her bir küme bir konu olarak ele alınır. Konuları temsil etmek için o konudaki yorumlara en benzer anahtar kelimeler seçilir. Uygulanan konu modelleme yöntemi ile konu içeriklerinde kelime öbekleri bulunabilir, bu sayede anlamsal olarak daha belirgin yorumlanması daha kolay konular oluşturulabilmiştir. Aynı zamanda, yorum-AK ikilileri ile kümeleme yapılması ile bir yorum için birden fazla konu atanabilmesi sağlanır. Üretilen AK'lerin kümelenerek oluşturulan konu modellerinin performansı sinirsel konu modelleme örneği olan BERTopic ve istatistiksel yöntemlerden LDA ve NMF ile karşılaştırılmıştır. Oluşturulan konular incelenerek, müşterilerin hizmet sürecindeki hangi noktalar ile ilgili yorum yaptıkları hakkında bilgi sahibi olunmuş, en çok konuşulan konular saptanmıştır.

Abstract:
It is aimed to determine what the customers of Setur, which operates in the tourism sector, are satisfied with and what points are open to development through the analysis of feedback comments collected from surveys using natural language processing. In the proposed method, in the first stage, key words representing the comments are created, and it is aimed to capture important words in the text with these words. In order to capture important concepts in the comments, transfer learning is performed by fine-tuning the pre-trained TRT5, MT5, TRBART, and MBART language models trained with Turkish and multilingual data sets and giving prompts in one-shot and few-shot style to GPT3.5, GPT4, and Gemini Pro large language models to produce keywords. The produced keywords have been examined in terms of how much they overlap with labeled keywords, their similarities to the comments, and their semantic diversity, and their ability to compress the text has been measured by comparing their lengths with the length of the comment. In the next step of topic modeling, vectors of the produced keywords and their comments are created and concatenated end-to-end. The new vectors obtained are clustered to do topic modeling, and each cluster created is considered as a topic. The keywords most similar to the comments on that topic are selected to represent the topics. With the applied topic modeling method, word clusters can be found in topic contents, thus making it easier to create topics that are more semantically distinct and easier to interpret. At the same time, assigning multiple topics for a comment is made possible by clustering with comment-keyword pairs. The performance of the topic models created by clustering the produced keywords has been compared with BERTopic, an example of neural topic modeling, and statistical methods LDA and NMF. By examining the topics created, information has been obtained about which points the customers commented on during the service process, and the most talked-about topics have been determined.