B2B iletişimlerin otomatikleştirilmesinde büyük dil modellerinin etkinliğinin araştırılması
Investigating the efficacy of large language models in automating B2B communications
Yazar: KAZIM TİMUÇİN UTKAN
Danışman: DOÇ. DR. ŞEBNEM ÖZDEMİR
Üsküdar Üniversitesi / Fen Bilimleri Enstitüsü / Yapay Zeka Ana Bilim Dalı / Yapay Zeka Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Büyük dil modelleri (LLM'ler) ve LLM ajanlarının potansiyelleri üzerine yapılan kapsamlı araştırmalar, çeşitli sektörlerde önemli sonuçlar ortaya koymaktadır. Bu tez çalışmasının amacı, B2B iletişim süreçlerini optimize etmek için LLM ajanlarının kullanımını incelemektir. Araştırmada, Kaggle'dan elde edilen ve 2020 yılına ait yaklaşık 10.000 ender üründen oluşan bir veri kümesi kullanılmıştır. Ayrıca, Amazon'un Müşteri Hizmetleri sayfasındaki çeşitli bilgiler kullanılarak bir vektör veri tabanı oluşturulmuştur. Veri kümesi, alaka düzeyi ve kullanılabilirliğin artırılması amacıyla çeşitli önişlemlerden geçirilmiştir. Çalışmada, Microsoft'un Autogen çerçevesi ile simüle edilmiş bir satış ekibi ortamı yaratılmış ve farklı hayali şirketlerden gelen satın alma taleplerine ve sorulara e-posta yoluyla yanıt verilmesi sağlanmıştır. Sistem performansı, OpenAI'nin GPT-4 (GPT-4o) ve GPT-3.5 (GPT-3.5-Turbo) modelleri kullanılarak değerlendirilmiştir. Müşteri sorgularını içeren e-postalar Google'ın Gemini modeli ile oluşturulmuştur. Sonuçlar, GPT-4'ün e-postaları yanıtlamada %100 tamamlama oranına ulaştığını ve ortalama işlem süresinin 18,71 saniye olduğunu; GPT-3.5'in ise %90 tamamlama oranı ve ortalama 13,44 saniye işlem süresi ile çalıştığını ortaya koymuştur. Şirketle ilgili sorularda GPT-4 %93, ürünle ilgili sorularda %83 doğruluk oranına ulaşırken, GPT-3.5 sırasıyla %50,6 ve %79,4 doğruluk oranı elde etmiştir. İhracat kısıtı sorularında ise GPT-4 %98,5, GPT-3.5 %86,67 doğruluk oranı yakalamıştır. Sürecin uçtan uca tüm soruların cevaplanması ile tamamlanması göz önüne alındığında, GPT-4 %77,5 başarı oranı ile GPT-3.5'in %34,0'lük başarısını geride bırakmıştır. Bu çalışma, LLM ajanlarının B2B iletişim süreçlerini optimize etme potansiyelini ortaya koymakta ve işletmelerin bu teknolojiyi nasıl kullanabileceğine dair önemli bulgular sunmaktadır.

Abstract:
Comprehensive research on the potential of Large Language Models (LLMs) and LLM agents has yielded significant findings across various sectors. The objective of this thesis is to investigate the use of LLM agents to optimize B2B communication processes. The study utilized a dataset obtained from Kaggle, comprising approximately 10,000 rare products from the year 2020. Additionally, various pieces of information from Amazon's Customer Service page were used to create a vector database. The dataset underwent various preprocessing steps to enhance relevance and usability. In the study, a simulated sales team environment was created using Microsoft's Autogen framework, enabling responses to purchase requests and inquiries from different fictional companies via email. The system's performance was evaluated using OpenAI's GPT-4 (GPT-4o) and GPT-3.5 (GPT-3.5-Turbo) models. Emails containing customer inquiries were generated using Google's Gemini model. Results indicated that GPT-4 achieved a 100% completion rate in email responses with an average processing time of 18.71 seconds, whereas GPT-3.5 achieved a 90% completion rate with an average processing time of 13.44 seconds. For company-related queries, GPT-4 attained an accuracy rate of 93%, and for product-related queries, it achieved 83% accuracy. In contrast, GPT-3.5 achieved accuracy rates of 50.6% and 79.4% for company-related and product-related queries, respectively. For export restriction queries, GPT-4 achieved 98.5% accuracy, while GPT-3.5 attained 86.67% accuracy. Considering the end-to-end process of answering all queries, GPT-4 outperformed GPT-3.5 with a success rate of 77.5% compared to 34.0%. This study highlights the potential of LLM agents to optimize B2B communication processes and provides significant insights into how businesses can leverage this technology.