Kitle kaynak kullanımı ve doğal dil işleme ile market bazında fiyat öneri sistemi
Product based price suggestion system in the market by using crowdsourcing and natural language processing
Yazar: FULYA ER
Danışman: PROF. DR. AHMET SAYAR ; PROF. DR. HİDAYET TAKCI
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Alışverişlerde insanların fiyat/performans oranı yüksek olan marketleri tercih ettiği bir gerçektir. İnsanlar almak istedikleri bir ürünü hangi mağazadan ne kadar fiyata alabileceklerini öğrenebilecekleri bir sisteme-yazılıma ihtiyaç duymuşlardır.
Bu çalışmada, bahsedilen probleme kısmen de olsa çözüm getirebilecek, kitle kaynak hesaplama modeli ile birlikte Doğal Dil İşleme yöntemlerini kullanarak ElasticSearch kelime tabanlı indexleme için gerekli olan datayı hazır hale getiren bir mimari geliştirilmiştir. Önerilen bu sistem, tüm bireylerin potansiyel bir müşteri olduğu ve marketlerdeki fiyatları düz mesajlarla sisteme besledikleri bir dünya üzerine kurulmuştur. Yapısız veri olan mesajların DDİ ile işlenerek mesajdaki ürün, marka, market, fiyat ve miktar bilgilerinin tespit edilebilmesi sağlanmıştır. Bu bilgiler tespit edilirken kelimelerin köklerinin bulunması için bir algoritma geliştirilmiştir. Geliştirilen bu algoritmayla birlikte, ürün isimleri iki veya daha fazla kelimeden oluşan kayıtlar için tutma oranı uygulanmıştır.
Mevcut durumun aksine yalnızca katalog veya fiyat/performans bilgileri üzerinden indirim yakalama değil aynı zamanda kişilerin birbirine gönderdiği mesajlar içerisinden indirim haberlerini yakalayacak doğal dil işleme prosedürlerinin uygulanması ile ürünlerin hangi markette en uygun olduğu bilgilerini listelemek mümkün olacaktır. Aynı zamanda, topluluklardan gücünü alan Kitle Kaynak Kullanımı ile birlikte, kullanıcı kitlesinin artması ve uygulamanın bu oranda kullanılabilirliğinin artması hedeflenmektedir.
Bu çalışmada market, marka, ürün, fiyat ve miktar bilgilerinin tespit edilmesi için Varlık İsmi Tanıma yöntemi kullanılmıştır. Literatüre katkı olarak, bu konudaki çalışmalara yardımcı olabilecek ve bu çalışmada da kullanılan etiketlerin bulunduğu bir sözlük oluşturulmuştur. Bu sözlük içerisinde yaklaşık olarak 5000 kayıt bulunmaktadır. Kullanıcının sistemi kullanma rolünün yanında besleme görevi de olduğu için, oluşturulan bu sözlüğe yeni bir veri eklenmesi gerektiğinde bunu kullanıcılar sağlayabilecektir. Böylece Kitle kaynak kullanımı ile marketteki ürünlerin fiyat bilgilerinin girildiği veriler üzerinde Adlandırılmış Varlık Tanıma yöntemi uygulanarak etiketsiz ve düzensiz veri etiketli ve düzenli hale getirilmiştir. Ayrıca çalışma bir arayüz de yazılarak sistemin çalışabildiği gösterilmiştir.

Abstract:
It is a fact that people prefer markets with high price/performance ratios in shopping. People needed a system software, where they could learn from which store and at what price they could buy a product.
In this study, an architecture has been developed that can provide a partial solution to the aforementioned problem, and that makes the data necessary for ElasticSearch word-based indexing ready by using Natural Language Processing methods together with the crowdsourcing computing model. This proposed system is built on a world where all individuals are potential customers and feed the prices in the markets to the system with plain messages. Messages, which are unstructured data, are processed with NLP and it is ensured that the product, brand, market, price and quantity information in the message can be determined. While detecting this information, an algorithm has been developed to find the roots of the words. With this developed algorithm, the retention rate has been applied for records whose product names consist of two or more words.
Contrary to the current situation, it will be possible not only to catch discounts through catalogue or price/performance information but also to list information on which market the products are most suitable for, by applying natural language processing procedures that will capture discount news from messages sent by people to each other. At the same time, the use of Crowdsourcing, which is powered by communities, it is aimed to increase the user base and increase the usability of the application at this rate.
In this study, named entity recognition method was used to determine the market, brand, product, price and quantity information. As a contribution to the literature, a dictionary has been created that includes the labels used in this study, which can help studies on this subject, has been created. There are approximately 5000 entries in this dictionary. Since the user has the duty of feeding the system as well as the role of using the system, users will be able to provide this when new data needs to be added to this created dictionary. Thus, unlabeled and irregular data were made labelled and organized by applying the Named Entity Recognition method on the data in which the price information of the products in the market was entered with the use of crowdsourcing. In addition, it has been shown that the system can work by writing a working interface.