Çapraz e-ticaret pazarlarında hibrit öneri sistemi
Hybrid recommendation system at cross e-commerce markets
Yazar: EMRE KÖSE
Danışman: DOÇ. DR. YUSUF YASLAN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Öneri sistemleri, film, müzik, e-ticaret ve diğer çeşitli platformlarda, çeşitli algoritmalar kullanarak kullanıcıların ihtiyaçlarına uygun ürünlerin tavsiye edilmesini amaçlamaktadır. Bu algoritmalar genellikle kullanıcı-öğe temsillerini elde ederek öneri yapmaktadır. Çalışmalar başlangıçta matris çarpanlarına ayırma ile ilerlerken, daha sonra hem işbirlikçi hem de içerik tabanlı önerilerde farklı bellek veya model tabanlı yaklaşımlar geliştirilmiş ve geliştirilmeye devam etmektedir. 
Çapraz pazar öneri problemi sosyal medya, e-ticaret uygulamaları ve diğer çevrimiçi platformlarda ortaya çıkmış, farklı kaynak pazarın/pazarların verilerini kullanarak, hedef pazar olarak adlandırılan kısıtlı veri kümesinde kullanıcılara öneri amaçlayan yeni bir çalışma alanı olarak ifade edilebilir. Veriden öğrenme aşamasında dikkat edilmesi gereken bazı noktalar bulunmaktadır. Kaynak pazarların verisinden öğrenilen ve optimize edilen modeller, hedef pazarın davranışları dikkate alınmadan uygulanırsa sorunlu sonuçlar ortaya çıkabilmektedir. Örneğin giyim kategorisinin diğer kategorilere göre daha yoğun kullanıldığı bir ülke düşünelim. Bu ülkenin ortalama sıcaklığı hedef pazardan çok daha yüksekse, kaynak pazarda standart pantolon alan bir müşteriye tişört önermek mantıklı olabilir ancak bu hedef pazarda alakasız olabilir. Bu nedenle verilerden öğrenme, her iki pazardaki dağılımları ve yanlılıkları dikkate alabilen bir kapsamda olmalıdır.
Çapraz pazar öneri sistemleri son yıllarda ortaya çıkmış yeni sayılabilecek bir konu olarak ifade ediliyor olsa da bahsi geçen yöntemler burada farklı şekillerde çözüm olarak kullanılabilmektedir. Literatürde, FOREC algoritması bu alanda hem getirdiği çözüm hem de sağladığı açık kaynak veri kümesi ile önemli bir çalışma olarak yer almaktadır. Pazar adaptasyonu ve meta-öğrenme kavramları üzerinde ilerlenerek, 2021 yılında yayınlanan Pazarlar Arası Ürün Önerisi araştırmasında geliştirilen çoklu ağ yapısına sahip algoritma, XMarket ismiyle 18 yerel pazarın, yani ülkenin, 16 farklı kategorideki kullanıcı-öğe ikililerini ve skorlarından oluşan veri kümesini de içermektedir. Algoritma içinde ilk olarak GMF, MLP ve NMF modellerini kullanarak pazar-bağımsız, yani kaynak ve hedef pazar verisinin birlikte kullanıldığı bir eğitim gerçekleştirilir. Bu adımda buna ek olarak MAML çerçevesi ile few-shot öğrenme tekniğini de kullanır. İkinci aşamada ise pazara-özel olarak ifade edilen sadece hedef pazar verisi ile ekstra MLP katmanları eğitilerek FOREC sistemi eğitimi tamamlanmış olur.
Yapay sinir ağları milyonlarca parametre ile ürün-kullanıcı çiftleri ile beslenerek, benzerliklerini anlayabileceğimiz ve karşılaştırabileceğimiz temsiller elde edebiliyor olsa da başlangıç noktasında her bir veri örneğini, örneğin kullanıcıları (veya ürünleri) fiziksel manada yakınlıklarını temsil eden bir yapıda değildir. Bu noktada, elimizdeki veriyi kullanıcı ve ürünlerin etkileşim halinde olduğunu da düşünerek, bir çizge ağı olarak temsil etmek, bağlama farklı bir mimari ve öğrenme yöntemi olarak girebilir. Evrişimli çizge ağları, komşu birleştirme yöntemini sadeleştirilmiş bir şekilde kullanarak, derin sinir ağlarının ya da few-shot öğrenme yönteminin mimari olarak öğrenmesi mümkün olmayan farklı derinliklerdeki komşu düğüm ilişkilerinin kullanımıyla birçok pazar verisinde, tek başına diğer yaklaşımların üstünde bir performans göstererek başarılı sonuçlar alabilmektedir.
Bu çalışmada çapraz marketler için geliştirilen öneri sistemi çizge yapısını kullanmaktadır. Hafif Çizge Evrişimli Ağı (LGCN) yapısı, FOREC çalışmasında olduğu gibi pazar-bağımsız ve pazara-özel adımlarla eğitilmiştir. Bu iki aşama arasında temsil aktarımını uygulayarak geliştirdiğimiz sistem daha sade bir eğitim akışından oluşmaktadır. Eğitimin ilk adımında kaynak ve hedef pazar verisindeki ikililerle oluşturulan çizge ağı yine bu iki pazarın verisiyle eğitilmiştir. Bu aşamadaki eğitim sonrası kaydedilen kullanıcı ve ürün temsilleri, ikinci adımda yeni çizge ağı oluşturulurken yeni temsillerin yarısının başlangıç noktası olarak kullanılmıştır. Temsilin diğer parçası ise pazara-özel öğrenime odaklanabilmesi için bu adımda belli bir dağılımla rastlantısal olarak başlatılmıştır.
Çalışmamızda test aşamasından önce, eğitimi tamamlanan çizge ağı ile farklı pazar verilerinin ilişkilerini ve potansiyel iyileştirme noktalarını keşfedebilmek için, doğrulama verisi ile ilinti gösterebilecek farklı metriklerin incelemesi yer almaktadır. Bu metrikler aşağıda listelenmiştir. 
-	Kullanıcıların eğitim verisindeki ürünlerine verdiği ortalama puan değeri
-	Kullanıcının hedef pazar eğitim kümesinde birinci dereceden kaç ürün ile etkileşimde olduğu
-	Kullanıcıların kaynak ve hedef eğitim kümelerindeki ikinci dereceden kaç ikiliye sahip oldukları
-	Derece Merkezliliği (Degree Centrality)
-	Yakınlık Merkezliliği (Closeness Centrality)
-	Düğüm Fazlalık Katsayısı (Node Redundancy Coefficient)
-	Kümeleme Katsayısı (Clustering Coefficient)
Görüldüğü üzere bu değerler arasında ham veriden çıkarılabilen temel istatistik değerlerinin hem de iki-parçalı çizge oluşumu sonrası çıkarılabilen metrikler bulunmaktadır. Bu aşamadaki sonuçlardan elde ettiğimiz çıkarım, kullanıcıların bireysel olarak nDCG skorlarının iki-parçalı çizgeden elde edilen Düğüm Fazlalık Katsayısı ve Kümeleme Katsayısı değerlerinin, diğerlerine oranla daha fazla ilintiye sahip olduğudur. Çalışmamızın detayında bu ilinti değerlerinin gelecek çalışmalarda nasıl kullanılabileceği ile ilgili fikirlere yer verilmiştir.
Deney sonuçları yedi farklı modelin sonuçlarını içermektedir. Bunların beş tanesi referans araştırması olarak düşündüğümüz FOREC çalışmasında da yer alan sonuçların bizim benzer şekilde uygulamamız sonrası elde ettiğimiz sonuçlardır. Diğer iki model ise bu problem için geliştirdiğimiz sistemin ilk adımındaki pazar-bağımsız adımın sonucu, diğeri ise iki-aşamanın eğitimi sonrası elde ettiğimiz nihai hibrit LGCN model sonucudur. Bahsedilen sonuçlar pazarların ikili olarak eğitimini ve sonucunu içeren deneylerdir. Yani, FOREC çalışması yedi hedef pazarı üzerinden sonuçları her bir pazar için geriye kalan diğer altı pazarı tekli olarak kaynak pazar olarak kullanır ve eğitimlerini buna göre gerçekleştirerek sonuçlarını alır. Biz de referans noktası olarak düşündüğümüz FOREC çalışmasına benzer şekilde eğitimlerini ilerlettiğimiz sistemimizde, bu hedef pazarların içinden seçtiğimiz dört tanesini alarak ilerledik. Bunlar Almanya, Japonya, Meksika ve İngiltere pazar verileridir. Buna ek olarak Amerika pazarının verisi sadece kaynak veri olarak deneylerde yer almıştır.
İki aşamalı yaklaşımımız ile farklı hedef pazarlar için %5 ve %8'lik bir aralıkta FOREC'in tüm sonuçlarından daha iyi sonuçlar elde ettiğimiz gözlemlenmiştir. Buna ek olarak, ilk adımdan sonra uyguladığımız pazara-özel eğitimin sonuçların iyileşmesinde %1 ile %2 oranında katkı sağladığı açığa çıkmıştır. Sonuç olarak, bu çalışmada çapraz pazarlar için iki aşamalı çizge sinir ağı ile öğrenilen model önerilmiş ve başarımları bu alanda yüksek sonuç verdiği gözlemlenen FOREC algoritması ile karşılaştırılmıştır. Önerilen model farklı hedef pazarlarında nDCG@10 değerlendirme metriği kullanıldığında FOREC algoritmasından daha iyi sonuçlar vermektedir.

Abstract:
Social media, e-commerce, and other online platforms employ the approach of cross-market recommendation to suggest products or services to customers using several markets or domains. However, data on user engagement with products (clicks, sales, and reviews) reveals a variety of biases that are unique to particular markets, making suggestions more challenging. The FOREC, which focuses on market adaptation, has demonstrated strong performance on the cross-market recommendation problem. In our work, we propose a two-stage framework using the Light Graph Convolution Network (LGCN) algorithm, which has both market-agnostic and market-specific models in the learning cycle like FOREC but a less sophisticated architecture than it.
Recommendation algorithms are frequently utilized by tech companies in a range of applications, including movies, music, e-commerce, and others. Predictions are obtained by using user-item embeddings, which are acquired through a variety of techniques. While studies initially progressed with matrix factorization, both collaborative and content-based recommendations are currently being developed using different memory or model-based methodologies.
In recent decades, some platforms have grown significantly and increased the scope of the services they offer. These kinds of initiatives consequently result in both new requirements and problems. Using both its own data and that from various source markets in online commerce or other digital services, the field of study known as "cross-market recommendation" seeks to make predictions in the context of the limited target market data.
There are points to be considered while making any improvements. If the trained and optimized models from the source data are applied without taking the target market's behaviors into consideration, problematic results may result. For example, let's assume there is a country where the clothing category is used more frequently than other categories. If this country's average temperature is considerably higher than that of the target market, it might make sense to offer a t-shirt to a customer who purchases regular trousers in the source market, but it may not be relevant in the target market. Because of this, learning from data should be done so in a way that can account for both markets' distributions and biases.
Cross Market Recommendation (CMR) and Cross Domain Recommendation (CDR) are two topics for recommending products across markets and domains respectively with the goal of improving the effectiveness of the system. The CMR data, however, typically includes unconnected users and common items across markets. Contrarily, CDR data has overlapping users across domains, unlike CMR. So, the content of data both causes and has solutions to various issues. CMR is a less studied area than CDR so far because there are fewer collected datasets in this area.
The datasets in this problem domain are also new. XMREC is one of a few publicly available CMR datasets that are shared in competitions. It started with research on FOREC, which is also our reference study, and we tried to outperform their results. The dataset released in 2021, which has specific markets with different categories, served as a base for our research. This dataset includes 52.5 million user-product pairs across 18 local markets in 16 distinct product categories. As with FOREC, we used the data from the most popular category, electronics.
Although there are various hybrid methodologies, the general idea is that combining algorithms results in recommendations that are more precise and effective than using just one algorithm because the disadvantages of one algorithm can be countered by the benefits of another algorithm. Combining the approaches can be done in a variety of ways, including separately applying the algorithms and combining the outcomes, incorporating content-based and collaborative filtering approaches.
The approach we propose involves two-stage learning with pairs of markets that could be referred to as source and target. Therefore, our goal is to improve target market predictions that are learned from source and target market data. LGCN is used in both learning stages. However, they are trained using different data foci and embedding lengths. Users' and items' output embeddings from the first stage are used as new starting vectors for the second stage. There are also additional embedding vectors for market-specific phase. With the help of the market-agnostic and market-specific learning stages, the system thus has the advantages of both unseen item prediction and the users' coverage of the target market's predictions.
There are 7 models in the experimental set, 5 of which are models from FOREC, and the remaining models are market-agnostic and hybrid LGCN models. In the dataset we experimented with, there are 5 source markets and 4 target markets. 16 source-target market pairs from Germany, Japan, Mexico, and the UK were used as the source and target markets, except for the US market, which was used only as the source market, resulting in 112 total nDCG@10 scores (7 evaluations for each of the 16 source-target market pairs) and the creation of the final evaluation result.
Our study employs nDCG@10, a common evaluation metric for ranking problems. It is known that the score is the mean of the results from each individual user; this is the target market for our study. The cut-off value for n of DCG is 10, and 99 negative samples were used for validation and test evaluation for each user, similar to the reference study FOREC. Furthermore, as applied in FOREC, if the user has fewer than five interactions, they are eliminated from the dataset. If one user has had more than one interaction with the same item, the most recent rating score is selected. At the end of the pre-processing of markets, the user-item pair numbers of markets are as follows: 15889, 30216, 163439, 4209, and 16816 for DE, UK, US, JP, and MX, respectively.
Before the test results, our study includes the examination of different metrics that can correlate with the evaluation data to discover the relationships between the trained graph network and different market data that can provide potential improvement points. These metrics are listed below.
-	Average rating given by users to their products in the training set
-	How many first-degree products the user interacts with in the target market training set
-	How many second-degree pairs the users have in the source and target training sets
-	Degree Centrality
-	Closeness Centrality
-	Node Redundancy Coefficient
-	Clustering Coefficient
As seen, these metrics include both the basic statistical values that can be extracted from the raw data and the values that can be extracted after the bi-partite graph creation. Our conclusion from the results at this stage is that the nDCG scores of individual users are more correlated with the node redundancy coefficient and cluster coefficient values obtained from the bi-partite graph than the other metrics. In the details of our study, we have included ideas about how this correlation can be used in future studies.
Our two-stage strategy has been tested, and the results show that it performs better than FOREC's overall outcomes, with an improvement range of between 5 and 8 percentage points for different target markets. Furthermore, it became apparent that the market-specific training we used after the first step improved the outcomes by 1 to 2 percent.
For future work, there are some important points. Considering the node-specific improvement points first, guiding the training with a node-specific approach, such as adding different negative samples or adding hard negative samples, may provide improvement when the relevant graph metric (for example, the redundancy coefficient) of a node is weak. Apart from these, different data augmentation techniques on a node basis can also improve the results. On the other hand, this approach can be applied to the whole market in a similar way.
Other than the improvement purpose, a different work might be to reduce the processing cost. By using the mentioned graph metrics at the point of simplification of the related graph, getting the same or better results with shorter training durations can be studied as a different problem.