Öneri sistemleri ile web sitesi performansının artırılması:Uygulamalar ve yeni bir yaklaşım
Enhancing website performance with recommender systems: Applications and a new approach
Yazar: CAN BİLGİÇ
Danışman: DOÇ. DR. UMUT ASAN
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Mühendislik Yönetimi Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
İnternet, 1991 yılında 'World Wide Web' teknolojisinin keşfiyle birlikte 30 yıllık tarihi içerisinde hızla gelişmiştir. İnternetin kullanım kolaylığı ve hızı arttıkça kullanım alanları da aynı oranda artmış ve kişisel hayata gün geçtikçe daha fazla entegre olmuştur. Bir web sayfasının 10 saniyeden uzun sürelerde açıldığı evrelerin yaşandığı ilk dönemlerinden sonra şu anda bir sayfanın açılması 2-3 saniyeden fazla sürdüğünde kullanıcılar yaşadıkları tecrübeden memnuniyetsizlik duymaktadır.  
Günümüzde internetin oldukça yoğun bir şekilde kullanıldığı alanlardan biri de elektronik ticaret web siteleridir. Eletronik ticaret web siteleri de internetin kendisi gibi günümüze kadar birçok kez yapısal değişikliğe uğramıştır. İnternet üzerinden alışveriş tercihini müşterilere en çok sorgulatan sebeplerden biri, incelenen ürün ile elde edilen ürün arasında fark olma ihtimalidir. Elektronik ticaret yapan şirketler bu güvensizliği aşmak için web sitelerine birçok ürün görseli yerleştirmektedir. Bunun yanı sıra öne çıkarılan ürünler, farklı ürün önerileri, fırsatlar gibi birçok kategori ile müşterisini tanıyan, pazarlama gücünü artıran web siteleri yapılmaktadır. Bu yapı sebebiyle web siteleri tek bir sayfada birçok görsel barındırmaktadır.
Özellikle elektronik ticaret web sitesine mobil ziyaretlerde kablosuz internetten veya hücresel veriden faydalanıldığı için, sitelerde bulunan yoğun görsel bilgi, sayfanın geç açılmasına, müşteri deneyiminin verimsiz hale gelmesine ve dolaylı yoldan müşteri ve satış kaybına sebep olmaktadır.
Uygulamada fazla sayıdaki görsellerin yol açtığı bu yavaşlamaya engel olmak isteyen market zincirleri için çalışma yapılmıştır. Marketlerin hedef kitlesi orta ve ileri yaş müşterileri de kapsadığı için, internet hızı yeterince yüksek olmayan müşterilerin de web sitesindeki deneyimini en iyi seviyeye çıkarmak için sayfaların önceden önbelleğe yüklenmesi ile bu problemi çözmek istemişlerdir. 
Market zincirleri web siteleri üzerinde üretilen bu çözüm, beraberinde başka bir problemi ortaya çıkarmıştır. Her müşterinin hangi sayfaları ziyaret edeceği önceden tahmin edilmelidir.  Tahmin işleminin yapılması için öneri sistemlerinden faydanılmasına karar verilmiştir. Bu çalışmanın amacı, müşterilerin ziyaret edeceği sayfaların tahmin edilerek, müşteri bilgisayarında önbelleğe kaydedilmesini sağlayacak öneri modelini oluşturmaktır. Yapılan testlerde, önerilen yöntem sayesinde görsel yoğunluğu fazla olan bir sayfa için yavaş bir internet ile yaklaşık 7 saniyede açılan bir sayfanın, sayfa doğru tahmin edildiği takdirde 1-2 saniye içerisinde tamamen açıldığı gözlenmiştir. 
Sayfa tahminini gerçekleştirmek için literatürde önerilen yöntemler oldukça yetersiz kalmaktadır. Bu yöntemlerden yaygın kullanılan üç tanesi çalışma içerisinde uygulanmış ve sonuçları karşılaştırılmıştır. Bunun yanı sıra sayfanın önerilme ve tercih edilme zamanının önemli olduğu bu yapı için yeni bir yöntem önerilmiştir. Yöntem, sistem içerisindeki sayfaların birbirlerine erişilebilirliğini analiz ederek, kullanıcının ziyaret edeceği bir sonraki sayfayı üç farklı ihtimal olarak tahmin etmekte ve bu sayfaları önbellekleme yapmaktadır. Sonuç olarak önerilen yöntem literatürde önerilen çözümlere oranla çok daha başarılı bir sonuç vermiştir.

Abstract:
Internet which is basically defined as 'network of networks', has developed rapidly in its 30 years history, starting with the discovery of an information system that enables the users to access to the Internet which is called 'World Wide Web' in 1991. As the ease of use increased and connection processes of the Internet accelerated, the usage areas augmented and diversified evenly, leading a higher-level integration of Internet into personal lives. On the other hand, the expectations of users about their experiences on Internet have changed notably and is rapidly changing because of the exponentially developing technologies. After the first periods of time that web pages were opening in more than ten seconds, users are feeling dissatisfied even when a web page takes more than two to three seconds to be opened in these days. 
Recently, one of the extensive usage areas of the Internet is e-commerce websites as it provides a chance to shop from home. E-commerce websites have undergone several structural changes as the Internet itself. One of the top reasons for customers to query their choices of shopping on the Internet is the possibility of difference between the product that is expected to get, and the product obtained. E-commerce companies place lots of product images on their website, trying to provide a full view of relative product to overcome this insecurity problem. Additionally, websites that know its customers and have a high marketing power by a wide range of categories of products such as prominent products, similar products to propose, discounted products, etc. are being developed. Due to this structure, web sites contain a huge number of images even on a single page. 
The intensive visual elements on the websites cause the pages to open late especially when customers visit them by mobile phones, and so it causes the customer experience becomes inefficient, indirectly leads to loss of customer and decrease in sales amounts because of wireless internet or cellular data is being utilized during the processes. 
An e-commerce company, that also has a grocery chain serving worldwide, wants to prevent the slowdown that is discussed in this study. The slowdown is mainly caused by a large number of product images that are loading. The target customer segments of the company rather include middle and old aged people; hence most of the elder customers use slow internet providers and younger customers use mobile phones in general the slow connection problem is crucial for sales. To solve this problem, the company wants to pre-cache the web pages in order to maximize the experience quality of customers whose internet speed is not high enough.
This solution for the issue generated by the company has created another problem. The proposed system should anticipate which web pages each customer will visit, and after that it can pre-cache the page. In order to make this estimation, it was decided to use the power of recommender systems. The purpose of this study is to create a recommendation model that estimates customers next page visit. The page estimated that is going to be preferred by customer, will not be recommended to the customer; instead it will be cached to customer's computer to ensure quick-loading. 
Before creating the recommendation model, the performance of the pre-caching solution is tested; it is observed that a page that has high image density gets fully loaded in about 7 seconds with a slow internet and gets fully loaded in between 1 and 2 seconds with pre-caching technique if the page was correctly estimated. It is clearly seen that pre-caching improves the speed decreasing the waiting time of the users which courage them to buy and doing so upgrades the customer experience quality.
After that test, on research process, three methods have been found in the literature for recommending web pages. These methods are association rule mining, item-based collaborative filtering and alternating least squares. All three methods have been implemented both in MSSQL Server and python in Spyder platform. 
The data of the webpage visits are provided by Google Analytics; Google Analytics has a code snippet allows web site owners to log customer actions. It has the logs such as page visits, purchasing, checkout, login, logout, etc. The data can be stored on BigQuery platform that is also a Google Analytics product. Only the page visit logs are obtained at the stage that the data is transferred from BigQuery to MSSQL Server. 
Company name in the data is cleared for studying anonymously. Duplicated sequential page visits are deleted and constant pages are excluded. Generalized data is used for application. Three main tests are performed with three methods during the proposed technique. The data sets which are used for tests are identical for comparison to be meaningful.
First training data set contains web page visits belonging to 75 days and the test data set contains 15 days web page visits. Second training data set contains one-month web page visits and the test data set contains one-week web page visits. Third and the last training data set contains one-week web page visits and the test data set contains one-day web page visits. It seems that the more train data is up-to-date, the more accurate recommendation is made on e-commerce website. Weekly trends effect e-commerce web page visits, including all the methods used in this study.
At the end of the implementations, association rule mining is concluded to be unsuccessful because it can't provide recommendations for all the pages. It's a precondition for a website to precache recommendations for all pages. One of its method called Apriori, couldn't get results for big data sets. The item-based collaborative filtering model achieved %6 success rate. It is a lower success rate from the purposed results. The alternating least squares model achieved %20 success rate. The proposed method that uses reachability matrix achieved about %35 success rate which is the highest. 
The pre-caching method for a web page is valid until 4th or 5th page visit. Validation is made only for the one next page recommendation. If it's assumed that the recommendation is successful when the visit of 2nd to 5th page matches with the recommendation provided, the success rates could rapidly grow. By categorization of the pages, it can be differentiated how many pages to recommend. Making less recommendations for niche pages, and more recommendations for popular pages can grow the success rate.
The major drawback of the methods that placed in literature is making recommendations time independent, in another words, making recommendations unordered. The proposed reachability matrix method considers that web page recommendations must be in an order for pre-caching. 
On the other hand, the proposed method has very simple algorithms to integrate with different systems in a short time. It's also capable of processing big data that other researched methods can't cope with. It can be used in most of the recommender system scenarios for estimation. For future works, it is suggested that the fuzzy approach can be performed instead of probability approach. Some alteration operations can be made at normalization stage to get higher success rates.