Evaluation of Network-aware Recommendation Systems in Realistic Settings

The current traffic trends and predictions foresee many challenges for future mobile networks, which will need to efficiently serve traffic volumes orders of magnitude larger than those experienced today. Network-aware Recommendations has been recently proposed as a paradigm that enables mobile networks to keep up with the increasing data demand, by jointly designing communication networks and recommendation systems (RSs). Network-aware recommendations is a relatively new research area having many underexplored topics and open research problems, some of them having been discussed in this article. Network-aware recommendations (i) are based on the fact that recommendation systems drive a significant fraction of the demand for content in the Internet (e.g., more than 50% of user requests at YouTube come from its recommendations and the respective percentage for Netflix is 80%), and (ii) steer recommendations towards content that can be delivered efficiently through the networks (e.g., locally stored at a cache in the mobile edge or exploiting coded transmissions). Most of the related work of the field applies in theoretical scenarios, without making realistic evaluations, including real-world setups and real-user ratings. In this work we are the first to experimentally evaluate (through measurements in a real service and experiments with users) the performance of proposed network-aware recommendation approaches and investigate their feasibility and benefits from different points of view (such as network performance, user experience, etc.). In detail we: 1. leverage public information provided by the YouTube API Service and conduct realistic simulations to evaluate the potential gains from the network perspective 2. implement and use an experimental testbed to interact with real users and demonstrate the benefits for the content providers’ and end users’ perspective, respectively 3. build statistical models to derive the user experience as a function of QoS and user interest and to provide useful insights for the design of network-aware RSs We believe that our study is an important first step towards network-aware recommendations, by providing experimental and analytic evidence for their feasibility and benefits and by discussing the interplay between networking and content recommendations. Αξιολόγηση των Δικτυογνωστικών Προτασειακών Συστημάτων σε Ρεαλιστικά Σενάρια Περίληψη Οι τρέχουσες τάσεις και προγνώσεις της κυκλοφορίας στο διαδίκτυο προβλέπουν πολλές προκλήσεις για τα μελλοντικά δίκτυα κινητής τηλεφωνίας, τα οποία θα πρέπει αποτελεσματικά να εξυπηρετούν όγκους κίνησης μεγέθους μεγαλύτερης από αυτά που βιώνουν σήμερα. Τα Δικτυογνωστικά Συστήματα Συστάσεων έχουν προταθεί πρόσφατα ως ένα παράδειγμα που επιτρέπει στα δίκτυα κινητών επικοινωνιών να συμβαδίζουν με την αυξανόμενη ζήτηση δεδομένων, με το σχεδιασμό από κοινού των δικτύων επικοινωνίας και των συστημάτων συστάσεων. Τα δικτυογνωστικά συστήματα συστάσεων είναι ένας σχετικά νέος ερευνητικός χώρος που έχει πολλά ανεξερεύνητα θέματα και ανοικτά ερευνητικά προβλήματα, ορισμένα από τα οποία συζητώνται σε αυτό το άρθρο. Τα δικτυογνωστικά συστήματα συστάσεων(i) βασίζονται στο γεγονός ότι τα συστήματα προτάσεων οδηγούν ένα σημαντικό μέρος της ζήτησης περιεχομένου στο διαδίκτυο (π.χ. περισσότερα από 50% των αιτημάτων χρήστη στο YouTube προέρχονται από τις συστάσεις του και το αντίστοιχο ποσοστό για το Netflix είναι 80%) και (ii) κατευθύνουν τις προτάσεις προς περιεχόμενο που μπορεί να παραδοθεί αποτελεσματικά μέσω των δικτύων (π.χ. αποθηκευμένο σε τοπικό επίπεδο σε μια προσωρινή μνήμη (cache) ή μέσω εκμετάλλευσης κωδικοποιημένων μεταδόσεων (coded transmissions)). Το μεγαλύτερο μέρος του ερευνητικού έργου στον τομέα εφαρμόζεται σε θεωρητικά σενάρια, χωρίς να γίνονται ρεαλιστικές αξιολογήσεις, οι οποίες λαμβάνουν υπόψιν αληθινές ρυθμίσεις και αξιολογήσεις πραγματικών χρηστών. Σε αυτή την εργασία, είμαστε οι πρώτοι που αξιολογούμε πειραματικά (μέσω μετρήσεων σε πραγματική υπηρεσία και πειράματα με τους χρήστες) τις επιδόσεις των Δικτυογνωστικών Συστημάτων Συστάσεων και διερευνoύμε τη σκοπιμότητα και τα οφέλη τους από διαφορετικές οπτικές γωνίες (όπως η απόδοση του δικτύου, η ικανοποίηση των χρηστών, και τα λοιπά.). Αναλυτικά: 1. αξιοποιούμε τις δημόσιες πληροφορίες που παρέχει η υπηρεσίαAPI τουYouTube και διεξάγουμε ρεαλιστικές προσομοιώσεις για να αξιολογήσουμε τα πιθανά κέρδη από την μεριά του δικτύου 2. σχεδιάζουμε και χρησιμοπούμε μια πειραματική πλατφόρμα για αλληλεπίδραση με πραγματικούς χρήστες και αποδεικνύουμε τα οφέλη για τους παρόχους περιεχομένου και τους τελικούς χρήστες, αντίστοιχα 3. χτίζουμε στατιστικά μοντέλα για την εξαγωγή της εμπειρίας των χρηστών ως συνάρτηση του δικτύου και του ενδιαφέροντος των χρηστών και για την παροχή χρήσιμων στοιχείων για το σχεδιασμό των προτασειακών συστημάτων Πιστεύουμε ότι η μελέτη μας είναι ένα σημαντικό πρώτο βήμα για τα Δικτυογνωστικά Συστήματα Συστάσεων, παρέχοντας πειραματικά και αναλυτικά στοιχεία για τη σκοπιμότητά τους και τα οφέλη τους και συζητώντας την αλληλεπίδραση μεταξύ δικτύων και συστάσεων περιεχομένου. Ευχαριστίες • Ευχαριστώ τον μεταδιδακτορικό ερευνητή, σύμβουλο και μέντορα Παύλο Σερμπέζη, για την καθοδήγηση του καθόλη τη διάρκεια της μεταπτυχιακής εργασίας. Πέραν των τεχνικών δεξιοτήτων που ανέπτυξα κάτω από τις οδηγίες του, με βοήθησε στην κατανόηση των οικονομικών και κοινωνικών παραγόντων που οδηγούν την έρευνα, προσφέροντας μου μία ευρύτερη κατανόηση του ακαδημαϊκού κλάδου. • Ευχαριστώ τον καθηγητή Ξενοφώντα Δημητρόπουλο, για τις ευκαιρίες να δουλέψω σε ενεργά projects στο εργαστήριο Telecommunications and Networks Laboratory, Institute of Computer Science, Foundation of Research and Technology Hellas, καθώς και για την καθοδήγηση του καθόλη τη διάρκεια της μεταπτυχιακής εργασίας. • Ευχαριστώ τους συνάδελφους-ερευνητές Daniel Sadoc Menasche, Thrasyvoulos Spyropoulos, Felipe Assis, Mateus Nogueira, Joao Ismael Pinheiro, με τους οποίους συνεργαστήκαμε, ανταλλάξαμε ιδέες, συζητήσαμε μεθόδους και αποτελέσματα και καταθέσαμε τις δουλειές μας σε επιστημονικά συνέδρια. • Ευχαριστώ το YouTube API Service και τους ανθρώπους που συντηρούν αυτή την υπηρεσία, καθώς, μεγάλο κομμάτι των μετρήσεων μας βασίστηκε σε δεδομένα που συλλέξαμε μέσω αυτής. • Ευχαριστώ το ΙΤΕ για την ευκαιρία να συμμετάσχω σε έρευνα πρώτης γραμμής και για τις χρηματοδοτήσεις που έλαβα σε διάφορα στάδια της μεταπτυχιακής μου εργασίας. • Ευχαριστώ τους ανθρώπους μου, οι οποίοι στάθηκαν στήριγμα στις δύσκολες περιόδους των deadlines, των διαγωνισμάτων, των παρουσιάσεων και τους ευχαριστώ για τις αμέτρητες ώρες που υπέμειναν και άκουσαν ακαταλαβίστικους όρους του computer science. Aυτό το κείμενο, είναι αφιερωμένο σε αυτούς. Στους γονείς μου, Βλάση και Αντιγόνη