Данная статья является продолжением "Рекомендательная система SVD". Если вам не знакома терминология (user-item matrix, SVD-разложение, PCA, метод главных компонент и пр.), то рекомендую прежде прочитать первую часть.  Netflix Prize - одно из самых известных соревнований в области машинного обучения. Целью было создание алгоритма, который улучшал бы рекомендации фильмов и телешоу на 10%. Один из наиболее успешных алгоритмов был алгоритм Саймона Фанка, основной идеей которого является матричная факторизация.  Матричная факторизация - разложение матрицы на произведение двух или более матриц. Например, SVD-разложение. Пусть у нас имеется матрица рейтингов пользователей  (разряженная user-item matrix). - элементы . Обозначим через - прогнозируемые рейтинги и - элементы . Представим  как произведение матриц на . Подразумевается, что - скрытые факторы пользователя (user), - -ая строка. - скрытые факторы элемента (item), - -ый столбец (такие методы называют Latent Models for Collaborative Filtering). Тогда прогнозируемый рейтинг для -го пользователя и -го товара вычисляется как скалярное произведение: . Обучение состоит в минимизации квадратичной ошибки: где - некоторый коэффициент (гиперпараметр). Однако, при прогнозировании оценок необходимо учитывать предубеждения пользователей. Например, пользователь, вероятно, поставит более завышенную оценку фильму, который признан каким-то сообществом. В то время как менее популярный фильм получит более умеренную оценку. Или, можно разделить пользователей на более и менее критичных. Кто-то легко ставит высокие рейтинги, кто-то - наоборот. Эти смещения (предубеждения) необходимо учитывать при прогнозировании. Введем новые переменные: - среднее значение баллов, выставленных по всем items всеми users; - смещение, вносимое элементом; - предвзятость, внесенная пользователем; Тогда, скорректированный прогноз (с учетом смещения) : В таком случае минимизируем следующий функционал: Оптимальное решение будем искать с помощью градиентного спуска. Ошибку обозначим как  Градиенты по , , , :         Тогда градиентный шаг выполняется по формулам:         где  - коэффициент скорости обучения learning rate (гиперпараметр). Реализуем алгоритм.  Данные возьмем из первой части статьи.  Созданим рейтинги R_train случайным образом Посмотрим как выглядит User-item matrix Найдем среднее по всем рейтингам: Инициализируем смещение, вносимое фильмами и "предвзятость" пользователей Инициализируем скрытые факторы пользователей и скрытые факторы фильмов Градиентный спуск Посчитаем предсказания для всех пользователей и фильмов: Можно воспользоваться библиотекой scikit-surprise. Бывает полезно использовать и другие модификации алгоритма:  где  - другой набор векторов, который говорит, что надо добавить к вектору пользовтеля, если у него в истории был этот айтом. Добавление зависимости от времени бывает полезно, если данные растянуты на несколько лет и более, когда вкусы пользователя могут поменяться (иначе моделька будет выдавать некоторое "среднее значение по вкусу").  Вектор пользователя можно побить на бины. Тогда в разные моменты времени получаются разные вектора (однако, если выбрать большое количество бинов, можно легко переобучиться). Таким образом, мы не выбрасываем старые взаимодействия, а улучшаем представления об айтемах (при условии что он не менялся), не ухудшая текущего понимания пользователя.  В конце соревнования Netflix выплатил миллион долларов победителям. Позже, организаторы конкурса признались, что за такую ничтожную сумму они не смогли бы заставить работать столько ученых по всему миру целых три года. Однако, благодаря конкурсу, мы теперь знаем все о разложении user-item. Такие задачи принято называть 2D-задачи, потому что  имеем данные о взаимодействии двух разных множеств. Но мы можем учитывать, например, ситуативный контекст (если планируется семейный просмотр фильма - это один вид рекомендаций, если с друзьями - другой, если наедине - третий и тд), тогда мы можем говорить о больших размерностях для данной задачи. Современные рекомендательные системы уходят именно туда: как рекомендовать в условиях когда у нас много разнообразной разнородной дополнительной информации.