{ "cells": [ { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
namedescriptionlinkyearimdbkpcountryageactorsgenresposter
28Мстители: Война бесконечностиВ то время как отважные Мстители с союзниками...https://www.lordfilm.bot/3670-mstiteli-vojna-b...2018.08.48.1США18+Роберт Дауни мл., Крис Хемсворт, Марк Руффало,...Фильмы, Фильмы Marvel, Боевики, Приключения, Ф...https://www.lordfilm.bot/uploads/posts/2020-10...
4286LEGO Мстители Марвел: Код красныйСупергерои объединяются, чтобы противостоять ...https://www.lordfilm.bot/49932-lego-mstiteli-m...2023.0NaNNaNСША0+NaNМультфильмыhttps://www.lordfilm.bot/uploads/posts/2023-10...
13384Могучие рейнджеры: Потерянная галактикаКазалось бы всё зло уже побеждено, однако в н...https://www.lordfilm.bot/18827-moguchie-rejndz...1999.06.84.2США, Франция, Япония0+Арчи Као, Регги Ролли, Дэнни Славин, Серина Ви...Сериалыhttps://www.lordfilm.bot/uploads/posts/2021-03...
2609Стражи терракотыСтражи волшебной Терракоты и магические сущес...https://www.lordfilm.bot/46847-strazhi-terrako...2021.06.26.7Китай12+Тань СяоМультфильмыhttps://www.lordfilm.bot/uploads/posts/2022-01...
1156Царство падальщиковГрузовой корабль «Деметра» терпит аварию на н...https://www.lordfilm.bot/49892-carstvo-padalsc...2023.08.8NaNСША0+Вунми Моссаку, Алиа Шокат, Сунита Мани, Боб Ст...Мультфильмыhttps://www.lordfilm.bot/uploads/posts/2023-10...
3907Железный человек и Халк: Союз героевКогда питающийся электричеством и неуязвимый ...https://www.lordfilm.bot/21296-zheleznyj-chelo...2013.04.64.2США12+Адриан Пасдар, Фред Таташиор, Ди Брэдли Бейкер...Мультфильмыhttps://www.lordfilm.bot/uploads/posts/2021-04...
27972Потерянное львиное королевствоМультфильм о борьбе добра со злом на простора...https://www.lordfilm.bot/24407-poterjannoe-lvi...2019.03.8NaNСША18+Kj Schrock, Сара ТейлорМультфильмыhttps://www.lordfilm.bot/uploads/posts/2021-05...
297Мир Юрского периода 3: ГосподствоКатастрофическое извержение вулкана Сибо на И...https://www.lordfilm.bot/47499-mir-jurskogo-pe...2022.05.65.7США, Мальта12+Крис Пратт, Брайс Даллас Ховард, Лора Дерн, Сэ...Фильмы, 2022 год, Боевики, Приключения, Трилле...https://www.lordfilm.bot/uploads/posts/2022-06...
7626Лузеры«Лузеры» – сумасшедший экшн о предательстве и...https://www.lordfilm.bot/6139-luzery-2010.html2010.06.26.3США, Франция16+Джеффри Дин Морган, Зои Салдана, Крис Эванс, И...Фильмы, Боевики, Детективы, Комедии, Криминаль...https://www.lordfilm.bot/uploads/posts/2021-01...
25332Ancestral WorldПытаясь спасти своего брата и королевство сво...https://www.lordfilm.bot/10306-ancestral-world...2020.02.5NaNСША0+Jennifer Mischiati, Джо Морелли, Райан А. Филл...Фильмы, Боевики, 2020 год, Фильмы про монстровhttps://www.lordfilm.bot/uploads/posts/2021-02...
\n", "
" ], "text/plain": [ " name \\\n", "28 Мстители: Война бесконечности \n", "4286 LEGO Мстители Марвел: Код красный \n", "13384 Могучие рейнджеры: Потерянная галактика \n", "2609 Стражи терракоты \n", "1156 Царство падальщиков \n", "3907 Железный человек и Халк: Союз героев \n", "27972 Потерянное львиное королевство \n", "297 Мир Юрского периода 3: Господство \n", "7626 Лузеры \n", "25332 Ancestral World \n", "\n", " description \\\n", "28 В то время как отважные Мстители с союзниками... \n", "4286 Супергерои объединяются, чтобы противостоять ... \n", "13384 Казалось бы всё зло уже побеждено, однако в н... \n", "2609 Стражи волшебной Терракоты и магические сущес... \n", "1156 Грузовой корабль «Деметра» терпит аварию на н... \n", "3907 Когда питающийся электричеством и неуязвимый ... \n", "27972 Мультфильм о борьбе добра со злом на простора... \n", "297 Катастрофическое извержение вулкана Сибо на И... \n", "7626 «Лузеры» – сумасшедший экшн о предательстве и... \n", "25332 Пытаясь спасти своего брата и королевство сво... \n", "\n", " link year imdb kp \\\n", "28 https://www.lordfilm.bot/3670-mstiteli-vojna-b... 2018.0 8.4 8.1 \n", "4286 https://www.lordfilm.bot/49932-lego-mstiteli-m... 2023.0 NaN NaN \n", "13384 https://www.lordfilm.bot/18827-moguchie-rejndz... 1999.0 6.8 4.2 \n", "2609 https://www.lordfilm.bot/46847-strazhi-terrako... 2021.0 6.2 6.7 \n", "1156 https://www.lordfilm.bot/49892-carstvo-padalsc... 2023.0 8.8 NaN \n", "3907 https://www.lordfilm.bot/21296-zheleznyj-chelo... 2013.0 4.6 4.2 \n", "27972 https://www.lordfilm.bot/24407-poterjannoe-lvi... 2019.0 3.8 NaN \n", "297 https://www.lordfilm.bot/47499-mir-jurskogo-pe... 2022.0 5.6 5.7 \n", "7626 https://www.lordfilm.bot/6139-luzery-2010.html 2010.0 6.2 6.3 \n", "25332 https://www.lordfilm.bot/10306-ancestral-world... 2020.0 2.5 NaN \n", "\n", " country age \\\n", "28 США 18+ \n", "4286 США 0+ \n", "13384 США, Франция, Япония 0+ \n", "2609 Китай 12+ \n", "1156 США 0+ \n", "3907 США 12+ \n", "27972 США 18+ \n", "297 США, Мальта 12+ \n", "7626 США, Франция 16+ \n", "25332 США 0+ \n", "\n", " actors \\\n", "28 Роберт Дауни мл., Крис Хемсворт, Марк Руффало,... \n", "4286 NaN \n", "13384 Арчи Као, Регги Ролли, Дэнни Славин, Серина Ви... \n", "2609 Тань Сяо \n", "1156 Вунми Моссаку, Алиа Шокат, Сунита Мани, Боб Ст... \n", "3907 Адриан Пасдар, Фред Таташиор, Ди Брэдли Бейкер... \n", "27972 Kj Schrock, Сара Тейлор \n", "297 Крис Пратт, Брайс Даллас Ховард, Лора Дерн, Сэ... \n", "7626 Джеффри Дин Морган, Зои Салдана, Крис Эванс, И... \n", "25332 Jennifer Mischiati, Джо Морелли, Райан А. Филл... \n", "\n", " genres \\\n", "28 Фильмы, Фильмы Marvel, Боевики, Приключения, Ф... \n", "4286 Мультфильмы \n", "13384 Сериалы \n", "2609 Мультфильмы \n", "1156 Мультфильмы \n", "3907 Мультфильмы \n", "27972 Мультфильмы \n", "297 Фильмы, 2022 год, Боевики, Приключения, Трилле... \n", "7626 Фильмы, Боевики, Детективы, Комедии, Криминаль... \n", "25332 Фильмы, Боевики, 2020 год, Фильмы про монстров \n", "\n", " poster \n", "28 https://www.lordfilm.bot/uploads/posts/2020-10... \n", "4286 https://www.lordfilm.bot/uploads/posts/2023-10... \n", "13384 https://www.lordfilm.bot/uploads/posts/2021-03... \n", "2609 https://www.lordfilm.bot/uploads/posts/2022-01... \n", "1156 https://www.lordfilm.bot/uploads/posts/2023-10... \n", "3907 https://www.lordfilm.bot/uploads/posts/2021-04... \n", "27972 https://www.lordfilm.bot/uploads/posts/2021-05... \n", "297 https://www.lordfilm.bot/uploads/posts/2022-06... \n", "7626 https://www.lordfilm.bot/uploads/posts/2021-01... \n", "25332 https://www.lordfilm.bot/uploads/posts/2021-02... " ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "\n", "\n", "from transformers import AutoTokenizer, AutoModel\n", "import numpy as np\n", "from sklearn.metrics.pairwise import cosine_similarity\n", "import torch\n", "import pandas as pd\n", "\n", "\n", "data = np.load('embeddings.npy')\n", "movies = pd.read_csv('data.csv')\n", "\n", "def get_embeddings():\n", " tokenizer = AutoTokenizer.from_pretrained(\"cointegrated/rubert-tiny2\")\n", " model = AutoModel.from_pretrained(\"cointegrated/rubert-tiny2\")\n", " # model.cuda() \n", " return model, tokenizer\n", "\n", "def embed_bert_cls(text ):\n", " model, tokenizer = get_embeddings()\n", " t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')\n", " with torch.no_grad():\n", " model_output = model(**{k: v.to(model.device) for k, v in t.items()})\n", " embeddings = model_output.last_hidden_state[:, 0, :]\n", " embeddings = torch.nn.functional.normalize(embeddings)\n", " return embeddings[0].cpu().numpy()\n", "\n", "def top_indices(array, n):\n", "\n", " sorted_indices = np.argsort(array)[::-1]\n", " # Выбираем первые n индексов\n", " top_n_indices = sorted_indices[:n]\n", " return top_n_indices\n", "\n", "\n", "def predict_rating(input_search):\n", "\n", " emb = embed_bert_cls(input_search)\n", " X=np.column_stack((data, np.tile(emb, (data.shape[0], 1))))\n", "\n", "\n", " # from catboost import CatBoostRanker\n", " # cb= CatBoostRanker()\n", " # cb.load_model('model.cbm')\n", " # y = cb.predict(X)\n", "\n", " # import pickle\n", " # with open('logreg.pkl', 'rb') as f:\n", " # logreg = pickle.load(f)\n", " # y = logreg.predict(X)\n", "\n", " y= cosine_similarity(data, emb.reshape(1, -1)).reshape(-1)\n", "\n", " return top_indices(y, 10)\n", "\n", "\n", "preds=predict_rating(\"Пока Мстители и их союзники продолжают защищать мир от различных опасностей, с которыми не смог бы справиться один супергерой, новая угроза возникает из космоса: Танос. Межгалактический тиран преследует цель \")\n", "\n", "movies.iloc[preds]" ] } ], "metadata": { "kernelspec": { "display_name": "cv", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.12.2" } }, "nbformat": 4, "nbformat_minor": 2 }