import streamlit as st import pandas as pd import numpy as np from sklearn.metrics.pairwise import cosine_similarity from sentence_transformers import SentenceTransformer, util from transformers import AutoTokenizer, AutoModel from sentence_transformers import SentenceTransformer, InputExample, losses from torch.utils.data import DataLoader import torch import ast import re st.title('Умный поиск фильмов 🔍🎦') with st.sidebar: st.header('Выберите страницу') page = st.selectbox("Выберите страницу", ["Главная", "какая-то еще", "Итоги"]) if page == "Главная": st.header('Выполнила команда "FindMyMovie":') st.subheader('🎥Алексей') st.subheader('🎬Светлана') st.subheader('🍿Тата') st.subheader('Наши задачи:') st.markdown(f"{'Задача №1: Спарсить информацию по 5 тыс. [фильмов](https://www.kinoafisha.info/) и обработать ее'}", unsafe_allow_html=True) st.markdown(f"{'Задача №2: Разработать систему поиска фильма по пользовательскому запросу'}", unsafe_allow_html=True) st.markdown( f"
Мы любезно позаимствовали данные о фильмах с \ Киноафиши, ни один участник команды при этом не пострадал 💟
", unsafe_allow_html=True ) st.info('🌟Сервис принимает на вход описание фильма от пользователя и возвращает заданное количество подходящих вариантов') df = pd.read_csv('data_with_adds.csv') st.info('🌟Если не знаете, что посмотреть, нажмите кнопку "Сгенерировать" - сервис предложит вам 10 случайных фильмов из библиотеки') if st.button("Сгенерировать 🎲"): # Получение случайных 10 строк random_rows = df[['movie_title', 'description']].sample(n=10).reset_index(drop=True) random_rows.index = random_rows.index + 1 # Вывод на страничке Streamlit st.write("Случайные 10 фильмов") st.write(random_rows) if page == "какая-то еще": # Загрузка предварительно обученной модели ruBERT tokenizer = AutoTokenizer.from_pretrained("DeepPavlov/rubert-base-cased-sentence") model = AutoModel.from_pretrained("DeepPavlov/rubert-base-cased-sentence") def encode_description(description): tokens = tokenizer(description, return_tensors="pt") with torch.no_grad(): outputs = model(**tokens) embeddings = outputs.last_hidden_state.mean(dim=1) return embeddings.cpu().numpy().astype('float32') embeddings_array = np.load('embeddings.npy') index = faiss.read_index('desc_faiss_index.index') df2 = pd.read_csv('data_with_embeddings.csv') # embeddings = pd.read_pickle('embeddings.pkl') user_input = st.text_area('Введите описание фильма') input_embedding = encode_description(user_input) embeddings_tensor = torch.stack([torch.Tensor(ast.literal_eval(embedding_str)) for embedding_str in df2['description_embedding']]).numpy() if st.button("Искать 🔍"): if user_input: # Векторизация введенного запроса input_embedding = encode_description(user_input) # Поиск с использованием Faiss _, sorted_indices = index.search(input_embedding.reshape(1, -1), 10) # Используйте индексы для извлечения строк из DataFrame recs = df.iloc[sorted_indices[0]].reset_index(drop=True) recs.index = recs.index + 1 # Вывод рекомендованных фильмов st.write("Рекомендованные фильмы:") st.table(recs[['movie_title', 'description']])