Upload 15 files

.gitattributes

@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+data/desc_faiss_index_eng.index filter=lfs diff=lfs merge=lfs -text
+data/desc_faiss_index_final.index filter=lfs diff=lfs merge=lfs -text
+data/eng_data.csv filter=lfs diff=lfs merge=lfs -text
+data/final_data.csv filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,12 +1,75 @@
 ---
-title: Find My Movie
-emoji: 🐠
-colorFrom: red
-colorTo: yellow
+title: FindMyMovie
+emoji: 🔥
+colorFrom: indigo
+colorTo: green
 sdk: streamlit
-sdk_version: 1.31.0
+sdk_version: 1.29.0
 app_file: app.py
 pinned: false
 ---
 
+# Find my movie
+
+## Умный поиск фильмов
+
+**Elbrus data science - проект Фазы 2** 
+
+##  Наша команда: 
+ - **[Татьяна](https://github.com/Proseccovna)**
+ - **[Светлана](https://github.com/Solar-Iz)**
+ - **[Алексей](https://github.com/Alex-Dolgikh)**
+
+### О проекте: 
+
+- Приложение, которое рекомендует фильмы на основе их описания 
+
+- Пользователь вводит описание фильма  
+
+- Система предлаагет ему список фильмов, соотествующих данному описанию 
+
+- Фильмы предлагаются из более чем 7000, представленных на сайте kinoafisha.info 
+
+
+### Как пользоваться: 
+
+- Проект доступен [здесь](https://huggingface.co/spaces/HaggiVaggi/FindMyMovie)
+
+- Просто откройте сртримлит-приложение и следуйте оставленным там инструкциям
+
+- Обратная связь приветсвуется  
+
+
+# Find my movie
+
+## Smart movie search 
+
+**Elbrus data science - Phase 2 project** 
+
+##  Our team: 
+ - **[Tatiana](https://github.com/Proseccovna)**
+ - **[Svetlana](https://github.com/Solar-Iz)**
+ - **[Alexey](https://github.com/Alex-Dolgikh)**
+
+
+### About project: 
+
+- An app that recomends a movie based on its description
+
+- The user enters a movie description  
+
+- The system recomends a list of movies that fit the description 
+
+- Movies are chosen from a set of 7000+ from kinoafisha.info website 
+
+
+### How to use: 
+
+- The project is deployed [here](https://huggingface.co/spaces/HaggiVaggi/FindMyMovie)
+
+- Simply use the streamlit app in your browser and follow the instructions there
+
+- Feel free to leave feedback 
+
+
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,63 @@
+import streamlit as st
+import pandas as pd
+import torch
+from transformers import AutoTokenizer, AutoModel
+import faiss
+import numpy as np
+
+@st.cache_data
+def load_data(url):
+    df = pd.read_csv(url)  # 👈 Download the data
+    return df
+
+df = load_data('data/final_data.csv')
+
+st.title('Умный поиск фильмов 🔍🎦')
+
+
+st.header('Выполнила команда "FindMyMovie":')
+st.subheader('🎥Алексей')
+st.subheader('🎬Светлана')
+st.subheader('🍿Тата')
+    
+
+
+st.subheader('Наши задачи:')
+st.markdown("""
+<span style='font-size:18px; color:purple;'>Задача 1:</span> Спарсить информацию по 5 тыс. фильмов и обработать ее
+
+<span style='font-size:18px; color:purple;'>Задача 2:</span> Разработать систему поиска фильма по пользовательскому запросу
+""", unsafe_allow_html=True)
+
+st.markdown(
+f"<div style='border: 2px solid #800080; padding: 10px; text-align: center;'><span style='font-size: 20px; color: violet;'>Мы любезно позаимствовали данные о фильмах с \
+Киноафиши, ни один участник команды при этом не пострадал 💟</span></div>",
+unsafe_allow_html=True
+)
+
+st.subheader('   '*10)
+
+
+st.info('🌟Сервис принимает на вход описание фильма от пользователя и возвращает заданное количество подходящих вариантов')
+
+
+st.info('🌟Если не знаете, что посмотреть, нажмите кнопку "Сгенерировать" - сервис предложит вам 10 случайных фильмов из библиотеки')
+
+
+# Отображаем HTML-разметку в Streamlit
+if st.button("Сгенерировать 🎲"):
+    # Получение случайных 10 строк, включая 'image_url' и 'actors'
+    random_rows = df[['movie_title', 'description', 'actors', 'image_url', 'page_url']].sample(n=10).reset_index(drop=True)
+    random_rows.index = random_rows.index + 1
+    st.markdown(f"<span style='font-size:{20}px; color:violet'>{'Сегодня мы подобрали для вас следующие фильмы:'}</span>", unsafe_allow_html=True)
+
+
+
+    for i in range(5):        
+        st.markdown(f"<span style='font-size:{20}px; color:purple'>{random_rows['movie_title'].iloc[i]}</span>", unsafe_allow_html=True)
+        col1, col2 = st.columns([2, 1])
+        col1.info(random_rows['description'].iloc[i])
+        col1.markdown(f"**В ролях:** {random_rows['actors'].iloc[i]}")
+        col1.markdown(f"**Фильм можно посмотреть [здесь]({random_rows['page_url'].iloc[i]})**")
+        col2.image(random_rows['image_url'].iloc[i], caption=random_rows['movie_title'].iloc[i], width=200)
+ 

data/.gitattributes

@@ -0,0 +1 @@
+*.csv filter=lfs diff=lfs merge=lfs -text

data/desc_faiss_index_eng.index

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4130d7742406402173d6e0baad2820ff396e009605d05676bbcaac9b19025c2e
+size 8279085

data/desc_faiss_index_final.index

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c645564c7543ebf505584d4191fec57ee6649150fb7eca4c45b8936438386ac8
+size 21633069

data/embeddings_eng.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:df3274afc661f2d791ad695af2451b6d53b9bad6372167ab1f4312dd4e9bd81a
+size 8279168

data/embeddings_final.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4d1f6eaf09c7a6cf43065869814720f3ed98f58bc0c4784e3bbdf8a80eb99cdb
+size 21633152

data/eng_data.csv

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d2e9692f30661c1eb29ae2b8b0c46aff6a5d968064ffcb06187136e9945e9913
+size 35269233

data/final_data.csv

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:203f00b121ce8d38c4c0485aac14af75ce942db8c57a27e44f9ed174525463a3
+size 120362756

pages/1 Подбор фильмов по описанию✏️🔍.py

@@ -0,0 +1,95 @@
+import streamlit as st
+import pandas as pd
+import torch
+from transformers import AutoTokenizer, AutoModel
+import faiss
+import numpy as np
+
+@st.cache_data
+def load_data(url):
+    df = pd.read_csv(url)
+    return df
+
+@st.cache_data
+def embedding_and_index():
+    embeddings_array = np.load('data/embeddings_final.npy')
+    index = faiss.read_index('data/desc_faiss_index_final.index')
+    return embeddings_array, index
+
+@st.cache_data
+def load_model():
+    model = AutoModel.from_pretrained("DeepPavlov/rubert-base-cased-sentence")
+    return model
+
+
+st.header("Подбор фильмов по описанию ✏️🔍")
+
+# Загрузка данных
+tokenizer = AutoTokenizer.from_pretrained("DeepPavlov/rubert-base-cased-sentence")
+df = load_data('data/final_data.csv')
+embeddings_array, index = embedding_and_index()
+model = load_model()
+
+# Пользовательский ввод
+user_input = st.text_input("Введите описание фильма:", value="", help="Чем подробнее будет ваше описание, тем точнее мы сможем подобрать для вас фильм 🤗'")
+genre_list = ['анимация', 'аниме', 'балет', 'биография', 'боевик', 'вестерн', 'военный', 'детектив', 'детский', 'документальный', 'драма', 'исторический', 'катастрофа', 'комедия', 'концерт', 'короткометражный', 'криминал', 'мелодрама', 'мистика', 'музыка', 'мюзикл', 'нуар', 'приключения', 'сборник', 'семейный', 'сказка', 'спорт', 'триллер', 'ужасы', 'фантастика', 'фэнтези', 'эротика']
+
+user_select_genre = st.multiselect('Выберите жанр', genre_list)
+
+if st.button("Искать🔍🎦"):
+    if user_input:
+        def encode_description(description, tokenizer, model):
+            tokens = tokenizer(description, return_tensors="pt")
+            with torch.no_grad():
+                outputs = model(**tokens)
+            embeddings = outputs.last_hidden_state.mean(dim=1)
+            return embeddings.cpu().numpy().astype('float32')
+
+        # Векторизация введенного запроса с использованием переданных tokenizer и model
+        input_embedding = encode_description(user_input, tokenizer, model)
+
+        # Поиск с использованием Faiss
+        _, sorted_indices = index.search(input_embedding.reshape(1, -1), 5)
+
+        # Используйте индексы для извлечения строк из DataFrame
+        recs = df.iloc[sorted_indices[0]].reset_index(drop=True)
+        recs.index = recs.index + 1
+
+        if user_select_genre: 
+            genres_selected = pd.Series(user_select_genre)
+            genre_mask = df['genre'].str.contains('')
+            for i in range(len(genres_selected)):
+                genre_mask_i = df['genre'].str.contains(genres_selected.iloc[i])
+                genre_mask = genre_mask & genre_mask_i
+            recs = recs[genre_mask]
+
+        if not recs.empty:
+            # Вывод рекомендованных фильмов с изображениями
+            st.subheader("Рекомендованные фильмы 🎉:")
+            for i in range(min(5, len(recs))):
+                st.markdown(f"<span style='font-size:{20}px; color:purple'>{recs['movie_title'].iloc[i]}</span>", unsafe_allow_html=True)
+                # Создаем две колонки: одну для текста, другую для изображения
+                col1, col2 = st.columns([2, 1])
+
+                # В  колонке отображаем название фильма, описание, роли и ссылку
+                col1.info(recs['description'].iloc[i])
+                col1.markdown(f"**В ролях:** {recs['actors'].iloc[i]}")
+                col1.markdown(f"**Фильм можно посмотреть [здесь]({recs['page_url'].iloc[i]})**")
+
+                # В  колонке отображаем изображение
+                col2.image(recs['image_url'].iloc[i], caption=recs['movie_title'].iloc[i], width=200)
+            
+            with st.sidebar:
+                st.info("""
+                    #### Мы смогли помочь вам с выбором? 
+                """)
+                feedback = st.text_input('Поделитесь с нами вашим мнением')
+            
+                feedback_button = st.button("Отправить отзыв", key="feedback_button")
+            
+            if feedback_button and feedback:
+                st.success("Спасибо, каждый день мы стараемся быть лучше для вас 💟")
+            elif feedback_button:
+                st.warning("Пожалуйста, введите отзыв перед отп��авкой.")
+        else:
+            st.subheader("Подходящих фильмов не найдено, ослабьте фильтры 😔:")

pages/2 Selection of films by description✏️🔍.py

@@ -0,0 +1,95 @@
+import streamlit as st
+import pandas as pd
+import torch
+from transformers import BertTokenizer, BertModel
+import faiss
+import numpy as np
+import re
+import nltk
+from nltk.corpus import stopwords
+
+# Загрузка стоп-слов для английского языка
+nltk.download('stopwords')
+stop_words = set(stopwords.words('english'))
+
+@st.cache_data
+def load_data(url):
+    df = pd.read_csv(url)
+    return df
+
+@st.cache_data
+def embedding_and_index():
+    embeddings_array = np.load('data/embeddings_eng.npy')
+    index = faiss.read_index('data/desc_faiss_index_eng.index')
+    return embeddings_array, index
+
+@st.cache_data
+def load_model():
+    model = BertModel.from_pretrained('bert-base-uncased')
+    return model
+
+def clean_text(text):
+    text = text.lower()
+    text = re.sub(r'[^\w\s]', '', text)
+    text = ' '.join(word for word in text.split() if word not in stop_words)
+    
+    return text
+
+st.header("Selection of films by description✏️🔍")
+
+# Загрузка данных
+tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
+df = load_data('data/eng_data.csv')
+embeddings_array, index = embedding_and_index()
+model = load_model()
+
+# Пользовательский ввод
+user_input = st.text_input("Enter a movie description:", value="", help="The more detailed your description is, the more accurately we can choose a film for you 🤗'")
+
+if st.button("Search🔍🎦"):
+    if user_input:
+        def encode_description(description, tokenizer, model):
+            tokens = tokenizer(description, return_tensors="pt")
+            with torch.no_grad():
+                outputs = model(**tokens)
+            embeddings = outputs.last_hidden_state.mean(dim=1)
+            return embeddings.cpu().numpy().astype('float32')
+        
+        # Применяем очистку текста к пользовательскому вводу
+        cleaned_input = clean_text(user_input)
+        
+        # Векторизация очищенного запроса
+        input_embedding = encode_description(cleaned_input, tokenizer, model)
+
+        # Поиск с использованием Faiss
+        _, sorted_indices = index.search(input_embedding.reshape(1, -1), 5)
+
+        # Используйте индексы для извлечения строк из DataFrame
+        recs = df.iloc[sorted_indices[0]].reset_index(drop=True)
+        recs.index = recs.index + 1
+
+        # Вывод рекомендованных фильмов с изображениями
+        st.subheader("Recommended movies 🎉:")
+        for i in range(5):
+            st.markdown(f"<span style='font-size:{20}px; color:purple'>{recs['movie_title'].iloc[i]}</span>", unsafe_allow_html=True)
+        # Создаем две колонки: одну для текста, другую для изображения
+            col1, col2 = st.columns([2, 1])
+    
+        # В  колонке отображаем название фильма, описание, роли и ссылку
+            col1.info(recs['description'].iloc[i])
+            col1.markdown(f"**You can watch the film [here]({recs['page_url'].iloc[i]})**")
+    
+        # В  колонке отображаем изображение
+            col2.image(recs['image_url'].iloc[i], caption=recs['movie_title'].iloc[i], width=200)
+        with st.sidebar:
+            st.info("""
+                 #### Were we able to help you with the choice? 
+                """)
+            feedback = st.text_input('Share with us')
+        
+            feedback_button = st.button("Send feedback", key="feedback_button")
+        
+        if feedback_button and feedback:
+            feedback_container.success("Thank you, every day we try to be better for you 💟")
+        elif feedback_button:
+            feedback_container.warning("Please enter a review before submitting")

pages/3 Итоги проекта🏆.py

@@ -0,0 +1,42 @@
+import streamlit as st
+
+st.header('Инструменты для создания проекта: ')
+
+st.subheader('Для русской версии: ')
+
+list_text = """
+<div style='color: violet; border: 2px solid purple; padding: 10px;'>
+    <ul>
+        <li>Используемые языковые модели: rubert-base-cased-sentence, rubert-tiny2</li>
+        <li>Библиотека Sentence Transformers</li>
+        <li>Faiss (для уменьшения времени генерации подборки фильмов)</li>
+        <li>Сайт-жертва для парсинга - <a href="https://www.kinoafisha.info/" style='color: purple;'>Киноафиша</a></li>
+    </ul>
+</div>
+"""
+
+# Отображение HTML-разметки в Streamlit
+st.markdown(list_text, unsafe_allow_html=True)
+
+st.subheader('Для английской версии: ')
+
+list_text2 = """
+<div style='color: pink; border: 2px solid violet; padding: 10px;'>
+    <ul>
+        <li>Используемые языковые модели: bert-base-uncased</li>
+        <li>Очистка текста: приведение к нижнему регистру, очистка от знаков препинания, стоп-слова</li>
+        <li>Библиотека Sentence Transformers</li>
+        <li>Faiss (для уменьшения времени генерации подборки фильмов)</li>
+        <li>Сайт-жертва для парсинга - <a href="https://www.themoviedb.org/" style='color: violet;'>TMDB</a></li>
+    </ul>
+</div>
+"""
+
+st.markdown(list_text2, unsafe_allow_html=True)
+
+
+st.markdown("<p style='color: pink; font-size: 28px; text-align: center;'>"
+            "А теперь, когда фильм успешно выбран, вооружайтесь теплым пледом и глинтвейном и бегите смотреть 🎄🍿"
+            "</p>", unsafe_allow_html=True)
+
+st.image("apps/2.jpg",  use_column_width=True)

requirements.txt

@@ -0,0 +1,7 @@
+transformers==4.35.2
+sentence-transformers==2.2.2
+torch==1.11.0
+streamlit==0.86.0
+pandas==1.3.3
+scikit-learn==1.3.2
+faiss-gpu==1.7.2