Upload 6 files

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2023 Shchushch
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

README.md

@@ -1,13 +1,2 @@
----
-title: Find My Book
-emoji: 🌖
-colorFrom: blue
-colorTo: red
-sdk: streamlit
-sdk_version: 1.21.0
-app_file: app.py
-pinned: false
-license: mit
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# find_my_book
+ 

app.py

@@ -0,0 +1,56 @@
+import streamlit as st
+import pandas as pd
+import random as rd
+import webbrowser as wb
+from find import find_similar,df
+st.set_page_config(
+    page_title="Умный поиск книг",
+    page_icon="path/to/favicon.ico",
+    layout="wide",
+    initial_sidebar_state="expanded"
+)
+
+df
+st.title('Умный поиск книг')
+form = st.form(key='search_form')
+input=form.text_input('Введите поисковый запрос')
+
+# if 'clicked' not in st.session_state:
+#     st.session_state.clicked = False
+#df= pd.read_csv('books_booksle.csv')
+
+items_per_page=form.number_input('Количество книг на странице',min_value=1,max_value=10,value=5)
+search_but=form.form_submit_button('Искать')
+
+
+# if search_but:
+#     st.session_state.clicked = True
+
+@st.cache_data(experimental_allow_widgets=True)
+def books_show(books,sims):
+    col=[]
+    for i in range(len(books)):
+        col.append(st.columns([0.2,0.8]))
+        '---'
+        
+        url=books.iloc[i,0]#'page_url'][i]
+        col[i][0].image(books['image_url'][i],width=200)
+        col[i][0].markdown('<a href={url} target="_blank">Ссылка на книгу</a>', unsafe_allow_html=True)
+        col[i][0].markdown(f'**Степень похожести:** {books["sims"][i]:.4f}')
+        #col[i][0].button('Купить',key=books['page_url'][i],on_click=lambda: wb.open_new_tab(books['page_url'][i]))
+        col[i][1].markdown('## '+ f"{books['title'][i]}")
+        col[i][1].markdown('**Автор:** ' +books['author'][i])
+        col[i][1].markdown('**Аннотация:** '  +books['annotation'][i])    
+if search_but:
+    sims,books_idx=find_similar(input)
+    #sims
+    books=df.copy()
+    books['sims']=sims
+    books=books.iloc[books_idx].iloc[:items_per_page]
+    #books=books.iloc[:items_per_page]
+    #books=df.iloc[books_idx]
+    #[:items_per_page]
+    #sims
+    books
+    #books['sims'][0]
+    books_show(books,sims)

books_sample.csv

@@ -0,0 +1,20 @@
+page_url,image_url,author,title,annotation
+https://www.biblio-globus.ru/product/10567224,https://static1.bgshop.ru/imagehandler.ashx?filename=10567224.jpg&width=200,Гоголь Н. В. ,Нос,"Подарочное издание классического произведения Н.В. Гоголя ""Нос"", с иллюстрациями современного художника-графика Олега Корытова. Дизайн обложки - блинтованное тиснение на брутальном крафте в обрез.Сам текст произведения нагружен разными параллельными пространствами, понятными только главным героям – майору Ковалеву и его носу. Использование конструкции книги помогает превратить это в композиционно-пространственную игру."
+https://www.biblio-globus.ru/product/10044586,https://static1.bgshop.ru/imagehandler.ashx?filename=10044586.jpg&width=200,Толстой Л. Н.,Война и мир. В 2 т.,"«Война и мир» Л. Н. Толстого — книга на все времена. Кажется, что она существовала всегда, настолько знакомым кажется текст, едва мы открываем первые страницы романа, настолько памятны многие его эпизоды: охота и святки, первый бал Наташи Ростовой, лунная ночь в Отрадном, князь Андрей в сражении при Аустерлице... Сцены «мирной», семейной жизни сменяются картинами, имеющими значение для хода всей мировой истории, но для Толстого они равноценны, связаны в едином потоке времени. Каждый эпизод важен не только для развития сюжета, но и как одно из бесчисленных проявлений жизни, которая насыщена в каждом своем моменте и которую учит любить Толстой."
+https://www.biblio-globus.ru/product/10894146,https://static1.bgshop.ru/imagehandler.ashx?filename=10894146.jpg&width=200,Набоков В.В. ,Поэмы 1918-1947. Жалобная песнь Супермена,"Все мы привыкли думать о Владимире Набокове как о великолепном прозаике, уникальном, ни на кого не похожем стилисте. Широкой публике гораздо менее известен Набоков-поэт. В настоящее издание вошли как известные, так и никогда ранее не публиковавшиеся поэмы. “Легенда о луне”, “Электричество”, “На севере диком”, “Olypicu” публикуются впервые. Также впервые опубликована “Жалобная песнь Супермена”, написанная в Америке вскоре после переезда.
+В поэзии, в силу сжатости формы, отчетливее видны основные темы творчества Набокова. Каждая поэма этого сборника если не о возвращении – то о невозможности вернуться: “Мне хочется домой. Довольно. Качурин, можно мне домой?”"
+https://www.biblio-globus.ru/product/10887280,https://static1.bgshop.ru/imagehandler.ashx?filename=10887280.jpg&width=200,Олкотт Л.М. ,Маленькие женщины,"В Америке началась Гражданская война, глава семейства Марч ушел на фронт, а все заботы по дому легли на плечи его жены и дочерей. 
+Старшая из сестер, шестнадцатилетняя Маргарет - женственная и романтичная красавица с прекрасными манерами. Джо - настоящий сорванец в юбке, ей пятнадцать и она лазает по деревьям, бегает наперегонки с друзьями, катается на коньках, а может даже и подраться. Тринадцатилетняя Бесс - застенчивая и робкая девочка с добрейшим сердцем, сущий ангелочек и любимица всей семьи. Самой младшей двенадцать - положительные и отрицательные качества тесно переплетены в Эми и находятся в очень хрупком р��вновесии. 
+Сестры такие разные, такие неповторимые. Но они сообща справляются с трудностями, испытывают горести и радости, мечтают о будущем и проходят непростой путь взросления."
+https://www.biblio-globus.ru/product/10893153,https://static1.bgshop.ru/imagehandler.ashx?filename=10893153.jpg&width=200,Набоков В. В.,Истинная жизнь Севастьяна Найта,"«Истинная жизнь Севастьяна Найта» — первый англоязычный роман Владимира Набокова, оконченный в 1939 году в Париже и два года спустя опубликованный в США. Его лабиринтообразная структура и квазидетективный сюжет предопределили своеобразие последующей прозы Набокова — «Лолиты», «Бледного огня», «Ады» и особенно его последней завершенной книги «Взгляни на арлекинов!». Повествователь, означенный лишь инициалом В., восстанавливает историю жизни собственного сводного брата, покойного писателя Севастьяна Найта (Sebastian Knight), используя воспоминания, устные рассказы и отрывки из его книг. Ускользающая от настойчивых поисков В., истинная жизнь Найта оказывается непосредственно связанной с тайной его имени, с его сочинениями, с законами словесного искусства и с метафизикой Набокова. Настоящее издание романа сопровождается предисловием, примечаниями и заключительным очерком переводчика. Сохранены особенности орфографии, пунктуации и транслитерации переводчика."
+https://www.biblio-globus.ru/product/10835727,https://static1.bgshop.ru/imagehandler.ashx?filename=10835727.jpg&width=200,Старшинов А,Завещание императора,"Дакия разгромлена. Римский император Траян— победитель, вРиме он выстроил новый грандиозный Форум как символ своей победы. Его центурион Гай Приск вернул себе имущество отца извание римского всадника. Он женат исчастлив. Но мирная жизнь— не втрадициях последнего римского императора-завоевателя. Грядет новая война. На этот раз сПарфией. Император собирает огромную армию, ветераны Дакийских войн будут теперь воевать на Востоке. Соратники императора уверены влегкой ибыстрой победе. Только Адриан выступает против новой войны, но Траян не желает слушать племянника. Император уже немолод. Кто встанет во главе Империи, если Траян умрет? Составил ли император завещание, отправляясь вновый поход? Официально наследник так ине объявлен.
+Эта книга является продолжением романов «Век Траяна», «Центурион Траяна» и«Наследник императора», ранее опубликованных вэтой же серии."
+https://www.biblio-globus.ru/product/10275510,https://static1.bgshop.ru/imagehandler.ashx?filename=10275510.jpg&width=200,Гёте И. В.,Малое собрание сочинений,"Иоганн Вольфганг Гёте - поэт, общественный деятель, мыслитель и естествоиспытатель, проживший жизнь, богатую яркими событиями, впечатлениями и кипучей деятельностью, - составляет вечную гордость и славу Германии. В настоящем томе представлена лишь часть бессмертного наследия великого поэта: в том включены созданные им баллады, роман ""Страдания юного Вертера"" (в новом переводе Романа Эйвадиса), поэма ""Герман и Доротея"", а также знаменитая, став��ая вершиной мировой литературы трагедия ""Фауст"", посвященная вечным темам познания жизни и трудности человеческого пути."
+https://www.biblio-globus.ru/product/10182039,https://static1.bgshop.ru/imagehandler.ashx?filename=10182039.jpg&width=200,Лондон Дж.,Смок Беллью ; Смок и Малыш,"Два цикла рассказов американского писателя Джека Лондона, «Смок Беллью» и «Смок и Малыш» (1911), объединены образом главного героя — молодого писателя из Сан-Франциско, который променял унылую жизнь газетного клерка на увлекательную, хотя и полную невзгод и опасностей участь искателя приключений и золота в диких просторах Аляски и прославился в северных землях под именем Смок Беллью. Познакомившись и подружившись с еще одним новичком Клондайка по прозвищу Малыш, Смок проходит через множество взлетов и падений — изобретает собственную систему игры в рулетку и зарабатывает целое состояние; едва не погибает в поисках легендарных Двух Срубов и Нежданного озера, дно которого, по слухам, усыпано золотыми самородками; участвует в гонке на собачьих упряжках, победителю которой обещан богатый участок на ручье Моно; втягивается в хитроумную аферу с куриными яйцами, затеянную певичкой Люсиль Эрол, не подозревая об истинной цели предприятия; организует ответную аферу с мифическим поселком Тру-ля-ля; попадает в плен к кочевому индейскому племени, где в него влюбляется прекрасная дочь вождя..."
+https://www.biblio-globus.ru/product/10886876,https://static1.bgshop.ru/imagehandler.ashx?filename=10886876.jpg&width=200,Булгаков М.,"""Мне нужно видеть свет..."". Дневники, письма, документы","В настоящее издание включены дневники и письма, атакже документальные материалы, освещающие жизненный и творческий путь М. А. Булгакова с 1914 по 1940 г. По сути это не что иное, как его жизнеописание, составленное по дневникам и эпистолярному наследию. Среди адресатов писем Булгакова — В. В. Вересаев, Е. И. Замятин, А. М. Горький, К. С. Станиславский, И. В. Сталин. Эти документы, не предназначенные автором для публикации, фиксировали ту или иную жизненную ситуацию и, расположенные в хронологическом порядке, с поразительной объективностью отражают ключевые моменты в судьбе и творческой биографии. Кроме того, они содержат ценнейшую информацию о личных качествах и круге интересов Булгакова, о его отношении к происходившим в России событиям, к ближайшему окружению, писательскому и театральному миру."
+https://www.biblio-globus.ru/product/10747756,https://static1.bgshop.ru/imagehandler.ashx?filename=10747756.jpg&width=200,Лермонтов М.Ю.,Герой нашего времени,"«Герой нашего времени» — самое крупное и значительное произведение Михаила Юрьевича Лермонтова, первый в русской литературе социально-психологический роман, герой которого, молодой офицер Григорий Печорин, стал поистине ярким представителем своей эпохи. Литературный критик Белинский отмечал: «Вот книга, которой суждено никогда не стариться, потому что при самом рождении её она была вспрыснута живою водою поэзии! Эта старая ��нига всегда будет нова».
+Структура романа уникальна: каждую из глав, расположенных не в хронологическом порядке, можно отнести к отдельному литературному жанру, но вместе они образуют органичное и цельное произведение. Все истории и персонажи служат лишь фоном, на котором разворачивается драматическая судьба человека с душой, кипящей от потаённых страстей, но при этом холодного и эгоистичного.
+Иллюстрации к роману Анатолий Зиновьевич Иткин создавал на протяжении тридцати лет. Художник побывал на Северном Кавказе, чтобы проникнуться атмосферой описанных в книге мест и передать её в графических работах, раскрывающих перед читателем сложный и многообразный внутренний мир главного героя."
+https://www.biblio-globus.ru/product/10864741,https://static1.bgshop.ru/imagehandler.ashx?filename=10864741.jpg&width=200,Лондон Дж. ,Маленькая хозяйка Большого дома,"Дик и Паола – идеальная пара. Сдержанный Дик полностью погружен в работу, да и энергичная Паола сама занимается делами. Их жизнь кипит – в Большом доме часто бывают гости и некогда скучать. Для личного общения у супругов почти нет времени. Однажды к ним приезжает давний друг Дика и перед героиней встает внезапный вопрос, что выбрать – любовь и стабильность или страсть и давно забытую радость жизни?
+Джек Лондон считал «Маленькую хозяйку Большого дома» своим лучшим произведением. Полный хитросплетений и интриг роман показывает мощь и глубину чувств, которые способна порождать любовь."
+https://www.biblio-globus.ru/product/10708999,https://static1.bgshop.ru/imagehandler.ashx?filename=10708999.jpg&width=200,Миллер М.,Цирцея,"Цирцея – дочь великого титана Гелиоса, бога солнца, который каждый день озаряет собой небосвод. Но своей божественной природы она почти не ощущает: брат и сестра издеваются над ней, мать не выносит звуков ее голоса, а отец едва обращает на нее внимание. Еще ребенком она присутствует на судилище над Прометеем, могущественным титаном, пожертвовавшим своей свободой ради благополучия смертных, и эта встреча навсегда меняет её жизнь. Как и встреча с Главком, бедным молодым рыбаком, ради которого Цирцея совершает нечто столь невероятное, что даже сам златоокий Гелиос и Зевс-громовержец приходят в замешательство и решают отправить ее в изгнание на необитаемый остров Ээя. И вот тут-то и начинается самое интересное."

find.py

@@ -0,0 +1,73 @@
+import torch
+import pandas as pd
+from transformers import AutoTokenizer, AutoModel
+import numpy as np
+
+tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny2")
+model = AutoModel.from_pretrained("cointegrated/rubert-tiny2")
+
+def embed_bert_cls(text, model=model, tokenizer=tokenizer):
+    """
+    Встраивает входной текст с использованием модели на основе BERT.
+
+    Аргументы:
+        text (str): Входной текст для встраивания.
+        model (torch.nn.Module): Модель на основе BERT для использования при встраивании.
+        tokenizer (transformers.PreTrainedTokenizer): Токенизатор для токенизации текста.
+
+    Возвращает:
+        numpy.ndarray: Встроенное представление входного текста.
+    """
+    # Токенизируем текст и преобразуем его в PyTorch тензоры
+    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
+
+    # Отключаем вычисление градиентов
+    with torch.no_grad():
+        # Пропускаем тензоры через модель
+        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
+
+    # Извлекаем последний скрытый состояние из выходных данных модели
+    embeddings = model_output.last_hidden_state[:, 0, :]
+
+    # Нормализуем встроенные представления
+    embeddings = torch.nn.functional.normalize(embeddings)
+    embeddings=embeddings[0].cpu().numpy()
+    
+    # Преобразуем встроенные представления в массив numpy и возвращаем первый элемент
+    return embeddings
+
+df=pd.read_csv('books_sample.csv',index_col=0)
+embs=[]
+for annotation in df['annotation']:
+   # embd=
+    #print(embd)
+    embs.append(embed_bert_cls(annotation))
+    #embs.append(embed_bert_cls(annotation))
+embs =np.array(embs)
+
+def find_similar(text, embeddings=embs, threshold=0.5):
+    """
+    Находит похожие тексты на основе косинусного сходства.
+
+    Аргументы:
+        text (str): Входной текст для поиска похожих текстов.
+        embeddings (numpy.ndarray): Предварительно вычисленные встроенные представления текстов.
+        threshold (float): Порог, выше которого тексты считаются похожими.
+
+    Возвращает:
+        numpy.ndarray: Сходства между входным текстом и каждым текстом во встроенных представлениях.
+    """
+    # Встраиваем входной текст
+    embedding = embed_bert_cls(text)
+
+    # Вычисляем косинусное сходство между встроенным представлением входного текста и всеми встроенными представлениями
+    similarities = embeddings.dot(embedding)
+    sorted_indeces=similarities.argsort()[::-1]#[::1]
+    return similarities,sorted_indeces
+
+
+
+
+print(find_similar('пук',embeddings=embs))
+
+

requirements.txt

@@ -0,0 +1,144 @@
+Package                   Version
+------------------------- -----------
+altair                    5.0.1
+anyio                     3.7.1
+appnope                   0.1.3
+argon2-cffi               21.3.0
+argon2-cffi-bindings      21.2.0
+arrow                     1.2.3
+asttokens                 2.2.1
+async-lru                 2.0.3
+attrs                     23.1.0
+Babel                     2.12.1
+backcall                  0.2.0
+beautifulsoup4            4.12.2
+bleach                    6.0.0
+blinker                   1.6.2
+cachetools                5.3.1
+certifi                   2023.7.22
+cffi                      1.15.1
+charset-normalizer        3.2.0
+click                     8.1.6
+comm                      0.1.3
+debugpy                   1.6.7
+decorator                 5.1.1
+defusedxml                0.7.1
+executing                 1.2.0
+fake-useragent            1.1.3
+fastjsonschema            2.18.0
+filelock                  3.12.2
+fqdn                      1.5.1
+fsspec                    2023.6.0
+gitdb                     4.0.10
+GitPython                 3.1.32
+huggingface-hub           0.16.4
+idna                      3.4
+importlib-metadata        6.8.0
+ipykernel                 6.25.0
+ipython                   8.14.0
+ipython-genutils          0.2.0
+ipywidgets                8.0.7
+isoduration               20.11.0
+jedi                      0.18.2
+Jinja2                    3.1.2
+json5                     0.9.14
+jsonpointer               2.4
+jsonschema                4.18.4
+jsonschema-specifications 2023.7.1
+jupyter                   1.0.0
+jupyter_client            8.3.0
+jupyter-console           6.6.3
+jupyter_core              5.3.1
+jupyter-events            0.6.3
+jupyter-lsp               2.2.0
+jupyter_server            2.7.0
+jupyter_server_terminals  0.4.4
+jupyterlab                4.0.3
+jupyterlab-pygments       0.2.2
+jupyterlab_server         2.24.0
+jupyterlab-widgets        3.0.8
+markdown-it-py            3.0.0
+MarkupSafe                2.1.3
+matplotlib-inline         0.1.6
+mdurl                     0.1.2
+mistune                   3.0.1
+mpmath                    1.3.0
+nbclient                  0.8.0
+nbconvert                 7.7.3
+nbformat                  5.9.1
+nest-asyncio              1.5.6
+networkx                  3.1
+notebook                  7.0.0
+notebook_shim             0.2.3
+numpy                     1.25.1
+overrides                 7.3.1
+packaging                 23.1
+pandas                    2.0.3
+pandocfilters             1.5.0
+parso                     0.8.3
+pexpect                   4.8.0
+pickleshare               0.7.5
+Pillow                    9.5.0
+pip                       23.2.1
+platformdirs              3.9.1
+prometheus-client         0.17.1
+prompt-toolkit            3.0.39
+protobuf                  4.23.4
+psutil                    5.9.5
+ptyprocess                0.7.0
+pure-eval                 0.2.2
+pyarrow                   12.0.1
+pycparser                 2.21
+pydeck                    0.8.0
+pygame                    2.5.0
+Pygments                  2.15.1
+Pympler                   1.0.1
+python-dateutil           2.8.2
+python-json-logger        2.0.7
+pytz                      2023.3
+pytz-deprecation-shim     0.1.0.post0
+PyYAML                    6.0.1
+pyzmq                     25.1.0
+qtconsole                 5.4.3
+QtPy                      2.3.1
+referencing               0.30.0
+regex                     2023.6.3
+requests                  2.31.0
+rfc3339-validator         0.1.4
+rfc3986-validator         0.1.1
+rich                      13.4.2
+rpds-py                   0.9.2
+safetensors               0.3.1
+Send2Trash                1.8.2
+setuptools                67.6.1
+six                       1.16.0
+smmap                     5.0.0
+sniffio                   1.3.0
+soupsieve                 2.4.1
+stack-data                0.6.2
+streamlit                 1.25.0
+sympy                     1.12
+tenacity                  8.2.2
+terminado                 0.17.1
+tinycss2                  1.2.1
+tokenizers                0.13.3
+toml                      0.10.2
+toolz                     0.12.0
+torch                     2.0.1
+tornado                   6.3.2
+tqdm                      4.65.0
+traitlets                 5.9.0
+transformers              4.31.0
+typing_extensions         4.7.1
+tzdata                    2023.3
+tzlocal                   4.3.1
+uri-template              1.3.0
+urllib3                   2.0.4
+validators                0.20.0
+watchdog                  3.0.0
+wcwidth                   0.2.6
+webcolors                 1.13
+webencodings              0.5.1
+websocket-client          1.6.1
+widgetsnbextension        4.0.8
+zipp                      3.16.2