Update app.py

app.py

@@ -512,7 +512,76 @@ def load_data():
     except Exception as e:
         logger.error(f"Ошибка загрузки XLSX файла: {e}")
         return pd.DataFrame()
+@st.cache_data
+@st.cache_data
+def load_models():
+    """Загрузка моделей с расширенной проверкой BM25"""
+    try:
+        logger.info("="*80)
+        logger.info(f"Начало загрузки модели: {EMBEDDING_MODEL}")
+        
+        # 1. Загрузка SentenceTransformer
+        start_time = time.time()
+        model = SentenceTransformer(
+            EMBEDDING_MODEL,
+            device='cpu',
+            cache_folder=os.path.expanduser("~/.cache/huggingface/hub")
+        )
+        logger.info(f"Модель загружена за {time.time()-start_time:.2f} сек")
+        logger.info(f"Размерность эмбеддингов: {model.get_sentence_embedding_dimension()}")
+        
+        # 2. Загрузка FAISS индекса
+        logger.info(f"Загрузка FAISS индекса: {FAISS_INDEX_PATH}")
+        if not os.path.exists(FAISS_INDEX_PATH):
+            error_msg = f"Индекс не найден: {FAISS_INDEX_PATH}"
+            logger.error(error_msg)
+            raise FileNotFoundError(error_msg)
+        
+        faiss_index = faiss.read_index(FAISS_INDEX_PATH)
+        logger.info(f"Индекс загружен (размерность: {faiss_index.d}, векторов: {faiss_index.ntotal})")
+        
+        # 3. Инициализация гибридного поиска (BM25)
+        logger.info(f"Инициализация гибридного поиска: {VECTOR_DB_PATH}")
+        
+        # Проверка существования файла БД для BM25
+        if not os.path.exists(VECTOR_DB_PATH):
+            logger.error(f"Файл базы данных для BM25 не найден: {VECTOR_DB_PATH}")
+            st.error(f"Файл базы данных для BM25 не найден: {VECTOR_DB_PATH}")
+            return model, faiss_index, None
+        
+        # Проверка размера файла БД
+        db_size = os.path.getsize(VECTOR_DB_PATH)
+        logger.info(f"Размер файла БД: {db_size} байт")
+        if db_size == 0:
+            logger.error("Файл базы данных пуст!")
+            st.error("Файл базы данных пуст!")
+            return model, faiss_index, None
+        
+        hybrid_search = HybridSearch(VECTOR_DB_PATH)
+        
+        if hybrid_search and hybrid_search.bm25:
+            logger.info(f"BM25 успешно инициализирован! Документов: {len(hybrid_search.corpus)}")
+            
+            # Тестовый поиск для проверки
+            test_query = "метрология"
+            test_results = hybrid_search.search(test_query)
+            logger.info(f"Тестовый поиск по '{test_query}' вернул {len(test_results)} результатов")
+        else:
+            logger.error("Не удалось инициализировать BM25!")
+            st.error("Не удалось инициализировать текстовый поиск (BM25)")
+            
+        return model, faiss_index, hybrid_search
 
+    except Exception as e:
+        logger.critical(f"Фатальная ошибка при загрузке: {str(e)}", exc_info=True)
+        st.error("""
+        Критическая ошибка инициализации системы. Проверьте:
+        1. Наличие всех файлов данных
+        2. Логи в model_loading.log
+        3. Доступ к интернету для загрузки моделей
+        """)
+        raise
+        
 # Поиск ответа
 def get_answer(question):
     # 1. Проверка специальных случаев