remove copy-paste

lemmatizer.py

@@ -0,0 +1,92 @@
+# -*- coding: utf-8 -*-
+"""
+Общий модуль для лемматизации на русском языке с поддержкой пользовательских терминов.
+Используется в retrieval.py и test_lemmatization.py
+"""
+from pathlib import Path
+import spacy
+from vocabulary.parse_vocabulary import parse_vocabulary
+
+
+class RussianLemmatizer:
+    """
+    Русский лемматизатор на основе spaCy с поддержкой топонимов.
+    Содержит общую логику для всех компонентов системы.
+    """
+    
+    def __init__(self, load_toponyms: bool = True):
+        """
+        Инициализация лемматизатора.
+        
+        Args:
+            load_toponyms: загружать ли топонимы из файла при инициализации
+        """
+        print("   Загрузка русской модели spaCy...")
+        try:
+            self.nlp = spacy.load("ru_core_news_sm")
+        except OSError:
+            print("   ⚠️  Модель ru_core_news_sm не найдена, скачиваю...")
+            import subprocess
+            subprocess.check_call(["python", "-m", "spacy", "download", "ru_core_news_sm"])
+            self.nlp = spacy.load("ru_core_news_sm")
+        
+        self.toponims = {}
+        
+        if load_toponyms:
+            self._register_terms()
+    
+    def _register_terms(self):
+        """
+        Загружает термины из vocabulary/vocabulary.md и регистрирует их в spaCy
+        как custom component для исправления лемм.
+        """
+        # Находим файл vocabulary относительно этого модуля
+        vocab_file = Path(__file__).parent / "vocabulary" / "vocabulary.md"
+        
+        if not vocab_file.exists():
+            print(f"   ⚠️  Файл {vocab_file} не найден, управление терминами пропущено")
+            return
+        
+        # Парсим словарь термин -> описание
+        vocab_dict = parse_vocabulary(str(vocab_file))
+        
+        # Создаём словарь для быстрого поиска (приводим к нижнему регистру)
+        self.toponims = {term.lower(): term.lower() for term in vocab_dict.keys()}
+        
+        print(f"   Загружено {len(self.toponims)} терминов из vocabulary.md")
+        
+        # Добавляем custom component для обработки терминов после лемматизации
+        @self.nlp.component("fix_terms")
+        def fix_terms(doc):
+            """Компонент для исправления лемм терминов и их форм"""
+            for token in doc:
+                lemma_lower = token.lemma_.lower()
+                
+                # Проверяем прямое совпадение
+                if lemma_lower in self.toponims:
+                    token.lemma_ = self.toponims[lemma_lower]
+            return doc
+        
+        # Добавляем компонент после лемматизатора
+        if "fix_terms" not in self.nlp.pipe_names:
+            self.nlp.add_pipe("fix_terms", after="lemmatizer")
+    
+    def tokenize_text(self, text: str) -> list[str]:
+        """
+        Лемматизация текста для русского языка (spaCy).
+        
+        Args:
+            text: текст для лемматизации
+            
+        Returns:
+            list: список лемм, исключая пунктуацию
+        """
+        doc = self.nlp(text.lower())
+        
+        # Извлекаем леммы, пропускаем пунктуацию
+        lemmas = []
+        for token in doc:
+            if not token.is_punct and token.lemma_.strip():  # Пропускаем пунктуацию и пробелы
+                lemmas.append(token.lemma_)
+        
+        return lemmas

retrieval.py

@@ -6,10 +6,9 @@ from rank_bm25 import BM25Okapi
 import warnings
 warnings.filterwarnings('ignore')
 
-import spacy
-
 from _1_get_documents import load_and_process_data
-from _2_splitting import Splitter, parse_year_metadata, years_overlap, YEAR_OLD, YEAR_NEW
+from _2_splitting import parse_year_metadata, years_overlap, YEAR_OLD, YEAR_NEW
+from lemmatizer import RussianLemmatizer
 # from _3_chunking import RussianEmbedder
 
 from sentence_transformers import CrossEncoder
@@ -23,18 +22,9 @@ class Retrieval:
         print("Инициализация RAG системы...")
         self.device = "cuda" if use_gpu and torch.cuda.is_available() else "cpu"
         
-        # Инициализация лемматизатора для русского языка (spaCy)
-        print("   Загрузка русской модели spaCy...")
-        try:
-            self.nlp = spacy.load("ru_core_news_sm")
-        except OSError:
-            print("   ⚠️  Модель ru_core_news_sm не найдена, скачиваю...")
-            import subprocess
-            subprocess.check_call(["python", "-m", "spacy", "download", "ru_core_news_sm"])
-            self.nlp = spacy.load("ru_core_news_sm")
-        
-        # Загружаем топонимы и регистрируем их как исключения для лемматизации
-        self._register_toponyms()
+        # Инициализация лемматизатора для русского языка
+        print("   Инициализация лемматизатора...")
+        self.lemmatizer = RussianLemmatizer(load_toponyms=True)
         
         # Загружаем и обрабатываем данные
         print("1. Загрузка данных из JSON...")
@@ -60,7 +50,6 @@ class Retrieval:
             tuple: (chunks, docs_metadata, paragraph_metadata, chunk_dates)
             где chunk_dates - список ((start_year, end_year), ...) для каждого чанка
         """
-        splitter = Splitter()
         chunks = []
         docs_metadata = []
         paragraph_metadata = []
@@ -107,68 +96,11 @@ class Retrieval:
         print(f"   Из {len(set(paragraph_metadata))} абзацев в {doc_id + 1} документах")
         return chunks, docs_metadata, paragraph_metadata, chunk_dates
     
-    def get_all_chunks(self, doc_id):
-        return [chunk for chunk, x in zip(self.chunks, self.docs_metadata, strict=True) if x == doc_id]
-
-    def _register_toponyms(self):
-        """
-        Загружает топонимы из vocabulary/toponims.txt и регистрирует их в spaCy
-        как custom component для исправления лемм.
-        """
-        toponims_file = Path(__file__).parent / "vocabulary" / "toponims.txt"
-        
-        if not toponims_file.exists():
-            print(f"   ⚠️  Файл {toponims_file} не найден, управление топонимами пропущено")
-            return
-        
-        # Читаем топонимы
-        with open(toponims_file, 'r', encoding='utf-8') as f:
-            self.toponims = {line.strip().lower(): line.strip().lower() for line in f if line.strip()}
-        
-        print(f"   Загружено {len(self.toponims)} топонимов")
-        
-        # Добавляем custom component для обработки топонимов после лемматизации
-        @self.nlp.component("fix_toponyms")
-        def fix_toponyms(doc):
-            """Компонент для исправления лемм топонимов и их форм"""
-            for token in doc:
-                lemma_lower = token.lemma_.lower()
-                
-                # Проверяем прямое совпадение
-                if lemma_lower in self.toponims:
-                    token.lemma_ = self.toponims[lemma_lower]
-                else:
-                    # Проверяем, может ли это быть формой топонима
-                    # Для каждого топонима проверяем, совпадает ли начало слова
-                    for toponim in self.toponims:
-                        if lemma_lower.startswith(toponim[:len(lemma_lower)-2]) and len(lemma_lower) > len(toponim) - 3:
-                            # Похоже, это форма топонима (например, "дягилев" -> "дягилево")
-                            token.lemma_ = toponim
-                            break
-            return doc
-        
-        # Добавляем компонент после лемматизатора
-        if "fix_toponyms" not in self.nlp.pipe_names:
-            self.nlp.add_pipe("fix_toponyms", after="lemmatizer")
-    
     def _prepare_bm25(self):
         """Подготавливаем BM25 индекс для ключевого поиска"""
         # Токенизация для BM25
-        tokenized_chunks = [self._tokenize_text(chunk) for chunk in self.chunks]
+        tokenized_chunks = [self.lemmatizer.tokenize_text(chunk) for chunk in self.chunks]
         return BM25Okapi(tokenized_chunks)
-    
-    def _tokenize_text(self, text: str) -> list[str]:
-        """Лемматизация текста для русского языка (spaCy)"""
-        # Используем spaCy для обработки текста и получения лемм
-        doc = self.nlp(text.lower())
-        
-        # Извлекаем леммы, пропускаем пунктуацию
-        lemmas = []
-        for token in doc:
-            if not token.is_punct and token.lemma_.strip():  # Пропускаем пунктуацию и пробелы
-                lemmas.append(token.lemma_)
-        
-        return lemmas
 
     def rerank_search(self, query: str) -> list[dict]:
         """
@@ -188,7 +120,7 @@ class Retrieval:
     
     def bm25_search(self, query: str) -> list: 
         # 2. Ключевой поиск (BM25)
-        tokenized_query = self._tokenize_text(query)
+        tokenized_query = self.lemmatizer.tokenize_text(query)
         return self.bm25.get_scores(tokenized_query)
     
     def filter_by_year_range(self, indices: list[int], year_range: tuple[int, int]) -> list[int]:

tests/test_lemmatization.py

@@ -6,7 +6,6 @@
 2. Лемматизацию обычных слов (включая беглые гласные)
 3. Обработку букв Е и Ё
 """
-import re
 import sys
 from pathlib import Path
 from dataclasses import dataclass
@@ -14,8 +13,8 @@ from dataclasses import dataclass
 # Добавляем родительскую директорию в path
 sys.path.insert(0, str(Path(__file__).parent.parent))
 
-import spacy
 from rank_bm25 import BM25Okapi
+from lemmatizer import RussianLemmatizer
 
 
 # ============================================================================
@@ -40,6 +39,7 @@ TESTS_TOPONIMS = [
     # TestSearch(word='Дягилева', sentence='Примерно в 1969 году запускаются поезда от станции Рязани-1 до Дягилева и Леска - пара рейсов в день, но всё же.'),
     TestSearch(word='Леске', sentence='Примерно в 1969 году запускаются поезда от станции Рязани-1 до Дягилева и Леска - пара рейсов в день, но всё же.'),
     TestSearch(word="Дашково-Песочню", sentence="31 маршрутка ходила из Дашково-Песочни в Дягилево."),
+    TestSearch(word='Канищева', sentence='А тут нас извечная проблема, связи Ворошиловки с районом, точнее сказать с Приокским, Канищево, где находятся важные объекты, причем часть расположена в Приокском, часть в Канищево.')
     #TestSearch(word="Песочни", sentence="31 маршрутка ходила из Дашково-Песочни в Дягилево."),
     #TestSearch(word='Дашково-Песочня', sentence='То есть его продлили дальше в Песочню, и он стал охватывать так называемый основной транспортный коридор города.'),    
 ]
@@ -47,7 +47,7 @@ TESTS_TOPONIMS = [
 # тесты для лемматизации обычных слов. Стемминг здесь сломается!
 TESTS_LEMMATIZATION = [
     TestSearch(word='хорошая', sentence='И там в лучшем случае было 20-23 машины где-то так.'),
-    TestSearch(word='петли', sentence='И вместо трёх петель осталась одна маленькая в Горроще.') # беглая Е - чередование в корне
+    TestSearch(word='Петли', sentence='И вместо трёх петель осталась одна маленькая в Горроще.') # беглая Е - чередование в корне
 ]
 
 # буквы Е и Ё в топонимах и не только
@@ -64,79 +64,21 @@ class RussianBM25:
     """BM25 с лемматизацией для русского языка (spaCy с топонимами)"""
     
     def __init__(self, documents: list[str]):
-        # Загружаем русскую модель spaCy
-        try:
-            self.nlp = spacy.load("ru_core_news_sm")
-        except OSError:
-            print("Модель ru_core_news_sm не найдена, скачиваю...")
-            import subprocess
-            subprocess.check_call(["python", "-m", "spacy", "download", "ru_core_news_sm"])
-            self.nlp = spacy.load("ru_core_news_sm")
+        # Инициализируем лемматизатор
+        self.lemmatizer = RussianLemmatizer(load_toponyms=True)
         
-        # Загружаем и регистрируем топонимы
-        self._register_toponyms()
-        
-        tokenized_docs = [self._tokenize_text(doc) for doc in documents]
+        tokenized_docs = [self.lemmatizer.tokenize_text(doc) for doc in documents]
         self.bm25 = BM25Okapi(tokenized_docs)
         self.documents = documents
-    
-    def _register_toponyms(self):
-        """Загружает топонимы из vocabulary/toponims.txt и регистрирует их в spaCy"""
-        toponims_file = Path(__file__).parent.parent / "vocabulary" / "toponims.txt"
-        
-        if not toponims_file.exists():
-            print(f"  Файл {toponims_file} не найден, управление топонимами пропущено")
-            return
-        
-        # Читаем топонимы
-        with open(toponims_file, 'r', encoding='utf-8') as f:
-            self.toponims = {line.strip().lower(): line.strip().lower() for line in f if line.strip()}
-        
-        print(f"  Загружено {len(self.toponims)} топонимов из {toponims_file.name}")
-        
-        # Добавляем custom component для обработки топонимов после лемматизации
-        @self.nlp.component("fix_toponyms")
-        def fix_toponyms(doc):
-            """Компонент для исправления лемм топо��имов и их форм"""
-            for token in doc:
-                lemma_lower = token.lemma_.lower()
-                
-                # Проверяем прямое совпадение
-                if lemma_lower in self.toponims:
-                    token.lemma_ = self.toponims[lemma_lower]
-                else:
-                    # Проверяем, может ли это быть формой топонима
-                    # Для каждого топонима проверяем, совпадает ли начало слова
-                    for toponim in self.toponims:
-                        if lemma_lower.startswith(toponim[:len(lemma_lower)-2]) and len(lemma_lower) > len(toponim) - 3:
-                            # Похоже, это форма топонима (например, "дягилев" -> "дягилево")
-                            token.lemma_ = toponim
-                            break
-            return doc
-        
-        # Добавляем компонент после лемматизатора
-        if "fix_toponyms" not in self.nlp.pipe_names:
-            self.nlp.add_pipe("fix_toponyms", after="lemmatizer")
-    
-    def _tokenize_text(self, text: str) -> list[str]:
-        """Лемматизация текста для русского языка (spaCy)"""
-        # Используем spaCy для обработки текста и получения лемм
-        doc = self.nlp(text.lower())
-        
-        # Извлекаем леммы, пропускаем пунктуацию
-        lemmas = []
-        for token in doc:
-            if not token.is_punct and token.lemma_.strip():  # Пропускаем пунктуацию и пробелы
-                lemmas.append(token.lemma_)
-        
-        return lemmas
+        # Для обратной совместимости с тестами
+        self.nlp = self.lemmatizer.nlp
     
     def search(self, query: str) -> list[tuple[int, float]]:
         """
         Поиск по запросу.
         Returns: список (индекс_документа, релевантность_score)
         """
-        tokenized_query = self._tokenize_text(query)
+        tokenized_query = self.lemmatizer.tokenize_text(query)
         scores = self.bm25.get_scores(tokenized_query)
         
         # Возвращаем индексы документов, отсортированные по релевантности

texts/реформа2012.md

@@ -64,7 +64,7 @@
 
 Но транспортная реформа 2011 года это предполагал не только отмены, но еще и изменения маршрутов. Теперь мы перейдем к ним и надо заметить, что часть изменений была действительно воплощена в жизнь. К сожалению, я нашел только лишь изменения, которые касаются маршрутов автоколонны 1310. И большая часть их была действительно выполнена. Например, шестой автобус был продлен с завода Центролит до Братиславского, а значительная часть маршрутов была перенаправлена с Круиза на Глобус. При этом четвертый автобус планировали перенаправить с Глобуса до Новоселов, 60. И это единственный пункт изменения маршрутов автобуса в автоколонне, который выполнен так и не был. Но зато вместо четвертого автобуса до Новоселов, 60 стал ездить 16-й. По маршрутным же такси я нашел лишь список этих самых маршрутов, которые планировалось изменить. А вот как - я так и не нашел никакой информации. 
 
-Ну и также, помимо отмен изменений, в реформе 2011 года планировались и новые маршруты. Один маршрут предполагалось отдать автоколонне 1310, а три остальных планировались отдать коммерческим переводчикам. Теперь же мы их также рассмотрим. Начну с автобусного номер 25. Должен был пройти от октябрьского городка по улице Чкалова, Московскому шоссе через Приокск и Канищево в Недостоево. Довольно странный маршрут, но в целом и сам по себе интересный. Единственное, что мне непонятно, как он должен был пройти из Приокского в Канищево: по улице Молодцова, по улице Станкозаводской или же вообще через троллейбусное депо номер 2. Так что тут тоже непонятно. Что ж до маршрутов, кто тут все три варианта довольно интересны. Начну с маршрута от поселка Божатково до площади Победы. Во-первых, где развернутся на площади Победы, а во-вторых, это же, по сути, сокращенный 13 автобус. Да, я понимаю, что Михайловского шоссе до площади Победы максимальный пассажиропоток, а потому там в идеале нужна какая-то дублирующая, скажем так, вспомогательная даже маршрутка. Но, зная Оризанские реалии, мне что-то подсказывает, что эта маршрутка ехала бы, не помогая автобусу, а перед ним, собирая всех пассажиров. Следующий маршрут вообще имеет какую-то странную схему, потому что тут он едет сначала по северной окружной, потом возвращается на улицу Каширина и Солнечную, потом опять едет на северную окружную дорогу в поселок Борки. Какой у него точный маршрут? Непонятно. Возможно, это не так хотели показать, что в одну сторону поедет по Солнечной, а в другую по Каширина, но лично мне это показалось непонятно. И третий маршрут с поселка Ворошиловки до завода ТКПО. Этот маршрут все-таки через некоторое время попытались ввести под номером 46, но проходил ли он в таком виде, непонятно. Скорее всего, он так ни разу и не вышел на линию. Так что в плане новых маршрутов было сделано целое ничего, поскольку реформу официально все-таки отменили. 
+Ну и также, помимо отмен изменений, в реформе 2011 года планировались и новые маршруты. Один маршрут предполагалось отдать автоколонне 1310, а три остальных планировались отдать коммерческим переводчикам. Теперь же мы их также рассмотрим. Начну с автобусного номер 25. Должен был пройти от октябрьского городка по улице Чкалова, Московскому шоссе через Приокский и Канищево в Недостоево. Довольно странный маршрут, но в целом и сам по себе интересный. Единственное, что мне непонятно, как он должен был пройти из Приокского в Канищево: по улице Молодцова, по улице Станкозаводской или же вообще через троллейбусное депо номер 2. Так что тут тоже непонятно. Что ж до маршрутов, кто тут все три варианта довольно интересны. Начну с маршрута от поселка Божатково до площади Победы. Во-первых, где развернутся на площади Победы, а во-вторых, это же, по сути, сокращенный 13 автобус. Да, я понимаю, что Михайловского шоссе до площади Победы максимальный пассажиропоток, а потому там в идеале нужна какая-то дублирующая, скажем так, вспомогательная даже маршрутка. Но, зная Оризанские реалии, мне что-то подсказывает, что эта маршрутка ехала бы, не помогая автобусу, а перед ним, собирая всех пассажиров. Следующий маршрут вообще имеет какую-то странную схему, потому что тут он едет сначала по северной окружной, потом возвращается на улицу Каширина и Солнечную, потом опять едет на северную окружную дорогу в поселок Борки. Какой у него точный маршрут? Непонятно. Возможно, это не так хотели показать, что в одну сторону поедет по Солнечной, а в другую по Каширина, но лично мне это показалось непонятно. И третий маршрут с поселка Ворошиловки до завода ТКПО. Этот маршрут все-таки через некоторое время попытались ввести под номером 46, но проходил ли он в таком виде, непонятно. Скорее всего, он так ни разу и не вышел на линию. Так что в плане новых маршрутов было сделано целое ничего, поскольку реформу официально все-таки отменили. 
 
 Я думаю, вы заметили, что практически ничего я до этого не говорил про троллейбус. И в том, что показали людям в конце 2011 года, действительно так же не было упоминаний про троллейбус. Но фактически в реформе его упоминания было. А именно как раз-таки была открыта новая троллейбусная линия по проезду Шабулина, улицам Бирюзовой и Интернациональной, по которой пустили два новых маршрута: четвертый из Московского ваконящего и восемнадцатый из конечьего в центре. Если четвертый маршрут был пущен вполне себе логично, да, вы сейчас скажете, что у него такой пиковый пассажиропоток, и в итоге вне часа пик он часто ездит пустым, но все-таки этот маршрут более-менее востребован. Что же с восемнадцатым троллейбусом, то тут не все так однозначно. Я как человек из будущего считаю, что восемнадцатый троллейбус нужно было пускать не в центр, а в Горрощу до центрального парка или до улицы Строителей. В тех условиях, когда предполагалось обменить 36 автобус и 50 маршрутку, имевшие подобные трассировку, такой троллейбус был бы более разумен. И можно было эту отмену вполне себе протокнуть под предлогом, что маршрутка заменяется на вместительный троллейбус. Но не свершилось. В позднее это выйдет боком еще для восьмого маршрута, который потом начнут резко менять, а ведь начнется все с отмены того самого восемнадцатого маршрута.