FlashNdSpace/tesseract-search

Tesseract Search

Веса смыслового поиска для приложения Tesseract: intfloat/multilingual-e5-base, дообученная на открытых текстах. Личные файлы в обучении не участвовали.

Search weights for the Tesseract desktop app: multilingual-e5-base fine-tuned on open texts. Not an open-source release: see LICENSE.md (in Russian) for the terms.

Варианты

Веса одни и те же, различается словарь. Файлы лежат в v1/<вариант>/.

вариант	словарь	кусочков	размер	вопросы @1 / @10 / MRR	слова @1 / @10 / MRR
alpha (по умолчанию)	кириллица, латиница, знаки, цифры	154 237	788 МБ	37.1 / 67.2 / 0.466	39.8 / 69.1 / 0.488
full	полный	250 002	1 075 МБ	37.1 / 67.2 / 0.466	39.8 / 69.1 / 0.488
cyrillic	вся кириллица и встреченное в обучении	74 071	548 МБ	36.9 / 67.3 / 0.464	39.8 / 68.8 / 0.488
seen	встреченное в обучении хоть раз	53 502	487 МБ	36.4 / 66.9 / 0.460	40.2 / 68.4 / 0.489
исходная E5	полный	250 002	1.1 ГБ	22.2 / 40.1 / 0.277	26.2 / 54.7 / 0.351

Замер на личном архиве, не участвовавшем в обучении: 2 152 вопроса своими словами и 256 запросов словами из текста; нужный кусок в первой строке и в первых десяти. Этот архив не выкладывается. Английскую прозу отдельно не мерили. После обрезки китайский и арабский дают неизвестные кусочки, у cyrillic и seen немецкий и французский дробятся мельче, у seen иначе разбирается и часть русских словоформ.

Как получить

В приложении: кнопка «скачать модель» на «Состоянии» или kl model download, файлы сверяются по sha256. Запрос кодируется с приставкой query: , кусок — с passage: , вектор — среднее по токенам: без приставок качество падает примерно вдвое.

На чём обучена

24 123 пары из 52 открытых источников и 76 735 вопросов к ним; список с коммитами и лицензиями — SOURCES.json, чужие работы — NOTICE.md.