kulyatinakatya/HSE_LING_VKR huggingface dataset:
Разработка и деплой мультиспикерной системы синтеза речи на основе архитектуры VITS
Студент: Александрова Камила Александровна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2025

Аннотация: Современные модели синтеза речи (TTS) демонстрируют впечатляющие результаты в научных публикациях: высокая реалистичность, управление интонацией и эмоциями, поддержка различных языков. Однако при попытке интеграции этих решений в промышленную среду становится очевидным разрыв между исследовательскими прототипами и реальными продакшн-решениями. Возникает ряд проблем: задержки, стабильность, масштабируемость, требования к оборудованию, контроль версий моделей и несовместимость между тестовой и продакшн средами. То, что отлично работает на локальной машине, может не справляться с "грязными" пользовательскими данными и высокой нагрузкой в продакшене. В настоящем исследовании рассматриваются данные проблемы и предлагается рабочее решение, интегрированное в серверную среду, которое предполагает преодоление разрыва между передовыми TTS-разработками и их надежным внедрением в продакшн.
Разработка системы классификации русской диалектной речи.
Студент: Заливина Екатерина Алексеевна
Научный руководитель: Ронько Роман Витальевич
Год защиты: 2025
Оценка: 8

Аннотация: Настоящая работа представляет собой анализ подходов к идентификации диалектов русского языка на основе текста и аудио. Для классификации текстов использовались метод опорных векторов на основе выделенных n-gram с применением TF-IDF, а также классификатор с использованием предобученной на русском языке модели BERT. Метод опорных векторов применялся также для аудио, где в качестве признаков использовались MFCC. Вторым подходом для классификации аудио стала модель Whisper. Аудио признаки являются комплексом из лингвистических и внелингвистических особенностей, к последним относятся условия записи, появляющийся шум. Основной задачей в таком контексте становится разработка модели, устойчивой к различным условиям записи при малом количестве данных, для этого в работе предлагаются методы по заморозке слоев энкодера, аугментация шумных данных, а также использование мультимодальной модели. Исследование показало, что наиболее высокие результаты показала мультимодальная модель, где использовались энкодеры ruBERT и Whisper. Такая модель оказалась более устойчива к данным, которые не были использованы в датасете.
Исследование подходов к интерпретации и оценке мультимодальных моделей в задачах текстово–визуального ризонинга на основе датасета RuCLEVR
Студент: Бирюкова Ксения Павловна
Научный руководитель: Тихонова Мария Ивановна
Год защиты: 2025
Оценка: 9

Аннотация: В работе проведена комплексная оценка трёх современных open-source мультимодальных языковых моделей (Mistral-small-3.1-24B-it, Qwen2.5-vl-32B-It, Gemma-3-27B-it) на задаче текстово-визуального рассуждения на русском языке с использованием синтетического датасета RuCLEVR. Оценка проводилась с использованием формальных метрик (accuracy, precision, recall, F1) и интерпретационных методов: анализа reasoning-цепочек, attention-карт, карт релевантности, SHAP, LIME и концептуального анализа эмбеддингов. Лучший результат показала модель Mistral-small-3.1-24B-it по метрикам accuracy и F1-score. Кроме этого, были выделены типовые ошибки моделей: неверное понимание пространственных связей между объектами; неполную интерпретацию условий задания; ошибочную атрибуцию признаков. Полученные результаты подтверждают, что современные open-source мультимодальные модели обладают базовой способностью к осмысленному визуально-текстовому рассуждению на русском языке, статистически превосходят baselines и формируют интерпретируемые рассуждения, однако эта способность остаётся ограниченной в условиях сложного reasoning и композиционных вопросов. Работа подчёркивает важность совмещения количественной оценки с интерпретируемыми методами анализа для дальнейшего развития и оптимизации мультимодальных моделей.
Морфологический парсер и лемматизатор староукраинских текстов
Студент: Игнатенко Дарья Игоревна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2025
Оценка: 9

Аннотация: Данная работа посвящена разработке первого морфологического парсера для староукраинского языка – литературно-книжного языка Великого княжества Литовского в XVI–XVIII веках. Мы решали задачу построения морфологического анализатора в условиях ограниченного количества данных и грамматических описаний. В ходе решения этой задачи была реализована гибридная архитектура морфологического парсера, состоящая из трех модулей: модели CRF для определения части речи, словарно-правилового парсера и трансформерной модели, снимающей контекстную неоднозначность и улучшающую точность предсказаний для частей речи с богатым словоизменением. Модель для контекстной дизамбигуации выложена в свободный доступ на Hugging Face[1]. Реализация словарно-правилового парсера оформлена как библиотека для Python и также хранится в открытом репозитории[2]. [1] https://huggingface.co/dasha-ign/old_uk-disambiguation [2] https://github.com/dashaignatenko/old-uk-rule-based
Разработка метода согласования интерпретируемых векторных представлений для больших языковых моделей.
Студент: Зыкова Вероника Игоревна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2025
Оценка: 10

Аннотация: В работе представлен метод сближения семантически интерпретируемых векторных представлений, созданных с помощью двух разреженных автокодировщиков (SAE), обученных на одной и той же выборке токенов, но для различных языковых моделей. В отличие от ранее предложенных методов, данный подход позволяет получать два независимых SAE, которые могут использоваться как для анализа общих признаков между моделями, так и для извлечения интерпретируемых представлений внутри одной модели. Метод открывает новые возможности для анализа и интерпретации поведения больших языковых моделей, в том числе для решения задач объяснимости.
Оценка мультиязычных и кросс–язычных способностей больших языковых моделей для средне–ресурсных и мало–ресурсных языков
Студент: Долгов Николай Константинович
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2025
Оценка: 8

Аннотация: В данной магистерской диссертации предлагается новая методика оценки мультиязычных и кросс-язычных способностей больших языковых моделей (LLM) в условиях средне- и мало-ресурсных языков. В ответ на чрезмерную зависимость от англоцентричных бенчмарков составленных с помощью машинного перевода формируется культурно ориентированный бенчмарк. За основу берутся три датасета составленных не на английском языкке: KazMMLU, BertaQA и BLEnD. Эти датасеты охватывают 11 языков, каждый из которых представлен менее чем 1% контента в Common Crawl. Унифицированная процедура предобработки исключает записи на высоко-ресурсных языках, при необходимости переводит неанглоязычные записи на английский для кросс-язычной оценки и приводит схемы датасетов к общему виду, в результате чего получается 5894 вопроса с выбором ответа и 7158 вопросов с кратким ответом. Оценка основана на zero-shot промтах с цепочкой рассуждений (chain-of-thought), извлечении ответов, построенном на правилах и запросах к LLM, метрике Exact Match и новой метрике Language-Aware Semantic Score (LASS), которая сочетает косинусное сходство эмбеддингов предложений LaBSE с языковым штрафом, поощряя семантически корректные ответы, выраженные на целевом языке. Для оценки отобраны одиннадцать современных LLM, охватывающих от 7 млрд до 70 млрд параметров, с весами в открытом и закрытом доступе, а также модели, ориентированные на рассуждение (reasoning), и модели без процесса рассуждения. Результаты исследования показывают, что (i) увеличение количества параметров моделей коррелирует с точностью, но с убывающей отдачей; (ii) явная оптимизация на рассуждение даёт около 10% прироста качества и позволяет меньшим моделям соревноваться и даже превосходить большие; (iii) лучшая модель с открытыми весами уступает лучшей модели с закрытыми весами лишь на 7%; (iv) модели, заявленные как обладающие продвинутыми многоязычными возможностями, демонстрируют недостаточно хорошие результаты на представленных культурно специфичных кросс-язычных задачах.
Текстовая репрезентация пространственных моделей на основе генерации полигональной сетки при помощи больших языковых моделей (LLM)
Студент: Козлов Антон Андреевич
Научный руководитель: Старых Владимир Александрович
Год защиты: 2025

Аннотация: В этом исследовании представлен анализ различных подходов к представлению трехмерных изображений в виде текстовых наборов координат полигональной сетки для задач дообучения больших языковых моделей (LLM) на задачи генерации 3D-объектов. Были протестированы два различных метода такого представления: предоставление полигональных сеток в виде отдельных списков вершин и полигонов и в виде единого списка полигонов. Было установлено, что, несмотря на предыдущие успехи первого метода на больших наборах данных и полных циклах обучения, последний обеспечивает большую стабильность и точность при дообучении LLM на меньших наборах данных, что не только обеспечивает большую применимость в практических задачах, но и дает лучшие результаты с точки зрения общего качества трехмерной формы.
Оптимальная декорреляция нейронных представлений для предотвращения коллапса ранга.
Студент: Кудряшов Сергей Андреевич
Научный руководитель: Рахуба Максим Владимирович
Год защиты: 2025
Оценка: 9

Аннотация: Последние достижения в области глубокого обучения подчеркнули важность исследования геометрии пространства векторных представлений слов (эмбеддингов) и её влияния на информационную ёмкость и динамику обучения. Было обнаружено, что представления в языковых моделях имеют тенденцию быть распределенными в узком конусе, что объяснялось с точки зрения оптимизации и связи весов (weight tying). Недавно также было теоретически и эмпирически доказано, что механизм внимания (dot product self-attention) смещает представления в сторону матриц ранга один. Это побудило специалистов поглубокому обучению искать методы постобработки или регуляризации, чтобы предотвратить данное явление. Отбеливание (whitening) — один из распространённых статистических методов, который гарантирует изотропность пространства по построению. Мы провели серию экспериментов со статическими и контекстными языковыми моделями, оценивая отбеливание как метод постобработки и как элемент архитектуры, и показали, что его эффект и необходимость зависят от природы задачи. Хотя задачи на семантическую близость предложений могут выиграть от изотропности латентного пространства, применение тех же методов к задачам классификации делает обучение нестабильным и приводит к значительному падению метрик качества.
Разработка модели для генерации русского жестового языка
Студент: Вашпанова Кристина Викторовна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2025

Аннотация: Данная работа посвящена разработке модели автоматического перевода на русский жестовый язык.
Разработка модели для генерации русского жестового языка
Студент: Вашпанова Кристина Викторовна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2025
Оценка: 7

Аннотация: Данная работа посвящена проблеме перевода текста со звучащего русского языка на русский жестовый язык (РЖЯ). Особое внимание уделено разработке модели в контексте ограниченного количества данных и отсутствия в открытом доступе экспертной разметки видео на РЖЯ, а также учёту различных лингвистических особенностей РЖЯ. В результате данного исследования был разработан пайплайн работы с недавно выпущенным датасетом YouTube-SL-25 и была адаптирована к новым данным модель безглоссового перевода на жестовые языки UniGloR. Также были предложены две модификации модели: (1) модуль CharCNN на основе свёрточных сетей, учитывающий орфографию русскоязычного текста для повышения точности генерации маусинга, и (2) контрастивная функция потерь на основе обратного перевода для контроля семантической адекватности генерируемой жестовой последовательности. Несмотря на невысокие показатели качества модели в связи с малым объёмом обучающих данных, данная работа закладывает основу для будущих разработок в области перевода на РЖЯ методами глубокого обучения.
Эффективная передача смысловой информации через преобразование нецензурной лексики
Студент: Переходов Антон Сергеевич
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2025
Оценка: 7

Аннотация: В данной работе исследуется новый подход к задаче компрессии текста, использующий сквернословную лексику для достижения семантической компрессии. Предлагается метод замены лексикона: замены нейтральных выражений на более выразительные (обычно ненормативные) синонимы, что позволяет сокращать текст с сохранением смысла. Метод формализован через Reinforcement Learning с алгоритмом GRPO для дообучения модели. Эксперименты на двух русскоязычных наборах данных —— парафразировании токсичных высказываний (ru\\_ParaDetox) и новостном датасете Gazeta —— показывают, что наш подход даёт сокращение длин выходных текстов до 23% (для ru\\_ParaDetox) и 65% (для Gazeta) по сравнению с исходными, сохраняя сопоставимое качество смысла. Мы оцениваем результаты стандартными метриками (BLEU, ROUGE, BERTScore, chrF). Полученные результаты демонстрируют, что ругательная лексика может стать полезным ресурсом для контролируемого сокращения текста.
RuBIN: Разработка бенчмарка для оценки кросс-язычности языковых моделей на основе культурно-специфических заданий на русском языке
Студент: Лазукова Полина Игоревна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2025

Аннотация: В данной работе рассматриваются методологические и прикладные аспекты оценки культурно-специфических знаний больших языковых моделей. Особое внимание уделяется формату вопросов с выбором варианта ответа (MCQA) как инструменту для выявления и измерения таких знаний. На основе анализа существующих бенчмарков показано, что многие из них имеют методологические ограничения, включая недостаточную культурную чувствительность и наличие неинформативных кандидатных ответов. В ответ на это был разработан и представлен бенчмарк RuBIN – датасет, включающий вопросы, основанные на текстах, широко известных в российской культуре: песнях, сказках, пословицах, фильмах, мемах. В работе описывается процесс сбора и фильтрации культурных тем, генерации правдоподобных неправильных ответов с использованием LLM, а также аннотирования и тестирования модели на кросс-язычную устойчивость. RuBIN позволяет выявить слабые места современных LLM в части переноса культурных знаний и может быть использован как инструмент для их дальнейшей адаптации к различным лингвокультурным контекстам.
Разработка модели классификации русских романов (1763–1917) на поджанры
Студент: Челнокова Дарья Александровна
Научный руководитель: Вдовин Алексей Владимирович
Год защиты: 2025
Оценка: 9

Аннотация: Настоящее исследование посвящено эмпирическому исследованию поджанровой системы русского романа периода 1763-1917 гг. с использованием методов компьютерно-лингвистического анализа. На материале корпуса из 530 романов предпринята попытка верифицировать возможность классификации пяти ключевых поджанров (исторического, социально-психологического, приключенческого, любовного и криминального) на основе их лексических признаков. Работа направлена не только на построение классификационных моделей, но и на понимание природы жанровых конвенций, выявление специфических лексических маркеров каждого поджанра на различных частотных срезах, а также на анализ степени и характера взаимопроникновения жанровых элементов в русском романе. Исследование показало, что, несмотря на известную гибридность русской романной традиции, анализируемые поджанры обладают статистически различимыми лексическими профилями. Исторический и, неожиданно, социально-психологический романы продемонстрировали наиболее высокую алгоритмическую распознаваемость, причем их сигнал ярче всего проявляется на уровне редкой лексики. Приключенческий и криминальный поджанры лучше идентифицируются по среднечастотным словам, тогда как любовный роман обнаружил свою специфику преимущественно в высокочастотном, включая служебные слова, лексическом слое, что указывает на его определение скорее через модус повествования, нежели через уникальный тематический словарь. Анализ лексических маркеров позволил выявить характерные для каждого поджанра лексико-семантические поля и "антимаркеры", а исследование ложноположительных предсказаний моделей высветило сложные паттерны жанровой гибридности, подтвердив, в частности, тесную связь исторического и приключенческого начал, а также инклюзивный характер социально-психологического элемента в русской литературе.
Использование формальных языков для структуризации ответов языковых моделей
Студент: Салямов Камиль Маратович
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2025
Оценка: 7

Аннотация: Языковые модели (LLМ) продемонстрировали впечатляющие возможности генерации текста, однако их развертывание в производственных системах сталкивается со значительными трудностями, когда требуется строгое соблюдение формата. Существующие подходы, ограничивающие генерацию на уровне токенов, часто существенно снижают качество инференса, нарушая естественный процесс генерации модели. В данной статье представлен новый метод постобработки, использующий конечные автоматы LALR (Look-Ahead Left-to-Right) для преодоления этого фундаментального ограничения. Наш подход позволяет LLМ генерировать текст свободно, сохраняя присущие им творческие и логические способности, а затем применяет эффективные алгоритмы "исправления" для обеспечения грамматической корректности и соответствия формату. Путем экспериментальной проверки мы демонстрируем эффективность нашей методологии в двух различных предметных областях. Во-первых, в сценариях вызова инструментов (tool calling) для разработки агентов. Мы достигаем значительного улучшения точности по сравнению с традиционными подходами few-shot при оценке на моделях Qwen. Во-вторых, мы исследуем возможность генерации грамматики по классификации с помощью дообучения модели давать обратную связь по точности грамматики. Наш метод обеспечивает значительное повышение вычислительной эффективности, одновременно предоставляя прозрачный и интерпретируемый процесс генерации. Эта прозрачность особенно ценна для промышленного развертывания, где понимание и отладка выходных данных модели критически важны. Более того, подход позволяет развертывать более компактные, ресурсоэффективные модели на периферийных устройствах, гарантируя надежность структурированных выходных данных без необходимости дообучения или специализированных инференс движков.
Разработка диалоговой системы для консультирования пациентов по медицинской документации
Студент: Садкова Елена Дмитриевна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2025
Оценка: 8

Аннотация: В данной работе описывается процесс разработки диалоговой системы для консультирования пациентов по медицинской документации с использованием метода Retrieval-Augmented Generation (RAG). Система предназначена для доступного объяснения информации из инструкций к противоопухолевым препаратам, чтобы повышать вовлеченность пациентов в процесс лечения. Архитектура реализована в виде Advanced RAG-QA, включающей ансамблевый поиск (FAISS, BM25), реранжирование (Cross-Encoder) и генерацию пар «вопрос-ответ». Оценка качества проводилась с использованием метрик Precision@K, Recall@K и метрик из библиотеки RAGAS. Результаты демонстрируют высокую релевантность извлеченных фрагментов и достоверность сгенерированных ответов, что подтверждает потенциал метода RAG для создания медицинских диалоговых систем.
Методы улучшения машинного перевода для малоресурсных языков на примере шугнанского
Студент: Новокшанов Дмитрий Андреевич
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2025

Аннотация: В данной работе представлена методология повышения качества перевода между малоресурсным и высокоресурсным языками на примере направлений шугнанский–русский и русский–шугнанский. Мы дообучили современные модели перевода NLLB-200 с "sequence-to-sequence" архитектурой, чтобы исследовать, как добавление вспомогательных языков в обучающий набор данных на основе сходства в морфологии, орфографии и лексике влияет на качество перевода. В результате мы представляем первую модель перевода для пары шугнанский–русский с показателем chrF 41.7 и демонстрируем, что использование вспомогательных языков на основе морфологических сходств с низкоресурсным языком и высокого качества данных (вне зависимости от типологических свойств языка) значительно улучшает перевод на высокоресурсный язык.
Кросс–языковое представление знаний: анализ культурных аспектов в межъязыковых данных и их влияния на качество работы мультиязычных больших языковых моделей (LLM)
Студент: Скрипкарь Юлия -
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2025
Оценка: 8

Аннотация: В работе рассматривается проблема представления культурно-специфичных коллокаций в мультиязычных больших языковых моделях (LLM). Анализируется эффективность автоматического извлечения и классификации подобных коллокаций на примере четырёх языков (русский, английский, французский, казахский) на основе корпуса CulturaX. Проведены эксперименты по маскированию коллокаций и кросс-языковому вопросно-ответному анализу, выявляющие ограничения современных моделей при передаче культурно обусловленных значений. Итоги исследования подчёркивают необходимость адаптации LLM к контекстуальным и культурным особенностям низкоресурсных языков.
Анализ зависимости уровня лингвистически–специфичных галлюцинаций LLM от соотношения мультиязычных данных
Студент: Литвинов Ярослав Александрович
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2025

Аннотация: Данная работа представляет собой пробный анализ зависимости порождения культурно-специфичных галлюцинаций LLM от многоязычных обучающих данных для языковой модели. В работе систематизируются актуальные работы по генерализации представлений знаний между языками, а также по галлюцинациям LLM и методам их автоматического обнаружения. В работе также приводится подтверждение влияния разнообразия языковых данных на степень правдивости выводов языковой модели.
Анализ согласованности внутренних представлений между языками в мультиязычных больших языковых моделях
Студент: Лукичев Даниил Александрович
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2025
Оценка: 9

Аннотация: Работа посвящена сравнению внутренних представлений двух компактных мультиязычных моделей ‒ Llama3.2-1B и Qwen-1.7B ‒ на десяти языках корпуса FLORES-200. Методически сочетаются три подхода: косинусная близость слоёв, метрика MEXA для оценки выравнивания на уровне предложений и линейный пробинг языковой принадлежности. Показано, что Llama проходит стадию англоцентричного «сжатия» и лишь затем разводит языковые траектории, тогда как Qwen сохраняет раздельность с первых слоёв, но в верхних уровнях сталкивается с hub-эффектом. Обе модели хуже структурируют малоресурсные языки, что подчёркивает ограничения текущих процедур предобучения. Полученные результаты уточняют картину формирования кросс-лингвистических представлений в компактных LLM и задают ориентиры для дальнейших исследований.