kulyatinakatya/HSE_LING_VKR huggingface dataset:
Анализ качества информационного поиска при изменении способов снижения размерности пространства эмбеддингов
Студент: Сафарян Анна Карэновна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2025

Аннотация: Настоящее исследование посвящено сравнению различных методов понижения размерности векторного представления текста относительно их влияния на качество информационного поиска. Для этой цели было построено восемнадцать пайплайнов понижения размерности эмбеддингов с исходных 768 до 512, 256, 128 и 64 признаков и последующего ранжирования текстов при помощи косинусной близости. Тексты и запросы векторизовались тремя способами: DPR, ANCE, TAS-B. Размерность пространства понижалась четырьмя методами: методом главных компонент (PCA), методом равномерной аппроксимации и проекции многообразия (UMAP) в трёх конфигурациях, линейным и нелинейным автокодировщиками. Материалом для исследования выступила случайная подвыборка из корпуса BEIR MS MARCO. Анализ распределения NDCG по запросам показал, что в большинстве случаев нет статистически значимой разницы между всеми методами, кроме UMAP, который показал худшие результаты. Анализ топологии пространства после понижения размерности выявил, что все три вариации UMAP не смогли сохранить локальную структуру, что повлияло на качество ранжирования. Таким образом, линейный метод главных компонент обеспечил достаточно хороший баланс между качеством ранжирования и производительностью.
Поливариантный набор данных морфемного состава словоформ для русского языка
Студент: Васильева Елена Викторовна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2024
Оценка: 8

Аннотация: Выпускная квалификационная работа посвящена созданию поливариантного набора данных морфемного членения словоформ для русского языка. В рамках данной работы создается датасет на основе данных Морфемно-орфографического словаря А.Н. Тихонова, Словаря морфем русского языка А.И. Кузнецовой и Т.Ф. Ефремовой и монографии И.Б. Иткина "Русская морфонология". Для создания набора данных предпринимается попытка обучить глубокие нейронные сверточные сети и модель GPT. Кроме того, датасет обогащается за счет создания дополнительного набора данных, включающего морфемное сегментирование косвенных словоформ существительных, прилагательных и глаголов.
Разработка нейросетевой системы распознавания речи на эвенском языке
Студент: Казакова Татьяна Борисовна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2024

Аннотация: В работе создаётся первая ASR модель для эвенского языка и три датасета эвенской речи на сайте Hugging Face. Все разультаты доступны в репозитории на гитхабе: https://github.com/tbkazakova/even_asr
Разработка метода автоматического выделения актантов и сирконстантов глаголов русского языка
Студент: Васина Олеся Игоревна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2024
Оценка: 7

Аннотация: Основное внимание в исследовании уделяется компьютерной методологии автоматического извлечения аргументов и дополнений русских глаголов из текстов различных жанров, с акцентом на обработку синтаксической и семантической вариативности русских глаголов. Исследование объединяет семантические знания с синтаксическими структурами для разработки и проверки точного метода извлечения.
Компьютерная обработка якутских текстов с переключением кода на русский
Студент: Бажуков Максим Олегович
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2024
Оценка: 8

Аннотация: В настоящее время ведутся активные исследования по созданию передовых моделей NLP для языков с ограниченными ресурсами. Якутский, тюркский язык на Северо-Востоке России, таковым не кажется: число говорящих на нем составляет полмиллиона, есть литература использование в Интернете. Несмотря на это, якутский слабо охвачен исследованиями в области NLP: нет больших текстовых наборов данных, нет обученных базовых моделей. Мы пытаемся внести вклад, создав набор данных веб-текстов и обучив 2 модели на основе BERT. Модели также обучены классифицировать языки в текстах с переключением кода между якутским и русским языками, что полезно для будущих исследований.
"Пробинг" больших языковых моделей в задаче генерации описания молекулы
Студент: Ганеева Вероника Александровна
Научный руководитель: Игнатов Дмитрий Игоревич
Год защиты: 2024

Аннотация: В последнее время задачи для больших языковых моделей далеко не ограничиваются обработкой естественных языков. Такие модели также используются в био- и хемоинформатике в связи с их способностью запоминать длинный контекст, что удобно для последовательностей: цепочка генома, молекула и белок могут быть представлены в виде длинной строки текста – фактически, это запись на искусственном языке. Именно по этой причине большие языковые модели успешно используются для совершенно разных задач, далеких от первоначальной цели их создания в задаче обработки естественного языка: от генерации описания молекулы до предсказания результата взаимодействия двух веществ. На первый взгляд, большие языковые модели справляются с этими задачами хорошо, однако насколько модель «знает» химический язык? Способна ли она соотнести две разных записи, относящихся к одной молекуле? Восстанавливает ли она структуры молекул где-то в скрытых слоях? В этой работе мы предлагаем возможные методы для проверки того, способна ли модель восстанавливать какие-либо структуры во внутренних слоях и ориентироваться в большей степени на химические признаки, чем на текстовые
Синтаксическая сложность письменных текстов на русском и английском языках как иностранных
Студент: Клыкова Елизавета Александровна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2024
Оценка: 10

Аннотация: Настоящее исследование представляет собой всесторонний анализ синтаксической сложности русских и английских текстов, написанных носителями языка и изучающими его как иностранный. Проанализированы 20 показателей синтаксической сложности на уровне предложений, клауз и составляющих, а также их корреляция, взаимосвязь с уровнем владения языком и жанром. Мы предложили новый показатель, основанный на расстоянии Левенштейна на уровне клауз. Результаты показывают высокую корреляцию между метриками, основанными на длине предложений и клауз, и подчеркивают проблематичность индекса сочиненности (Coordination Index), обычно используемого в литературе. Мы также продемонстрировали, что сложность, как правило, возрастает с повышением уровня владения языком, при этом некоторые показатели выходят на плато на продвинутых уровнях. Меры синтаксической сложности также позволяют надежно различать тексты разных жанров; некоторые значения зависят от языка и различаются в русском и английском. Несмотря на неоднородность наших данных, некоторые показатели (а именно те, что основаны на длине, и относящиеся к составляющим) оказались полезны в задаче автоматического определения уровня владения языком. В качестве практического применения нашего исследования мы представляем syntaxcomp, Python-библиотеку для расчета показателей синтаксической сложности на основе разметки CoNLL-U.
Исследование методов автоматического распознавания и перевода простых предложений русского жестового языка
Студент: Долидзе Александра Амирановна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2024
Оценка: 7

Аннотация: В рамках исследования поставлены следующие задачи: обзор современных подходов к выявлению параметров жеста; изучение и анализ методов распознавания изолированных жестов и непрерывной жестовой речи; исследование архитектур и моделей перевода жестового языка; сбор и предобработка данных корпуса русского жестового языка; проектирование единой системы автоматического распознавания и перевода жестового языка; эксперименты по выявлению наиболее результативных методов распознавания и перевода предложений русского жестового языка. В главе 1 мы подробно даём обзор работ по теме исследования. В главе 2 описаны данные и эксперименты, а также проанализированы результаты.
Исследование региональной структуры онлайн сети с использованием методов текстового и сетевого анализа
Студент: Быстрова Анастасия Владимировна
Научный руководитель: Карпов Илья Андреевич
Год защиты: 2024

Аннотация: Данное исследование направлено на анализ региональных особенностей онлайн-сетей с использованием методов текстового и сетевого анализа на примере Сибирского федерального округа (СФО). В рамках работы был собран и структурирован обширный массив данных, включающий список региональных ключевых слов-топонимов, датасеты региональных сообществ, их пользователей и датасет связей пользователь-сообщество на данных социальной сети ВКонтакте. Основной акцент был сделан на сбор, верификацию и валидацию данных. Для достижения поставленных целей были использованы методы текстового анализа для выявления и фильтрации региональных групп. Методы сетевого анализа были применены для изучения структуры и взаимодействия сообществ в онлайн-сети. В результате исследования было собрано большое количество данных, построены графы по 10 регионам СФО, изучена структура онлайн сети и разработана классификация региональных онлайн сообществ.
Робастность дискретизированных представлений и возможности снижения шума для автоматического распознавания речи
Студент: Эркенова Джамиля Магометовна
Научный руководитель: Самсонов Сергей Владимирович
Год защиты: 2025

Аннотация: Автоматическое распознавание речи (ASR) преобразует речь в текст, но сталкивается с проблемами, связанными с шумом и акустической изменчивостью. Эта работа повышает надежность ASR, улучшая дискретные токенизаторы с помощью методов улучшения речи. Мы анализируем существующие токенизаторы, затем предлагаем новый метод с использованием дискретного токенизатора, модели трансформатора и шума и дополнения RIR. Эксперименты показывают, что наш подход сохраняет точность в шумных условиях, продвигая надежный ASR для реальных приложений.
Разработка системы детекции сгенерированного текста
Студент: Щербакова Анна Михайловна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2025
Оценка: 8

Аннотация: -
Исследование Различий в Векторных Представлениях, Полученных с Помощью Разных Языковых Моделей
Студент: Чистякова Ксения Евгеньевна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2024

Аннотация: Модели, основанные на архитектуре “трансформер”, показали выдающиеся результаты в задаче языкового моделирования благодаря сильным обобщающим способностям. Однако несмотря на достигнутый успех, сложность и высокая размерность внутренних представлений этих моделей затрудняют понимание способов кодирования информации внутри них. Работа посвящена анализу и сопоставлению эмбеддингов предобученных моделей для английского и русского языков. Методы, используемые в исследовании: задача пробинга, измерение косинусного сходства, прокрустово выравнивание и методы снижения размерности для визуализации и кластеризации данных. Исследование показывает различия в механизмах кодирования информации в энкодерных и генеративных языковых моделях. Например, было выявлено, что GPT-2 характеризуется высокой анизотропией и большими средними значениями векторов, что свидетельствует о предрасположенности авторегрессивных моделей фокусироваться на длине вектора, а не его направлении, что не характерно для моделей, подобных BERT. В работе подчеркивается, что использование контекстуализированных векторных представлений в задачах обработки естественного языка требует специфического подхода, позволяющего наиболее полно раскрыть их потенциал.
Разработка метода разложения векторов эмбеддингов с использованием Гауссовской смеси
Студент: Коновалова Александра Сергеевна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2024
Оценка: 9

Аннотация: Статические векторы отражают связи между словами, однако высокая размерность этих пространств затрудняет непосредственную интерпретацию закодированных в них семантических отношений. В работе предлагается метод интерпретации пространства, образуемого векторами эмбеддингов слов с использованием моделей Гауссовых смесей, которые строят интерпретируемые тематические кластеры слов и позволяют анализировать полученные компоненты. Для оценки использовались предобученные вектора Word2Vec. Модели Гауссовской смеси позволили получить близкое к интроспективному деление пространства на компоненты. Для анализа использовались визуализация компонент на плоскости, а также анализ матриц ковариации полученных гауссиан и рейтингa измерений на основе дисперсии. В результате удалось построить смежные семантические компоненты и найти набор интерпретируемых признаков, которые в отдельных случаях правдоподобно описывали лексические отношения, но вопрос масштабирования подхода остался открытым.
Что в имени тебе моем - исследование методов выделения терминологии предметной области
Студент: Чепель Мария Андреевна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2024
Оценка: 7

Аннотация: В данной работе исследуется проблема автоматического извлечения терминов из текстов различных предметных областей на русском языке. Основной целью является сравнение эффективности применения статистических метрик с использованием различных лингвистических формальных определений и без них. Мы также анализируем, как эффективность лингвистических шаблонов для извлечения терминов варьируется в зависимости от предметной области текстов. Результаты показывают, что применение лингвистических шаблонов в сочетании со статистическими метриками значительно повышает качество извлечения терминов по сравнению с использованием только статистических методов. Исследование имеет практическое значение для задач автоматической обработки текстов.
Компьютерно-лингвистическое выявление региональных особенностей русского языка
Студент: Маслова Мария Дмитриевна
Научный руководитель: Орехов Борис Валерьевич
Год защиты: 2024
Оценка: 8

Аннотация: Магистерская диссертация выполнена на 76 страницах, содержит 24 источника литературы, а также 2 приложения. Цель исследования– выявить лингвистические особенности русскоязычных материалов зарубежных СМИ средствами компьютерной лингвистики. Объект исследования – русскоязычные материалы зарубежных СМИ, доступные на веб–ресурсах. Предмет исследования – выявление лингвистических особенностей русскоязычных материалов зарубежных СМИ. В результате проведенного исследования была собрана коллекция текстов русскоязычных СМИ Кыргызстана объемом примерно 5 миллионов словоупотреблений. Также средствами компьютерной лингвистики было проведено исследование особенностей собранного материала. Анализ статистических метрик показал различия русского языка СМИ Киргизии и СМИ России и подтвердил особый характер русского языка диаспор на постсоветском пространстве. Исследование показало большую консервативность русского языка в СМИ Киргизии по сравнению с текстами российских СМИ, а также тенденцию к замене русских слов, относящихся к сфере общественно-политической жизни, на их синонимы на национальном языке.
Обнаружение и устранение галлюцинаций в русских больших языковых моделях
Студент: Шишкина Яна Алексеевна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2024

Аннотация: Данное исследование описывает процесс улучшения работы диалогового AI-ассистента для русскоязычных детей и подростков - Junior Assistant. Основное внимание уделено проблеме фактологически некорректных ответов, так называемых галлюцинаций. В рамках работы над проектом были проведены эксперименты с различными компонентами и их комбинациями, что позволило разработать финальную систему, включающую вызов внешних инструментов, извлечение информации из русскоязычной Википедии и онлайн поддержки Тинькофф, а также повышение эффективности ответов за счет использования дополнительной информации при генерации (retrieval augmented generation, RAG). Результатами исследования стало уменьшение числа галлюцинаций и улучшение работы с запросами, требующими дополнительных знаний, без сложной ручной аннотации данных и других дорогостоящих разметок. Также в исследовании предложена система оценки для русскоязычных подходов к RAG, объединяющая в себе как человеческую оценку, так и автоматические методы, что может послужить вкладом в последующую разработку разговорных ассистентов с повышенной точностью фактов.
Автоматическая идентификация прецедентных единиц в текстах на русском языке
Студент: Крянина Дарья Николаевна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2024

Аннотация: В каждом языке существуют свои уникальные языковые единицы, такие как идиомы, фразеологизмы и поговорки, которые несут в себе экстралингвистическую информацию. Эта информация закладывается в сознание языковой личности и является частью её когнитивной базы на уровне нации или социальной группы. Одним из таких элементов являются прецедентные феномены, для понимания которых требуется знание определённого контекста. В современном мире компьютерной лингвистики исследуются вопросы распознавания метафор, эмоций и сарказма, однако работы по автоматизации распознавания прецедентных феноменов отсутствуют. Целью данной работы является обучение модели для определения прецедентных имен в текстах на русском языке, то есть для определения, является ли имя прецедентным в данном контексте или используется в прямом значении. В исследовании будут рассмотрены только прецедентные имена. Данные для исследования будут представлять собой прецедентные имена, собранные из текстов разных жанров, включая словарь прецедентных имен. В качестве существующих методов будут рассмотрены простые модели, такие как наивный Байес и SVM. Для эксперимента будет взята модель BERT для обучения на задачу классификации текстов с прецедентами и без.
Модель диагностики вербальной креативности по тесту Гилфорда
Студент: Розовская Глория Павловна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2024
Оценка: 9

Аннотация: Наша работа посвящена автоматизации оценки оригинальности и категории ответа на тест Необычного (альтернативного) использования Гилфорда (Alternative Uses Test, AUT, тест на вербальную креативность). Мы провели ряд экспериментов по обучению моделей разных архитектур, таких как RNN, BERT-classificator, CatBoost Classificator и CatBoost Regressor на русскоязычных данных. Мы также экспериментировали с предобработкой данных, кластеризируя оценки оригинальности и исключая категории, в которых было недостаточно примеров для качественного обучения. В результате самые высокие показатели взвешенной точности продемонстрировали модели типа CatBoost Classificator, обученные на данных с добавлением логитов из BERT-моделей. При предсказании кластеризированных баллов оригинальности они показали высокую взвешенную точность 90%, при предсказании крупных категорий - 91%. Кроме того, мы провели эксперимент, в ходе которого автоматически перевели наш русскоязычный датасет на английский и сравнили результаты обучения модели BERT на русскоязычных и англоязычных данных. Результаты показали, что модель BERT предсказывает баллы оригинальности и категории на обоих языках со сравнимо высокими точностями.
Перенос синтаксической разметки с русского на кыргызский на материале поливариантного параллельного корпуса эпоса Манас
Студент: Тиллабаева Алина Азаматовна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2024

Аннотация: Метод кросс-лингвального трансфера синтаксической разметки показал свою эффективность в задаче парсинга синтаксических зависимостей в малоресурсных языках. Данное исследование посвящено теме разработки парсера зависимостей на основе метода переноса аннотаций на базе параллельного синтаксически-аннотированного кыргызско-русского корпуса эпоса "Манас". Перенос разметки в данной работе делится на два этапа: предсказание тегов связей (dependency relation) и поиск главного слова (head), посредством синтезированного дерева для кыргызского языка. Также в работе описываются составленный параллельный, поливариантный корпус “Манас” и принципы синтаксической аннотации кыргызских предложений.
Языковая вариативность в единицах системы естественно-языкового вывода для робота-компаньона
Студент: Ребриков Стефан Александрович
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2024
Оценка: 8

Аннотация: Исследование выполняется в рамках общего проекта по созданию системы естественно-языкового вывода для робота-компаньона. Такая система должна позволить роботу по поданному на вход высказыванию строить репрезентации связанных ситуаций. Например, по высказыванию Люди ненавидят роботов система предлагает возможные предпосылки (‘роботы сделали людям что-то плохое’) и возможные следствия (‘люди простят роботов’, ‘люди не простят роботов’ и т. д.). Цель исследования состоит в том, чтобы определить лексические классы, члены которых могут замещать синтаксические позиции одновременно в описаниях исходной и производной ситуаций, а также описать методы, которые позволят порождать наиболее полно измененное речевое описание для производной ситуации по заданной исходной ситуации. Мы понимаем задачу контекстуализированного профилирования как задачу определения возможных лексических, лексико-грамматических и т. п. вариантов заполнения валентностей конструкции с учетом семантико-синтаксической структуры таких конструкций в контексте. В нашем случае такое множество должно было быть сужено так, чтобы не конфликтовать с конструкциями, которые связаны с данной отношением логического вывода: временного предшествования, временного следования или интерпретации. Для реконструкции лексики в производном высказывании при заданном лексическом наполнении исходного высказывания были использованы следующие методы расширения инвентаря предикатных конструкций, относящихся к заданному сценарию: расширение инвентаря с использованием аппарата лексических функций, таких как Anti, Syn, Magn и AntiMagn; расширение инвентаря с использованием преобразования глагол – отглагольное существительное; расширение инвентаря с использованием пар глаголов, связанных фазовой семантикой. Далее, для получения множества кандидатов на замещение валентностей были проведены следующие эксперименты: Использовалась комбинация набора данных Sketches и модели w2v для вычисления центра облака контекстуализированного профиля и ; Использовался трансформер Bert для предугадывания значения маски Использовалась мультимодальная модель gpt4o для предугадывания значения маски Были составлены тестовые наборы данных для оценки результатов экспериментов. Полученные оценки позволили сравнить качество работы вывода пар высказываний, связанных отношением временного предшествования/следствия и интерпретации. В дальнейшем эти данные могут быть использованы при тестировании новых алгоритмов и моделей для этой задачи.
Восстановление неполных предложений для диалоговой системы
Студент: Михайлова Анна Алексеевна
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2024
Оценка: 8

Аннотация: Неполнота повсеместно встречается в диалогах, однако диалоговые агенты не имеют встроенных механизмов для ее восполнения из контекста. В данной работе рассказывается об опыте сбора диалогового датасета для восстановления неполных высказываний в русском языке, а также рассматриваются возможные подходы к автоматическому восстановлению неполных высказываний из контекста, включающие применение Seq2Seq моделей и промпт-инжиниринга.
Предсказание параметров генерации ответа диалоговой модели
Студент: Гавришина Екатерина Ильинична
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2023
Оценка: 7

Аннотация: В данном исследовании рассматривается проблема генерации англоязычного текста на основе модели Трансформер (Transformer) и оптимизации гиперпараметров этой модели. В работе изучены различные подходы к генерации текста и описаны основные параметры модели-генератора. Также рассмотрены различные методы оптимизации гиперпараметров модели, включая байесовскую оптимизацию, алгоритм Tree of Parzen Estimators (TPE) и поиск по сетке (grid search). В качестве нового метода подбора гиперпараметров разработана модель классификации, предсказывающая по контексту оптимальные значения основных параметров генерации текста (top-p, top-k, typical-p, temperature). Результаты исследования могут быть использованы как теоретическая и практическая база для дальнейшей модификации и развития в области оптимизации гиперпараметров.