JiamingLiu666/HSE_LING_VKR huggingface dataset:
Синтаксический пробинг для русского языка: что языковые модели на основе трансформеров знают о русском синтаксисе
Студент: Дьячкова Ирина Александровна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Исследование посвящено диагностике векторных представлений языковых моделей на основе архитектуры Transformer для русского языка на предмет информации о синтаксической структуре русского предложения. В рамках работы мы сравниваем эмбеддинги с разных слоев языковых моделей и проводим качественный анализ ошибок диагностической модели, использующей эмбеддинги RuBERT в задаче синтаксического парсинга.',
Извлечение кросс-текстовой анафоры из русскоязычного пользовательского контента в медицинской сфере
Студент: Куцев Дмитрий Алексеевич
Научный руководитель: Ефименко Ирина Владимировна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Работа посвящена проблеме извлечения кросс-текстовой анафоры из русскоязычного пользовательского контента в медицинской сфере. В рамках предварительного исследования был произведен анализ методов разрешения анафоры и способов их применения. В ходе исследования был разработан алгоритм разрешения анафоры для русского языка на основе правил, а также два алгоритма на основе различных моделей машинного обучения. Также была проведена верификация алгоритмов в рамках серии экспериментов. Разработанные решения могут использоваться в составе систем извлечения информации из источников медицинских данных. Данные, собранные и размеченные для проведения экспериментов, могут использоваться в дальнейших работах, связанных с разрешением анафоры. Набор данных и код, используемый для создания модулей, доступен в GitHub.',
Разработка платформы для анализа полевых языковых данных
Студент: Воронов Михаил Кириллович
Научный руководитель: Толдова Светлана Юрьевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

В этой работе описывается созданный нами инструмент для ручной обработки лингвистических полевых данных, а именно, глоссировании текстов. Инструмент написан на языке Python и оформлен в виде приложения с графическим интерфейсом.',
Предиктивный ввод текста для агглютинативных и полисинтетических языков
Студент: Косяк Сергей Николаевич
Научный руководитель: Таерз Францис Мортон
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

В этой работе представлены эксперименты в области морфологического моделирования и предсказания. Рассматриваются задачи сегментации, предсказания следующего токена, а также предиктивного ввода текста для двух низкоресурсных коренных языков, киче и чукотского. В рамках решения задачи сегментации рассматриваются различные системы — 4 из них обучаются без учителя, 2 с учителем, выбирается лучшая система морфологической сегментации. Она, наряду с системами статистической сегментации, используется для создания датасетов для языкового моделирования. Обучаются языковые модели разных типов — на датасете от одной сегментирующей модели, на датасетах от двух разных сегментирующих моделей, а также зыковые модели, обученные на датасетах одной сегментирующей модели и дообученные на данных от другой. Для оценки языковых моделей вычисляется пословная и посимвольная перплексия, лучшей моделью оказывается обученная на данных, сегментированных моделью Wordpiece, а затем дообученная на морфологически сегментированных данных. Производительность языковых моделей проверяется на задаче предсказания следующего токена, для чего используется отложенная выборка, не используемая во время обучения. Лучшей оказывается модель, обученная на данных, сегментированных моделью Unigram. Также производительность проверяется на задаче предиктивного ввода текста, для чего используется вручную размеченные данные. Выясняется, что все модели, для обучения которых был задействованы морфологически сегментированные данные, хорошо справляются с этой задачей. Высказывается предположение, что использование морфологической сегментации при обучении языковых моделей позволит улучшить опыт конечных пользователей при работе с предиктивным вводом. Планируется проверить это предположение путем проведения тестирования на пользователях, а также обучить другие модели и экспериментировать на других языках.',
Исследование возможностей поиска с использованием коллокационных метрик
Студент: Вахранев Антон Юрьевич
Научный руководитель: Толдова Светлана Юрьевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Работа посвящена извлечению коллокаций из юридического корпуса: сравниваются коллокационные меры и различные лингвистические фильтры. Часть экспериментов выполнена с помощью частеречных, синтаксических фильтров, а также ограничений на расстояние от ключевого слова. На полученных примерах продемонстрированы достоинства и недостатки таких мер, как дисперсия, PMI и Log-Likelihood.',
Замена орфографии в транскрипциях текста с помощью обучения без учителя
Студент: Килина Мария Алексеевна
Научный руководитель: Таерз Францис Мортон
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Замена орфографии в транскрипциях текста является проблемой, не имеющей в большинстве случаев простого однозначного решения. Сложности, с которыми сталкиваются лингвисты при работе с транскрипциями текстов, связаны с неоднозначностью перевода из одного алфавита в другой, возможным наличием дифтонгов, разницей в размерах алфавитов. Также имеют место различия в подходах к транскрипции у разных специалистов. Все это создает проблемы для автоматической замены орфографии. Для таких сложных случаев как якутский язык неприменимы подходы, подразумевающие наличие однозначного соответствия между буквой транскрипции и буквой оригинального алфавита, поскольку в оригинальном алфавите присутствуют дифтонги, а также мощность якутского алфавита и латиницы не совпадает. В связи с этим мы предлагаем собственный подход для решения этой проблемы, который основывается на нейросетевых архитектурах.',
Обучение многодоменного энкодера предложений для задачи семантического поиска
Студент: Бабаков Николай Сергеевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

В данной работе производится изучение возможностей совершенствования подходов к векторизации текстов русского языка с использованием информации о структуре текста. Основная идея данной работы состоит в том, что большинство распространенных структур текста (к примеру, вопрос, ответ, заголовок статьи и прочее) имеют уникальные особенности, которые могут быть использованы текстовым энкодером для повышения качества генерируемых векторов. В рамках работы был проведен ряд опытов с использованием современных методов машинного обучения. Целью экспериментов являлась разработка архитектуры текстового энкодера и тренировочного пайплайна, используемого для обучения энкодера, которые бы позволили наиболее эффективно использовать информацию о структуре текста для генерации текстовых векторов.',
Анализ и фильтрация пользовательского текстового контента при разработке интернет-сайта с элементами user-generated content
Студент: Смирнова Владислава Константиновна
Научный руководитель: Орехов Борис Валерьевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Работа посвящена решению трех задач анализа и фильтрации пользовательского текстового контента: определению наличия обсценных слов, определению рекламы и определению токсичности в тексте. В рамках предварительного исследования были проанализированы современные подходы к решению этих задач. Были проведены эксперименты с реализацией и оценкой классических алгоритмов машинного обучения и нейронных сетей. Все реализованные нейронные модели не только превзошли алгоритмы неглубокого обучения по f-мере и accuracy, но и достигли, а в одном случае превысили state-of-the-art значения f-меры по каждой из задач. Итогом работы стало создание и размещение в открытом доступе библиотеки для анализа и фильтрации пользовательских текстов.',
Отслеживание изменений гендерных стереотипов о профессиях в русском языке при помощи диахронических дистрибутивных репрезентаций
Студент: Фильченков Петр Сергеевич
Научный руководитель: Кутузов Андрей Борисович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Due to lack of studies on tracing gender bias dynamics in Russian through diachronic word embeddings, the aim of the present thesis is to detect this dynamics in Russian occupational terms and find out what limitations may obstruct this task. We hypothesized that gender bias is decreasing gradually in word embeddings with the gradual decrease of gender bias in society. The proposed experiment design detects word embedding bias in Russian and reveals some difference in comparison to word embedding models trained on English texts. The t-tests which aim to detect whether average values of embedding bias in diachronic models differ significantly across possible pairs of samples, have not demonstrated statistically significant result. We came to the conclusion that there is no bias dynamics change in word embeddings for Russian for annual time spans which range from 2010 to 2019.',
Предсказание порядка фрагментов текстового квеста
Студент: Носова Елизавета Дмитриевна
Научный руководитель: Макаров Илья Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

В работе на материале русскоязычных текстовых квестов исследуется способность различных моделей упорядочивать фрагменты текста с неявно выраженной связностью. Подробно описан собранный датасет, особое внимание уделяется характеристикам, которые предположительно влияют на качество автоматического упорядочивания данных. Адаптируются существующие способы упорядочивания, а также предлагаются новые: использование функции потерь генеративной модели для выбора наилучшего продолжения и упорядочивание конца последовательности в обратном порядке.',
Модели извлечения знаний из дискурса медицинских социальных сетей
Студент: Семенова Ольга Алексеевна
Научный руководитель: Ефименко Ирина Владимировна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Исследование посвящено разработке алгоритма извлечения событий приема препаратов из текстов медицинских социальных сетей. В работе рассматриваются актуальные исследования на тему извлечения событий из медицинских текстов. В рамках исследования был собран и размечен корпус, проведены эксперименты по улучшению качества работы моделей извлечения триггеров и атрибутов события, разработан итоговый алгоритм, произведена оценка качества его работы. Разработанный алгоритм может быть использован в целях фармаконадзора. Также возможно использование собранных данных в дальнейших исследованиях на аналогичную тематику.',
Извлечение событий из спортивных прогнозов
Студент: Херуллах Гадир -
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Электронный обмен информацией в Интернете в различных форматах, таких как документы на естественном языке, потоки социальных сетей, новостные статьи, тексты СМИ, блоги, сайты спортивных болельщиков и т.д., быстро растет. Большая часть такой информации находится в неструктурированном формате, что затрудняет пользователям поиск наиболее важной информации, которая им нужна. Здесь возникает жизненно важная роль методов естественного языка для извлечения наиболее важной информации из неструктурированных фрагментированных шумных данных с целью экономии времени и усилий. Это представляет собой сложную задачу для мотивированных исследователей, которые внедряют различные подходы и алгоритмы для извлечения информации, в частности ее наиболее заметной и распространенной подзадачи - извлечения событий. Данное исследование, насколько нам известно, является первой на сегодняшний день попыткой использования конволюционной нейронной сети (CNN) с остаточными связями для извлечения событий из спортивных прогнозов, собранных на сайтах футбольных болельщиков. Она не ограничивается задачей извлечения упоминаний о событиях, но и выходит за ее рамки, извлекая именованные сущности соревнующихся команд, а также победителя и проигравшего.',
Семантически обусловленная генерация и стилизация текстов
Студент: Самсонова Дарья Андреевна
Научный руководитель: Макаров Илья Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Стилистически обусловленная генерация текста - одна из сложных задач в области автоматической обработки естественного языка, заключающаяся в изменении стилистических характеристик исходного текста таким образом, чтобы получившийся текст сохранил семантику (исключая стилистически обусловленную семантику) исходного текста. В настоящее время существует достаточно большое количество подходов к решению этой задачи, однако все еще не удалось достигнуть хорошего качества ее решения. В данной работе проводится анализ существующих подходов и алгоритмов решения задачи переноса стиля теста и предлагается новый алгоритм, апробированный на англоязычных датасетах. Наш подход показывает сравнительно хорошую способность переноса стиля, сохраняя при это содержание изначального текста и генерируя связный и грамматически корректный текст.',
Автоматический анализ инкорпорации в чукотском языке
Студент: Шейфер Карина Олеговна
Научный руководитель: Таерз Францис Мортон
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

В исследовании описывается подход к автоматическому анализу инкорпорации в чукотском языке, малоресурсном полисинтетическом исчезающем языке Дальнего Востока. Основное внимание в исследовании уделяется морфосинтаксической аннотации данного явления, анализу его формирования и использования. В рамках фреймворка Universal Dependencies в расширенной структуре зависимостей было закодировано 182 инкорпорации 12 различных типов. Процент инкорпорации к всему объему словоупотреблений, рассматриваемого набора данных, составляет 4,7%, по сравнению с 1,2% инкорпораций существительных, рассмотренных в ранее. Аннотированный набор данных служил для обучения модели нейронной сети. Настоящее исследование относительно улучшило работу модели нейронной сети, предназначенной для сегментации, тегирования и анализа зависимостей в полисинтетическом языке.',
Диалоговый менеджмент на основе классификатора речевых функций
Студент: Остякова Лидия Николаевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Хотя интенты являются эффективным решением определения сиюминутных задач пользователя в рамках целеориентированных ботов, для open-domain диалоговых систем нужны более всеохватывающие абстракции. Исследователи пришли к пониманию ценности таких более абстрактных интентов, также известных как речевые/диалоговые акты и речевые функции. Результатом данной работы является созданный алгоритм для автоматического определения речевых функций на отнове теории Eggins и Slade высказываний пользователя и бота.',
Исследование генерации дневниковой записи на основе корпуса "Прожито"
Студент: Сальников Егор Андреевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2021

Данная работа посвящена исследованию возможности применения стилометрического подхода к анализу и сравнению естественных и сгенерированных текстов. В ходе исследования тексты, сгенерированные нейросетевыми моделями, обученными на различных подкорпусах дневниковых записей, сравнивались с оригинальными текстами соответствующего подкорпуса. При обучении классификатора текстов по принципу "искусственности/естественности" в качестве входных данных выступал ряд количественных характеристик текстов, широко применяющихся в стилометрии. В результате экспериментов по сравнению оригинальных текстов и сгенерированных удалось выявить некоторые характеристики, наиболее устойчивые к смене тематического домена, а также параметров языковой модели.',
Автоматическое исправление грамматических ошибок для русского языка
Студент: Кравцова Анастасия Валентиновна
Научный руководитель: Выренкова Анастасия Сергеевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Исправление грамматических ошибок — одна из фундаментальных задач обработки естественного языка. В основном она решается для английского языка, поскольку для него имеется наибольшее число размеченных данных. Появившийся недавно русскоязычный корпус RULEC-GEC дал возможность апробировать методы, использовавшиеся на англоязычном материале. Наиболее передовым из них является подход на основе нейронного машинного перевода с использованием архитектуры Transformer. Подобная модель требует большого числа размеченных данных и вычислительных ресурсов для обучения. В связи с этим большую актуальность приобретает решение задачи в парадигме без учителя на основе доступных лингвистических инструментов. Целью работы является изучить возможность применения нейронной языковой модели RuBERT и правил для задачи исправления грамматических ошибок в русском языке. На тестовом наборе корпуса RULEC-GEC было достигнуто качество 40,31% по F05-мере, что сопоставимо с показателями передовых работ, в которых использовалась парадигма нейронного машинного перевода.',
Генерация парафраза на основе архитектуры Transformer
Студент: Жордания Тамара Темуровна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Магистерская диссертация посвящена проблеме автоматической генерации парафраза на русском языке. В работе были описаны и классифицированы современные методы генерации парафраза. Для обучения моделей были применены два типа нейронных архитектур - seq2seq LSTM с остаточным соединением и Transformer. Модели были реализованы с помощью фреймворка для глубокого обучения PyTorch на языке программирования Python.',
Гибридный поиск для русского языка: использование графовой информации в вопросно-ответной системе
Студент: Катричева Надежда Сергеевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Вопросно-ответные системы предполагают извлечение ответов из тексов, баз знаний или обоих этих источников. Вопросы могут быть сложные (требующие выполнение логических операций над высказываниями) и простые (основанные на одном высказывании), а большинство научных работ в этой области описывают системы для английского языка. В нашей работе представлена гибридная вопросно-ответная система для простых вопросов на русском языке, использующая в качестве источников данных статьи Википедии и Викидату — масштабный, но, очевидно, неполный граф знаний. Новшества в области обработки естественного языка и вопросно-ответных систем сочетаются в работе с инструментарием, уже ставшим традиционным, чтобы показать, что сочетание двух источников информации позволяет получить больше верных ответов на вопросы, чем при использовании одного из них. Чтобы провести оценку подхода, был подготовлен датасет, ответы на вопросы из которого могут быть найдены и в графе, и в сопутствующем ему тексте. Датасет и код, используемый для создания модулей системы и их оценки, доступен в GitHub.',
Изучение языковых паттернов для вопросно-ответных систем с графовым поиском
Студент: Михайлов Владислав Николаевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Работа посвящена изучению языковых паттернов в комплексных вопросах на материале русского языка и разработке гибридной вопросно-ответной системы с использованием графового поиска и коллекции документов.',
Извлечение сценариев диалогов из пьес: кластеризация, классификация и семантическая маркировка графов пьес
Студент: Власов Владимир Павлович
Научный руководитель: Клышинский Эдуард Станиславович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

В работе разбирается метод создания модели для кластеризации реплик диалогов и коротких диалогов из трех фраз. В рамках работы был создан подход к кластеризации реплик диалогов на основе векторов из кроссязыкового Transformer/CNN \xadencoder для предложений и метода кластеризации KMeans. Далее с помощью языковой модели созданной с помощью рекуррентной нейронной сети была получена векторная репрезентация коротких диалогов, которые были после также кластеризованы. Исследование проводилось на корпусе русской драмы (RusDraCor), и его результаты могут быть использованы как в области цифровых гуманитарных исследований, так и в коммерческом поле для полуавтоматической разметки диалогов.',
Автоматическое извлечение значений слов с помощью контекстно-зависимых векторных представлений для русского языка
Студент: Давыдова Вера Федоровна
Научный руководитель: Макаров Илья Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Одной из серьезных проблем автоматической обработки текстов является задача извлечения лексического значения слов. Алгоритм для автоматического извлечения смысла слов может быть как частью пайплайна по автоматической обработке текста, так и инструментом для лингвистов и, в частности, лексикографов. В настоящей работе проверяется гипотеза о том, что контекстно-зависимые векторные представления слов, которые можно извлечь из современных языковых моделей, таких, как BERT и ELMo, могут улавливать разные значения слов. Наша модель показала достойные результаты, сопоставимые со state-of-the-art для омонимичных слов. Более того, наш эксперимент доказал, что использование BERT в качестве модели для векторизации слов более эффективно в рамках задачи извлечения смысла слов.',
Использование лингвистических признаков с помощью графовых представлений текстов для языковой кластеризации
Студент: Митрофанова Марина Алексеевна
Научный руководитель: Макаров Илья Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2020

Одной из серьезных проблем автоматической обработки текстов является задача извлечения лексического значения слов. Алгоритм для автоматического извлечения смысла слов может быть как частью пайплайна по автоматической обработке текста, так и инструментом для лингвистов и, в частности, лексикографов. В настоящей работе проверяется гипотеза о том, что контекстно-зависимые векторные представления слов, которые можно извлечь из современных языковых моделей, таких, как BERT и ELMo, могут улавливать разные значения слов. Наша модель показала достойные результаты, сопоставимые со state-of-the-art для омонимичных слов. Более того, наш эксперимент доказал, что использование BERT в качестве модели для векторизации слов более эффективно в рамках задачи извлечения смысла слов.,