kulyatinakatya/HSE_LING_VKR huggingface dataset:
Предиктивный ввод текста для агглютинативных и полисинтетических языков
Студент: Косяк Сергей Николаевич
Научный руководитель: Таерз Францис Мортон
Год защиты: 2021

Аннотация: В этой работе представлены эксперименты в области морфологического моделирования и предсказания. Рассматриваются задачи сегментации, предсказания следующего токена, а также предиктивного ввода текста для двух низкоресурсных коренных языков, киче и чукотского. В рамках решения задачи сегментации рассматриваются различные системы — 4 из них обучаются без учителя, 2 с учителем, выбирается лучшая система морфологической сегментации. Она, наряду с системами статистической сегментации, используется для создания датасетов для языкового моделирования. Обучаются языковые модели разных типов — на датасете от одной сегментирующей модели, на датасетах от двух разных сегментирующих моделей, а также зыковые модели, обученные на датасетах одной сегментирующей модели и дообученные на данных от другой. Для оценки языковых моделей вычисляется пословная и посимвольная перплексия, лучшей моделью оказывается обученная на данных, сегментированных моделью Wordpiece, а затем дообученная на морфологически сегментированных данных. Производительность языковых моделей проверяется на задаче предсказания следующего токена, для чего используется отложенная выборка, не используемая во время обучения. Лучшей оказывается модель, обученная на данных, сегментированных моделью Unigram. Также производительность проверяется на задаче предиктивного ввода текста, для чего используется вручную размеченные данные. Выясняется, что все модели, для обучения которых был задействованы морфологически сегментированные данные, хорошо справляются с этой задачей. Высказывается предположение, что использование морфологической сегментации при обучении языковых моделей позволит улучшить опыт конечных пользователей при работе с предиктивным вводом. Планируется проверить это предположение путем проведения тестирования на пользователях, а также обучить другие модели и экспериментировать на других языках.
Исследование возможностей поиска с использованием коллокационных метрик
Студент: Вахранев Антон Юрьевич
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2021
Оценка: 7

Аннотация: Работа посвящена извлечению коллокаций из юридического корпуса: сравниваются коллокационные меры и различные лингвистические фильтры. Часть экспериментов выполнена с помощью частеречных, синтаксических фильтров, а также ограничений на расстояние от ключевого слова. На полученных примерах продемонстрированы достоинства и недостатки таких мер, как дисперсия, PMI и Log-Likelihood.
Замена орфографии в транскрипциях текста с помощью обучения без учителя
Студент: Килина Мария Алексеевна
Научный руководитель: Таерз Францис Мортон
Год защиты: 2021

Аннотация: Замена орфографии в транскрипциях текста является проблемой, не имеющей в большинстве случаев простого однозначного решения. Сложности, с которыми сталкиваются лингвисты при работе с транскрипциями текстов, связаны с неоднозначностью перевода из одного алфавита в другой, возможным наличием дифтонгов, разницей в размерах алфавитов. Также имеют место различия в подходах к транскрипции у разных специалистов. Все это создает проблемы для автоматической замены орфографии. Для таких сложных случаев как якутский язык неприменимы подходы, подразумевающие наличие однозначного соответствия между буквой транскрипции и буквой оригинального алфавита, поскольку в оригинальном алфавите присутствуют дифтонги, а также мощность якутского алфавита и латиницы не совпадает. В связи с этим мы предлагаем собственный подход для решения этой проблемы, который основывается на нейросетевых архитектурах.
Обучение многодоменного энкодера предложений для задачи семантического поиска
Студент: Бабаков Николай Сергеевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020
Оценка: 8

Аннотация: В данной работе производится изучение возможностей совершенствования подходов к векторизации текстов русского языка с использованием информации о структуре текста. Основная идея данной работы состоит в том, что большинство распространенных структур текста (к примеру, вопрос, ответ, заголовок статьи и прочее) имеют уникальные особенности, которые могут быть использованы текстовым энкодером для повышения качества генерируемых векторов. В рамках работы был проведен ряд опытов с использованием современных методов машинного обучения. Целью экспериментов являлась разработка архитектуры текстового энкодера и тренировочного пайплайна, используемого для обучения энкодера, которые бы позволили наиболее эффективно использовать информацию о структуре текста для генерации текстовых векторов.
Анализ и фильтрация пользовательского текстового контента при разработке интернет-сайта с элементами user-generated content
Студент: Смирнова Владислава Константиновна
Научный руководитель: Орехов Борис Валерьевич
Год защиты: 2021
Оценка: 10

Аннотация: Работа посвящена решению трех задач анализа и фильтрации пользовательского текстового контента: определению наличия обсценных слов, определению рекламы и определению токсичности в тексте. В рамках предварительного исследования были проанализированы современные подходы к решению этих задач. Были проведены эксперименты с реализацией и оценкой классических алгоритмов машинного обучения и нейронных сетей. Все реализованные нейронные модели не только превзошли алгоритмы неглубокого обучения по f-мере и accuracy, но и достигли, а в одном случае превысили state-of-the-art значения f-меры по каждой из задач. Итогом работы стало создание и размещение в открытом доступе библиотеки для анализа и фильтрации пользовательских текстов.
Отслеживание изменений гендерных стереотипов о профессиях в русском языке при помощи диахронических дистрибутивных репрезентаций
Студент: Фильченков Петр Сергеевич
Научный руководитель: Кутузов Андрей Борисович
Год защиты: 2021

Аннотация: Due to lack of studies on tracing gender bias dynamics in Russian through diachronic word embeddings, the aim of the present thesis is to detect this dynamics in Russian occupational terms and find out what limitations may obstruct this task. We hypothesized that gender bias is decreasing gradually in word embeddings with the gradual decrease of gender bias in society. The proposed experiment design detects word embedding bias in Russian and reveals some difference in comparison to word embedding models trained on English texts. The t-tests which aim to detect whether average values of embedding bias in diachronic models differ significantly across possible pairs of samples, have not demonstrated statistically significant result. We came to the conclusion that there is no bias dynamics change in word embeddings for Russian for annual time spans which range from 2010 to 2019.
Предсказание порядка фрагментов текстового квеста
Студент: Носова Елизавета Дмитриевна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2021

Аннотация: В работе на материале русскоязычных текстовых квестов исследуется способность различных моделей упорядочивать фрагменты текста с неявно выраженной связностью. Подробно описан собранный датасет, особое внимание уделяется характеристикам, которые предположительно влияют на качество автоматического упорядочивания данных. Адаптируются существующие способы упорядочивания, а также предлагаются новые: использование функции потерь генеративной модели для выбора наилучшего продолжения и упорядочивание конца последовательности в обратном порядке.
Модели извлечения знаний из дискурса медицинских социальных сетей
Студент: Семенова Ольга Алексеевна
Научный руководитель: Ефименко Ирина Владимировна
Год защиты: 2021

Аннотация: Исследование посвящено разработке алгоритма извлечения событий приема препаратов из текстов медицинских социальных сетей. В работе рассматриваются актуальные исследования на тему извлечения событий из медицинских текстов. В рамках исследования был собран и размечен корпус, проведены эксперименты по улучшению качества работы моделей извлечения триггеров и атрибутов события, разработан итоговый алгоритм, произведена оценка качества его работы. Разработанный алгоритм может быть использован в целях фармаконадзора. Также возможно использование собранных данных в дальнейших исследованиях на аналогичную тематику.
Извлечение событий из спортивных прогнозов
Студент: Херуллах Гадир -
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021

Аннотация: Электронный обмен информацией в Интернете в различных форматах, таких как документы на естественном языке, потоки социальных сетей, новостные статьи, тексты СМИ, блоги, сайты спортивных болельщиков и т.д., быстро растет. Большая часть такой информации находится в неструктурированном формате, что затрудняет пользователям поиск наиболее важной информации, которая им нужна. Здесь возникает жизненно важная роль методов естественного языка для извлечения наиболее важной информации из неструктурированных фрагментированных шумных данных с целью экономии времени и усилий. Это представляет собой сложную задачу для мотивированных исследователей, которые внедряют различные подходы и алгоритмы для извлечения информации, в частности ее наиболее заметной и распространенной подзадачи - извлечения событий. Данное исследование, насколько нам известно, является первой на сегодняшний день попыткой использования конволюционной нейронной сети (CNN) с остаточными связями для извлечения событий из спортивных прогнозов, собранных на сайтах футбольных болельщиков. Она не ограничивается задачей извлечения упоминаний о событиях, но и выходит за ее рамки, извлекая именованные сущности соревнующихся команд, а также победителя и проигравшего.
Семантически обусловленная генерация и стилизация текстов
Студент: Самсонова Дарья Андреевна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2021

Аннотация: Стилистически обусловленная генерация текста - одна из сложных задач в области автоматической обработки естественного языка, заключающаяся в изменении стилистических характеристик исходного текста таким образом, чтобы получившийся текст сохранил семантику (исключая стилистически обусловленную семантику) исходного текста. В настоящее время существует достаточно большое количество подходов к решению этой задачи, однако все еще не удалось достигнуть хорошего качества ее решения. В данной работе проводится анализ существующих подходов и алгоритмов решения задачи переноса стиля теста и предлагается новый алгоритм, апробированный на англоязычных датасетах. Наш подход показывает сравнительно хорошую способность переноса стиля, сохраняя при это содержание изначального текста и генерируя связный и грамматически корректный текст.
Автоматический анализ инкорпорации в чукотском языке
Студент: Шейфер Карина Олеговна
Научный руководитель: Таерз Францис Мортон
Год защиты: 2021

Аннотация: В исследовании описывается подход к автоматическому анализу инкорпорации в чукотском языке, малоресурсном полисинтетическом исчезающем языке Дальнего Востока. Основное внимание в исследовании уделяется морфосинтаксической аннотации данного явления, анализу его формирования и использования. В рамках фреймворка Universal Dependencies в расширенной структуре зависимостей было закодировано 182 инкорпорации 12 различных типов. Процент инкорпорации к всему объему словоупотреблений, рассматриваемого набора данных, составляет 4,7%, по сравнению с 1,2% инкорпораций существительных, рассмотренных в ранее. Аннотированный набор данных служил для обучения модели нейронной сети. Настоящее исследование относительно улучшило работу модели нейронной сети, предназначенной для сегментации, тегирования и анализа зависимостей в полисинтетическом языке.
Диалоговый менеджмент на основе классификатора речевых функций
Студент: Остякова Лидия Николаевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021

Аннотация: Хотя интенты являются эффективным решением определения сиюминутных задач пользователя в рамках целеориентированных ботов, для open-domain диалоговых систем нужны более всеохватывающие абстракции. Исследователи пришли к пониманию ценности таких более абстрактных интентов, также известных как речевые/диалоговые акты и речевые функции. Результатом данной работы является созданный алгоритм для автоматического определения речевых функций на отнове теории Eggins и Slade высказываний пользователя и бота.
Исследование генерации дневниковой записи на основе корпуса "Прожито"
Студент: Сальников Егор Андреевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021

Аннотация: Данная работа посвящена исследованию возможности применения стилометрического подхода к анализу и сравнению естественных и сгенерированных текстов. В ходе исследования тексты, сгенерированные нейросетевыми моделями, обученными на различных подкорпусах дневниковых записей, сравнивались с оригинальными текстами соответствующего подкорпуса. При обучении классификатора текстов по принципу "искусственности/естественности" в качестве входных данных выступал ряд количественных характеристик текстов, широко применяющихся в стилометрии. В результате экспериментов по сравнению оригинальных текстов и сгенерированных удалось выявить некоторые характеристики, наиболее устойчивые к смене тематического домена, а также параметров языковой модели.
Knowledge Extraction в области сложных и редких заболеваний
Студент: Гонг Энзе -
Научный руководитель: Ефименко Ирина Владимировна
Год защиты: 2020
Оценка: 8
Автоматическое исправление грамматических ошибок для русского языка
Студент: Кравцова Анастасия Валентиновна
Научный руководитель: Выренкова Анастасия Сергеевна
Год защиты: 2020

Аннотация: Исправление грамматических ошибок — одна из фундаментальных задач обработки естественного языка. В основном она решается для английского языка, поскольку для него имеется наибольшее число размеченных данных. Появившийся недавно русскоязычный корпус RULEC-GEC дал возможность апробировать методы, использовавшиеся на англоязычном материале. Наиболее передовым из них является подход на основе нейронного машинного перевода с использованием архитектуры Transformer. Подобная модель требует большого числа размеченных данных и вычислительных ресурсов для обучения. В связи с этим большую актуальность приобретает решение задачи в парадигме без учителя на основе доступных лингвистических инструментов. Целью работы является изучить возможность применения нейронной языковой модели RuBERT и правил для задачи исправления грамматических ошибок в русском языке. На тестовом наборе корпуса RULEC-GEC было достигнуто качество 40,31% по F05-мере, что сопоставимо с показателями передовых работ, в которых использовалась парадигма нейронного машинного перевода.
Генерация парафраза на основе архитектуры Transformer
Студент: Жордания Тамара Темуровна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020

Аннотация: Магистерская диссертация посвящена проблеме автоматической генерации парафраза на русском языке. В работе были описаны и классифицированы современные методы генерации парафраза. Для обучения моделей были применены два типа нейронных архитектур - seq2seq LSTM с остаточным соединением и Transformer. Модели были реализованы с помощью фреймворка для глубокого обучения PyTorch на языке программирования Python.
Гибридный поиск для русского языка: использование графовой информации в вопросно-ответной системе
Студент: Катричева Надежда Сергеевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020

Аннотация: Вопросно-ответные системы предполагают извлечение ответов из тексов, баз знаний или обоих этих источников. Вопросы могут быть сложные (требующие выполнение логических операций над высказываниями) и простые (основанные на одном высказывании), а большинство научных работ в этой области описывают системы для английского языка. В нашей работе представлена гибридная вопросно-ответная система для простых вопросов на русском языке, использующая в качестве источников данных статьи Википедии и Викидату — масштабный, но, очевидно, неполный граф знаний. Новшества в области обработки естественного языка и вопросно-ответных систем сочетаются в работе с инструментарием, уже ставшим традиционным, чтобы показать, что сочетание двух источников информации позволяет получить больше верных ответов на вопросы, чем при использовании одного из них. Чтобы провести оценку подхода, был подготовлен датасет, ответы на вопросы из которого могут быть найдены и в графе, и в сопутствующем ему тексте. Датасет и код, используемый для создания модулей системы и их оценки, доступен в GitHub.
Изучение языковых паттернов для вопросно-ответных систем с графовым поиском
Студент: Михайлов Владислав Николаевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020

Аннотация: Работа посвящена изучению языковых паттернов в комплексных вопросах на материале русского языка и разработке гибридной вопросно-ответной системы с использованием графового поиска и коллекции документов.
Извлечение сценариев диалогов из пьес: кластеризация, классификация и семантическая маркировка графов пьес
Студент: Власов Владимир Павлович
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2020
Оценка: 7

Аннотация: В работе разбирается метод создания модели для кластеризации реплик диалогов и коротких диалогов из трех фраз. В рамках работы был создан подход к кластеризации реплик диалогов на основе векторов из кроссязыкового Transformer/CNN \xadencoder для предложений и метода кластеризации KMeans. Далее с помощью языковой модели созданной с помощью рекуррентной нейронной сети была получена векторная репрезентация коротких диалогов, которые были после также кластеризованы. Исследование проводилось на корпусе русской драмы (RusDraCor), и его результаты могут быть использованы как в области цифровых гуманитарных исследований, так и в коммерческом поле для полуавтоматической разметки диалогов.
Автоматическое извлечение значений слов с помощью контекстно-зависимых векторных представлений для русского языка
Студент: Давыдова Вера Федоровна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2020

Аннотация: Одной из серьезных проблем автоматической обработки текстов является задача извлечения лексического значения слов. Алгоритм для автоматического извлечения смысла слов может быть как частью пайплайна по автоматической обработке текста, так и инструментом для лингвистов и, в частности, лексикографов. В настоящей работе проверяется гипотеза о том, что контекстно-зависимые векторные представления слов, которые можно извлечь из современных языковых моделей, таких, как BERT и ELMo, могут улавливать разные значения слов. Наша модель показала достойные результаты, сопоставимые со state-of-the-art для омонимичных слов. Более того, наш эксперимент доказал, что использование BERT в качестве модели для векторизации слов более эффективно в рамках задачи извлечения смысла слов.
Использование лингвистических признаков с помощью графовых представлений текстов для языковой кластеризации
Студент: Митрофанова Марина Алексеевна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2020

Аннотация: Одной из серьезных проблем автоматической обработки текстов является задача извлечения лексического значения слов. Алгоритм для автоматического извлечения смысла слов может быть как частью пайплайна по автоматической обработке текста, так и инструментом для лингвистов и, в частности, лексикографов. В настоящей работе проверяется гипотеза о том, что контекстно-зависимые векторные представления слов, которые можно извлечь из современных языковых моделей, таких, как BERT и ELMo, могут улавливать разные значения слов. Наша модель показала достойные результаты, сопоставимые со state-of-the-art для омонимичных слов. Более того, наш эксперимент доказал, что использование BERT в качестве модели для векторизации слов более эффективно в рамках задачи извлечения смысла слов.,
Корпусная проверка гипотезы Чинкве о том, что ограничениям на порядок наречий разных семантических классов соответствует иерархия синтаксических проекций
Студент: Виногородский Константин -
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2020

Аннотация: Настоящая работа посвящена анализу ограничений, которые существуют при линеаризации наречий в русском языке. Несмотря на то, что существует большое количество исследований в этой области, как на материале отдельных языков, так и в компаративистской перспективе, эта проблема остается в фокусе исследования лингвистов. Одним из главных вопросов остается вопрос универсальной иерархии линеаризации наречий разных классов, а также насколько существующие иерархии отражают реальную ситуацию в языках со свободным порядком слов. На текущий момент большинство исследований в этой области опираются на данные, полученные экспериментальным или интроспективным путем. Материалом нашего исследования стали данные Национального корпуса русского языка (НКРЯ). Проведенное исследование позволяет сделать следующие выводы. В первую очередь, нам удалось построить иерархию наречных классов для русского языка на материалах Национального корпуса русского языка, с помощью метода попарного сравнения порядка наречий различных классов. Во-вторых, проведенный небольшой эксперимент в целом подтвердил справедливость иерархии Г. Чинкве для данных русского языка, пусть и с некоторой вариативностью, а также с учетом того, что мы исследовали наречия, прибегнув к более укрупненной классификации, так как цепочки контекстов из двух и более линейно расположенных наречий редки в русском языке, что поставило перед нами задачу выделить более ёмкие классы для русского языка.
Дистилляция семантических моделей
Студент: Бакшандаева Дарья Дмитриевна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2020

Аннотация: В работе исследуется возможность улучшения representation-based модели за счёт interaction-based модели методом дистилляции знаний с целью достижения баланса между качеством и скоростью предсказаний. Эффективность предложенного метода проверяется на двух задачах: идентификации парафраз и предсказании следующей реплики диалога.
Распознавание метафор с помощью тематического моделирования
Студент: Никифорова Анастасия Владимировна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2020
Оценка: 10

Аннотация: Метафора - языковой оборот, использующийся во всех типах дискурса, что делает ее автоматическую обработку актуальной проблемой компьютерной лингвистики. В нашей работе исследуется возможность идентификации метафорических текстов с помощью тематического моделирования. В рамках исследования мы построили ряд алгоритмов классификации для идентификации метафоры, а также выяснили, имеют ли метафорические тексты особое распределение предметных тем, которое отличает их от неметафорических текстов.
Диахронические изменения репрезентаций слов в контекстуализированных дистрибутивно-семантических моделях
Студент: Родина Юлия Алексеевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020

Аннотация: В работе применяются методы автоматичексого определения диахронических (временных) изменений смысла в существительных и прилагательных русского языка на базе корпусов с досоветского по советский период и с советского до постсоветского. Рассматриваемые методы основаны на контекстуализированных дистрибутивных представлениях слова, полученных с помощью нейронной языковой модели, обученной на диахронических (разделенным на временные периоды) корпусах. Более того, в рамках работы были созданы два тестовых сета для двух пар периодов веремени, указаных выше. На этих тестовых сетах были простестированы две метрики, позволяющие оценить интенсивность семантических изменений слова. Была оценена корреляция этих значений с созданным золотым стандартом и проанализированы конкретные примеры. Результаты показывают, что контекстуализированные репрезентации слова могут использоваться для выявления семантических сдвигов, как экстралингвистического характера, так и связанных с внутренними лингвистическими процессами.