kulyatinakatya/HSE_LING_VKR huggingface dataset:
Aвтоматическая генерация сценарных навыков на основе готовых наборов диалоговых данных
Студент: Капелюшник Денис Михайлович
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2022

Аннотация: Современные диалоговые системы представляют собой сложные модульные архитектуры, в которых среди прочего могут использовать несколько отдельных элементов для генерации естественной речи, т.н. разговорных навыков. Обладая достаточным набором функций для полноценного чат-бота, они часто встраиваются в более сложные и способные общаться на различные темы диалоговые системы. На данный момент системы из нескольких разговорных навыков наиболее близко подошли к реализации полнофункциональной системы открытого домена. В данной работе предлагается подход для генерации разговорных навыков, способных на основе открытых диалоговых данных и контекста диалога подстраиваться под новые темы для разговора и генерировать реплики в контролируемой и интерпретируемой манере. Генерируемый разговорный навык объединяет в себе ранжирующие и шаблонные навыки, а также маскированную языковую модель для генерации реплики. Опираясь на встроенный диалоговый менеджер, система может вести диалог по своему собственному сценарию. Алгоритм создания проектировался для открытого домена, но может применяться для генерации более узконаправленных диалоговых систем.
Методы аугментации текстовых данных на примерах прикладных задач для русского языка
Студент: Быстрова Ольга Владимировна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: В данной работе рассматривается проблема влияния различных методов аугментации текстовых данных на качество моделей обработки естественного языка, обозреваются существующие методы и решения и анализируется их применение на различных NLP задачах. Исследование проводится на материалах, используемых непосредственно в промышленных системах, что позволяет оценивать реальную практическую значимость рассматриваемых методов. В рамках задач классификации и извлечения именованных сущностей был проведен ряд экспериментов, доказывающих преимущества использования аугментаций для задач обработки текстовых данных.
Инструменты для морфологического анализа багвалинского языка
Студент: Игнатьев Даниил Дмитриевич
Научный руководитель: Мороз Георгий Алексеевич
Год защиты: 2022

Аннотация: В настоящей статье описан разработанный нами набор инструментов для морфологического парсинга багвалинского языка. Набор включает правиловый морфологический парсер, корректор орфографии, статистический морфологический парсер, переводчик багвалинских форм в русские леммы. Морфологический парсер и производные инструменты были разработаны на основе правил в соответствии с грамматическими описаниями. Парсер поддерживает два варианта орфографии: кавказоведческую транскрипцию и аварский алфавит. Тестовые показатели демонстрируют высокое покрытие тестовых корпусов, хотя в ряде отношений инструменты требуют доработки. Технологии, задействованные в проекте, впервые применяются к языку из андийской группы нахско-дагестанских языков.
Парсинг отношения фон\фигура для автоматического перевода классификаторных предикатов на русский жестовый язык
Студент: Клезович Анна Геннадьевна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: Данное исследование посвящено тому, чтобы построить машинный перевод на русский жестовый язык из текста в глоссы РЖЯ, и тому чтобы определить как можно переводить такие пространственные конструкции как классификаторные предикаты, и как на их структуру влияют семантические фон и фигура в предложении.
Влияние объема данных на качество в задаче сегментации малоресурсных языков
Студент: Киселева Наталья Михайловна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: В данной работе изучается влияние различных факторов на качество морфологической сегментации малоресурсных языков. Рассматривается степень влияния различных факторов на качество сегментации в разрезе одного языка. Так же рассматривается влияние одного фактора на различные языки. В работе рассматриваются следующие факторы: 1. Изменение размера датасета 2. Изменение уникальности слов в датасете 3. Изменение уникальности сегментов в датасете
Автоматизированная генерация грамматических вопросов с множественным выбором на базе корпусной аннотации
Студент: Логин Никита Вячеславович
Научный руководитель: Виноградова Ольга Ильинична
Год защиты: 2022

Аннотация: Автоматическая генерация тестовых вопросов является одной из стремительно развивающихся последние несколько лет областей компьютерной лингвистики. Большинство исследований, использующих актуальные методы автоматической обработки естественного языка, концентрируются на создании вопросов на понимание прочитанного текста или знание определённой предметной области, в то время как генерации вопросов на владение иностранным языком уделяется не так много внимания. В данной работе предлагается использовать данные учебного корпуса (корпуса, содержащего тексты, написанные изучающими определённый язык, снабжённые разметкой ошибок) для генерации вопросов на владение английским языком с множественным выбором. Основной исследовательской задачей работы является генерация дистракторов (неправильных ответов) для вопросов с множественным выбором. Подход, описанный в настоящей работе, предполагает использование встречающихся в корпусе искажений данного слова, размеченных вручную как подходящие или неподходящие дистракторы в контексте каждого предложения. Задача генерации дистракторов рассматривается как задача классификации соответствующих вариантов. В связи со сравнительно небольшим размером датасета, для классификации использовались классические алгоритмы машинного обучения, а также методы градиентного бустинга; предобученные языковые модели (BERT и Word2Vec) использовались для выделения признаков. Разработанная системе предназначена для использования в составе тестовой платформы LangExBank.
Улучшение переносимости текстовых датасетов, размеченных с помощью активного обучения
Студент: Ларионов Даниил Сергеевич
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: Методы Активного Обучения позволяют значительно уменьшить за- траты на разметку данных. Для этого, в ходе активного обучения мо- дель итеративно выбирает неразмеченные примеры которые могут при- нести наибольший позитивный эффект на качество предсказаний модели, если будут размечены и включены в обучающую выборку. Однако, ис- пользование такого подхода приводит к значительному увеличению расхо- дов на вычислительные ресурсы. Предлагается метод переноса текстовых датасетов, размеченных с помощью активного обучения, между дистил- лированной моделью и соответствущей ей моделью-учителем, без значи- тельных потерь в качестве предсказаний. Эффективность предложенного метода доказывается путем проведения сравнительных экспериментов на нескольких проблемах обработки текстов, на разных языках и среди мно- жеств типов предобученных моделей на основе архитектуры Трансфор- мер.
Предсказание тематики следующего обращения человека к диалоговой системе на общие темы
Студент: Баранов Александр Михайлович
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2022

Аннотация: В данной работе рассматриваются подходы к решению задачи рекомендации сущностей в диалоговых системах, способных общаться на общие темы. Эксперименты основываются на анонимизированных данных конкурса «Alexa Prize 4». Основной задачей являлась разработка подхода, способного обрабатывать сущности, упомянутые в диалоге, если их не было в обучающей выборке. В рамках работы было предложено 4 подхода и проведено 58 экспериментов, которые показали, что подход к рекомендации сущностей с использованием рекомендательной модели, ранжирования и кластеризации дает лучшие результаты, чем ранжирование и рекомендательная модель по отдельности.
Генерация комментариев для обучения письму на английском языке
Студент: Казакова Лилия Ильдаровна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2022

Аннотация: В этой статье мы делимся опытом нашего участия в решении задачи по генерации комментариев обратной связи для изучающих иностранный язык. В задаче, упомянутой выше, мы получили текст и интервал с ошибкой в нем и на основе этих данных должны были сгенерировать пояснение к этой ошибке для гипотетического учащегося. Мы попробовали различные методы, такие как K-means и мультилейбловая классификация, и пришли к окончательному решению, которое включало модель T5 и превзошло бейзлайн задачи.
Корпус вопросов и ответов на русском языке на основе событийно-ориентированного графа знаний
Студент: Аршинов Григорий Евгеньевич
Научный руководитель: Артемова Екатерина Леонидовна
Год защиты: 2021

Аннотация: Вопросного-ответные системы - одна из самых важный технологий современности, которая позволяет человеку получать доступ к базам знаний. В то время как, для английского языка существует обширное количество корпусов для обучения и теста таких систем, для русского языка их не хватает. К тому же, те немногочисленные датасеты, что есть в основном наполнены фактологическими вопросами. В данной работе предлагается новый датасет для вопросного-ответных систем на русском языке. Он состоит из 610 формальных семантических запросов и их вербализаций. Этот датасет совместим с EventKG, графом знаний, который моделирует событийно-ориентированные связи между сущностями.
Многоязычный перевод графем на фонемы для малоресурных языков
Студент: TOSI LORENZO -
Научный руководитель: Таерз Францис Мортон
Год защиты: 2021

Аннотация: В этой работе пытаемся сравнить результаты по набору данных, дополненному лингвистическими данными, нормализацией сети и кодировкой байтов символов для задачи перевода графемы-2-фонемы, чтобы применить ее в сетях распознавания и синтеза речи. Результаты показывают, что использование рекуррентного преобразователя с учетом языка и данных лингвистической группы улучшает результаты стандартной модели, в то время как другие методы не имеют значения в контексте языков с низким уровнем ресурсов.
Метод исследования научных статей по COVID-19 для создания предиктивного датасета по клиническому развитию коронавирусной инфекции
Студент: Языкова Татьяна Владимировна
Научный руководитель: Ефименко Ирина Владимировна
Год защиты: 2022

Аннотация: Пандемия COVID-19 стала знаковым событием конца 2019 года, кардинально изменив жизнь людей по всему земному шару, а также многократно усилив нагрузку на систему здравоохранения. Данная работа посвящена автоматическому анализу статей по COVID-19 с помощью техник NLP. Использование методов NLP в медицине было распространено еще с конца 1990-х годов, но в последнее время с развитием современных технологий стало еще более актуально. В данной работе предлагается создать систему поддержки врачебных решений, состоящую из двух основных компонентов: 1) модели извлечения именованных сущностей и 2) предиктивной модели. Предполагается, что оба компонента обучаются на открытых данных, а именно научных статьях по COVID-19, в которых содержатся описания историй болезни пациентов.
Метод для создания корпусного словаря глагольного управления русского языка
Студент: Юдина Татьяна Александровна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2022

Аннотация: Словари глагольного управления играют важную роль для задач компьютерной лингвистики. Современные словари характеризуются либо недостаточным для задач машинной лингвистики объемом, либо не фокусируются на глагольном управлении. Успехи в области морфологического и синтаксического анализа уже позволяют собрать статистически достаточное количество данных для исследований в области семантики. В данной работе изучались методы создания словаря глагольного управления и подходы к кластеризации слов на базе корпусов словосочетаний. Были проведены численные эксперименты по векторизации существительных для групп глаголов с помощью предобученных эмбеддингов Word2Vec и fastText и последующей кластеризации с помощью алгоритмов Affinity Propagation и K-menas, которые показали, что данный подход позволяет достаточно качественно выделять семантически связанные группы существительных глагольного управления.
Построение рекомендательной системы на основе извлечения информации из медицинских текстов
Студент: Петрова Дарья Сергеевна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: Исследование посвящено построению рекомендательной системы на основе извлечения информации из медицинских текстов. Работа состоит из двух ключевых задач: извлечению именованных сущностей (NER) и подбору релевантных статей на их основе. В работе обозреваются основные подходы к решению обеих проблем. В рамках исследования были реализованы разные методы NER, проведены эксперименты по улучшению качества работы моделей, протестированы два метода подбора рекомендаций. Разработанная система, выводы, сделанные в процессе её создания, а также полученные данные моделей и их разметки могут использоваться в дальнейших исследованиях на аналогичную тематику.
Создание русскоязычной базы данных почерка на основе материалов Тотального диктанта
Студент: Надиманов Эмиль Ильдарович
Научный руководитель: Бадрызлова Юлия Геннадьевна
Год защиты: 2022

Аннотация: Распознавание текста из рукописных источников обладает рядом свойств, усложняющих решение задачи методами машинного обучения. Особенную сложность для обработки представляют в частности русскоязычные рукописные тексты в связи с большой вариативностью начертания и соединения символов. В связи с этим возникает потребность в датасетах, основанных на естественных источниках, таких как рукописные тексты. В результате проведённой работы был создан набор данных рукописных символов на русском языке на основе работ Тотального диктанта. В данной работе дано подробное описание опробованных методов предобработки бланков работ, а также проведено сравнение различных статистических и эвристических подходов, направленных на извлечение изображений графем.
Моделирование goal-oriented диалоговых систем для русского языка
Студент: Никитин Илья Александрович
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2022

Аннотация: Диалоговая система – это компьютерная система, которая предназначена для общения с человеком на естественном языке. Данная работа посвящена конкретному виду диалоговых систем – диалоговым системам, ориентированным на выполнение конкретной задачи (task-oriented, goal-oriented). В связи с распространением доступных голосовых технологий перспектива того, что виртуальные помощники станут частью повседневной реальности, ранее казавшаяся далекой, кажется более достижимой, чем когда-либо. Цель данного исследования – разработать бенчмарк для оценки русскоязычных систем, ориентированных на выполнение конкретных задач (task-oriented/goal-oriented dialogue systems).
Модель генерации речи для русского языка с возможностью контроля просодии
Студент: Сафонова Анастасия Александровна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2022

Аннотация: В ходе работы на открытом русском речевом корпусе Ruslan был обучен генератор речи для русского языка: акустическая модель FastPitch и вокодер WaveGlow. Кроме того, был создан алгоритм, который генерирует фразы с заданной интонационной конструкцией согласно классификации Е.А. Брызгуновой.
Контекстные векторные представления в задаче определения смысла слова
Студент: Хумонен Иннокентий Сергеевич
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2022

Аннотация: "Разрешением лексической многозначности называется задача определения смысла многозначного или омонимичного слова по его контексту. Эта задача остаётся важной со второй половины 20-го века и возникает во многих областях обработки естественного языка, таких как машинный перевод, анализ тональности, чат-боты и так далее. В этой работе мы применили графовые нейронные сети, обученные на графе совстречаемости слов, для разрешения многозначности без учителя (кластеризации контекстов), и оценили этот метод на данных соревнования RUSSE'2018. Предложенный подход позволяет улучшить результаты, основанные на традиционных word2vec-подобных контекстных эмбеддингах и показывает удовлетворительные результаты при очень низких вычислительных затратах.",
Исследование генерации дневниковой записи на основе корпуса "Прожито"
Студент: Сальников Егор Андреевич
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2022
Оценка: 9

Аннотация: Данная работа посвящена исследованию возможности применения стилометрического подхода к анализу и сравнению естественных и сгенерированных текстов. В ходе исследования тексты, сгенерированные нейросетевыми моделями, обученными на различных подкорпусах дневниковых записей, сравнивались с оригинальными текстами соответствующего подкорпуса. При обучении классификатора текстов по принципу "искусственности/естественности" в качестве входных данных выступал ряд количественных характеристик текстов, широко применяющихся в стилометрии. В результате экспериментов по сравнению оригинальных текстов и сгенерированных удалось выявить некоторые характеристики, наиболее устойчивые к смене тематического домена, а также параметров языковой модели.
Автоматическая саммаризация текстов
Студент: Ежергина Елизавета Вадимовна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021

Аннотация: В современном мире у читателей и пользователей часто появляется потребность в получении информации в сжатом виде — например, для ознакомления с кратким содержанием художественного произведения, новостной сводкой или мемо встреч. Направление науки об обработке естественного языка называется саммаризацией текста. Данная работа освещает различные методы и подходы к саммаризации. Целью работы является анализ существующих способов саммаризации, в том числе домен-специфичных, и разработка оптимального метода обобщения текста под определённый домен — записи с деловых встреч на английском языке.
Автоматическое выделение ProDrop в русских текстах
Студент: Грилланди Андреа -
Научный руководитель: Копотев Михаил Вячеславович
Год защиты: 2021

Аннотация: Пропуск местоименного субъекта (англ. “ProDrop)) широко исследуется в академической литературе, особенно в генеративной лингвистике. Однако этой теме не уделялось достаточного внимания в компьютерной лингвистике. Хотя грамматические ограничения, касающиеся пропуска местоимения , являются довольно простыми в таких языках, как английский или итальянский, эти же ограничения не так просты в русском языке. Именно поэтому исследование этой темы может принести пользу для технологических решений, например, для инструментов, помогающих при составлении текстов. В настоящей работе анализируются алгоритм, основанный на правилах, и ряд классификаторов для выделения ошибок в пропуске местоимений. Делается вывод, о недостаточности этого подхода и о том, что будущие исследования должны сосредоточиться на разработке нейронных моделей.
Автоматическое упрощение текстов на русском языке с помощью seq2seq моделей
Студент: Коновалов Кирилл Александрович
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021
Оценка: 8

Аннотация: Данная работа посвящена созданию систем нейронного машинного упрощения с помощью seq2seq моделей в текстах на русском языке. В рамках исследования рассматриваются теоретические и практические исследования на тему автоматического упрощения текстов, описываются методы оценки работы упрощающих систем и данные для их создания. Реализованные упрощающие алгоритмы, а также полученные в результате их работы тексты, классификацию ошибок и выводы можно использовать в дальнейших исследованиях данной области, в качестве этапа предобработки в других задачах компьютерной лингвистики и для облегчения работы экспертов при ручной адаптации текстов на русском языке.
Модели глубокого обучения для морфемного деления
Студент: Доркин Алексей Викторович
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2021
Оценка: 8

Аннотация: Данная магистерская диссертация посвящена проблеме морфемной сегментации с точки зрения токенизации на основе подслов. Современные подходы к токенизации широко используют алгоритмы обучения без учителя для разделения слов на более мелкие единицы, что позволяет значительно уменьшить размер словаря по сравнению с токенизацией на основе слов. Эти алгоритмы в определенном смысле неявно моделируют морфологическую систему языка, и это оказывается чрезвычайно полезным для последующих задач. Однако полученные подслова лишь частично совпадают с фактическими морфемами. Таким образом, следующим логическим шагом является лингвистически мотивированная токенизация на основе подслов. Такая токенизация подразумевает использование алгоритмов обучения с учителем, которые, в свою очередь, требуют существенного количества размеченных данных, которые достаточно трудно получить для данной задачи. Соответственно, мы предлагаем новый метод генерации размеченных данных для произвольных словоформ в русском языке с использованием Русского Викисловаря. Кроме того, мы проводим эксперименты с несколькими моделями глубокого обучения в расширяемой и воспроизводимой среде, чтобы оценить их эффективность на задаче морфемной сегментации. Мы представляем код для генерации данных и экспериментов, а также сами данные в репозиториях с открытым исходным кодом.
Синтаксический пробинг для русского языка: что языковые модели на основе трансформеров знают о русском синтаксисе
Студент: Дьячкова Ирина Александровна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2021

Аннотация: Исследование посвящено диагностике векторных представлений языковых моделей на основе архитектуры Transformer для русского языка на предмет информации о синтаксической структуре русского предложения. В рамках работы мы сравниваем эмбеддинги с разных слоев языковых моделей и проводим качественный анализ ошибок диагностической модели, использующей эмбеддинги RuBERT в задаче синтаксического парсинга.
Извлечение кросс-текстовой анафоры из русскоязычного пользовательского контента в медицинской сфере
Студент: Куцев Дмитрий Алексеевич
Научный руководитель: Ефименко Ирина Владимировна
Год защиты: 2021

Аннотация: Работа посвящена проблеме извлечения кросс-текстовой анафоры из русскоязычного пользовательского контента в медицинской сфере. В рамках предварительного исследования был произведен анализ методов разрешения анафоры и способов их применения. В ходе исследования был разработан алгоритм разрешения анафоры для русского языка на основе правил, а также два алгоритма на основе различных моделей машинного обучения. Также была проведена верификация алгоритмов в рамках серии экспериментов. Разработанные решения могут использоваться в составе систем извлечения информации из источников медицинских данных. Данные, собранные и размеченные для проведения экспериментов, могут использоваться в дальнейших работах, связанных с разрешением анафоры. Набор данных и код, используемый для создания модулей, доступен в GitHub.
Разработка платформы для анализа полевых языковых данных
Студент: Воронов Михаил Кириллович
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2021

Аннотация: В этой работе описывается созданный нами инструмент для ручной обработки лингвистических полевых данных, а именно, глоссировании текстов. Инструмент написан на языке Python и оформлен в виде приложения с графическим интерфейсом.