kulyatinakatya/HSE_LING_VKR huggingface dataset:
Метод переноса обучения через аугментации в задачах классификации текста
Студент: Сорокин Семен Александрович
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020
Оценка: 7

Аннотация: Настоящая работа посвящена исследованию методов аугментации в задачах классификации текстов. Одной из распространенных ситуаций при построении систем автоматической обработки естественного языка с использованием алгоритмов машинного обучения является наличие ограниченного по объему корпуса с разметкой. Такие условия, зачастую, не позволяют построить модель, обладающую высоким качеством предсказания и большой скоростью для работы в режиме реального времени. В исследовании описывается эффективный метод поиска аугментаций с помощью пред обученных языковых моделей, позволяющий увеличить точность моделей с архитектурами LSTM, CNN и MLP.
Автоматическое обнаружение плеоназмов в русских текстах
Студент: Решетникова Арина Андреевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020
Оценка: 10

Аннотация: В рамках исследования впервые разработана полностью автоматическая система нахождения плеоназмов в русских текстах. В работе рассматриваются теоретические и практические исследования на тему языковой избыточности, проводится корпусный анализ явления плеоназма, описаны алгоритмы аугментации данных, а также большое количество экспериментов. Данные, собранные и аугментированные в рамках работы, будут полезны в дальнейших исследованиях языковой избыточности. Разработанная архитектура может быть встроена в системы исправления грамматических и стилистических ошибок или использоваться как самостоятельный модуль для обнаружения плеоназмов.
Чувствительность языковых моделей на основе трансформеров к дискурсивным структурам
Студент: Фомин Вадим Вячеславович
Научный руководитель: Артемова Екатерина Леонидовна
Год защиты: 2020

Аннотация: Языковые модели на основе трансформеров (такие, как BERT, GPT-2, RuBERT) являются самой распространённой архитектурой языковых моделей. На основе таких моделей удаётся создавать эффективные решения для широкого класса задач компьютерной лингвистики, благодаря чему использование их для обработки естественного языка широко распространено. Несмотря на это, причины подобной эффективности не до конца ясны. Поэтому одним из важныъ направлений автоматической обработки текстов являются исследования внутренних механизмов нейронных языковых моделей. В частности, в рамках подобных исследований проводятся эксперименты, призванные доказать или опровергнуть наличие у языковых моделей определённых лингвистических знаний и связать эти знания с определёнными элементами архитектуры модели. В настоящей работе мы исследуем знания языковых моделей, связанные с дискурсивным уровнем языка. Для этого мы предлагаем ряд экспериментов на текстах на русском и английском языке, извлечённых из корпусов корпусов с дискурсивной разметкой (RST Discourse Treebank для английского и RuRS Treebank для русского). С помощью этих экспериментов мы показываем, что у языковых моделей BERT, GPT-2 и RuBERT есть знание дискурсивных структур. Кроме того, мы демонстрируем, как это знание распределено по слоям нейронных сетей, и анализируем особенности дискурсивных знаний трёх моделей.
Автоматический анализ нарративного поведения на материале дневниковых записей
Студент: Подрядчикова Мария Владимировна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2020

Аннотация: В работе предлагается подход к решению задачи дальнего чтения дневников. Для выделения общих закономерностей в текстах дневников разных авторов мы исследовали проявление различных интенций в дневниковых записях, или нарративное поведение авторов. Мы разработали формальную классификацию дневниковых записей на основе их интенций и исследовали сложности при разметке классов. На следующем этапе работы мы обучили модели автоматического определения категории дневниковой записи. Использовав модель, показавшую лучшее качество, мы провели первые эксперименты по выявлению нарративного поведения авторов на материале корпуса личных дневников "Прожито" и исследовали различия между записями подростков и взрослых авторов.
Извлечение информации для моделирования эволюции сюжета в Звездных Войнах
Студент: Пожидаева Марина Александровна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2020

Аннотация: Это исследование - попытка автоматизировать анализ социальных сетей из художественной литература с использованием графов и архитектуры графовых эмбеддингов graph2vec. Мы используем данные из 353 книг вселенной Звездные Войны, которые разделены по датам и типам серий книг (романы, короткие истории, Легенды и Канон, и так далее).
Автоматическое определение смены интента пользователя в поисковых запросах
Студент: Николаева Анна Михайловна
Научный руководитель: Клышинский Эдуард Станиславович
Год защиты: 2020
Оценка: 10

Аннотация: Исследование посвящено автоматическому определению смены интента в парах поисковых запросов на данных российской онлайн-площадки с объявлениями. Были протестированы и оценены дистрибутивные модели, модели машинного и глубокого обучения с механизмом внимания и функциями пословного выравнивания.
Неавторегрессионное языковое моделирование на архитектуре Transformer
Студент: Плетенев Сергей Александрович
Научный руководитель: Лобачева Екатерина Максимовна
Год защиты: 2020
Оценка: 8

Аннотация: Многие современные модели NLP имеют структуры, которые можно выделить и сравнить. Одной из наиболее широко используемых архитектур для языкового моделирования являются авторегрессионные модели. Но существует большой пласт неавторегрессиноых моделей, которые показывают совершенно другие результаты. В данной работе мы проанализировали и сравнили неавторегрессионые и авторегрессионые модели с лингвистических позиций. В дипломе будут представлены результаты экспериментом по нахождение кореференции и иных синтаксических структур в NLP моделях. Кроме этого, мы выделили и показали эффективные паттерны матриц внимания, которые встречаются в данных моделях.
Автоматическое распознавание речи в малоресурсных языках
Студент: Сериков Олег Алексеевич
Научный руководитель: Таерз Францис Мортон
Год защиты: 2020

Аннотация: Транскрибирование полевых лингвистических записей ——- рутинная неизбежная часть работы полевого лингвиста. В рамках ВКР предлагается деление этого процесса на задачи, решаемые средствами автоматического распознавания речи. Предложен обзор "Дорожек", проведённых автором (в коллаборации) для установления нижней границы разрешимости выделенных задач. Предложены сжатый анализ и выводы из обзора систем, участвовавших в "дорожках". Выделены направления для проведения дальнейших исследований в области.
Система гибридного машинного перевода с эсперанто на английский язык
Студент: Краснов Станислав Станиславович
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2019

Аннотация: Совершенствование систем машинного перевода для языков, которые до сих пор не были достаточно автоматизированы, но которые были популярны и широко распространены во всем мире, кажется чрезвычайно актуальным. Одним из этих языков является эсперанто. Хотя он считается самым успешным искусственным языком в мире, на данный момент существует лишь несколько несовершенных автоматических переводчиков, обслуживающих этот язык. Сегодня машинный перевод представлен несколькими подходами, но каждый из них имеет свои недостатки, которые могут быть компенсированы их грамотной комбинацией - так называемым «гибридным подходом к машинному переводу». Настоящая статья посвящена проблемам создания гибридного компонента для машинного переводчика с эсперанто на английский. Мы изучили этапы разработки систем машинного перевода, проанализировали структуру языка эсперанто, а затем разработали прототип программы для гибридного компонента переводчика. Целью нашего компонента, основанного на правилах, было исправление ошибок, допущенных наиболее успешным из существующих эсперанто-английских переводчиков (Google Translate). Проведенный эксперимент показал, что использование гибридного компонента для 1000 переведенных предложений повысило показатель BLEU на 0,027.
Создание классификатора, определяющего успешность мотивационного письма
Студент: Баранчикова Анастасия Денисовна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2019

Аннотация: В данной работе описано создание автоматического классификатора мотивационных писем по уровню мотивации автора. В ходе работы был проведен эксперимент, позволивший определить уровень согласованности экспертов, принимающих решение о том, достаточно ли мотивирован автор. Также были изучены параметры текста, позволяющие автоматически определять уровень мотивации автора. Классификатор был создан на основе полученных данных.
Анализ Лингвистической Репрезентативности Дистрибутивных Семантических Моделей на Лексическом Уровне
Студент: Бакаров Амир Асхатович
Научный руководитель: Кутузов Андрей Борисович
Год защиты: 2019
Оценка: 9

Аннотация: Дистрибутивные семантические модели наподобие Word2Vec являются одним из наиболее распространенных инструментов обработки естественного языка. Тем не менее, до сих пор неясно, как оптимизировать такие модели для конкретных задач и как оценивать их в общих условиях (для того, чтобы они имели возможность успешно применяться к любой языковой задаче). В моей работе я утверждаю, что преимущества внутренней оценки таких моделей могут быть поставлены под сомнение, поскольку понятия их «общего качества», возможно, не существует. Моя гипотеза состоит в том, что дистрибутивные семантические модели просто обучаются решению определенных задач (моделирование языка, маркировка последовательностей и т. д.) И поэтому не отражают структуру лексического уровня человеческого языка; следовательно, дистрибутивная семантика не является репрезентативной для языка с точки зрения способности экстраполировать модель на языковые паттерны, не наблюдаемые в обучающей выборке. В моей работе я пытаюсь эмпирически формализовать понятие лингвистической репрезентативности на лексическом уровне и выясняю, как внутренние механизмы дистрибутивной гипотезы вступают в противоречие с этим понятием. Я предлагаю эксперименты с обобщением дистрибутивных семантических моделей для множества языков, и проверяю гипотезу. Результаты экспериментов подтверждают гипотезу о выборке из нескольких моделей, языков и бенчмарков, что ставит под сомнение репрезентативность дистрибутивной семантики, по крайней мере, в её текущем состоянии.
Морфологический анализ и дизамбигуация парагвайского гуарани
Студент: Кузнецова Анастасия Дмитриевна
Научный руководитель: Таерз Францис Мортон
Год защиты: 2019

Аннотация: Настоящая работа посвящена компьютерному морфологическому анализу парагвайского гуарани, одного из наиболее широкораспространненых языков Южной Америки. Гуарани является официальным языком Парагвая, а носители его диалектов расселены по территориям Аргентины, Боливии и Бразилии. В задачи выпускной квалификационной работы входит разработка морфологического анализатора и правил разрешения морфологической неоднозначности, оценка их работы в сравнении с другими публично доступными инструментами, оценка эффективности выбранных методов реализации. Автор описывает морфологический анализатор парагвайского гуарани, основанный на конечных автоматах и подходе грамматики ограничений (Constraint Grammar), лежащей в основе морфологической дизамбигуации.
Рекомендация релевантных статей на основе векторной модели сети цитирований
Студент: Лапидус Анна Александровна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2019

Аннотация: Работа посвящена исследованию задачи рекомендации релевантных научных статей на основе сети цитирований. Рекомендация подходящих статей рассматривается как задача предсказания ребер в графе цитирований. Проведен анализ подходов на основе векторных представлений (эмбеддингов) на графах и текстовых методов в применении к задаче рекомендации статей. В работе используются алгоритмы построения структурных графовых эмбеддингов и эмбеддингов с использованием текстовых атрибутов вершин графа. Рассмотренные текстовые методы включают методы текстовой близости и классификацию на основе векторных представлений текстов аннотаций для статей. Проведено сравнение результатов работы графовых и текстовых методов на данных корпуса научных статей. Графовые методы дают более высокое качество в задаче предсказания цитирований, однако качество графовых эмбеддингов сильно зависит от размера обучающей выборки. Методы на основе текстовой близости не всегда дают высокую точность, но в целом обеспечивают более высокую полноту.
Автоматическая морфологическая сегментация для русского языка
Студент: Андриянец Василиса Андреевна
Научный руководитель: Архангельский Тимофей Александрович
Год защиты: 2019

Аннотация: В этой статье представлена программа на основе конечных преобразователей, которая позволяет разделять леммы русского языка на морфемы. Наша программа работает со словами с несколькими корнями и выдаёт минимальное для конечных преобразователей количество разборов, не теряя в свободе словообразования. Также мы представляем программу, которая не только выдаёт деление на морфемы, но и указывает, какой аффикс сильнее связан с корнем.
Нейросетевой подход к разбиению немецких сложных слов на составляющие
Студент: Кротова Ирина Витальевна
Научный руководитель: Артемова Екатерина Леонидовна
Год защиты: 2019

Аннотация: Композиты или составные слова – способ словообразования в немецком языке, представляющий сложности для большинства систем автоматической обработки естественного языка, в особенности тех, которые решают задачи, связанные с машинным переводом. Это связано с сочетанием их высокой продуктивности и низкой частотности в корпусе. Целью данной работы является изучение возможности применения модели, использующей двунаправленную рекуррентную нейронную сеть с LSTM для решения задачи разбиения немецких сложны слов на составляющие. В последние несколько лет такие методы показывают высокие результаты на задачах, близких к сегментации текста и обработке последовательностей. В качестве алгоритма для сравнения был выбран алгоритм CharSplit, опирающийся на вероятности появления различных н-грам в отдельных компонентах сложных слов. В результате экспериментов нейросетевая модель показала высокий результат как для задачи разбиения сложных слов, так и на данных, включающих в себя не только сложные, но и однокоренные слова.
Извлечение фразовых фреймов на основе текстов научного стиля на русском языке
Студент: Климов Александр Антонович
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2019

Аннотация: В данной работе представлен список фразовых фреймов (пи-фреймов), извлеченных из корпуса академических статей в некоторых гуманитарных областях науки. Извлеченные фреймы были отфильтрованы, после чего был проведен структурный и функциональный анализ. В ходе работы также были рассмотрены некоторые проблемы классификации фразовых фреймов на русском языке, а также вопрос о полезности таких списков для преподавания иностранных языков.
Методы оценки качества работы систем извлечения знаний для слабоструктурированных предметных областей
Студент: Хорошева Анастасия Алексеевна
Научный руководитель: Ефименко Ирина Владимировна
Год защиты: 2020
Оценка: 7

Аннотация: Исследование в этой магистерской диссертации фокусируется на метриках для оценки систем извлечения знаний. Особенный интерес представляют слабо структурированные области знаний. В работе изучается, как из текста на естественном языке можно извлечь концепт "качество жизни" и как оценить процент успешного извлечения такого знания. Исследовательский вопрос звучит как "есть ли способы улучшить оценку извлечения знаний из данных?" Данные для исследования представляют собой Real World Data (данные из реального мира) , собранные с тематического сайта. В заключение, мы подтверждем существование дополнительных метрик для оценки извлечения информации, анализируя каждую из новых предложенных.
Методы автоматического аннотирования данных для малоресурсного языка
Студент: Яскевич Алексей Аркадьевич
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2020

Аннотация: Работа посвящена проблеме создания аннотированного языкового ресурса для тех случаев, когда мало языковых данных.
Машинный перевод немецких составных слов на русский язык
Студент: Гуц Варвара -
Научный руководитель: Таерз Францис Мортон
Год защиты: 2018
Оценка: 7

Аннотация: В данной работе мы исследовали немецкие составные слова (композиты) и их переводы на русский язык. Цель нашего исследования заключалась в автоматическом определении типа перевода немецкого композита в русском языке. Предсказывание проводилось с помощью простых методов машинного обучения. Работа состоит из пяти глав, три относятся к теоретической части, две – к практической. В теоретической части рассматриваются основные характеристики композитов (феномен, классификация, структура и т.д.), особенности препроцессинга композитов при машинном переводе, а также способы перевода композитов в русском языке. В первой главе практической части подробно описывается автоматическое создание корпуса композитов и их русских переводов. Вторая глава посвящена проведенным экспериментам с машинным обучением: перечисляются признаки, использованные при обучении, приводятся результаты каждого эксперимента, дается краткий анализ. Заключение содержит в себе рекомендации по улучшению результатов автоматического определения типа перевода композита.
Автоматическое выделение признаков тревожных расстройств в текстах
Студент: Самойленко Ксения Владимировна
Научный руководитель: Артемова Екатерина Леонидовна
Год защиты: 2019
Оценка: 9

Аннотация: Применение методов компьютерной лингвистики для изучения психических расстройств является важным и перспективным направлением междисциплинарных исследований, но пока что оно слабо развито для русскоязычного материала. На данных психологического исследования «Тревожность на рабочем месте» изучена эффективность извлечения ключевых слов из рассказов людей о своей работе и проверена возможность выделения различных психических состояний при помощи тематического моделирования. Показано, что ключевые слова для разных групп респондентов — тех, у кого нет признаков тревожного расстройства, тревожность выражена слабо и есть сильная тревожность из-за работы — действительно различаются и это дает возможности для обучения классификатора на этих данных. Также показано, что алгоритмы машинного обучения успешно выделяют указанные три состояния из корпуса текстов. Проведен подробный анализ современного состояния области Big Data & Mental Health и рассмотрены основные подходы к решению схожих задач. Главной задачей для последующих исследований в данной области является накопление корпуса надежных данных на русском языке и создание эффективных классификаторов на основе машинного обучения, предназначенных для выделения различных психических расстройств — не только тревожности, но и депрессии, биполярного расстройства, ПТСР и многих других.
Нейронный машинный перевод для языков с малым объёмом данных
Студент: Степачёв Павел Эдуардович
Научный руководитель: Таерз Францис Мортон
Год защиты: 2019

Аннотация: Данная работа посвящена нейроному машинному переводу для языков с малым объёмом данных. Цель работы состоит в анализе систем машинного перевода основанных на обучении без учителя, которые способны переводить без опоры на параллельные корпуса. А также проверить их работоспособность для неродственных языков в условиях ограниченных данных (на материале сингальского, непальского, урду и казахского языков).
Автоматическое транскрибирование слов нейронными сетями
Студент: Степанов Артём Алексеевич
Научный руководитель: Таерз Францис Мортон
Год защиты: 2019

Аннотация: В данной работе мы решаем задачу «transcription to orthography», т.е. используя транскрипцию слова, мы восстанавливаем его орфографическую версию. Данная задача является подвидом задачи дешифрования текста, где шифром выступает транскрипция слова, а расшифровкой- его орфографический вид. Мы применим различные нейросетевые архитектуры для решения поставленной задачи и протестируем наши модели на данных из европейских языков.
Разрешение лексической неоднозначности сущностей базы знаний на примере Википедии (для языков с различным объемом данных)
Студент: Никишина Ирина Александровна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2019

Аннотация: Работа посвящена разрешению лексической неоднозначности сущностей базы знаний по Википедии для языков с различным объемом данных. Корректное разрешение неоднозначности (или дизамбигуация, от англ. «disambiguation») является одним из наиболее значимых условий успешной коммуникации. Однако в области автоматической обработки текстов задача определения «смысла» сказанного и интерпретации на основе контекста решена не полностью. Автоматическая дизамбигуация текстовых представлений может значительно повысить качество смежных задач, в том числе и для языков с ограниченным количеством ресурсов. Тексты с разрешенной неоднозначностью могут впоследствии использоваться в таких задачах компьютерной лингвистики, как классификация именованных сущностей, машинный перевод, разрешение кореферентности. Методы автоматического разрешения неоднозначности разрабатываются в основном для корпусов объемом более 400 млн. токенов, эффективность подобных методов для языков с меньшими ресурсами никак не устанавливается. Таким образом, в настоящей работе представлен языконезависимой нейросетевой архитектурой для разрешения лексической неоднозначности путем связывания упоминаний в тексте с правильными значениями (сущностями, концептами) из базы знаний Википедии для русского языка и языков с меньшим объемом данных (на примере украинского, армянского, белорусского и чувашского). Кроме того, в настоящем исследовании сравниваются различные методы построения векторных представлений сущностей Википедии и токенов, используемых для обучения нейросетевой модели; демонстрируется эффективность применения векторных представлений, расположенных в одном пространстве, подтверждается важность использования графовой структуры базы знаний при обучении векторов.
Измерение сложности искусственных языков на основе сетей совместной встречаемости слов
Студент: Соколова Ирина Сергеевна
Научный руководитель: Макаров Илья Андреевич
Год защиты: 2019
Оценка: 9

Аннотация: Наша работа преследует две цели: 1) оценить лингвистическую сложность выборки искусственных языков разных типов, 2) разработать и протестировать метод автоматического определения лингвистической сложности языка без знания грамматики. В первой части работы мы оцениваем сложность искусственных языков в нашей выборке по имеющимся лингвистическим критериям. Мы делаем выводы о сложности искусственных языков в сравнении с большой выборкой естественных языков, описанной в литературе, а также о различии искусственных языков по сложности в зависимости от времени создания и типа языка. Во второй части работы мы выдвигаем гипотезу о том, что структура сети совместной встречаемости слов, построенной из текста, может предсказывать сложность языка, на котором этот текст написан. Для проверки гипотезы мы собираем тексты на 17 естественных языках, для которых известно числовое значение сложности, строим из них сети совместной встречаемости слов и обучаем модель на графовых признаках. В работе описаны эксперименты с разными способами извлечения признаков и разными размерами исходного текста. Для сравнения с графовым подходом были проведены эксперименты с обучением на текстовых эмбеддингах. В результате экспериментов получены хорошие предсказания при обучении и тестировании на всех языках в выборке, однако ошибка предсказания вырастает при тестировании на языках, не использованных в обучающей выборке. Показано, что графовые признаки предсказывают сложность языка лучше, чем текстовые эмбеддинги. Мы используем лучшую имеющуюся модель для измерения сложности искусственных языков в нашей выборке и сравниваем полученные результаты с выводами, сделанными в первой части работы. В заключении содержатся рекомендации по улучшению результатов предсказаний.