JiamingLiu666/HSE_LING_VKR huggingface dataset:
Извлечение вопроса из звукового корпуса
Студент: Шершнева Дарья Михайловна
Научный руководитель: Бронников Георгий Кириллович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2018

Целью исследования было построение модели по определению вопросительной интонации в звучащей речи. В качестве материала использовались записи спонтанных разговоров носителей русского языка. Для решения задачи была обучена модель, основанная на нейросетях долго-краткосрочной памяти (LSTM). Результаты показали, что гибридная модель с использованием акустических и лексических признаков показывает лучшие результаты по сравнению с акустическими и лексическими моделями.',
Жанровая адаптация в задаче морфологического и синтаксического парсинга русского языка: корпусное исследование
Студент: Шаврина Татьяна Олеговна
Научный руководитель: Ляшевская Ольга Николаевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2018

Работа посвящена исследованию признаков жанра, извлекаемых непосредственно из текста и пригодных как для задач классификации, так и для адаптации моделей автоматической морфологической и синтаксической разметки на данных различных жанров. Цель этой работы - выявить и описать существенные особенности жанра, полученные на больших данных исключительно из самих текстов (без использования метаданных, информации об авторе, дате, литературном стиле и методе и т. д.). Основываясь на выбранных признаках, проводится исследование, как тексты могут быть разделены в соответствии с одной из наиболее используемых филологических классификаций на этих признаках, и проверяется гипотеза о том, можно ли с опорой на внутренние признаки сгруппировать тексты по жанру. На основе наиболее важных обнаруженных функций предлагаются идеи адаптации моделей для автоматического морфологического и синтаксического разбора.',
Создание русского парсера в открытой среде Spacy
Студент: Шубенок Дмитрий Валерьевич
Научный руководитель: Толдова Светлана Юрьевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2018

В данной работе были описаны основные подходы к автоматическому морфологическому анализу текста, в частности, рассмотрены алгоритмы стемминга, лемматизации и определения грамматических атрибутов слова, приведены основные алгоритмы для русского языка, а также краткий обзор существующих программных инструментов. Во второй части работы описан процесс обучения морфологических моделей открытого лингвистического анализатора Spacy на трех различных корпусах текстов и приведены результаты.',
Извлечение информации из финансовых новостей для прогнозирования биржевых показателей
Студент: Шелепов Алексей -
Научный руководитель: Артемова Екатерина Леонидовна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2018

Данная работа посвящена прогнозированию биржевых показателей на основе извлечения информации из новостных текстов. Сначала, в работе были приведены теоретические аспекты данной задачи. Затем был произведен анализ существующих работ на данную тематику. Наконец, была приведена собственная реализация метода. Для этого был создан корпус из новостных текстов о компаниях Microsoft и Apple путем скачивания этих текстов из интернета. Из текстов были извлечены извлечены триплеты Субъект – Предикат – Объект. После этого триплеты были преобразованы с помощью one-hot метода в вектора, которые были поданы на вход искуственной нейронной сети. Полученные результаты оказались сравнимыми с результатами уже имеющихся исследований. В работе указан ряд предложений по улучшению работы алгоритма. Прежде всего описанное исследование в работе будет полезно для анализа рисков и создания стратегий различного рода компаний. Также исследование будет полезно людям, занимающимся задачами прогнозирования биржевых показателей.',
Снятие лексической омонимии в дистрибутивно-семантических моделях на основе искусственных нейронных сетей (для русского языка)
Студент: Мотина Надежда Евгеньевна
Научный руководитель: Кутузов Андрей Борисович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

"Цель работы Целью данной работы было определить число значений полисемичных лексем в русском языке с помощью построения семантических графов используя дистрибутивно-семантические модели на основе искусственных нейронных сетей. Основные задачи Обозначить основные понятия и сделать обзор алгоритмов и методик оценивания, относящихся к задаче определения значений слов Подготовить Золотой стандарт, включающий 1000 слов русского языка с числом значений и их определениями. Осуществить метод RNG для построения семантических графов русских слов и применить алгоритмы поиска сообществ в графах Подобрать оптимальное сочетание значений параметров RNG и модели, дающее наилучший результат Оценить точность классификации однозначных и многозначных слов, а также оценить качество определения числа значений слов Результаты В данной работе реализован метод RNG для построения графов, используя семантические векторы слов, полученные с помощью дистрибутивно-семантических моделей. Основное предположение эксперимента состоит в том, что полисемичное слово имеет несколько групп семантически близких слов-соседей. Эти группы представляют значения данного слова. Наиболее высокие результаты были достигнуты путем подбора самых оптимальных параметров в ходе серии итераций алгоритма RNG (такими параметрами являются число соседей-вершин графа и порог семантической близости). Наилучший результат кластеризации графов показал Newman's leading eigenvector method с использованием модели, обученной на НКРЯ. Коэффициент корреляции Пирсона составил 0.473.",
Факторы, влияющие на нарушение кореференции деепричастных оборотов
Студент: Пужаева Светлана Юрьевна
Научный руководитель: Зевахина Наталья Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Работа включает в себя три главы (теоретическую, исследовательскую, экспериментальную), заключение, список литературы и два приложения. В теоретической главе приведен обзор литературы, затрагивающей проблему нормы употребления деепричастных оборотов. В исследовательской главе представлен анализ факторов, влияющих на нарушение употребления деепричастных оборотов в текстах письменной и устной речи на материале Корпуса русских учебных текстов и Звукового корпуса русского языка. В экспериментальной главе описан эксперимент, в ходе которого было выявлено соотношение влияния таких факторов, как позиция деепричастного оборота относительно матричной клаузы и наличие или отсутствие семантического субъекта в основной клаузе, на определение степени приемлемости предложений носителями языка. Эксперимент показал, что более значимым для носителей русского языка является фактор позиции деепричастного оборота.',
Исследование методов извлечения отношений с использованием онтологий на материале текстов личных воспоминаний
Студент: Пискунов Владимир Игоревич
Научный руководитель: Толдова Светлана Юрьевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Данная работа посвящена проблеме извлечения отношений в текстах устных воспоминаний, которые редко попадают под внимание автоматической обработки естественного языка. Данные тексты имеют ряд черт, из-за которых работа с ними отличается от работы с обычными текстами и требует определенной специфики. В качестве результата работы представлен граф, показывающий отношения между людьми, упоминающимся в данных устных воспоминаниях.',
Миноритарные языки РФ в Интернете: количественное описание и анализ данных
Студент: Крылова Ирина Владимировна
Научный руководитель: Орехов Борис Валерьевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Исследование посвящено изучению представленности миноритарных языков России в Интернете. Целью исследования является создание количественного описания интернета на миноритарных языках, определение характеристик национальных интернетов и поиск параметров, на основе которых можно предсказать, будет ли представлен малый язык в интернете и в каком объёме. В исследовании были использованы разные внешние данные о языке, такие как число носителей, данные по региону распространения и некоторые другие, а также данные по собранным интернет-коллекциям: количество сайтов на малом языке, количество веб-страниц, токенов, медианное значение количества токенов на веб-страницу. Для поиска связей и зависимостей применялся анализ корреляций, многофакторная линейная регрессия и кластерный анализ. Для определения характеристик национальных интернетов был построен веб-граф. В результате было создано количественное описание национальных интернетов для более чем 40 языков, подробно были рассмотрены сайты на малых языках и их регистрационные данные, а также соотношение медианного значения токенов на веб-страницу и общего количества веб-страниц. Языки с самыми большим количеством сайтов на малом языке (башкирский, татарский, якутский, удмуртский), к сожалению, не участвовали в дальнейшем анализе. В работе была построена модель линейной регрессии на основе офлайн и онлайн данных по малому языку, с помощью которой можно приблизительно предсказать, будет ли присутствовать малый язык не из выборки в интернете. Иерархическая кластеризация показала, что все языки из выборки можно разделить на два кластера по представленности в интернете и офлайн-среде. Большинство национальных интернетов являются дисассортативными слабо связными графами, однако, общий же граф национальных интернетов ассортативен и не является слабо связным.',
Автоматическая генерация текста (на примере биржевых новостей)
Студент: Нестеренко Любовь Владимировна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Данная работа выполнена в рамках направления компьютерной лингвистики — автоматической генерации текстов на естественном языке (далее АГТ на ЕЯ). Системы АГТ на ЕЯ создаются для того, чтобы сделать возможным автоматическое порождение текстов на ЕЯ, в случаях, когда у человека возникает необходимость регулярно порождать несложные однотипные тексты, например, прогнозы погоды, биржевые новости и т.п. Цель работы — создать программу-генератор, порождающую биржевые новости, основываясь на данных об изменениях показателей биржевых индексов ММВБ и РТС, а также описать особенности его построения. Заявленная цель работы определяет ее конкретные задачи: проработать устройство генератора; выбрать технологию обработки данных об изменениях показателей индексов; ознакомиться с особенностями биржевых новостей; выбрать с подход к реализации АГТ на ЕЯ; написать программу на Python; оценить полученный результат. В работе представлено устройство генератора биржевых новостей и описан процесс его построения. Нами были изучены особенности поведения биржевых индексов и разработана классификация их изменений, определены типы генерируемых новостей и проработаны макеты для них. Генератор включает в себя два модуля: модуль анализа, который получает биржевые данные и при помощи специального алгоритма определяет изменения, проиходящие с индексами, и лингвистический модуль, осуществляющий автоматическое порождение новостей на основе информации об изменениях индексов. АГТ на ЕЯ в лингвистическом модуле реализована при помощи шаблонно-правилового подхода. Для этого был собран словарь биржевой лексики, составлены шаблоны предложений и проработан набор правил, позволяющих порождать тексты новостей. Также были исследованы правила употребления средств связности в процессе порождения текстов. Оценка модулей генератора показала, что он адекватно справляется, как с задачей анализа данных об изменениях биржевых индексов и выделением нужной информации, так и с порождением текстов новостей.',
Изучение варьирования идиом автоматическими методами
Студент: Кротова Елена Борисовна
Научный руководитель: Ляшевская Ольга Николаевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Корпусно-ориентированное изучение идиоматики позволяет уточнить и дополнить имеющиеся сведения об идиомах и их модификациях, но в случае широко употребительных фразеологических единиц представляет собой определенный вызов для исследователя. Анализ лингвистом тысячей контекстов для каждой из таких идиом слишком затратен по времени, поэтому вряд ли возможен. Выходом может быть создание вспомогательного инструмента – программы, которая осуществляет автоматический анализ контекстов с идиомами и предоставляет в структурированном виде данные об их модификациях, тем самым облегчая работу лингвиста. О создании такой программы и идёт речь в данной работе.',
Разрешение анафорических связей как метод лингвистической предобработки обучающих корпусов для дистрибутивно-семантических моделей
Студент: Козлова Ольга Сергеевна
Научный руководитель: Кутузов Андрей Борисович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

"В работе рассматривается роль разрешения местоименной анафоры в улучшении качества дистрибутивно-семантических моделей посредством увеличения количества контекстуальной информации для знаменательных слов. Анафоры заменяются на антецеденты в тренировочном корпусе, исследуется степень влияния этой процедуры на получившиеся дитрибутивные модели, качество которых оценивается на золотых стандартах RUSSE '15 и SimLex-999. Модели, обученные на корпусе с разрешенной анафорой демонстрируют стабильный прирост качества.",
Автоматическое выделение и классификация глагольных и именных номинализованных конструкций из синтаксически размеченного корпуса
Студент: Медянкин Никита Сергеевич
Научный руководитель: Ляшевская Ольга Николаевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Цель работы — создать инструмент для извлечения конструкций для заданной леммы из аннотированного трибанка русских текстов и предварительной классификации извлеченных конструкций. В задачи работы также входило представить способ разметки трибанка для дальнейшего использования и протестировать качество результатов извлечения конструкций. Основной мотивацией в разработке подобного инструмента является его дальнейшее использование в задаче пополнения русского ФреймБанка конструкциями из Национального корпуса русского языка. Извлечение конструкций ограничено их поверхностной репрезентацией, автоматическое определение семантических ролей не входит в задачи работы. Основным результатом является разработанное веб-приложение для извлечения и классификации поверхностного представления конструкций. Приложение обладает гибким интерфейсом, позволяющим пользователю настраивать результаты извлечения. В настоящее время доступна альфа-версия приложения, позволяющая извлекать конструкции из СинТагРуса и части Национального корпуса русского языка, содержащей тексты, датированные после 1950 года. С использованием предложенного в работе способа автоматической разметки при помощи инструмента RU Syntax, к веб-приложению могут быть добавлены другие корпуса. Разработанное веб-приложение можно рассматривать как следующий шаг в развитии ресурса RNC Sketches. Приложение было протестировано на 200 случайных примерах конструкций из русского ФреймБанка. Полнота выделения субъекта составила 80,0%, объекта — 84.9%, периферии — 81.0%. Дальнейшая работа может включать в себя проведение дополнительных экспериментов по выделению несобственного субъекта с целью улучшения правил извлечения. Также представляют интерес задачи автоматического определения семантических ролей и выделения несобственного субъекта для номинализаций.',
Применение теории риторической структуры текста для распознавания недостоверных новостных сообщений
Студент: Писаревская Дина Борисовна
Научный руководитель: Толдова Светлана Юрьевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Проблема распознавания достоверности новостей является актуальной, особенно в настоящее время, в гетерогенном информационном поле. Поэтому необходимо разработать инструменты, которые позволили бы автоматически с использованием лингвистических методов и моделей определять достоверность или недостоверность новостей, опубликованных в интернет-СМИ. На уровне дискурса в области автоматической обработки текста можно работать с текстами в рамках теории риторической структуры. Мы собрали корпус из 134 достоверных и недостоверных новостей, чтобы выяснить на его примере, является ли риторическая структура текста фактором распознавания достоверности новостей. В разметке использовались 33 типа связей из расширенного списка риторических связей Манна и Томпсон. Для решения задачи классификации текстов и машинного обучения мы использовали Support Vector Machines (для линейного ядра и rbf-ядра) и Random Forest Classifier, для обоих классификаторов с кросс-валидацией 10-fold. В качестве признаков использовались типы риторических связей (частотность), а также сочетания типов связей (типы риторических связей+биграммы и типы риторических связей+триграммы), всего в эксперименте было использовано три набора данных. Лучшие результаты мы получили при классификации с помощью Support Vector Machines с линейным ядром для первого набора данных, он оказался лучше всего линейно разделим на два класса. Модель имеет предсказательную силу (0.65), превышающую показатели для схожего исследования для английского языка (0.56), а также показатели распознавания достоверности новостей людьми. Получившаяся модель лучше всего умеет выделять сет однозначно достоверных новостей и может служить первичным фильтром, убирающим из выборки недостоверные новости.',
Регрессионный анализ факторов, влияющих на выбор стратегии релятивизации в русском языке
Студент: Мещерякова Евгения Игоревна
Научный руководитель: Ландер Юрий Александрович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2016

Целью данной работы было оценить вклад различных характеристик относительной конструкции в выбор стратегии релятивизации подлежащего в русском. На корпусных данных мы построили модели двух типов: дерево решений и мультиномиальную модель. Зависимой переменной была стратегия релятивизации: относительное придаточное предложение с союзным словом который, причастный оборот в препозиции и в постпозиции. В качестве независимых переменных выступили различные характеристики вершины относительной конструкции, глагольной формы в релятиве и конструкции в целом. Несмотря на то, что модели были построены на небольшой выборке (всего 388 примеров), нам удалось выявить некоторые статистически значимые закономерности и описать влияние значимых факторов на выбор стратегии не только качественно, но и количественно.',
Корпус текстов школьников с разметкой пунктуационных ошибок
Студент: Выборнова Анна Николаевна
Научный руководитель: Ляшевская Ольга Николаевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

Работа посвящена анализу пунктуации Корпуса текстов школьников. Работа состоит из двух частей, технологической и аналитической. В первой части рассматриваются вопросы создания корпуса, принципов классификации пунктуационных ошибок и технологии разработки разметчика Интерробанг. Вторая часть посвящена анализу данных и примеров, полученных в результате обработки текстов корпуса.',
Дигитализация критического аппарата текста для веб-публикации академических собраний сочинений
Студент: Картышева Мария Сергеевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

Цель данной работы состоит в проектировании и разработке алгоритма семантической разметки критического аппарата текста, а именно именного указателя одного академического собрания сочинений – Полного собрания сочинений Л. Н. Толстого.',
Квантитативный анализ морфологии башкирского языка при помощи метода социальных сетей
Студент: Кирьянов Денис Павлович
Научный руководитель: Орехов Борис Валерьевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

В работе при помощи методики сетей рассматривается морфология башкирского языка. Представляется, что некоторые характеристики сети, вершинами которой являются аффиксы, отражают некоторые языковые явления. При помощи такой сети мы рассматриваем следующие вопросы: 1) длина максимально длинной зафиксированной цепочки; 2) степень транскатегориальности в языке; 3) нарушение правил сингармонизма; 4) линейный порядок аффиксов в башкирском языке.',
Снятие омонимии на основе материалов НКРЯ
Студент: Данейко Анастасия Михайловна
Научный руководитель: Алексеевский Даниил Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

В данной работе рассматривается проблема снятия семантической омонимии в НКРЯ. Был разработан алгоритм автоматизации снятия омонимии и на основе этого алгоритма разработана программа на языке Python.',
Составление словаря эмоционально-окрашенных прилагательных русского языка
Студент: Кулакова Елена Петровна
Научный руководитель: Алексеевский Даниил Андреевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

В задаче анализа тональности текстов при самых разных подходах востребованы словари эмоционально-окрашенных слов. Для русского языка достаточно объемного, качественно размеченного и находящегося в открытом доступе словаря пока не существует. В данной работе описываются этапы создания тонального словаря для русского языка - от сбора прилагательных до создания краудсорсинговой игры для разметки.',
Идентификация метафорических употреблений русских глаголов методами машинного обучения на основе корпуса с разметкой глагольных аргументов
Студент: Бадрызлова Юлия Геннадьевна
Научный руководитель: Ляшевская Ольга Николаевна
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

В работе представлены результаты машинного обучения на корпусе, содержащем разметку глагольных актантов, с целью классификации метафорических и неметафорических употреблений глаголов.',
Автоматическое извлечение пар «автор-высказывание» из русскоязычных текстов
Студент: Кузнецова Мария Вадимовна
Научный руководитель: Кутузов Андрей Борисович
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

Работа посвящена автоматическому извлечению высказываний из русскоязычных новостных текстов. Даётся обзор существующих подходов к решению данной задачи, описываются существующие системы и ресурсы.Предпринимается попытка создать инструмент автоматического определения прямой и косвенной речи и её атрибуции. Приводится оценка качества и анализ ошибок.',
Вариативность языковых единиц в множественных переводах художественных текстов (на материале прозы В.В. Набокова)
Студент: Жеребцова Яна Александровна
Научный руководитель: Орехов Борис Валерьевич
Программа: Компьютерная лингвистика (Магистратура)
Год защиты: 2015

Работа посвящена оценке степени похожести переводов англоязычных произведений В. В. Набокова, выполненных разными авторами, с помощью количественных метрик.',