kulyatinakatya/HSE_LING_VKR huggingface dataset:
Факторы, влияющие на нарушение кореференции деепричастных оборотов
Студент: Пужаева Светлана Юрьевна
Научный руководитель: Зевахина Наталья Александровна
Год защиты: 2016
Оценка: 10

Аннотация: Работа включает в себя три главы (теоретическую, исследовательскую, экспериментальную), заключение, список литературы и два приложения. В теоретической главе приведен обзор литературы, затрагивающей проблему нормы употребления деепричастных оборотов. В исследовательской главе представлен анализ факторов, влияющих на нарушение употребления деепричастных оборотов в текстах письменной и устной речи на материале Корпуса русских учебных текстов и Звукового корпуса русского языка. В экспериментальной главе описан эксперимент, в ходе которого было выявлено соотношение влияния таких факторов, как позиция деепричастного оборота относительно матричной клаузы и наличие или отсутствие семантического субъекта в основной клаузе, на определение степени приемлемости предложений носителями языка. Эксперимент показал, что более значимым для носителей русского языка является фактор позиции деепричастного оборота.
Исследование методов извлечения отношений с использованием онтологий на материале текстов личных воспоминаний
Студент: Пискунов Владимир Игоревич
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2016
Оценка: 7

Аннотация: Данная работа посвящена проблеме извлечения отношений в текстах устных воспоминаний, которые редко попадают под внимание автоматической обработки естественного языка. Данные тексты имеют ряд черт, из-за которых работа с ними отличается от работы с обычными текстами и требует определенной специфики. В качестве результата работы представлен граф, показывающий отношения между людьми, упоминающимся в данных устных воспоминаниях.
Миноритарные языки РФ в Интернете: количественное описание и анализ данных
Студент: Крылова Ирина Владимировна
Научный руководитель: Орехов Борис Валерьевич
Год защиты: 2016
Оценка: 10

Аннотация: Исследование посвящено изучению представленности миноритарных языков России в Интернете. Целью исследования является создание количественного описания интернета на миноритарных языках, определение характеристик национальных интернетов и поиск параметров, на основе которых можно предсказать, будет ли представлен малый язык в интернете и в каком объёме. В исследовании были использованы разные внешние данные о языке, такие как число носителей, данные по региону распространения и некоторые другие, а также данные по собранным интернет-коллекциям: количество сайтов на малом языке, количество веб-страниц, токенов, медианное значение количества токенов на веб-страницу. Для поиска связей и зависимостей применялся анализ корреляций, многофакторная линейная регрессия и кластерный анализ. Для определения характеристик национальных интернетов был построен веб-граф. В результате было создано количественное описание национальных интернетов для более чем 40 языков, подробно были рассмотрены сайты на малых языках и их регистрационные данные, а также соотношение медианного значения токенов на веб-страницу и общего количества веб-страниц. Языки с самыми большим количеством сайтов на малом языке (башкирский, татарский, якутский, удмуртский), к сожалению, не участвовали в дальнейшем анализе. В работе была построена модель линейной регрессии на основе офлайн и онлайн данных по малому языку, с помощью которой можно приблизительно предсказать, будет ли присутствовать малый язык не из выборки в интернете. Иерархическая кластеризация показала, что все языки из выборки можно разделить на два кластера по представленности в интернете и офлайн-среде. Большинство национальных интернетов являются дисассортативными слабо связными графами, однако, общий же граф национальных интернетов ассортативен и не является слабо связным.
Автоматическая генерация текста (на примере биржевых новостей)
Студент: Нестеренко Любовь Владимировна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2016

Аннотация: Данная работа выполнена в рамках направления компьютерной лингвистики — автоматической генерации текстов на естественном языке (далее АГТ на ЕЯ). Системы АГТ на ЕЯ создаются для того, чтобы сделать возможным автоматическое порождение текстов на ЕЯ, в случаях, когда у человека возникает необходимость регулярно порождать несложные однотипные тексты, например, прогнозы погоды, биржевые новости и т.п. Цель работы — создать программу-генератор, порождающую биржевые новости, основываясь на данных об изменениях показателей биржевых индексов ММВБ и РТС, а также описать особенности его построения. Заявленная цель работы определяет ее конкретные задачи: проработать устройство генератора; выбрать технологию обработки данных об изменениях показателей индексов; ознакомиться с особенностями биржевых новостей; выбрать с подход к реализации АГТ на ЕЯ; написать программу на Python; оценить полученный результат. В работе представлено устройство генератора биржевых новостей и описан процесс его построения. Нами были изучены особенности поведения биржевых индексов и разработана классификация их изменений, определены типы генерируемых новостей и проработаны макеты для них. Генератор включает в себя два модуля: модуль анализа, который получает биржевые данные и при помощи специального алгоритма определяет изменения, проиходящие с индексами, и лингвистический модуль, осуществляющий автоматическое порождение новостей на основе информации об изменениях индексов. АГТ на ЕЯ в лингвистическом модуле реализована при помощи шаблонно-правилового подхода. Для этого был собран словарь биржевой лексики, составлены шаблоны предложений и проработан набор правил, позволяющих порождать тексты новостей. Также были исследованы правила употребления средств связности в процессе порождения текстов. Оценка модулей генератора показала, что он адекватно справляется, как с задачей анализа данных об изменениях биржевых индексов и выделением нужной информации, так и с порождением текстов новостей.
Изучение варьирования идиом автоматическими методами
Студент: Кротова Елена Борисовна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2016
Оценка: 9

Аннотация: Корпусно-ориентированное изучение идиоматики позволяет уточнить и дополнить имеющиеся сведения об идиомах и их модификациях, но в случае широко употребительных фразеологических единиц представляет собой определенный вызов для исследователя. Анализ лингвистом тысячей контекстов для каждой из таких идиом слишком затратен по времени, поэтому вряд ли возможен. Выходом может быть создание вспомогательного инструмента – программы, которая осуществляет автоматический анализ контекстов с идиомами и предоставляет в структурированном виде данные об их модификациях, тем самым облегчая работу лингвиста. О создании такой программы и идёт речь в данной работе.
Разрешение анафорических связей как метод лингвистической предобработки обучающих корпусов для дистрибутивно-семантических моделей
Студент: Козлова Ольга Сергеевна
Научный руководитель: Кутузов Андрей Борисович
Год защиты: 2016
Оценка: 9

Аннотация: "В работе рассматривается роль разрешения местоименной анафоры в улучшении качества дистрибутивно-семантических моделей посредством увеличения количества контекстуальной информации для знаменательных слов. Анафоры заменяются на антецеденты в тренировочном корпусе, исследуется степень влияния этой процедуры на получившиеся дитрибутивные модели, качество которых оценивается на золотых стандартах RUSSE '15 и SimLex-999. Модели, обученные на корпусе с разрешенной анафорой демонстрируют стабильный прирост качества.",
Автоматическое выделение и классификация глагольных и именных номинализованных конструкций из синтаксически размеченного корпуса
Студент: Медянкин Никита Сергеевич
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2016
Оценка: 8

Аннотация: Цель работы — создать инструмент для извлечения конструкций для заданной леммы из аннотированного трибанка русских текстов и предварительной классификации извлеченных конструкций. В задачи работы также входило представить способ разметки трибанка для дальнейшего использования и протестировать качество результатов извлечения конструкций. Основной мотивацией в разработке подобного инструмента является его дальнейшее использование в задаче пополнения русского ФреймБанка конструкциями из Национального корпуса русского языка. Извлечение конструкций ограничено их поверхностной репрезентацией, автоматическое определение семантических ролей не входит в задачи работы. Основным результатом является разработанное веб-приложение для извлечения и классификации поверхностного представления конструкций. Приложение обладает гибким интерфейсом, позволяющим пользователю настраивать результаты извлечения. В настоящее время доступна альфа-версия приложения, позволяющая извлекать конструкции из СинТагРуса и части Национального корпуса русского языка, содержащей тексты, датированные после 1950 года. С использованием предложенного в работе способа автоматической разметки при помощи инструмента RU Syntax, к веб-приложению могут быть добавлены другие корпуса. Разработанное веб-приложение можно рассматривать как следующий шаг в развитии ресурса RNC Sketches. Приложение было протестировано на 200 случайных примерах конструкций из русского ФреймБанка. Полнота выделения субъекта составила 80,0%, объекта — 84.9%, периферии — 81.0%. Дальнейшая работа может включать в себя проведение дополнительных экспериментов по выделению несобственного субъекта с целью улучшения правил извлечения. Также представляют интерес задачи автоматического определения семантических ролей и выделения несобственного субъекта для номинализаций.
Применение теории риторической структуры текста для распознавания недостоверных новостных сообщений
Студент: Писаревская Дина Борисовна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2016

Аннотация: Проблема распознавания достоверности новостей является актуальной, особенно в настоящее время, в гетерогенном информационном поле. Поэтому необходимо разработать инструменты, которые позволили бы автоматически с использованием лингвистических методов и моделей определять достоверность или недостоверность новостей, опубликованных в интернет-СМИ. На уровне дискурса в области автоматической обработки текста можно работать с текстами в рамках теории риторической структуры. Мы собрали корпус из 134 достоверных и недостоверных новостей, чтобы выяснить на его примере, является ли риторическая структура текста фактором распознавания достоверности новостей. В разметке использовались 33 типа связей из расширенного списка риторических связей Манна и Томпсон. Для решения задачи классификации текстов и машинного обучения мы использовали Support Vector Machines (для линейного ядра и rbf-ядра) и Random Forest Classifier, для обоих классификаторов с кросс-валидацией 10-fold. В качестве признаков использовались типы риторических связей (частотность), а также сочетания типов связей (типы риторических связей+биграммы и типы риторических связей+триграммы), всего в эксперименте было использовано три набора данных. Лучшие результаты мы получили при классификации с помощью Support Vector Machines с линейным ядром для первого набора данных, он оказался лучше всего линейно разделим на два класса. Модель имеет предсказательную силу (0.65), превышающую показатели для схожего исследования для английского языка (0.56), а также показатели распознавания достоверности новостей людьми. Получившаяся модель лучше всего умеет выделять сет однозначно достоверных новостей и может служить первичным фильтром, убирающим из выборки недостоверные новости.
Регрессионный анализ факторов, влияющих на выбор стратегии релятивизации в русском языке
Студент: Мещерякова Евгения Игоревна
Научный руководитель: Ландер Юрий Александрович
Год защиты: 2016
Оценка: 8

Аннотация: Целью данной работы было оценить вклад различных характеристик относительной конструкции в выбор стратегии релятивизации подлежащего в русском. На корпусных данных мы построили модели двух типов: дерево решений и мультиномиальную модель. Зависимой переменной была стратегия релятивизации: относительное придаточное предложение с союзным словом который, причастный оборот в препозиции и в постпозиции. В качестве независимых переменных выступили различные характеристики вершины относительной конструкции, глагольной формы в релятиве и конструкции в целом. Несмотря на то, что модели были построены на небольшой выборке (всего 388 примеров), нам удалось выявить некоторые статистически значимые закономерности и описать влияние значимых факторов на выбор стратегии не только качественно, но и количественно.
Корпус текстов школьников с разметкой пунктуационных ошибок
Студент: Выборнова Анна Николаевна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2015
Оценка: 9

Аннотация: Работа посвящена анализу пунктуации Корпуса текстов школьников. Работа состоит из двух частей, технологической и аналитической. В первой части рассматриваются вопросы создания корпуса, принципов классификации пунктуационных ошибок и технологии разработки разметчика Интерробанг. Вторая часть посвящена анализу данных и примеров, полученных в результате обработки текстов корпуса.
Дигитализация критического аппарата текста для веб-публикации академических собраний сочинений
Студент: Картышева Мария Сергеевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2015
Оценка: 10

Аннотация: Цель данной работы состоит в проектировании и разработке алгоритма семантической разметки критического аппарата текста, а именно именного указателя одного академического собрания сочинений – Полного собрания сочинений Л. Н. Толстого.
Квантитативный анализ морфологии башкирского языка при помощи метода социальных сетей
Студент: Кирьянов Денис Павлович
Научный руководитель: Орехов Борис Валерьевич
Год защиты: 2015
Оценка: 10

Аннотация: В работе при помощи методики сетей рассматривается морфология башкирского языка. Представляется, что некоторые характеристики сети, вершинами которой являются аффиксы, отражают некоторые языковые явления. При помощи такой сети мы рассматриваем следующие вопросы: 1) длина максимально длинной зафиксированной цепочки; 2) степень транскатегориальности в языке; 3) нарушение правил сингармонизма; 4) линейный порядок аффиксов в башкирском языке.
Снятие омонимии на основе материалов НКРЯ
Студент: Данейко Анастасия Михайловна
Научный руководитель: Алексеевский Даниил Андреевич
Год защиты: 2015

Аннотация: В данной работе рассматривается проблема снятия семантической омонимии в НКРЯ. Был разработан алгоритм автоматизации снятия омонимии и на основе этого алгоритма разработана программа на языке Python.
Составление словаря эмоционально-окрашенных прилагательных русского языка
Студент: Кулакова Елена Петровна
Научный руководитель: Алексеевский Даниил Андреевич
Год защиты: 2015
Оценка: 7

Аннотация: В задаче анализа тональности текстов при самых разных подходах востребованы словари эмоционально-окрашенных слов. Для русского языка достаточно объемного, качественно размеченного и находящегося в открытом доступе словаря пока не существует. В данной работе описываются этапы создания тонального словаря для русского языка - от сбора прилагательных до создания краудсорсинговой игры для разметки.
Идентификация метафорических употреблений русских глаголов методами машинного обучения на основе корпуса с разметкой глагольных аргументов
Студент: Бадрызлова Юлия Геннадьевна
Научный руководитель: Ляшевская Ольга Николаевна
Год защиты: 2015

Аннотация: В работе представлены результаты машинного обучения на корпусе, содержащем разметку глагольных актантов, с целью классификации метафорических и неметафорических употреблений глаголов.
Автоматическое извлечение пар «автор-высказывание» из русскоязычных текстов
Студент: Кузнецова Мария Вадимовна
Научный руководитель: Кутузов Андрей Борисович
Год защиты: 2015

Аннотация: Работа посвящена автоматическому извлечению высказываний из русскоязычных новостных текстов. Даётся обзор существующих подходов к решению данной задачи, описываются существующие системы и ресурсы.Предпринимается попытка создать инструмент автоматического определения прямой и косвенной речи и её атрибуции. Приводится оценка качества и анализ ошибок.
Вариативность языковых единиц в множественных переводах художественных текстов (на материале прозы В.В. Набокова)
Студент: Жеребцова Яна Александровна
Научный руководитель: Орехов Борис Валерьевич
Год защиты: 2015

Аннотация: Работа посвящена оценке степени похожести переводов англоязычных произведений В. В. Набокова, выполненных разными авторами, с помощью количественных метрик.
Автоматическое построение графов для анализа художественных произведений
Студент: Цыганкова Виктория Сергеевна
Научный руководитель: Алескеров Фуад Таги оглы
Год защиты: 2016

Аннотация: Целью работы является построение графов взаимодействий персонажей в тексте произведения, а также анализ сбалансированости построенных графов. Для достижения поставленной цели нами поставлены следующие задачи: • проанализировать существующие модели автоматического построения графов взаимодействий между персонажами в произведении, • найти (или создать) инструменты для разметки текста, • выделить героев в тексте произведения, • выделить отношения между персонажами в произведении, • построить граф взаимодействий, • оценить качество построенных графов, • проанализировать сбалансированность текста. На основе анализа существующих систем построения графов, основанных на вычленении отношений между персонажами из текста, нами написана новая система —— NovelGraphs —— для текстов на английском языке, в которой используется новый метод выявления персонажей и выделения отношений между ними. В полученном ненаправленном графе вершинам соответствуют герои произведения, а ребра задают взаимодействия между ними в тексте произведения. Каждое ребро имеет свой вес, который соотносится со средней оценкой тональности контекста или частотой употребления в тексте пары героев. Если ребро не имеет веса, тогда оно не будет отражено в графе взаимодействий. По итогам сравнения построенных автоматически графов с <> (т.е. графом, построенным экспертом) лучший результат показали экстракторы TokenDistance (выделяет персонажей, если расстояние между ними меньше, либо равно 15 токенам) и TokenDependencies (выделяет персонажей, если их разделяет глагол, с которым они связаны синтаксически). На данный момент, комбинации экстракторов с агрегаторами лучше справляются с задачей выявления персонажей из текста, нежели с выделением отношений между ними. В работе также было установлено, что анализ сбалансированности графов идентифицирует <> эпизоды произведения, которые соотносятся с минимумами и максимумами на графике сбалансированности.
Экспериментальный анализ факторов, влияющих на выбор стратегии релятивизации подлежащего в русском языке
Студент: Сино Екатерина Дмитриевна
Научный руководитель: Бонч-Осмоловская Анастасия Александровна
Год защиты: 2016

Аннотация: В настоящем исследование используются экспериментальные методы для проверки зависимости выбора стратегии релятивизации вершины относительной конструкции в русском языке от таких факторов как одушевленность вершины и тип текста. В ходе работы над исследованием был собран и размечен корпус из 1000 употреблений относительных конструкций, а также организован онлайн-эксперимент. Анализ результатов эксперимента методом множественной логистической регрессии не подтвердил наличие зависимости между тестируемыми переменными.
Типология прилагательных и наречная модификация в русском языке
Студент: Филиппова Наталия Сергеевна
Научный руководитель: Зевахина Наталья Александровна
Год защиты: 2015

Аннотация: Целью данной работы является формализация значений градуальных прилагательных. За основу взято классическое представление о градуальных прилагательных как отрезках на абстрактных представлениях различных измерений -– шкалах. Однако, такой подход не учитывает семантику прилагательных, которые включают в себя семантику сразу нескольких параметров -– таких, как "интересный", "важный" и т.д. В работе был предложен способ описания таких прилагательных при помощи типологии, основанной на пяти базовых семантических компонентах: измеримости, объективности, оценочности, экспериенциальности и силе степени. Было предложено формальное представление семантики ряда прилагательных, а также описана в терминах семантических компонентов наречная модификация в русском языке.
Методы автоматического распознавания и исправления ошибок в синтаксической разметке
Студент: Трофимова Дарья Павловна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2015

Аннотация: Настоящая работа посвящена разработке методов поиска и исправления ошибок автоматического синтаксического анализа. В работе рассматриваются существующие методы, которые позволяют эффективно находить и исправлять ошибки разметки, и предлагается алгоритм, осуществляющий поиск ошибок автоматического синтаксического анализа, данные его практического применения и результаты экспериментов с различными параметрами, а также алгоритм исправления ошибок автоматического синтаксического анализа, которые способны улучшить качество разметки синтаксических корпусов, а также обеспечить более простое и быстрое исправление разметки новых синтаксических корпусов русского языка.
Выявление значимых лингвистическиx параметров для автоматического распознавания иронии в русском языке
Студент: Панова Татьяна Александровна
Научный руководитель: Толдова Светлана Юрьевна
Год защиты: 2015

Аннотация: Автоматическое выделение иронии является частным случаем определения тональности текста и извлечения мнений. Выделение иронии требует учёта всех аспектов языка, от пунктуации до семантики, что даёт простор для разнообразных подходов к решению этой задачи. На сегодняшний день построено большое количество моделей для распознавания иронии для текстов на английском языке и некоторых других, однако, для русского языка такой модели нет. Во всех программах для распознавания иронии использовано машинное обучение (с учителем или без). Целью данной работы является выявление некоторых параметров, которые можно было использовать в подобной программе для текстов на русском языке.
Автоматическое извлечение и классификация неологизмов
Студент: Сидорова Елена Юрьевна
Научный руководитель: Алексеевский Даниил Андреевич
Год защиты: 2015

Аннотация: Русский язык, как и многие другие языки, изменчив. Это порождает некоторые трудрости для его изучения, в частности, для лексикографии: зачастую словарь, ещё в момент публикации оказывается достаточно устаревшим и не отражает современное состояние языка. В частности это может выражаться в том, что с момента сбора данных для словаря до момента его публикации в языке успевают ассимилироваться новые слова. Существует некоторое количество работ, посвящённых автоматизации поиска новых слов, но и они не лишены ограничений. В частности, среди них нет работ, посвящённых русскому языку. В настоящей работе представляется часть проекта по созданию службы для полуавтоматического поиска новых слов в русском языке.
Оптимизация системы тэгирования в корпусе Russian Learner Corpus
Студент: Лошкарева Дарья Олеговна
Научный руководитель: Рахилина Екатерина Владимировна
Год защиты: 2015

Аннотация: Работа содержит описание опыта существующих ресурсов в сфере учебных корпусов. В работы представлены существующие схемы разметки, используемые в учебных корпусах. Пересмотрена существующая классификации ошибок в корпусе RLC и разработана подробная инструкция для увеличения уровня согласованности среди разметчиков.']