Разработка NLP-библиотеки для корпуса Прожито с учетом языковых особенностей дневниковых текстов
Студент: Михайлова Вероника
Научный руководитель: Полина Колозариди
Год защиты:  2025

Исходные данные для разработки библиотеки представляют собой тексты дневников из корпуса "Прожито", экспортированные из внутренней базы данных проекта в виде CSV- файлов. Каждая запись содержит дату, имя автора, текст дневника и сопутствующие метаданные. Формат хранения данных соответствует исходной структуре корпуса и обеспечивает возможность дальнейшей автоматизированной обработки. Основная цель проекта — разработка специализированной библиотеки на языке Python для автоматизированной обработки текстов корпуса «Прожито», с учетом жанровых и лингвистических особенностей эго-документов и архивных дневниковых записей. Для достижения цели необходимо решить следующие основные задачи: - проанализировать существующие инструменты для извлечения сущностей и сентимент- анализа и оценить их применимость к текстам корпуса “Прожито”. - выявить и описать ключевые лингвистические особенности дневниковых текстов, влияющие на качество автоматической обработки. - зафиксировать ограничения популярных моделей и библиотек при работе с текстами архива. - разработать новые модули и адаптировать существующие решения для повышения точности обработки текстов, учитывая специфику корпуса. - реализовать основные компоненты библиотеки: предобработку, извлечение сущностей, сентимент-анализ, количественный и лингвистический анализ, визуализацию результатов - интегрировать разработанные модули в единую Python-библиотеку с чёткой архитектурой и сопровождающей документацией, обеспечивающей возможность ее использования как специалистами, работающими с корпусом «Прожито», так и заинтересованными внешними пользователями. Перечень подлежащих к разработке вопросов: - сбор и анализ источников о языковых особенностях архивных и дневниковых текстов. - формирование тестовой выборки текстов из корпуса “Прожито” для проведения дальнейших экспериментов. - составление списка популярных инструментов для автоматической обработки текстов и проведение их тестирования на выборке дневников. - выявление и описание ограничений существующих NLP-инструментов при применении к текстам корпуса. - описание языковых особенностей текстов корпуса, имеющих влияние на качество автоматической обработки. - разработка стратегии создания специализированной библиотеки, включая определение перечня функций и их обоснование. - реализация основных модулей библиотеки (модуль для предобработки текстов, анализа количественных показателей и лингвистических параметров, выделения сущностей, сентимент-анализа и визуализаций). - создание документации для реализованных модулей. - интеграция всех компонентов в единую программную библиотеку и публикация результатов на GitHub. - подготовка публичных материалов проекта: лендинг-страницы с описанием этапов работы, целей и результатов. - подготовка текстового отчета и оформление итоговой версии выпускной квалификационной работы. В ходе работы была разработана Python-библиотека, предназначенная для автоматизированного анализа личных дневниковых текстов из корпуса «Прожито» с учетом их тематической, лексической и синтаксической специфики. В состав библиотеки входят модули предобработки, лемматизации, оценки базовых количественных характеристик текста, статистического и морфосинтаксического анализа, анализа эмоциональной окраски, а также инструменты визуализации результатов. Библиотека ориентирована на широкое применение в гуманитарных исследованиях и разработана с учетом потребностей пользователей, заинтересованных в автоматизированной обработке дневниковых текстов, но не имеющих глубоких навыков в области программирования.