АНАЛИЗ ПАРАМЕТРОВ СЛОЖНОСТИ ТЕКСТОВ РАЗНЫХ СТИЛЕЙ (НА ПРИМЕРЕ ТЕКСТОВ ОГЭ И PET)

ФИЛОЛОГИЯ И КУЛЬТУРА. PHILOLOGY AND CULTURE. 2022. №1

УДК 881. 81'33

DOI: 10.26907/2074-0239-2022-67-1-39-46

АНАЛИЗ ПАРАМЕТРОВ СЛОЖНОСТИ ТЕКСТОВ РАЗНЫХ СТИЛЕЙ

© Мария Бегаева, Диана Гизатулина

THE ANALYSIS OF TEXT COMPLEXITY PARAMETERS FROM THE PERSPECTIVE OF DIFFERENT WRITING STYLES

Maria Begaeva, Diana Gizatulina

The article presents results of the multiple factor analysis of 117 OGE (Basic State Examination) texts and 83 texts of Cambridge PET and considers the correlation of the Flash-Kincaid readability index, narrativity, lexical diversity (MTLD) and text complexity in different text types. The evaluation of text complexity parameters was conducted with the help of the online service TextInspector. The study confirms the correlation of the above-mentioned parameters with text complexity. The research indicates that the Flash-Kincaid readability index, narrativity and lexical diversity are lower in OGE texts. Thus, OGE texts are less complex than PET texts. The range of metrics of FKGL, narrativity and MTLD in PET is far more narrow, which indicates the core of typological metrics. The style of texts has a direct influence on their complexity. According to the data, publicistic texts are the most complex and popular science texts are the least. The results of the research can be used by test developers, researchers, educational organizations and teachers.

Keywords: educational text, readability, text parameters, complexity, narrativity, lexical diversity

В статье представлены результаты многофакторного анализа 117 текстов ОГЭ и 83 текстов Кембриджского экзамена Preliminary English Test (PET) и рассмотрено влияние следующих параметров на сложность текстов разного стиля: индекса читабельности по Флешу-Кинкейду, индекса нарративности, индекса лексического многообразия Measure of Textual Lexical Diversity (MTLD). Оценка параметров сложности текста осуществлялась при помощи онлайн-сервиса TextInspector. Взаимозависимость значений указанных выше параметров подтверждает их влияние на сложность текста. Выявлено, что тексты ОГЭ обладают большей читабельностью, меньшей нарративностью и меньшим уровнем лексического многообразия в сравнении с текстами PET. Таким образом, тексты ОГЭ являются менее сложными в сравнении с текстами PET. Однако в текстах PET уровень дисперсии значений параметров внутри корпуса значительно меньше, что говорит о более цельном ядре типологических метрик и более тщательном отборе текстов. Стилистическая принадлежность текстов оказывает непосредственное влияние на их сложность и восприятие: тексты публицистического стиля являются наиболее сложными, а научно-популярные тексты, по данным анализа параметров, имеют наименьшую сложность. Результаты исследования могут быть полезны для разработчиков тестов, методистов, образовательных организаций и преподавателей.

Ключевые слова: учебный текст, параметры сложности, читабельность, нарративность, лексическое многообразие

Введение

За последние годы в современной лингвистике определилась тенденция к решению практических задач, в частности задач педагогики. Таким образом, в центре внимания российских ученых находятся проблемы аналитики учебных текстов. Предполагается, что текст должен соответствовать возрасту и лингвистическим способностям читателей, обладая определенным уровнем сложности. Определение сложности учебного

текста играет немаловажную роль с точки зрения выявления характеризующих ее параметров: читабельности, нарративности, абстрактности, конкретности, лексического многообразия, частотности и других [1, с. 253]. Однако при составлении учебников и сборников данные параметры могут не учитываться методистами ввиду недостаточной изученности вопроса и отсутствия регламента отбора текстов по их сложности. Особую значимость данная проблема имеет для раз-

работчиков экзаменационных тестов, поскольку в случае несоответствия сложности текста уровню экзаменуемых есть риск столкнуться с утратой валидности результатов тестов [2, с. 15]. В данном контексте также важно рассмотреть стилистическую принадлежность текста, так как предполагается, что тексты разных стилей имеют различную сложность [3, с. 389].

Представленное исследование направлено на определение типичных дескриптивных и лексических метрик сложности текстов Кембриджского экзамена PET и ОГЭ по английскому языку с точки зрения их стилистической принадлежности. Гипотеза исследования заключается в том, что данные тексты должны иметь аналогичные значения параметров сложности.

Исследование было осуществлено в несколько этапов: 1) составление корпуса текстов PET и ОГЭ; 2) классификация текстов на основе их стилистической принадлежности; 3) оценка и анализ следующих параметров: читабельность по формуле Флеша-Кинкейда, количество существительных и глаголов, нарративность, индекс лексического многообразия MTLD; 4) определение и сравнение типичных метрик текстов PET и ОГЭ разных стилей.

Материал и методы

Корпус исследования составили 83 текста Кембриджского экзамена PET и 117 текстов ОГЭ по английскому языку. Объем текстов ОГЭ составляет от 270 до 410 слов, текстов PET - от 182 до 409 слов. Корпус содержит тексты следующих функциональных стилей: публицистический, разговорный, художественный и научно-популярный. Следует отметить, что тексты научно-популярного стиля в корпусе представлены биографиями ученых. Все тексты ориентированы на выполнение заданий по поисковому чтению (scanning). Выполнение заданий по текстам ОГЭ и PET предполагает также владение английским языком на уровне А2-В1 по международной шкале CEFR [4].

Анализ пяти параметров, а именно, читабельности по формуле Флеша-Кинкейда (далее -читабельность по ФК), количества существительных и глаголов, нарративности и индекса лексического многообразия MTLD, был проведен на платформе Text Inspector [5]. Ввиду возможностей сайта при загрузке объем каждого анализируемого текста составил выше 75 % от оригинального текста, что позволило сохранить репрезентативность выборки [6, с. 245]. Выбор параметров сложности обусловлен проведенными ранее исследованиями и возможностями он-лайн-анализатора [7, с. 30].

Анализ

Анализ текстов осуществлялся следующим образом: первоначально каждый параметр был рассмотрен в общем виде, затем - с точки зрения принадлежности текстов к определенному стилю. Следует отметить, что в статье рассмотрены тексты трех стилей, которые представлены как в корпусе ОГЭ, так и в корпусе PET: публицистического, разговорного и научно-популярного. В корпусе ОГЭ преобладают тексты публицистического стиля (51), он также насчитывает 11 текстов разговорного стиля и 17 научно-популярных текстов. Корпус текстов PET представлен 7 научно-популярными текстами, 33 текстами разговорного стиля и 33 публицистическими текстами.

Для анализа параметров сложности текстов были также рассчитаны мода и медиана каждого из них. Мода (M0) - это наиболее часто встречающееся значение в выборке.

Мп = х0+ h

/MQ /М о-1

(/MQ-/MQ-I) + (/MQ-/MQI )'

где х0 - значение начала модального интервала, Ь - размер модального интервала, ГМо - частота модального интервала, ГМо-1 - частота интервала, находящего перед модальным, ГМо1 - частота интервала, находящего после модального [8, с. 50].

Медиана (Ме) - число, которое находится в середине выборки (среднее значение).

Ме = N/2,

где N - количество значений в совокупности данных модального интервала [8, с. 51].

На основе средних значений таких дескриптивных параметров, как средняя длина предложения и средняя длина слова, по формуле Фле-ша-Кинкейда была рассчитана читабельность текстов. Согласно формуле, чем выше значения индекса читабельности, тем сложнее текст.

FKGL = (0,39 X ASL) + +(11,8 X ASW) - 15,59,

где ASL - средняя длина предложения; ASW -среднее число слогов в слове [9, с. 202].

Полученное значение индекса ФК прямо пропорционально величине его сложности и обратно пропорционально величине читабельности. То есть, чем ниже значения индекса ФК, тем более текст читабелен, понятен для восприятия. Данная формула актуальна для нашего исследования тем, что показывает уровень необходимого образования для прочтения текста. Следует при-

знать, что индекс Флеша-Кинкейда рассчитан на образовательный индекс школ США, где английский язык является родным. Однако в отечественной практике пока не существует инструмента для определения сложности иноязычного текста для российских школьников, что является ограничением нашего исследования. Отметим, что согласно формуле индекс читабельности текста по Флешу-Кинкейду зависит в основном от количественных параметров, в то время как сложность текста определяется также множеством качественных параметров, таких как абстрактность, конкретность, лексическое многообразие, нарративность и др. Результаты сравнения читабельности текстов ОГЭ и PET по индексу Фле-ша-Кинкейда представлены на рисунке 1.

Рис.1. Сравнение индекса читабельности по ФК в текстах ОГЭ и PET

Значения параметра индекса читабельности по ФК в текстах ОГЭ флуктуируют в диапазоне от 2,69 до 14,63, с модой 6,5 и медианой 7,93. В текстах PET данный параметр изменяется в промежутке от 5,66 до 13,55, при моде 8,31 и медиане 7, 94. В целом, можно наблюдать значительное количество текстов ОГЭ с читабельностью от 6 до 9 (86), текстов PET - с читабельностью от 6 до 9 (59), что говорит об аналогичности метрик в двух группах текстов. Несмотря на приблизительно равные средние значения данных параметров в текстах ОГЭ и PET, мода читабельности по ФК в текстах PET выше на 1,81 так же, как и минимальное значение читабельности в выборке по сравнению с текстами ОГЭ. Таким образом, можно допустить, что тексты PET сложнее текстов ОГЭ относительно параметра индекса читабельности по ФК. Кроме того, можно отметить, что разброс значений параметра в выборке текстов PET меньше, чем в выборке текстов ОГЭ.

Результаты сравнения читабельности по индексу Флеша-Кинкейда текстов ОГЭ и PET разных стилей представлены на рисунках 2 и 3.

Рис. 2. Сравнение индекса читабельности по ФК в текстах ОГЭ разных стилей

Согласно данным диаграммы, большинство текстов публицистического стиля (40) имеют индекс читабельности по ФК от 7 до 10 со средним значением 7,96, в то время как среднее значение (медиана) индекса читабельности в научно-популярных текстах составляет 6,77, а в текстах разговорного стиля - 7,99. Таким образом, индекс читабельности научно-популярных (биографических текстов) наиболее низкий (с учетом погрешности ввиду разного количества текстов). Сравнение индекса читабельности текстов PET разных стилей представлено на рисунке 3.

Чнтабельность mi ФК текстов PET рятных стилен FK readability index in PET texts of different writing styles

var 1 научно-популярные тексты/popular science tests var 2 - тексты разговорного стнля texts of a conversational style таг 3 - тексты публицистического стиля/media tests

Рис.3. Сравнение индекса читабельности по ФК в текстах PET разных стилей

Согласно представленным на рисунке данным большая часть текстов разговорного стиля (23 текста) имеет значения от 6 до 8 с медианой 7,94; большое количество публицистических текстов (18) имеет значения индекса читабельности 7 и 9, при среднем 8,40 с флуктуацией от 6,19 до 13,55. Среднее значение читабельности в выборке научно-популярных текстов составляет 7,35 с флуктуацией от 5,99 до 8,31. Таким обра-

зом, можно предположить, что в данной выборке тексты публицистического стиля имеют наивысшие значения индекса читабельности, в то время как научно-популярные тексты - самые низкие (с учетом погрешности ввиду разного количества текстов).

Анализируя приведенные выше графики в сравнении, можно утверждать, что в корпусах ОГЭ и PET преобладают тексты публицистического стиля с почти идентичными средними значениями индекса читабельности, 7,96 и 7,94 соответственно. Научно-популярные тексты в обоих корпусах имеют наименьшую сложность (наименьшие значения индекса читабельности), что объясняется их ориентированностью на любого среднестатистического читателя.

Кроме того, с помощью сервиса Text Inspector было подсчитано количество существительных и глаголов в каждом тексте. Эти данные позволяют вычислить значение такого параметра, как нарративность [10, с. 122].

VNR = V/N X 100,

где VNR - нарративность, V обозначает глаголы, N - существительные.

Низкий показатель по этой формуле говорит о низком уровне нарративности, что характерно для научного стиля речи, где преобладает количество существительных. Нарративные тексты с преобладанием глаголов легче воспринимаются читателями [11, с. 2023].

Сравнение индекса нарративности в текстах ОГЭ и PET представлено на рисунке 4.

параметр нарративности флуктуирует от 34,29 до 177,42, где разброс значений выше, чем в корпусе ОГЭ. Мода значений индекса нарративности в текстах PET составляет 82,26, медиана равна 90,91. Согласно графику, относительное большинство текстов PET (42) обладают значениями нарративности в пределах от 80 до 110. Таким образом, тексты PET обладают большей нарра-тивностью в сравнении с текстами ОГЭ. Результаты сравнения нарративности текстов ОГЭ и PET разных стилей представлены на рисунках 5 и 6.

Нарративность текстов ОГЭ разных стилей Narratjvity in OGE tests of different writing styles

таг 1 - научно-популярные тексты/popular science texts var 2 тексты разговорного стнля texts of a conversational style var 3 - тексты публицистического стили/media texts

i / у \

I'jf"

20 30 40 60 60 70 SO 90 100 110 120 130 140 150 100 170 [33 Var3

Рис. 5. Сравнение нарративности в текстах ОГЭ разных стилей

По данным графика, значения индекса нарративности большинства текстов разговорного стиля колеблются от 70 до 80, с медианой 72,84; значения параметра большего числа текстов публицистического стиля равны 70, при медиане 67,95. Научно-популярные тексты, в основном, обладают значениями индекса нарративности от 70 до 90, со средним 81,58. Таким образом, в корпусе ОГЭ тексты публицистического стиля имеют наименьшую нарративность, в то время как научно-популярные тексты - наибольшую.

Сравнение индекса нарративности в текстах PET разных стилей представлено на рисунке 6.

Нарративность текстов ОГЭ и PET Narrativiíy in OGE and PET texts

таг 1 тексты ОГЭ/OGE texts таг 2 - тексты PET/PET texts 45---I-'-.--I--

Рис.4. Сравнение нарративности в текстах ОГЭ и PET

Значения параметра нарративность изменяются в пределах от 37,50 до 151,43 в текстах ОГЭ с модой 85,48 и средним значением 69,33. В текстах ОГЭ большинство текстов (74) имеют значения нарративности от 40 до 70. В текстах PET

Рис.6. Сравнение нарративности в текстах PET разных стилей

Таким образом, большинство текстов разговорного стиля обладают достаточно высокой нарративностью, имея значения от 100 до 120. Тексты публицистического стиля, напротив, имеют больше всего значений от 70 до 80. Значения параметра научно-популярных текстов колеблются в пределах от 60 до 140, тексты публицистического стиля в корпусах ОГЭ и PET имеют наиболее низкие значения индекса нарратив-ности, предположительно являясь наиболее сложными.

Лексическое многообразие также было измерено с помощью метода компьютерной лингвистики онлайн- сервисом Text Inspector. Данный параметр демонстрирует, насколько разнообразна лексика в тексте. Индекс текстового лексического многообразия (MTLD) вычисляется по следующей формуле:

MTLD = L/n,

где L - число словоформ, n - число строк [9, с. 220].

Сравнение индекса лексического многообразия в текстах ОГЭ и PET представлено на рисунке 7.

Рис. 7. Сравнение индекса лексического многообразия в текстах ОГЭ и PET

Индекс MTLD в текстах ОГЭ флуктуирует в пределах от 44,50 до 158,19, с медианой 82,97 и модой 79,70. В текстах PET индекс лексического многообразия колеблется от 61,24 до 176,92. Большинство значений MTLD в текстах ОГЭ сохраняется от 60 до 80, в текстах PET большая часть текстов имеет значения от 90 до 120. Таким образом, лексическое многообразие текстов PET в целом выше, чем текстов ОГЭ.

Результаты сравнения индекса лексического многообразия MTLD текстов ОГЭ и PET разных стилей представлены на рисунках 8 и 9.

Лексическое многообразие текстов ОГЭ разных стнлен Lexical diversity in OGE tests of different ivriting styles

var 1 - научно-популярные тексты/popular scieuce texts var 2 - тексты разговорного стиля texts of a conversational style var 3 - тексты публицистического стиля mtclia texts

¡1 ¡1

1 1

г

/1

/\ 11 14 к

ÄJ- м

м ü 1 : II •• м.: I?

40 50 60 Г0 80 90 100 110 120 130 140 150

Рис. 8. Сравнение индекса лексического многообразия в текстах ОГЭ разных стилей

По данным диаграммы, в текстах научно-популярного стиля наиболее часто повторяющиеся значения индекса МТЬБ колеблются от 70 до 85, со средним значением 83,19; в текстах публицистического стиля данный диапазон составляет от 75 до 90, с медианой 80,89. При этом в выборке присутствуют 10 текстов со значениями параметра выше 110. В текстах разговорного стиля индекс лексического многообразия в целом колеблется от 65 до 105, но данных выборки

недостаточно, чтобы определить наиболее часто повторяющиеся значения.

Сравнение индекса лексического многообразия в текстах PET разных стилей представлено на рисунке 9.

Лексическое многообразие текстов PET разных стилен Lexical diversity in PET texts of different writing styles

var 1 - научно-популярные тексты popular science texts var 2 - тексты разговорного стиля/texts of a conversational style var 3 - тексты публицистического стиля media texts

Рис. 9. Сравнение индекса лексического многообразия в текстах PET разных стилей

Значения параметра MTLD в научно-популярных текстах колеблются от 61,24 до 107,15, большинство текстов имеют значения в диапазоне от 100 до 110. В текстах разговорного стиля большинство текстов (18) имеют значения лексического многообразия от 90 до 110, со средним значением в точке 93,67. Преимущественное большинство публицистических текстов (20) имеют значения параметра от 100 до 140, при этом 4 текста представлены со значениями MTLD более 160. Таким образом, тексты публицистического стиля являются наиболее лексически разнообразными как в корпусе ОГЭ, так и в корпусе PET.

Заключение

Таким образом, многофакторный анализ 117 текстов ОГЭ показал, что типологическими характеристиками сложности текста являются следующие значения параметров: индекс читабельности по ФК от 6 до 9 с модой 6,5; индекс нарра-тивности от 40 до 70; индекс лексического многообразия MTLD колеблется в диапазоне от 60 до 80. Для 83 текстов Кембриджского экзамена PET типологические характеристики сложности представлены следующими метриками: индекс читабельности текста по ФК от 6 до 9 с модой 8,31; индекс нарративности от 80 до 110; индекс лексического многообразия MTLD колеблется от 90 до 120. Следовательно, тексты ОГЭ обладают более высокой читабельностью (меньшим индексом читабельности по ФК), меньшей нарратив-ностью и меньшим уровнем лексического мно-

гообразия в сравнении с текстами PET. В текстах PET диапазон параметров ниже, чем в текстах ОГЭ, что говорит о более цельном наборе метрик и, как следствие, - более тщательном подборе экзаменационных текстов.

Анализ стилистической принадлежности текстов показал, что в исследуемых корпусах текстов ОГЭ и PET преобладают тексты публицистического стиля с почти идентичными средними значениями читабельности, 7,96 и 7,94, соответственно, и наиболее низкими значениями индекса нарративности (от 70 до 80), наиболее высоким уровнем лексического многообразия. Научно-популярные тексты в обоих корпусах имеют наименьшую читабельность и наибольшую нарра-тивность. Следовательно, тексты публицистического стиля представляются наиболее сложными, в то время как научно-популярные тексты обладают наиболее низкими показателями индекса ФК и являются читабельными, то есть наиболее простыми для чтения. По итогам исследования может быть рекомендовано адаптирование текстов в сборниках тестов для подготовки к ОГЭ до уровня сложности, обладающего следующими усредненными параметрами: индекс читабельности по ФК в диапазоне от 6 до 8, индекс нарративности -от 40 до 80, индекс лексического многообразия MTLD - в промежутке от 60 до 80.

Список источников

1. Солнышкина М. И., Гафиятова Э. В., Казач-кова М. Б. Инструменты оценки сложности текста: современная парадигма // Научное наследие Е. И. Пассова в контексте развития иноязычного образования: Материалы Международной научной конференции, посвящённой 90-летию со дня рождения Е. И. Пассова, Липецк, 01-02 декабря 2020 года / Под общей редакцией В. Б. Царьковой, А. А. Люлюшина. Липецк: Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского, 2020. С. 251- 263.

2. Солнышкина М. И., Казачкова М. Б., Харькова Е. В. Инструменты измерения сложности текстов на английском языке // Иностранные языки в школе. 2020. № 3. С. 15- 21.

3. Зиганшина Ч. Р. Качественные параметры сложности текста (на материале художественных и научно-популярных текстов PIRLS) // Мир науки, культуры, образования. 2020. №5 (84). С. 388- 391.

4. Cambridge Assessment English. URL: https://cambridgeenglish.org/ (дата обращения: 08.12.2021).

5. Text Inspector: The professional web tool for analyzing texts. URL: https://textinspector.com/workflow (дата обращения: 20.10.2021).

6. Biber, D. Representativeness in Corpus Design // Oxford, Literary and Linguistic Computing, 8, 1993. pp. 243- 257.

7. Солнышкина М. И., Замалетдинов Р. Р., Га-фиятова Э. В., Гизатулина Д. Ю., Бегаева М. Н. Многофакторный анализ сложности текста // Иностранные языки в школе. 2021. №2. С. 28-34.

8. Полякова В. В., Шаброва Н. В. Основы теории статистики: учебное пособие. Екатеринбург: Издательство Уральского университета, 2015. 145 с.

9. McNamara, D.S., Graesser, A.C., McCarthy, P.M., Zh.Cai. Automated evaluation of Text and Discourse with Coh-Metrix // New York, Cambridge University Press, 2014. 285 p.

10. Biber, D., Conrad, S., Reppen, R. Corpus linguistics: investigating language structure and use // Cambridge, Cambridge University Press, 1998, 300 p.

11. Kraal, A., Koornneef, A., Broek, P. Processing of expository and narrative texts by low and high-comprehending children. Reading and Writing // New York, Springer, 31 (9), 2018. pp. 2017-2040.

References

1. Solnyshkina, M. I., Gafiyatova, E. V., Kazachkova, M. B.

2. Solnyshkina, M. I., Kazachkova, M. B., Khar'kova, E. V.

3. Ziganshina, Ch. R.

4. Cambridge Assessment English. URL: https://cambridgeenglish.org/

5. Text Inspector: The Professional Web Tool for Analyzing Texts. URL: https://textinspector.com/ workflow

6. Biber, D.

7. Solnyshkina, M. I., Zamaletdinov, R. R., Gafiyatova, E. V., Gizatulina, D. Yu., Begaeva, M. N.

8. Polyakova, V. V., Shabrova, N. V.

9. McNamara, D. S., Graesser, A. C., McCarthy, P. M., Zh. Cai

10. Biber, D., Conrad, S., Reppen, R.

11. Kraal, A., Koornneef, A., Broek, P.

Библиографический список

1. Выготский Л. С. Динамика умственного развития школьника в связи с обучением // Л. С. Выготский. Умственное развитие детей в процессе обучения. - М.-Л., 1935. С.33-52.

2. Солнышкина М. И., Кисельников А. С. Параметры сложности экзаменационных текстов // Вестник Волгоградского государственного университета. Серия 2: Языкознание. 2015. №. 1.

3. Solnyshkina M. I., Gabitov A. I., Shayakhmetova L. Kh., Ilyasova L.G., A^arova S.A. Text Complexity In Russian Textbooks On Social Studies//Revista Publicando, 4, 2017. Pp. 597 - 606.

4. Solovyev V.D., Ivanov V.V., Akhtiamov R.B., Dictionary of Abstract and Concrete Words of the Russian Language: A Methodology for Creation and Application //Journal of Research in Applied Linguistics, 10, 2019, pp. 215-227.

Bibliographic list

1. Vygotskii, L. S.

2. Solnyshkina, M. I., Kisel'nikov, A. S.

3. Solnyshkina, M. I., Gabitov, A. I., Shayakhmetova, L. Kh., Ilyasova, L. G., Akbarova, S. A.

4. Solovyev, V. D., Ivanov, V. V., Akhtiamov, R. B.

Гизатулина Диана Юрьевна,

аспирант,

Казанский федеральный университет,

преподаватель,

СУНЦ «1Т-лицей КФУ»,

420008, Россия, Казань,

Кремлевская, 18.

giz-diana@mail.ru

Бегаева Мария Николаевна,

аспирант,

Казанский федеральный университет,

лаборант-исследователь,

НИЛ «Текстовая аналитика»,

420008, Россия, Казань,

Кремлевская, 18.

Masha.begaeva95@gmail.com

The article was submitted on 12.01.2022 Поступила в редакцию 12.01.2022

Gizatulina Diana Yuryevna,

graduate student, Kazan Federal University,

18 Kremlyovskaya Str.,

Kazan, 420008, Russian Federation.

giz-diana@mail.ru

Begaeva Maria Nikolaevna,

graduate student,

Kazan Federal University,

research assistant,

"Text Analytics" Laboratory,

18 Kremlyovskaya Str.,

Kazan, 420008, Russian Federation.

Masha.begaeva95@gmail. com