# Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system

A. Kh. Marinosyan, O V Andryushkova

► To cite this version:

A. Kh. Marinosyan, O V Andryushkova. Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system. Informatics and education, 2021, 5, pp.4-11. 10.32517/0234-0453-2021-36-5-4-11. [hal-04600673](https://hal.science/hal-04600673)

HAL Id: hal-04600673

https://hal.science/hal-04600673

Submitted on 10 Jun 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system

A. Kh. Marinosyan, O V Andryushkova

► To cite this version:

A. Kh. Marinosyan, O V Andryushkova. Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system. Informatics and education, 2021, 5, pp.4-11. 10.32517/0234-0453-2021-36-5-4-11. [hal-04600673](https://hal.science/hal-04600673v1)

HAL Id: hal-04600673

https://hal.science/hal-04600673v1

Submitted on 10 Jun 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# МНОГОКРИТЕРИАЛЬНАЯ МЕТОДИКА ОЦЕНКИ КАЧЕСТВА LMS В РАМКАХ ЭМЕРГЕНТНОЙ СИСТЕМЫ ОБУЧЕНИЯ

А. Х. Мариносян¹, О. В. Андрюшкова²

¹ Государственный академический университет гуманитарных наук
119049, Россия, г. Москва, Мароновский пер., д. 26

² Химический факультет Московского государственного университета имени М. В. Ломоносова
119991, Россия, г. Москва, Ленинские горы, д. 1, стр. 3

## Аннотация

В статье на примере систем управления обучением (Learning Management System, LMS) рассмотрена методика оценки качества обучения, учитывающая запросы экспертов, преподавателей и учащихся. Актуальность исследования обусловлена цифровизацией образования, переходом на дистанционное обучение в качестве основной или вспомогательной формы организации образовательного процесса. Данная методика базируется на концепции эмергентного обучения, разработанной ранее одним из авторов статьи, и на системе оценки качества обучения на основе негэнтропии. Адаптируя эту методологию применительно к задаче оценки LMS, авторы показывают важность создания иерархической схемы модулей и функциональных элементов, необходимых для качественной организации процесса обучения. Для расчета интегральной оценки, согласно авторской позиции, нужно определить весовой коэффициент каждого модуля и каждого критерия, по которому этот модуль оценивается, проставить численные значения критериев для конкретной LMS. Гибкая система оценки, учитывающая запросы всех сторон образовательного процесса, позволяет, модифицируя весовые коэффициенты, адаптировать формулу расчета в соответствии с особенностями предметной области и образовательного учреждения, в рамках которых используется LMS. Преимущество методики состоит в том, что она дает возможность не только сравнить разные LMS по качеству, но и выявить направления, по которым можно совершенствовать и дорабатывать существующие LMS. В статье проанализированы риски, связанные с превращением систем оценивания из вспомогательного средства в самоцель. Предлагается алгоритм разделения учета качественных и количественных факторов, помогающий избежать негативного эффекта от абсолютизации систем оценок. Намечены пути развития методики и построения на ее основе такой системы управления и организации образовательного процесса, в которой требования качества превалируют над привлекающими требованиями.

**Ключевые слова:** цифровизация, информатизация образования, электронное образование, онлайн-обучение, дистанционные образовательные технологии, система дистанционного обучения, эмергентность.

**DOI:** 10.32517/0234-0453-2021-36-5-4-11

## Для цитирования:

Мариносян А. Х., Андрюшкова О. В. Многокритериальная методика оценки качества LMS в рамках эмергентной системы обучения // Информатика и образование. 2021. № 5. С. 4–11.

**Статья поступила в редакцию:** 21 марта 2021 года.

**Статья принята к печати:** 18 мая 2021 года.

## Сведения об авторах

Мариносян Андреас Хачатурович, специалист, Государственный академический университет гуманитарных наук, г. Москва, Россия; marinos.andrey@yandex.ru; ORCID: 0000-0003-0577-2360

Андрюшкова Ольга Владимировна, канд. хим. наук, доцент, зав. лабораторией методики преподавания химии кафедры общей химии, химический факультет, Московский государственный университет имени М. В. Ломоносова, г. Москва, Россия; o.andryushkova@gmail.com; ORCID: 0000-0002-1566-3427

# 1. Введение

Оценка качества обучения — одна из ключевых проблем в организации эффективного образовательного процесса. Ввиду всеобщей цифровизации сфера образования находится на этапе глубокой трансформации, изменяющей содержание и форму учебного процесса. Для более точного определения характера этих изменений ранее нами предложен термин **эмергентное обучение**, под которым следует понимать «форму организации и управления образовательной деятельностью в условиях системного подхода к использованию возможностей информационно-коммуникационных технологий, электронного обучения и традиционного контактного преподавания в аудитории» [1, с. 15].

Большинство исследователей ограничиваются вопросами оценивания прогресса студентов, качества работы преподавателей (особенно значимы коллективные монографии [2–4], а также посвященный изучаемой проблеме журнал «Assessment in Education: Principles, Policy & Practice»), не фокусируясь на вопросах методики оценки качества **средств обучения**. В настоящее время осуществляется активный поиск новых форм организации обучения, требующий развития и методик оценки действий участников образовательного процесса, и методики оценки образовательного процесса в целом. В частности, нами предложена методика оценки качества обучения на базе негэнтропии [5]. В настоящей статье попытаемся применить эту методику для оценки качества систем управления обучением — Learning Management
# МНОГОКРИТЕРИАЛЬНАЯ МЕТОДИКА ОЦЕНКИ КАЧЕСТВА LMS В РАМКАХ ЭМЕРГЕНТНОЙ СИСТЕМЫ ОБУЧЕНИЯ

А. Х. Мариносян¹, О. В. Андрюшкова²

¹ Государственный академический университет гуманитарных наук
119049, Россия, г. Москва, Мароновский пер., д. 26

² Химический факультет Московского государственного университета имени М. В. Ломоносова
119991, Россия, г. Москва, Ленинские горы, д. 1, стр. 3

## Аннотация

В статье на примере систем управления обучением (Learning Management System, LMS) рассмотрена методика оценки качества обучения, учитывающая запросы экспертов, преподавателей и учащихся. Актуальность исследования обусловлена цифровизацией образования, переходом на дистанционное обучение в качестве основной или вспомогательной формы организации образовательного процесса. Данная методика базируется на концепции эмергентного обучения, разработанной ранее одним из авторов статьи, и на системе оценки качества обучения на основе негэнтропии. Адаптируя эту методологию применительно к задаче оценки LMS, авторы показывают важность создания иерархической схемы модулей и функциональных элементов, необходимых для качественной организации процесса обучения. Для расчета интегральной оценки, согласно авторской позиции, нужно определить весовой коэффициент каждого модуля и каждого критерия, по которому этот модуль оценивается, проставить численные значения критериев для конкретной LMS. Гибкая система оценки, учитывающая запросы всех сторон образовательного процесса, позволяет, модифицируя весовые коэффициенты, адаптировать формулу расчета в соответствии с особенностями предметной области и образовательного учреждения, в рамках которых используется LMS. Преимущество методики состоит в том, что она дает возможность не только сравнить разные LMS по качеству, но и выявить направления, по которым можно совершенствовать и дорабатывать существующие LMS. В статье проанализированы риски, связанные с превращением систем оценивания из вспомогательного средства в самоцель. Предлагается алгоритм разделения учета качественных и количественных факторов, помогающий избежать негативного эффекта от абсолютизации систем оценок. Намечены пути развития методики и построения на ее основе такой системы управления и организации образовательного процесса, в которой требования качества превалируют над привлекающими требованиями.

**Ключевые слова:** цифровизация, информатизация образования, электронное образование, онлайн-обучение, дистанционные образовательные технологии, система дистанционного обучения, эмергентность.

**DOI:** 10.32517/0234-0453-2021-36-5-4-11

## Для цитирования:

Мариносян А. Х., Андрюшкова О. В. Многокритериальная методика оценки качества LMS в рамках эмергентной системы обучения // Информатика и образование. 2021. № 5. С. 4–11.

**Статья поступила в редакцию:** 21 марта 2021 года.

**Статья принята к печати:** 18 мая 2021 года.

## Сведения об авторах

Мариносян Андреас Хачатурович, специалист, Государственный академический университет гуманитарных наук, г. Москва, Россия; marinos.andrey@yandex.ru; ORCID: 0000-0003-0577-2360

Андрюшкова Ольга Владимировна, канд. хим. наук, доцент, зав. лабораторией методики преподавания химии кафедры общей химии, химический факультет, Московский государственный университет имени М. В. Ломоносова, г. Москва, Россия; o.andryushkova@gmail.com; ORCID: 0000-0002-1566-3427

# 1. Введение

Оценка качества обучения — одна из ключевых проблем в организации эффективного образовательного процесса. Ввиду всеобщей цифровизации сфера образования находится на этапе глубокой трансформации, изменяющей содержание и форму учебного процесса. Для более точного определения характера этих изменений ранее нами предложен термин **эмергентное обучение**, под которым следует понимать «форму организации и управления образовательной деятельностью в условиях системного подхода к использованию возможностей информационно-коммуникационных технологий, электронного обучения и традиционного контактного преподавания в аудитории» [1, с. 15].

Большинство исследователей ограничиваются вопросами оценивания прогресса студентов, качества работы преподавателей (особенно значимы коллективные монографии [2–4], а также посвященный изучаемой проблеме журнал «Assessment in Education: Principles, Policy & Practice»), не фокусируясь на вопросах методики оценки качества **средств** обучения. В настоящее время осуществляется активный поиск новых форм организации обучения, требующий развития и методик оценки действий участников образовательного процесса, и методики оценки образовательного процесса в целом. В частности, нами предложена методика оценки качества обучения на базе негэнтропии [5]. В настоящей статье попытаемся применить эту методику для оценки качества систем управления обучением — Learning Management
System (LMS). Сегодня широко представлена лите-
ратура об оценке образовательных курсов и в целом
обучения посредством LMS. Однако работ об оценке
качества именно LMS значительно меньше (см., на-
пример, [6–10]).

## 2. Методология

Интегральную характеристику (J) качества обуче-
ния в работе [5] мы предлагали оценивать по формуле:

$$
J = \sum_{1}^{n} w_{i} k_{i}, \qquad (1)
$$

где:

$w_i$ — весовой коэффициент;

$k_i$ — численное значение критерия.

Адаптируем эту формулу к задаче оценки эффек-
тивности LMS следующим образом:

$$
J = \sum_{i=1}^{n} \left( \sum_{j=1}^{n} w_{ij} k_{ij} \right) s_i, \quad (2)
$$

где:

$s_i$ — весовая доля функционального компонента (подсистемы) LMS;

$k_{ij}$ — численное значение критерия, по которому оценивается эта подсистема;

$w_{ij}$ — весовой коэффициент критерия.

Эксперт описывает, из каких функциональных
подсистем должна состоять LMS, определяет весовую
долю каждой подсистемы (параметр sᵢ). Кроме того,
он указывает, какие критерии оценки должны приме-
няться к каждой подсистеме, и присваивает весовую
долю каждому из этих критериев (wᵢⱼ). Тем самым
параметры sᵢ и wᵢⱼ определяет эксперт безотносительно
к конкретным LMS. Значения kᵢⱼ выставляют те, кто
тестирует конкретные LMS по предложенной модели.
Критерии kᵢⱼ будут общими для различных функцио-
нальных подсистем. В их числе, например, такие кри-
терии, как удобство в использовании (user-friendly),
надежность, поддерживаемые платформы, на кото-
рых эта функция/опция доступна. Ряд критериев
будут специфичными для каждого модуля системы.
Например, для модуля вебинаров в качестве допол-
нительных критериев могут выступать: количество
спикеров, количество присутствующих, разрешение
изображения и т. д. Если предусмотреть, что числен-
ные значения kᵢ выставляют студенты, пользующиеся
этими LMS, то для объективности значений kᵢ можно
применять не среднее арифметическое всех значений
студентов, а, например, их байесовскую оценку.

Таким образом, специалист в области электрон-
ного образования и дистанционных образовательных
технологий составляет «картографию» функцио-
нальных элементов LMS с указанием того, каким
является каждый элемент — факультативным или
обязательным, а также с присвоением весового зна-
чения каждому функциональному элементу.

## 3. Результаты

В соответствии с предложенной методикой для
оценки LMS необходимо создать список («кар-
тографию») функциональных элементов (подси-

стем), установить критерии и весовые коэффи-
циенты для каждого функционального элемента.

Считаем, что второй этап (установление крите-
риев и весовых коэффициентов) должен выполнять
эксперт, адаптирующий методику оценки под свои
определенные задачи, учитывая изложенные в лите-
ратуре проблемы и вызовы, связанные с использова-
нием LMS [11–22].

В настоящей статье представим упорядоченный список модулей, функциональных подсистем LMS, основываясь на требованиях, предъявляемых в соответствующей литературе исследователями данного вопроса [23–25].

1. Система как целое / сборка элементов в единую систему (критериями будут служить связанность элементов, удобство навигации).

2. Платформа, поддерживаемая LMS.

2.1. Работа через веб-браузер.

2.2. Windows.

2.3. MacOS.

2.4. Linux.

2.5. Мобильная версия в App Store.

2.6. Мобильная версия в Google Play.

3. Доступ к LMS.

3.1. Система авторизации.

3.2. Система регистрации.

4. Блок управления учебным процессом.

4.1. Администрирование учебного процесса.

4.1.1. Учебные планы.

4.1.2. Учебные группы, привязанные к курсу.

4.1.3. Учебные группы, соответствующие учебному плану.

4.1.4. Привязка учебных материалов к фа-
культетам, направлениям и про-
филям.

4.1.5. Привязка курсов к семестрам (курс может быть привязан к разным семестрам для разных направлений и профилей).

4.1.6. Привязка курсов к классам.

4.1.7. Длительность курсов.

4.1.8. Система оценивания.

4.2. Регистрация посещаемости и учебная ак-
тивность обучающихся.

4.3. Электронный журнал.

5. Блок мониторинга учебного процесса.

5.1. Статистика по курсам (какие курсы, кто читает лекции, сколько лекций прочитано, сколько должно быть прочитано и т. д.).

5.2. Статистика по каждому преподавателю (проведенные занятия, средний балл прошедших лекционный курс).

5.3. Статистика по каждому студенту (посеща-
емость, полученные оценки).

5.4. Сбор информации для отчетов по контроль-
ным мероприятиям.

6. Поддержка интерактивных форм учебного
процесса.

6.1. Лекции.
System (LMS). Сегодня широко представлена лите-
ратура об оценке образовательных курсов и в целом
обучения посредством LMS. Однако работ об оценке
качества именно LMS значительно меньше (см., на-
пример, [6–10]).

## 2. Методология

Интегральную характеристику (J) качества обуче-
ния в работе [5] мы предлагали оценивать по формуле:

$$
J = \sum_{1}^{n} w_{i} k_{i}, \qquad (1)
$$

где:

$w_i$ — весовой коэффициент;

$k_i$ — численное значение критерия.

Адаптируем эту формулу к задаче оценки эффек-
тивности LMS следующим образом:

$$
J = \sum_{i=1}^{n} \left( \sum_{j=1}^{n} w_{ij} k_{ij} \right) s_i, \quad (2)
$$

где:

$s_i$ — весовая доля функционального компонента (подсистемы) LMS;

$k_{ij}$ — численное значение критерия, по которому оценивается эта подсистема;

$w_{ij}$ — весовой коэффициент критерия.

Эксперт описывает, из каких функциональных
подсистем должна состоять LMS, определяет весовую
долю каждой подсистемы (параметр sᵢ). Кроме того,
он указывает, какие критерии оценки должны приме-
няться к каждой подсистеме, и присваивает весовую
долю каждому из этих критериев (wᵢⱼ). Тем самым
параметры sᵢ и wᵢⱼ определяет эксперт безотносительно
к конкретным LMS. Значения kᵢⱼ выставляют те, кто
тестирует конкретные LMS по предложенной модели.
Критерии kᵢⱼ будут общими для различных функцио-
нальных подсистем. В их числе, например, такие кри-
терии, как удобство в использовании (user-friendly),
надежность, поддерживаемые платформы, на кото-
рых эта функция/опция доступна. Ряд критериев
будут специфичными для каждого модуля системы.
Например, для модуля вебинаров в качестве допол-
нительных критериев могут выступать: количество
спикеров, количество присутствующих, разрешение
изображения и т. д. Если предусмотреть, что числен-
ные значения kᵢ выставляют студенты, пользующиеся
этими LMS, то для объективности значений kᵢ можно
применять не среднее арифметическое всех значений
студентов, а, например, их байесовскую оценку.

Таким образом, специалист в области электрон-
ного образования и дистанционных образовательных
технологий составляет «картографию» функцио-
нальных элементов LMS с указанием того, каким
является каждый элемент — факультативным или
обязательным, а также с присвоением весового зна-
чения каждому функциональному элементу.

3. Результаты

В соответствии с предложенной методикой для
оценки LMS необходимо создать список («кар-
тографию») функциональных элементов (подси-

стем), установить критерии и весовые коэффи-
циенты для каждого функционального элемента.

Считаем, что второй этап (установление крите-
риев и весовых коэффициентов) должен выполнять
эксперт, адаптирующий методику оценки под свои
определенные задачи, учитывая изложенные в лите-
ратуре проблемы и вызовы, связанные с использова-
нием LMS [11–22].

В настоящей статье представим упорядоченный список модулей, функциональных подсистем LMS, основываясь на требованиях, предъявляемых в соответствующей литературе исследователями данного вопроса [23–25].

1. Система как целое / сборка элементов в единую систему (критериями будут служить связанность элементов, удобство навигации).

2. Платформа, поддерживаемая LMS.

2.1. Работа через веб-браузер.

2.2. Windows.

2.3. MacOS.

2.4. Linux.

2.5. Мобильная версия в App Store.

2.6. Мобильная версия в Google Play.

3. Доступ к LMS.

3.1. Система авторизации.

3.2. Система регистрации.

4. Блок управления учебным процессом.

4.1. Администрирование учебного процесса.

4.1.1. Учебные планы.

4.1.2. Учебные группы, привязанные к курсу.

4.1.3. Учебные группы, соответствующие учебному плану.

4.1.4. Привязка учебных материалов к фа-
культетам, направлениям и про-
филям.

4.1.5. Привязка курсов к семестрам (курс может быть привязан к разным семестрам для разных направлений и профилей).

4.1.6. Привязка курсов к классам.

4.1.7. Длительность курсов.

4.1.8. Система оценивания.

4.2. Регистрация посещаемости и учебная ак-
тивность обучающихся.

4.3. Электронный журнал.

5. Блок мониторинга учебного процесса.

5.1. Статистика по курсам (какие курсы, кто читает лекции, сколько лекций прочитано, сколько должно быть прочитано и т. д.).

5.2. Статистика по каждому преподавателю (проведенные занятия, средний балл прошедших лекционный курс).

5.3. Статистика по каждому студенту (посеща-
емость, полученные оценки).

5.4. Сбор информации для отчетов по контроль-
ным мероприятиям.

6. Поддержка интерактивных форм учебного
процесса.

6.1. Лекции.
6.2. Семинары.

6.3. Задания.

6.4. Тестирование.

6.4.1. Одиночный выбор.

6.4.2. Ассоциации.

6.4.3. Перетаскивание картинок.

6.4.4. Перетаскивание слов.

6.4.5. Вложенные ответы.

6.4.6. Простой закрытый вопрос (верно/неверно).

6.4.7. Простой вычисляемый вопрос.

6.4.8. Множественный вычисляемый вопрос.

6.4.9. Вопрос на соответствие.

6.4.10. Задание на упорядочение.

6.4.11. Развернутый текстовый ответ.

6.5. Игры.

6.6. Обработка и анализ результатов.

7. Блок коммуникации и обмена материалами:

7.1. Модуль видеосвязи.

7.1.1. Максимальное количество спикеров.

7.1.2. Максимальное количество участников.

7.1.3. Выведение на экран рабочего стола спикера.

7.1.4. Функция поднятия руки участника.

7.2. Доставка материала.

7.2.1. Записанные (мультимедийные) уроки.

7.2.1.1. Возможность замедлять/ускорять воспроизведение видео.

7.2.1.2. Интеграция с технологиями виртуальной реальности (VR).

7.2.1.3. Интеграция с технологиями дополненной реальности (AR).

7.2.2. Доставка фото.

7.2.3. Доставка текстовых материалов (pdf, текстовых файлов).

7.2.4. Доставка (скачивание) других типов файлов.

7.2.5. Обмен файлами между преподавателем и студентами.

7.2.6. Обмен файлами между студентами.

7.3. Формы коммуникации.

7.3.1. Обмен сообщениями.

7.3.2. Визуальный веб-редактор.

7.3.3. Форум.

7.3.4. Чаты.

7.3.5. Сообщения.

7.3.6. Интеграция с группами в мессенджерах.

7.3.7. Интеграция платформы для вебинаров.

8. Библиотека материалов.

8.1. Контент (размещение учебно-методических материалов в виде текстовых файлов, аудио-, видеофайлов).

8.2. Портфолио материалов учеников.

8.3. Wiki-формат размещения статей/материалов.

8.4. Глоссарий.

9. Техническая поддержка.

9.1. Форум.

9.2. Чат поддержки.

9.3. Поддержка по электронной почте.

Использование подобной методики предполагает вовлечение большого количества лиц (экспертов, преподавателей и студентов) для детального описания критериев и получение объективных оценок за счет репрезентативной выборки пользователей LMS.

Но, чтобы проиллюстрировать работу с предлагаемой методикой, мы хотим провести «экспрессоценку» четырех широко известных платформ для проведения видеомероприятий — Zoom, MS Teams, BigBlueButton, Jitsi, — исходя из требований, которые мы лично как пользователи к таким платформам предъявляем. Цифры используем для перечисления модулей/функций, латинские буквы — для перечисления критериев. Модули/функции имеют один параметр — весовой коэффициент, критерии имеют два параметра — весовой коэффициент (*w*) и область значения критерия (*k*). Так, «*k* = 0 или 1» означает бинарную оценку: или 0, если функция отсутствует, или 1, если функция присутствует, а «*k* = от 0 до 1» означает отрезок от 0 до 1 в зависимости от степени соответствия критерию. Предлагаемая шкала оценки уже изначально нормирована посредством весовых коэффициентов, и максимальный общий балл составляет 1. Для удобства восприятия можно предусмотреть умножение итогового/общего балла на 100.

1. Платформа для видеомероприятий в целом (*s* = 0,25).

1.а. Удобство в навигации (*w* = 0,28; *k* = от 0 до 1).

1.б. Стабильность в работе (зависания, проблемы со звуком, появление сообщений об ошибках) (*w* = 0,6; *k* = от 0 до 1).

1.с. Дизайн (*w* = 0,12; *k* = от 0 до 1).

2. Кроссплатформенность (*s* = 0,1)*.

2.а. Работа через веб-браузер (*w* = 0,3; *k* = 0 или 1).

2.б. Адаптация веб-версии под использование с мобильных устройств (*w* = 0,2; *k* = 0 или 1).

2.с. Windows (*w* = 0,14; *k* = 0 или 1).

2.d. MacOS (*w* = 0,04; *k* = 0 или 1).

2.e. Linux (*w* = 0,02; *k* = 0 или 1).

<footnote>* В данной «упрощенной» версии мы представили поддержку отдельных платформ как критерии, а не как функции. В более детальной версии нашего анализа можно представить поддержку отдельных платформ как функции и ввести критерии для полноценной оценки каждой из функций. Например, для приложения для Linux можно было бы ввести следующие критерии: а) степень легкости в установке, б) надежность работы приложения, в) диапазон поддерживаемых дистрибутивов Linux, г) степень урезанности/неурезанности функционала приложения для Linux по сравнению с базовым приложением для Windows.</footnote>
6.2. Семинары.

6.3. Задания.

6.4. Тестирование.

6.4.1. Одиночный выбор.

6.4.2. Ассоциации.

6.4.3. Перетаскивание картинок.

6.4.4. Перетаскивание слов.

6.4.5. Вложенные ответы.

6.4.6. Простой закрытый вопрос (верно/неверно).

6.4.7. Простой вычисляемый вопрос.

6.4.8. Множественный вычисляемый вопрос.

6.4.9. Вопрос на соответствие.

6.4.10. Задание на упорядочение.

6.4.11. Развернутый текстовый ответ.

6.5. Игры.

6.6. Обработка и анализ результатов.

7. Блок коммуникации и обмена материалами:

7.1. Модуль видеосвязи.

7.1.1. Максимальное количество спикеров.

7.1.2. Максимальное количество участников.

7.1.3. Выведение на экран рабочего стола спикера.

7.1.4. Функция поднятия руки участника.

7.2. Доставка материала.

7.2.1. Записанные (мультимедийные) уроки.

7.2.1.1. Возможность замедлять/ускорять воспроизведение видео.

7.2.1.2. Интеграция с технологиями виртуальной реальности (VR).

7.2.1.3. Интеграция с технологиями дополненной реальности (AR).

7.2.2. Доставка фото.

7.2.3. Доставка текстовых материалов (pdf, текстовых файлов).

7.2.4. Доставка (скачивание) других типов файлов.

7.2.5. Обмен файлами между преподавателем и студентами.

7.2.6. Обмен файлами между студентами.

7.3. Формы коммуникации.

7.3.1. Обмен сообщениями.

7.3.2. Визуальный веб-редактор.

7.3.3. Форум.

7.3.4. Чаты.

7.3.5. Сообщения.

7.3.6. Интеграция с группами в мессенджерах.

7.3.7. Интеграция платформы для вебинаров.

8. Библиотека материалов.

8.1. Контент (размещение учебно-методических материалов в виде текстовых файлов, аудио-, видеофайлов).

8.2. Портфолио материалов учеников.

8.3. Wiki-формат размещения статей/материалов.

8.4. Глоссарий.

9. Техническая поддержка.

9.1. Форум.

9.2. Чат поддержки.

9.3. Поддержка по электронной почте.

Использование подобной методики предполагает вовлечение большого количества лиц (экспертов, преподавателей и студентов) для детального описания критериев и получение объективных оценок за счет репрезентативной выборки пользователей LMS.

Но, чтобы проиллюстрировать работу с предлагаемой методикой, мы хотим провести «экспрессоценку» четырех широко известных платформ для проведения видеомероприятий — Zoom, MS Teams, BigBlueButton, Jitsi, — исходя из требований, которые мы лично как пользователи к таким платформам предъявляем. Цифры используем для перечисления модулей/функций, латинские буквы — для перечисления критериев. Модули/функции имеют один параметр — весовой коэффициент, критерии имеют два параметра — весовой коэффициент (*w*) и область значения критерия (*k*). Так, «*k* = 0 или 1» означает бинарную оценку: или 0, если функция отсутствует, или 1, если функция присутствует, а «*k* = от 0 до 1» означает отрезок от 0 до 1 в зависимости от степени соответствия критерию. Предлагаемая шкала оценки уже изначально нормирована посредством весовых коэффициентов, и максимальный общий балл составляет 1. Для удобства восприятия можно предусмотреть умножение итогового/общего балла на 100.

1. Платформа для видеомероприятий в целом (*s* = 0,25).

1.а. Удобство в навигации (*w* = 0,28; *k* = от 0 до 1).

1.б. Стабильность в работе (зависания, проблемы со звуком, появление сообщений об ошибках) (*w* = 0,6; *k* = от 0 до 1).

1.с. Дизайн (*w* = 0,12; *k* = от 0 до 1).

2. Кроссплатформенность (*s* = 0,1)*.

2.а. Работа через веб-браузер (*w* = 0,3; *k* = 0 или 1).

2.б. Адаптация веб-версии под использование с мобильных устройств (*w* = 0,2; *k* = 0 или 1).

2.с. Windows (*w* = 0,14; *k* = 0 или 1).

2.d. MacOS (*w* = 0,04; *k* = 0 или 1).

2.e. Linux (*w* = 0,02; *k* = 0 или 1).

<footnote>* В данной «упрощенной» версии мы представили поддержку отдельных платформ как критерии, а не как функции. В более детальной версии нашего анализа можно представить поддержку отдельных платформ как функции и ввести критерии для полноценной оценки каждой из функций. Например, для приложения для Linux можно было бы ввести следующие критерии: а) степень легкости в установке, б) надежность работы приложения, в) диапазон поддерживаемых дистрибутивов Linux, г) степень урезанности/неурезанности функционала приложения для Linux по сравнению с базовым приложением для Windows.</footnote>
2.f. Мобильная версия в Google Play (w = 0,2; k = 0 или 1).

2.g. Мобильная версия в App Store (w = 0,1; k = 0 или 1).

3. Защита от несанкционированного входа (s = 0,05).

3.a. Зал ожидания (w = 0,6; k = 0 или 1).

3.b. Возможность установления пароля на вход (w = 0,4; k = 0 или 1).

4. Функционал управления (s = 0,3).

4.1. Функционал организации онлайн-мероприятия (s = 0,14).

4.1.a. Максимальное количество присутствующих (w = 0,25; k = от 0 до 1 (1 при 100 присутствующих)).

4.1.b. Максимальная длительность видемероприятия (w = 0,15; k = от 0 до 1 (1, если более 4 часов)).

4.1.c. Планирование времени онлайн-мероприятия (w = 0,07; k = 0 или 1).

4.1.d. Календарь прошедших и запланированных онлайн-мероприятий (w = 0,07; k = 0 или 1).

4.1.e. Книга контактов участников онлайн-мероприятий (w = 0,11; k = 0 или 1).

4.1.f. Рассылка приглашения на онлайн-мероприятие (w = 0,07; k = 0 или 1).

4.1.g. Поднятие руки (w = 0,14; k = 0 или 1).

4.1.h. Запись онлайн-мероприятия (w = 0,14; k = 0 или 1).

4.2. Управление организатором спикерами (s = 0,04).

4.2.a. Возможность присвоения статуса спикера присутствующему (w = 0,75; k = 0 или 1).

4.2.b. Возможность присвоения статуса спикера сразу нескольким присутствующим (w = 0,25; k = 0 или 1).

4.3. Управление организатором присутствующими (s = 0,1).

4.3.a. Отключение организатором микрофона присутствующих (w = 0,3; k = 0 или 1).

4.3.b. Удаление присутствующих из онлайн-мероприятия (w = 0,2; k = 0 или 1).

4.3.c. Запрет присутствовавшему на второе подключение (w = 0,2; k = 0 или 1).

4.3.d. Обязательная верификация присутствующих по e-mail (w = 0,2; k = 0 или 1).

4.3.e. Обязательная верификация присутствующих по биометрии (распознавание лица) (w = 0,1; k = 0 или 1).

4.4. Магазин приложений для совершенствования функционала (s = 0,02).

4.4.a. Широта ассортиментов приложений в магазине (w = 1; k = от 0 до 1).

5. Блок коммуникации (s = 0,3).

5.1. Видеофункционал (s = 0,15).

5.1.a. Качество видеоизображения (w = 0,33; k = от 0 до 1).

5.1.b. Стабильность передачи видео (w = 0,33; k = от 0 до 1).

5.1.c. Возможность демонстрации рабочего стола (w = 0,15; k = 0 или 1).

5.1.d. Возможность изменения фона (w = 0,05; k = 0 или 1).

5.1.e. Возможность применения видеофильтров (w = 0,04; k = 0 или 1).

5.1.f. Трансляция онлайн-мероприятия на YouTube (w = 0,1; k = 0 или 1).

5.2. Аудиофункционал (s = 0,07).

5.2.a. Стабильность взаимодействия с гарнитурой пользователей (w = 0,65; k = от 0 до 1).

5.2.b. Функция проверки динамика и микрофона (w = 0,2; k = 0 или 1).

5.2.c. Распознавание аудио и выведение субтитров (w = 0,15; k = 0 или 1).

5.3. Функционал текстового общения (s = 0,05).

5.3.a. Общий чат (w = 0,4; k = 0 или 1).

5.3.b. Экспорт переписки в чате (w = 0,2; k = 0 или 1).

5.3.c. Отправка приватных сообщений (w = 0,2; k = 0 или 1).

5.3.d. Форма для вопросов к спикеру (w = 0,2; k = 0 или 1).

5.4. Передача файлов (s = 0,03).

5.4.a. Максимальный объем передаваемых файлов (w = 0,5; k = от 0 до 1 (1 при 100 МВ)).

5.4.b. Библиотека переданных файлов (w = 0,5; k = 0 или 1).

По перечисленным критериям было проведено сравнение четырех платформ для проведения видеомероприятий — Zoom, MS Teams, BigBlueButton, Jitsi. После суммирования по формуле (2) получены следующие результаты:

* Zoom (бесплатная версия) — 79 баллов;

* MS Teams (бесплатная версия) — 71 балл;

* BigBlueButton — 52 балла;

* Jitsi — 58 баллов.

Повторимся, такой экспресс-анализ проведен исключительно с целью демонстрации того, как пользоваться предлагаемой методологией, и его результаты отражают соответствие сравниваемых платформ конкретным задачам, с которыми сталкиваются авторы статьи в ходе организации образовательного процесса.

## 4. Обсуждение

В рамках предлагаемой модели системы оценки эффективности мы создаем так называемую картографию модулей / функциональных элементов LMS и в итоге получаем информацию о том, доработка каких модулей и по каким критериям наиболее актуальна.
2.f. Мобильная версия в Google Play (w = 0,2; k = 0 или 1).

2.g. Мобильная версия в App Store (w = 0,1; k = 0 или 1).

3. Защита от несанкционированного входа (s = 0,05).

3.a. Зал ожидания (w = 0,6; k = 0 или 1).

3.b. Возможность установления пароля на вход (w = 0,4; k = 0 или 1).

4. Функционал управления (s = 0,3).

4.1. Функционал организации онлайн-мероприятия (s = 0,14).

4.1.a. Максимальное количество присутствующих (w = 0,25; k = от 0 до 1 (1 при 100 присутствующих)).

4.1.b. Максимальная длительность видемероприятия (w = 0,15; k = от 0 до 1 (1, если более 4 часов)).

4.1.c. Планирование времени онлайн-мероприятия (w = 0,07; k = 0 или 1).

4.1.d. Календарь прошедших и запланированных онлайн-мероприятий (w = 0,07; k = 0 или 1).

4.1.e. Книга контактов участников онлайн-мероприятий (w = 0,11; k = 0 или 1).

4.1.f. Рассылка приглашения на онлайн-мероприятие (w = 0,07; k = 0 или 1).

4.1.g. Поднятие руки (w = 0,14; k = 0 или 1).

4.1.h. Запись онлайн-мероприятия (w = 0,14; k = 0 или 1).

4.2. Управление организатором спикерами (s = 0,04).

4.2.a. Возможность присвоения статуса спикера присутствующему (w = 0,75; k = 0 или 1).

4.2.b. Возможность присвоения статуса спикера сразу нескольким присутствующим (w = 0,25; k = 0 или 1).

4.3. Управление организатором присутствующими (s = 0,1).

4.3.a. Отключение организатором микрофона присутствующих (w = 0,3; k = 0 или 1).

4.3.b. Удаление присутствующих из онлайн-мероприятия (w = 0,2; k = 0 или 1).

4.3.c. Запрет присутствовавшему на второе подключение (w = 0,2; k = 0 или 1).

4.3.d. Обязательная верификация присутствующих по e-mail (w = 0,2; k = 0 или 1).

4.3.e. Обязательная верификация присутствующих по биометрии (распознавание лица) (w = 0,1; k = 0 или 1).

4.4. Магазин приложений для совершенствования функционала (s = 0,02).

4.4.a. Широта ассортиментов приложений в магазине (w = 1; k = от 0 до 1).

5. Блок коммуникации (s = 0,3).

5.1. Видеофункционал (s = 0,15).

5.1.a. Качество видеоизображения (w = 0,33; k = от 0 до 1).

5.1.b. Стабильность передачи видео (w = 0,33; k = от 0 до 1).

5.1.c. Возможность демонстрации рабочего стола (w = 0,15; k = 0 или 1).

5.1.d. Возможность изменения фона (w = 0,05; k = 0 или 1).

5.1.e. Возможность применения видеофильтров (w = 0,04; k = 0 или 1).

5.1.f. Трансляция онлайн-мероприятия на YouTube (w = 0,1; k = 0 или 1).

5.2. Аудиофункционал (s = 0,07).

5.2.a. Стабильность взаимодействия с гарнитурой пользователей (w = 0,65; k = от 0 до 1).

5.2.b. Функция проверки динамика и микрофона (w = 0,2; k = 0 или 1).

5.2.c. Распознавание аудио и выведение субтитров (w = 0,15; k = 0 или 1).

5.3. Функционал текстового общения (s = 0,05).

5.3.a. Общий чат (w = 0,4; k = 0 или 1).

5.3.b. Экспорт переписки в чате (w = 0,2; k = 0 или 1).

5.3.c. Отправка приватных сообщений (w = 0,2; k = 0 или 1).

5.3.d. Форма для вопросов к спикеру (w = 0,2; k = 0 или 1).

5.4. Передача файлов (s = 0,03).

5.4.a. Максимальный объем передаваемых файлов (w = 0,5; k = от 0 до 1 (1 при 100 МВ)).

5.4.b. Библиотека переданных файлов (w = 0,5; k = 0 или 1).

По перечисленным критериям было проведено сравнение четырех платформ для проведения видеомероприятий — Zoom, MS Teams, BigBlueButton, Jitsi. После суммирования по формуле (2) получены следующие результаты:

* Zoom (бесплатная версия) — 79 баллов;

* MS Teams (бесплатная версия) — 71 балл;

* BigBlueButton — 52 балла;

* Jitsi — 58 баллов.

Повторимся, такой экспресс-анализ проведен исключительно с целью демонстрации того, как пользоваться предлагаемой методологией, и его результаты отражают соответствие сравниваемых платформ конкретным задачам, с которыми сталкиваются авторы статьи в ходе организации образовательного процесса.

## 4. Обсуждение

В рамках предлагаемой модели системы оценки эффективности мы создаем так называемую картографию модулей / функциональных элементов LMS и в итоге получаем информацию о том, доработка каких модулей и по каким критериям наиболее актуальна.
Если предположить, что LMS представляет собой открытый исходный код (например, Moodle является LMS с открытым исходным кодом) и, соответственно, систему можно адаптировать под собственные задачи, то, используя предлагаемую модель оценки эффективности, возможно создать платформу взаимодействия экспертов, преподавателей, студентов и разработчиков.

В результате их работы получаем скалярное поле потенциалов по доработке каждого модуля и с учетом каждого критерия (в самом простом виде потенциал будет равен разности между максимально возможным баллом по критерию и реально полученным, помноженной, в свою очередь, на весовой коэффициент критерия и на весовую долю модуля), т. е.:

$$ \varphi_{ij} = (k_{\max} - k_{ij})w_{ij}s_i, \quad (3) $$

где:

$\varphi_{ij}$ — потенциал по критерию $k_{ij}$;

$k_{\max}$ — максимальное значение по критерию, которое принято в нашей методике (например, это может быть 1, если оцениваем от 0 до 1, или 10, если оцениваем от 1 до 10).

Затем разработчики анализируют LMS и выставленные ей баллы, вносят свои предложения относительно функции, отражающей зависимость между улучшением по этому критерию (т. е. насколько сократится потенциал по данному критерию) и объемом трудозатрат, необходимых для осуществления такого улучшения (в случае программирования ими станут в первую очередь временные трудозатраты).

Указанная функция вряд ли будет линейной, по скольку, как правило, чем больше мы приближаемся к высоким значениям, тем больше времени требуется для доработки впоследствии. У нас получается функция в виде:

$$ c_{ij} = -f(\varphi_{ij}), \quad (4) $$

где $c_{ij}$ — трудозатраты на улучшение.

Соответственно, если мы возьмем производные по $c_{ij}$ и отсортируем их от большего к меньшему, то получим список направлений улучшений системы от наиболее приоритетных (т. е. направлений, в которых наименьшими трудозатратами можно сделать как можно больше значимых улучшений) к наименее приоритетным.

После того как разработчик доработает модуль, последний снова оценивают преподаватели и студенты по предусмотренным критериям. Учитывая результаты этой оценки, определяют и вознаграждение разработчика, которое будет пропорционально интегралу функции трудозатрат. Получаем:

$$ P = \int_{\varphi_1}^{\varphi_2} c(\varphi_{ij}) d\varphi_{ij}, \quad (5) $$

где:

$P$ — размер вознаграждения;

$c(\varphi_{ij})$ — функция трудозатрат.

Таким образом, отчасти подобно тому, как в естественных науках энтропию используют для определения направления теплообмена или возможности протекания реакции, мы можем применять пред-

лагаемую методику для определения направлений изменений и улучшений LMS. С помощью предложенной модели оценки качества обучения создан запрос на то, каким должен быть процесс обучения. В нашем случае создан запрос на LMS с необходимым набором модулей определенного функционала. Но система оценивания сама по себе может принести как пользу, так и вред. Пример этого — школьные оценки (в англоязычной литературе часто можно встретить емко отражающее суть этой дилеммы выражение «use and abuse» [26] применительно к средствам оценивания образовательного процесса).

Действительно, в последние десятилетия наблюдается активная тенденция к цифровизации средств обучения, что не всегда приводит к росту качества обучения. Абсолютизация процесса оценивания может иметь своим следствием эволюцию образовательной системы в направлении снижения сопротивления, обеспечения легкости обучения и понимания в ущерб решениям, которые требуются для достижения строности и точности в изложении и понимании знания. Вместе с тем нельзя не признать, что замещение ориентации на культуру мышления, которая всегда в значительной мере индивидуальна, ориентацией на формализованные и однозначно верифицируемые параметры носит долгосрочный и всеобъемлющий характер. Поэтому нам представляется актуальным вопрос о том, чтобы система оценивания оставалась именно такой, чтобы она поощряла «автономию», а не «гетерономию» мотивации оценивающих, т. е. чтобы целью оценивания было достижение более высокого качества, а не достижение количественных показателей или иных привходящих целей.

Согласно предложенной нами модели предполагается, что оценки ставят эксперты, преподаватели и студенты. Какой формат организации процесса оценивания будет способствовать тому, чтобы выставляемые ими оценки позволяли улучшить качество LMS, а не преследовали иные цели? Это важный вопрос, нуждающийся в изучении.

На наш взгляд, целесообразно обсудить следующие направления решения данной проблемы:

* Во-первых, недостаточно оценивать продукт (в частности, LMS) — необходимо оценивать и вклад лица (эксперта, преподавателя или студента) в процесс оценивания.

* Во-вторых, вклад в процесс оценивания (т. е. качественный вклад) следует учитывать отдельно от вклада количественного (к примеру, трудозатрат на совершенствование LMS, о которых говорилось ранее в статье). Так, качественная оценка вклада в совершенствование LMS может зависеть от степени соответствия предлагаемых изменений по совершенствованию LMS тому, какой в итоге путь совершенствования LMS принят. Характеризуемые качественные оценки вклада лица в совершенствование образовательного процесса должны быть накопительными и в значительной мере влиять на статус этого лица в рамках образовательного процесса, чтобы обладать мотивационной силой.
Если предположить, что LMS представляет собой открытый исходный код (например, Moodle является LMS с открытым исходным кодом) и, соответственно, систему можно адаптировать под собственные задачи, то, используя предлагаемую модель оценки эффективности, возможно создать платформу взаимодействия экспертов, преподавателей, студентов и разработчиков.

В результате их работы получаем скалярное поле потенциалов по доработке каждого модуля и с учетом каждого критерия (в самом простом виде потенциал будет равен разности между максимально возможным баллом по критерию и реально полученным, помноженной, в свою очередь, на весовой коэффициент критерия и на весовую долю модуля), т. е.:

$$ \varphi_{ij} = (k_{\max} - k_{ij})w_{ij}s_i, \quad (3) $$

где:

$\varphi_{ij}$ — потенциал по критерию $k_{ij}$;

$k_{\max}$ — максимальное значение по критерию, которое принято в нашей методике (например, это может быть 1, если оцениваем от 0 до 1, или 10, если оцениваем от 1 до 10).

Затем разработчики анализируют LMS и выставленные ей баллы, вносят свои предложения относительно функции, отражающей зависимость между улучшением по этому критерию (т. е. насколько сократится потенциал по данному критерию) и объемом трудозатрат, необходимых для осуществления такого улучшения (в случае программирования ими станут в первую очередь временные трудозатраты).

Указанная функция вряд ли будет линейной, по скольку, как правило, чем больше мы приближаемся к высоким значениям, тем больше времени требуется для доработки впоследствии. У нас получается функция в виде:

$$ c_{ij} = -f(\varphi_{ij}), \quad (4) $$

где $c_{ij}$ — трудозатраты на улучшение.

Соответственно, если мы возьмем производные по $c_{ij}$ и отсортируем их от большего к меньшему, то получим список направлений улучшений системы от наиболее приоритетных (т. е. направлений, в которых наименьшими трудозатратами можно сделать как можно больше значимых улучшений) к наименее приоритетным.

После того как разработчик доработает модуль, последний снова оценивают преподаватели и студенты по предусмотренным критериям. Учитывая результаты этой оценки, определяют и вознаграждение разработчика, которое будет пропорционально интегралу функции трудозатрат. Получаем:

$$ P = \int_{\varphi_1}^{\varphi_2} c(\varphi_{ij}) d\varphi_{ij}, \quad (5) $$

где:

$P$ — размер вознаграждения;

$c(\varphi_{ij})$ — функция трудозатрат.

Таким образом, отчасти подобно тому, как в естественных науках энтропию используют для определения направления теплообмена или возможности протекания реакции, мы можем применять пред

лагаемую методику для определения направлений изменений и улучшений LMS. С помощью предложенной модели оценки качества обучения создан запрос на то, каким должен быть процесс обучения. В нашем случае создан запрос на LMS с необходимым набором модулей определенного функционала. Но система оценивания сама по себе может принести как пользу, так и вред. Пример этого — школьные оценки (в англоязычной литературе часто можно встретить емко отражающее суть этой дилеммы выражение «use and abuse» [26] применительно к средствам оценивания образовательного процесса).

Действительно, в последние десятилетия наблюдается активная тенденция к цифровизации средств обучения, что не всегда приводит к росту качества обучения. Абсолютизация процесса оценивания может иметь своим следствием эволюцию образовательной системы в направлении снижения сопротивления, обеспечения легкости обучения и понимания в ущерб решениям, которые требуются для достижения строности и точности в изложении и понимании знания. Вместе с тем нельзя не признать, что замещение ориентации на культуру мышления, которая всегда в значительной мере индивидуальна, ориентацией на формализованные и однозначно верифицируемые параметры носит долгосрочный и всеобъемлющий характер. Поэтому нам представляется актуальным вопрос о том, чтобы система оценивания оставалась именно такой, чтобы она поощряла «автономию», а не «гетерономию» мотивации оценивающих, т. е. чтобы целью оценивания было достижение более высокого качества, а не достижение количественных показателей или иных привходящих целей.

Согласно предложенной нами модели предполагается, что оценки ставят эксперты, преподаватели и студенты. Какой формат организации процесса оценивания будет способствовать тому, чтобы выставляемые ими оценки позволяли улучшить качество LMS, а не преследовали иные цели? Это важный вопрос, нуждающийся в изучении.

На наш взгляд, целесообразно обсудить следующие направления решения данной проблемы:

* Во-первых, недостаточно оценивать продукт (в частности, LMS) — необходимо оценивать и вклад лица (эксперта, преподавателя или студента) в процесс оценивания.

* Во-вторых, вклад в процесс оценивания (т. е. качественный вклад) следует учитывать отдельно от вклада количественного (к примеру, трудозатрат на совершенствование LMS, о которых говорилось ранее в статье). Так, качественная оценка вклада в совершенствование LMS может зависеть от степени соответствия предлагаемых изменений по совершенствованию LMS тому, какой в итоге путь совершенствования LMS принят. Характеризуемые качественные оценки вклада лица в совершенствование образовательного процесса должны быть накопительными и в значительной мере влиять на статус этого лица в рамках образовательного процесса, чтобы обладать мотивационной силой.
## 5. Выводы

Предлагаемая в статье методика оценки качества LMS позволяет не только сравнивать имеющиеся продукты, но и выявлять направление, в котором должна быть продолжена работа по совершенствованию LMS для того, чтобы она в большей степени отвечала запросам образовательного сообщества. Особенность предлагаемой методики заключается в том, что она учитывает позицию всех участников образовательного процесса (экспертов, преподавателей и студентов) и дает возможность оценивать качество LMS, исходя из задач конкретной специальности, вуза, региона. Эксперты, принимая во внимание специфику тех или иных условий труда, могут выставлять соответствующие весовые коэффициенты критериям, согласно которым производится оценка. Развитие предлагаемой методики приведет к созданию полноценной среды взаимодействия всех сторон образовательного процесса, где требования качества превалируют над привходящими требованиями.

### Список использованных источников

1. Андрюшкова О. В., Григорьев С. Г. Эмергентное обучение в информационно-образовательной среде. М.: Образование и Информатика, 2018. 104 с.

2. Kellaghan T., Stufflebeam D. L. International handbook of educational evaluation. Dordrecht: Springer, 2003. 1060 p. DOI: 10.1007/978-94-010-0309-4

3. Dunn L., Morgan C., O'Reilly M., Parry S. The student assessment handbook: New directions in traditional and online assessment. London: Routledge, 2003. 320 p. DOI: 10.4324/9780203416518

4. Cox K., Imrie B. W., Miller A. H. Student assessment in higher education: A handbook for assessing performance. London: Routledge, 1998. 292 p. https://www.routledge.com/Student-Assessment-in-Higher-Education-A-Handbook-for-Assessing-Performance/Cox-Imrie-Miller/p/book/9780749427979

5. Andryushkova O., Grigoriev S. The influence online learning quality criteria selection on negentropy // Proc. 4th Int. Conf. on Informatization of Education and E-learning Methodology: Digital Technologies in Education. 2020. Vol. 2770. P. 127–139. http://ceur-ws.org/Vol-2770/paper17.pdf

6. Андреев А. А. Оценка качества онлайн курсов // Территория науки. 2015. № 1. С. 20–26.

7. Horvat A., Dobrota M., Krsmanovic M., Cudanov M. Student perception of Moodle learning management system: a satisfaction and significance analysis // Interactive Learning Environments. 2015. Vol. 23. Is. 4. P. 515–527. DOI: 10.1080/10494820.2013.788033

8. Han I., Shin W. S. The use of a mobile learning management system and academic achievement of online students // Computers & Education. 2016. Vol. 102. P. 79–89. DOI: 10.1016/j.compedu.2016.07.003

9. Farid S., Ahmad R., Alam M., Akbar A., Chang V. A sustainable quality assessment model for the information delivery in E-learning systems // Information Discovery and Delivery. 2018. Vol. 46. Is. 1. P. 1–25. DOI: 10.1108/IDD-11-2016-0047

10. Cerezo R., Bogarín A., Esteban M., Romero C. Process mining for self-regulated learning assessment in e-learning // Journal of Computing in Higher Education. 2020. Vol. 32. Is. 1. P. 74–88. DOI: 10.1007/s12528-019-09225-y

11. Henriksen D., Creely E., Henderson M. Folk pedagogies for teacher transitions: Approaches to synchronous online learning in the wake of COVID-19 // Journal of Technology and Teacher Education. 2020. Vol. 28. Is. 2. P. 201–209.

12. Gillett-Swan J. The challenges of online learning: Supporting and engaging the isolated learner // Journal of Learning Design. 2017. Vol. 10. No. 1. P. 20–30. DOI: 10.5204/jld.v9i3.293

13. Kara M., Erdoğdu F., Kokoç M., Cagiltay K. Challenges faced by adult learners in online distance education: A literature review // Open Praxis. 2019. Vol. 11. No. 1. P. 5–22. DOI: 10.5944/openpraxis.11.1.929

14. Fresen J. W. Embracing distance education in a blended learning model: challenges and prospects // Distance Education. 2018. Vol. 39. Is. 2. P. 224–240. DOI: 10.1080/01587919.2018.1457949

15. Damary R., Markova T., Pryadilina N. Key challenges of on-line education in multi-cultural context // Procedia – Social and Behavioral Sciences. 2017. Vol. 237. P. 83–89. DOI: 10.1016/j.sbspro.2017.02.034

16. Ouma R., Nkuyubwatsi B. Transforming university learner support in open and distance education: Staff and students perceived challenges and prospects // Cogent Education. 2019. Vol. 6. Is. 1. DOI: 10.1080/2331186X.2019.1658934

17. Nage-Sibande B., Morolong B. L. A trend analysis of opportunities and challenges of open and distance learning provision in dual-mode institutions // Distance Education. 2018. Vol. 39. Is. 4. P. 495–510. DOI: 10.1080/01587919.2018.1457951

18. Palvia S., Aeron P., Gupta P., Mahapatra D., Parija R., Rosner R., Sindhi S. Online education: Worldwide status, challenges, trends, and implications // Journal of Global Information Technology Management. 2018. Vol. 21. Is. 4. P. 233–241. DOI: 10.1080/1097198X.2018.1542262

19. Kebritchi M., Lipschuetz A., Santiago L. Issues and challenges for teaching successful online courses in higher education: A literature review // Journal of Educational Technology Systems. 2017. Vol. 46. Is. 1. P. 4–29. DOI: 10.1177/0047239516661713

20. Chen S.-Y., Basma D., Ju J., Ng K.-M. Opportunities and challenges of multicultural and international online education // Professional Counselor. 2020. Vol. 10. No. 1. P. 120–132. https://eric.ed.gov/?id=EJ1251004

21. Cloete A. L. Technology and education: Challenges and opportunities // Theological Studies. 2017. Vol. 73. No. 3. P. 1–7. DOI: 10.4102/hts.v73i3.4589

22. Yusuf B. N. Are we prepared enough? A case study of challenges in online learning in a private higher learning institution during the COVID-19 outbreaks // Advances in Social Sciences Research Journal. 2020. Vol. 7. No. 5. P. 205–212. DOI: 10.14738/assrj.75.8211

23. Kear K., Rosewell J., Williams K., Ossiannilsson E., Rodrigo C., Sánchez-Elvira Paniagua Á., Santamaría Lando M., Vyt A., Mellar H. Quality assessment for E-learning: A benchmarking approach. Maastricht: EADTU, 2016. http://oro.open.ac.uk/47597/

24. Xu H., Mahenthiran S. Factors that influence online learning assessment and satisfaction: Using Moodle as a Learning Management System // International Business Research. 2016. Vol. 9. No. 2. P. 1–18. DOI: 10.5539/ibr.v9n2p1

25. Андрюшкова О. В., Горбунов М. А., Козлова А. В. Learning Management System как необходимый элемент Blended Learning // Открытое образование. 2017. Т. 21. № 3. С. 80–88. DOI: 10.21686/1818-4243-2017-3-80-88

26. Stobart G. Testing times: The uses and abuses of assessment. London: Routledge, 2008. 224 p. DOI: 10.4324/9780203930502
## 5. Выводы

Предлагаемая в статье методика оценки качества LMS позволяет не только сравнивать имеющиеся продукты, но и выявлять направление, в котором должна быть продолжена работа по совершенствованию LMS для того, чтобы она в большей степени отвечала запросам образовательного сообщества. Особенность предлагаемой методики заключается в том, что она учитывает позицию всех участников образовательного процесса (экспертов, преподавателей и студентов) и дает возможность оценивать качество LMS, исходя из задач конкретной специальности, вуза, региона. Эксперты, принимая во внимание специфику тех или иных условий труда, могут выставлять соответствующие весовые коэффициенты критериям, согласно которым производится оценка. Развитие предлагаемой методики приведет к созданию полноценной среды взаимодействия всех сторон образовательного процесса, где требования качества превалируют над привходящими требованиями.

### Список использованных источников

1. Андрюшкова О. В., Григорьев С. Г. Эмергентное обучение в информационно-образовательной среде. М.: Образование и Информатика, 2018. 104 с.

2. Kellaghan T., Stufflebeam D. L. International handbook of educational evaluation. Dordrecht: Springer, 2003. 1060 p. DOI: 10.1007/978-94-010-0309-4

3. Dunn L., Morgan C., O'Reilly M., Parry S. The student assessment handbook: New directions in traditional and online assessment. London: Routledge, 2003. 320 p. DOI: 10.4324/9780203416518

4. Cox K., Imrie B. W., Miller A. H. Student assessment in higher education: A handbook for assessing performance. London: Routledge, 1998. 292 p. https://www.routledge.com/Student-Assessment-in-Higher-Education-A-Handbook-for-Assessing-Performance/Cox-Imrie-Miller/p/book/9780749427979

5. Andryushkova O., Grigoriev S. The influence online learning quality criteria selection on negentropy // Proc. 4th Int. Conf. on Informatization of Education and E-learning Methodology: Digital Technologies in Education. 2020. Vol. 2770. P. 127–139. http://ceur-ws.org/Vol-2770/paper17.pdf

6. Андреев А. А. Оценка качества онлайн курсов // Территория науки. 2015. № 1. С. 20–26.

7. Horvat A., Dobrota M., Krsmanovic M., Cudanov M. Student perception of Moodle learning management system: a satisfaction and significance analysis // Interactive Learning Environments. 2015. Vol. 23. Is. 4. P. 515–527. DOI: 10.1080/10494820.2013.788033

8. Han I., Shin W. S. The use of a mobile learning management system and academic achievement of online students // Computers & Education. 2016. Vol. 102. P. 79–89. DOI: 10.1016/j.compedu.2016.07.003

9. Farid S., Ahmad R., Alam M., Akbar A., Chang V. A sustainable quality assessment model for the information delivery in E-learning systems // Information Discovery and Delivery. 2018. Vol. 46. Is. 1. P. 1–25. DOI: 10.1108/IDD-11-2016-0047

10. Cerezo R., Bogarín A., Esteban M., Romero C. Process mining for self-regulated learning assessment in e-learning // Journal of Computing in Higher Education. 2020. Vol. 32. Is. 1. P. 74–88. DOI: 10.1007/s12528-019-09225-y

11. Henriksen D., Creely E., Henderson M. Folk pedagogies for teacher transitions: Approaches to synchronous online learning in the wake of COVID-19 // Journal of Technology and Teacher Education. 2020. Vol. 28. Is. 2. P. 201–209.

12. Gillett-Swan J. The challenges of online learning: Supporting and engaging the isolated learner // Journal of Learning Design. 2017. Vol. 10. No. 1. P. 20–30. DOI: 10.5204/jld.v9i3.293

13. Kara M., Erdoğdu F., Kokoç M., Cagiltay K. Challenges faced by adult learners in online distance education: A literature review // Open Praxis. 2019. Vol. 11. No. 1. P. 5–22. DOI: 10.5944/openpraxis.11.1.929

14. Fresen J. W. Embracing distance education in a blended learning model: challenges and prospects // Distance Education. 2018. Vol. 39. Is. 2. P. 224–240. DOI: 10.1080/01587919.2018.1457949

15. Damary R., Markova T., Pryadilina N. Key challenges of on-line education in multi-cultural context // Procedia – Social and Behavioral Sciences. 2017. Vol. 237. P. 83–89. DOI: 10.1016/j.sbspro.2017.02.034

16. Ouma R., Nkuyubwatsi B. Transforming university learner support in open and distance education: Staff and students perceived challenges and prospects // Cogent Education. 2019. Vol. 6. Is. 1. DOI: 10.1080/2331186X.2019.1658934

17. Nage-Sibande B., Morolong B. L. A trend analysis of opportunities and challenges of open and distance learning provision in dual-mode institutions // Distance Education. 2018. Vol. 39. Is. 4. P. 495–510. DOI: 10.1080/01587919.2018.1457951

18. Palvia S., Aeron P., Gupta P., Mahapatra D., Parija R., Rosner R., Sindhi S. Online education: Worldwide status, challenges, trends, and implications // Journal of Global Information Technology Management. 2018. Vol. 21. Is. 4. P. 233–241. DOI: 10.1080/1097198X.2018.1542262

19. Kebritchi M., Lipschuetz A., Santiago L. Issues and challenges for teaching successful online courses in higher education: A literature review // Journal of Educational Technology Systems. 2017. Vol. 46. Is. 1. P. 4–29. DOI: 10.1177/0047239516661713

20. Chen S.-Y., Basma D., Ju J., Ng K.-M. Opportunities and challenges of multicultural and international online education // Professional Counselor. 2020. Vol. 10. No. 1. P. 120–132. https://eric.ed.gov/?id=EJ1251004

21. Cloete A. L. Technology and education: Challenges and opportunities // Theological Studies. 2017. Vol. 73. No. 3. P. 1–7. DOI: 10.4102/hts.v73i3.4589

22. Yusuf B. N. Are we prepared enough? A case study of challenges in online learning in a private higher learning institution during the COVID-19 outbreaks // Advances in Social Sciences Research Journal. 2020. Vol. 7. No. 5. P. 205–212. DOI: 10.14738/assrj.75.8211

23. Kear K., Rosewell J., Williams K., Ossiannilsson E., Rodrigo C., Sánchez-Elvira Paniagua Á., Santamaría Lanco M., Vyt A., Mellar H. Quality assessment for E-learning: A benchmarking approach. Maastricht: EADTU, 2016. http://oro.open.ac.uk/47597/

24. Xu H., Mahenthiran S. Factors that influence online learning assessment and satisfaction: Using Moodle as a Learning Management System // International Business Research. 2016. Vol. 9. No. 2. P. 1–18. DOI: 10.5539/ibr.v9n2p1

25. Андрюшкова О. В., Горбунов М. А., Козлова А. В. Learning Management System как необходимый элемент Blended Learning // Открытое образование. 2017. Т. 21. № 3. С. 80–88. DOI: 10.21686/1818-4243-2017-3-80-88

26. Stobart G. Testing times: The uses and abuses of assessment. London: Routledge, 2008. 224 p. DOI: 10.4324/9780203930502
# MULTI-CRITERIA METHODOLOGY FOR LMS QUALITY ASSESSMENT WITHIN THE FRAMEWORK OF EMERGENT LEARNING SYSTEM

A. Kh. Marinosyan<fnref n="1" />, O. V. Andryushkova<fnref n="2" />

## Abstract

In the article, using the case of Learning Management System (LMS), we consider a methodology for assessing the quality of education, taking into account the requests of experts, lecturers, and students. There is a growing relevance of such research due to the digitalization of education, the transition to distance learning as the main or auxiliary form of organizing the educational process. The applied methodology relies on the earlier developed concept of emergent learning and the system for the assessment of the quality of education, using the conception of negentropy. By adapting this methodology to the LMS assessment task, we show the importance of creating a hierarchical scheme of modules and functional elements necessary for an effective organization of the learning process. In order to provide an integral assessment, it is necessary, according to our position, to determine the weighting factor of each module and of each criterion by which this module is assessed and then to determine the values of each criterion for a specific LMS. A proposed flexible assessment system that takes into account the requests of all aspects of the educational process, allows, by modifying the weighting factors, to adapt the equation in accordance with the specificity of the subject area and educational institution within which the LMS is used. As an advantage of this methodology, it makes it possible not only to compare different LMSs in terms of quality but also to identify areas in which it is possible to improve and refine existing LMSs. We analyze the risks associated with the transformation of assessment systems from an auxiliary tool into an end in itself. In this regard, we propose an algorithm for separating qualitative and quantitative factors accounting, which helps to avoid the negative effect of the absolutization of assessment systems. In the conclusion, we outline the ways of developing the design of such a system of the management of educational process in which quality requirements prevail over circumstantial ones.

**Keywords:** digitalization, informatization of education, e-education, online learning, distance learning technologies, distance learning system, emergentness.

**DOI:** 10.32517/0234-0453-2021-36-5-4-11

## For citation:

Marinosyan A. Kh., Andryushkova O. V. Mnogokriterial'naya metodika otsenki kachestva LMS v ramkakh ehmergentnoj sistemy obucheniya [Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system]. Informatika i obrazovanie — Informatics and Education, 2021, no. 5, p. 4–11. (In Russian.)

**Received:** March 21, 2021.

**Accepted:** May 18, 2021.

## About the authors

Andreas Kh. Marinosyan, Specialist, State Academic University for the Humanities, Moscow, Russia; marinos.andrey@yandex.ru; ORCID: 0000-0003-0577-2360

Olga V. Andryushkova, Candidate of Sciences (Chemistry), Docent, Head of the Laboratory of Methods of Teaching Chemistry of the Department of General Chemistry, Faculty of Chemistry, Lomonosov Moscow State University, Moscow, Russia; o.andryushkova@gmail.com; ORCID: 0000-0002-1566-3427

## References

1. Andryushkova O. V., Grigoriev S. G. Ehmergentnoe obuchenie v informatsionno-obrazovatel'noj srede [Emergent training in the information educational environment]. Moscow, Obrazovanie i Informatika, 2018. 104 p. (In Russian.)

2. Kellaghan T., Stufflebeam D. L. International handbook of educational evaluation. Dordrecht, Springer, 2003. 1060 p. DOI: 10.1007/978-94-010-0309-4

3. Dunn L., Morgan C., O'Reilly M., Parry S. The student assessment handbook: New directions in traditional and online assessment. London, Routledge, 2003. 320 p. DOI: 10.4324/9780203416518

4. Cox K., Imrie B. W., Miller A. H. Student assessment in higher education: A handbook for assessing performance. London, Routledge, 1998. 292 p. Available at: https://www.routledge.com/Student-Assessment-in-Higher-Education-A-Handbook-for-Assessing-Performance/Cox-Imrie-Miller/p/book/9780749427979

5. Andryushkova O., Grigoriev S. The influence online learning quality criteria selection on negentropy. Proc. 4th Int. Conf. on Informatization of Education and E-learning Methodology: Digital Technologies in Education. 2020, vol. 2770, p. 127–139. Available at: http://ceur-ws.org/Vol-2770/paper17.pdf

6. Andreev A. A. Otsenka kachestva onlajn kursov [Evaluation of the quality of online courses]. Territoriya nauki — Territory of Science, 2015, no. 1, p. 20–26. (In Russian.)

7. Horvat A., Dobrota M., Krsmanovic M., Cudanov M. Student perception of Moodle learning management system: a satisfaction and significance analysis. Interactive Learning Environments, 2015, vol. 23, is. 4, p. 515–527. DOI: 10.1080/10494820.2013.788033

8. Han I., Shin W. S. The use of a mobile learning management system and academic achievement of online students. Computers & Education, 2016, vol. 102, p. 79–89. DOI: 10.1016/j.compedu.2016.07.003

9. Farid S., Ahmad R., Alam M., Akbar A., Chang V. A sustainable quality assessment model for the information delivery in E-learning systems. Information Discovery and Delivery, 2018, vol. 46, is. 1, p. 1–25. DOI: 10.1108/IDD-11-2016-0047

10. Cerezo R., Bogarín A., Esteban M., Romero C. Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education, 2020, vol. 32, is. 1, p. 74–88. DOI: 10.1007/s12528-019-09225-y

11. Henriksen D., Creely E., Henderson M. Folk pedagogies for teacher transitions: Approaches to synchronous online learning in the wake of COVID-19. Journal of Technology and Teacher Education, 2020, vol. 28, is. 2, p. 201–209.

<footnote n="1">¹ State Academic University for the Humanities</footnote>

<footnote>119049, Russia, Moscow, Maronovskiy per., 26</footnote>

<footnote n="2">² Lomonosov Moscow State University, Faculty of Chemistry</footnote>

<footnote>119991, Russia, Moscow, Leninskie gory, 1, building 3</footnote>
# MULTI-CRITERIA METHODOLOGY FOR LMS QUALITY ASSESSMENT WITHIN THE FRAMEWORK OF EMERGENT LEARNING SYSTEM

A. Kh. Marinosyan<fnref n="1" />, O. V. Andryushkova<fnref n="2" />

## Abstract

In the article, using the case of Learning Management System (LMS), we consider a methodology for assessing the quality of education, taking into account the requests of experts, lecturers, and students. There is a growing relevance of such research due to the digitalization of education, the transition to distance learning as the main or auxiliary form of organizing the educational process. The applied methodology relies on the earlier developed concept of emergent learning and the system for the assessment of the quality of education, using the conception of negentropy. By adapting this methodology to the LMS assessment task, we show the importance of creating a hierarchical scheme of modules and functional elements necessary for an effective organization of the learning process. In order to provide an integral assessment, it is necessary, according to our position, to determine the weighting factor of each module and of each criterion by which this module is assessed and then to determine the values of each criterion for a specific LMS. A proposed flexible assessment system that takes into account the requests of all aspects of the educational process, allows, by modifying the weighting factors, to adapt the equation in accordance with the specificity of the subject area and educational institution within which the LMS is used. As an advantage of this methodology, it makes it possible not only to compare different LMSs in terms of quality but also to identify areas in which it is possible to improve and refine existing LMSs. We analyze the risks associated with the transformation of assessment systems from an auxiliary tool into an end in itself. In this regard, we propose an algorithm for separating qualitative and quantitative factors accounting, which helps to avoid the negative effect of the absolutization of assessment systems. In the conclusion, we outline the ways of developing the design of such a system of the management of educational process in which quality requirements prevail over circumstantial ones.

**Keywords:** digitalization, informatization of education, e-education, online learning, distance learning technologies, distance learning system, emergentness.

**DOI:** 10.32517/0234-0453-2021-36-5-4-11

## For citation:

Marinosyan A. Kh., Andryushkova O. V. Mnogokriterial'naya metodika otsenki kachestva LMS v ramkakh ehmergentnoj sistemy obucheniya [Multi-criteria methodology for LMS quality assessment within the framework of emergent learning system]. Informatika i obrazovanie — Informatics and Education, 2021, no. 5, p. 4–11. (In Russian.)

**Received:** March 21, 2021.

**Accepted:** May 18, 2021.

## About the authors

Andreas Kh. Marinosyan, Specialist, State Academic University for the Humanities, Moscow, Russia; marinos.andrey@yandex.ru; ORCID: 0000-0003-0577-2360

Olga V. Andryushkova, Candidate of Sciences (Chemistry), Docent, Head of the Laboratory of Methods of Teaching Chemistry of the Department of General Chemistry, Faculty of Chemistry, Lomonosov Moscow State University, Moscow, Russia; o.andryushkova@gmail.com; ORCID: 0000-0002-1566-3427

## References

1. Andryushkova O. V., Grigoriev S. G. Ehmergentnoe obuchenie v informatsionno-obrazovatel'noj srede [Emergent training in the information educational environment]. Moscow, Obrazovanie i Informatika, 2018. 104 p. (In Russian.)

2. Kellaghan T., Stufflebeam D. L. International handbook of educational evaluation. Dordrecht, Springer, 2003. 1060 p. DOI: 10.1007/978-94-010-0309-4

3. Dunn L., Morgan C., O'Reilly M., Parry S. The student assessment handbook: New directions in traditional and online assessment. London, Routledge, 2003. 320 p. DOI: 10.4324/9780203416518

4. Cox K., Imrie B. W., Miller A. H. Student assessment in higher education: A handbook for assessing performance. London, Routledge, 1998. 292 p. Available at: https://www.routledge.com/Student-Assessment-in-Higher-Education-A-Handbook-for-Assessing-Performance/Cox-Imrie-Miller/p/book/9780749427979

5. Andryushkova O., Grigoriev S. The influence online learning quality criteria selection on negentropy. Proc. 4th Int. Conf. on Informatization of Education and E-learning Methodology: Digital Technologies in Education. 2020, vol. 2770, p. 127–139. Available at: http://ceur-ws.org/Vol-2770/paper17.pdf

6. Andreev A. A. Otsenka kachestva onlajn kursov [Evaluation of the quality of online courses]. Territoriya nauki — Territory of Science, 2015, no. 1, p. 20–26. (In Russian.)

7. Horvat A., Dobrota M., Krsmanovic M., Cudanov M. Student perception of Moodle learning management system: a satisfaction and significance analysis. Interactive Learning Environments, 2015, vol. 23, is. 4, p. 515–527. DOI: 10.1080/10494820.2013.788033

8. Han I., Shin W. S. The use of a mobile learning management system and academic achievement of online students. Computers & Education, 2016, vol. 102, p. 79–89. DOI: 10.1016/j.compedu.2016.07.003

9. Farid S., Ahmad R., Alam M., Akbar A., Chang V. A sustainable quality assessment model for the information delivery in E-learning systems. Information Discovery and Delivery, 2018, vol. 46, is. 1, p. 1–25. DOI: 10.1108/IDD-11-2016-0047

10. Cerezo R., Bogarín A., Esteban M., Romero C. Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education, 2020, vol. 32, is. 1, p. 74–88. DOI: 10.1007/s12528-019-09225-y

11. Henriksen D., Creely E., Henderson M. Folk pedagogies for teacher transitions: Approaches to synchronous online learning in the wake of COVID-19. Journal of Technology and Teacher Education, 2020, vol. 28, is. 2, p. 201–209.

<footnote n="1">¹ State Academic University for the Humanities</footnote>

<footnote>119049, Russia, Moscow, Maronovskiy per., 26</footnote>

<footnote n="2">² Lomonosov Moscow State University, Faculty of Chemistry</footnote>

<footnote>119991, Russia, Moscow, Leninskie gory, 1, building 3</footnote>
12. **Gillett-Swan J.** The challenges of online learning: Supporting and engaging the isolated learner. *Journal of Learning Design*, 2017, vol. 10, no. 1, p. 20–30. DOI: 10.5204/jld.v9i3.293

13. **Kara M.**, **Erdoğan F.**, **Kokoç M.**, **Cagiltay K.** Challenges faced by adult learners in online distance education: A literature review. *Open Praxis*, 2019, vol. 11, no. 1, p. 5–22. DOI: 10.5944/openpraxis.11.1.929

14. **Fresen J. W.** Embracing distance education in a blended learning model: challenges and prospects. *Distance Education*, 2018, vol. 39, is. 2, p. 224–240. DOI: 10.1080/01587919.2018.1457949

15. **Damary R.**, **Markova T.**, **Pryadilina N.** Key challenges of on-line education in multi-cultural context. *Procedia — Social and Behavioral Sciences*, 2017, vol. 237, p. 83–89. DOI: 10.1016/j.sbspro.2017.02.034

16. **Ouma R.**, **Nkuyubwatsi B.** Transforming university learner support in open and distance education: Staff and students perceived challenges and prospects. *Cogent Education*, 2019, vol. 6, is. 1. DOI: 10.1080/2331186X.2019.1658934

17. **Nage-Sibande B.**, **Morolong B. L.** A trend analysis of opportunities and challenges of open and distance learning provision in dual-mode institutions. *Distance Education*, 2018, vol. 39, is. 4, p. 495–510. DOI: 10.1080/01587919.2018.1457951

18. **Palvia S.**, **Aeron P.**, **Gupta P.**, **Mahapatra D.**, **Pardiya R.**, **Rosner R.**, **Sindhi S.** Online education: Worldwide status, challenges, trends, and implications. *Journal of Global Information Technology Management*, 2018, vol. 21, is. 4, p. 233–241. DOI: 10.1080/1097198X.2018.1542262

19. **Kebritchi M.**, **Lipschuetz A.**, **Santiague L.** Issues and challenges for teaching successful online courses in higher education: A literature review. *Journal of Educational Technology Systems*, 2017, vol. 46, is. 1, p. 4–29. DOI: 10.1177/0047239516661713

20. **Chen S.Y.**, **Basma D.**, **Ju J.**, **Ng K.-M.** Opportunities and challenges of multicultural and international online education. *Professional Counselor*, 2020, vol. 10, no. 1, p. 120–132. Available at: https://eric.ed.gov/?id=EJ1251004

21. **Cloete A. L.** Technology and education: Challenges and opportunities. *Theological Studies*, 2017, vol. 73, no. 3, p. 1–7. DOI: 10.4102/hts.v73i3.4589

22. **Yusuf B. N.** Are we prepared enough? A case study of challenges in online learning in a private higher learning institution during the COVID-19 outbreaks. *Advances in Social Sciences Research Journal*, 2020, vol. 7, no. 5, p. 205–212. DOI: 10.14738/assrj.75.8211

23. **Kear K.**, **Rosewell J.**, **Williams K.**, **Ossiannilsson E.**, **Rodrigo C.**, **Sánchez-Elvira Paniagua Á.**, **Santamaría Lacho M.**, **Vyt A.**, **Mellar H.** Quality assessment for E-learning: A benchmarking approach. *Maastricht: EADTU*, 2016. Available at: http://oro.open.ac.uk/47597/

24. **Xu H.**, **Mahenthiran S.** Factors that influence online learning assessment and satisfaction: Using Moodle as a Learning Management System. *International Business Research*, 2016, vol. 9, no. 2, p. 1–18. DOI: 10.5539/ibr.v9n2p1

25. **Andryushkova O. V.**, **Gorbunov M. A.**, **Kozlova A. V.** Learning Management System kak neobkhodimyj ehlement Blended Learning [Learning Management System as a necessary element of Blended Learning]. *Otkrytoe obrazovanie — Open Education*, 2017, vol. 21, no. 3, p. 80–88. (In Russian.) DOI: 10.21686/1818-4243-2017-3-80-88

26. **Stobart G.** Testing times: The uses and abuses of assessment. London, Routledge, 2008. 224 p. DOI: 10.4324/9780203930502

НОВОСТИ

## «Приоритет-2030»: на ПМЭФ-2021 презентовали программу стратегического академического лидерства вузов страны

В рамках Петербургского международного экономического форума (ПМЭФ-2021) на площадке Минобрнауки России состоялась дискуссия, посвященная новой программе поддержки и развития университетов. Представители министерства и приглашенные эксперты рассуждали о том, как и зачем будут создаваться в России университеты мирового уровня.

По словам заместителя главы Минобрнауки России Андрея Омельчука, новая программа «Приоритет-2030» вобрала в себя все лучшее, что было в предыдущей программе развития университетов страны — Проекте 5-100, но вместе с тем получила изменение в дизайне программы. На смену целевому попаданию в международные рейтинги пришли инструменты, которые будут формировать развитие вузов. «В новой программе мы учили вклад университетов в экономику и развитие страны. Нельзя поддерживать только 21 лидера, в нашей стране их намного больше. Это будет самая масштабная программа господдержки университетов за последнее время. В программу войдут более 100 вузов, они гарантированно получат базовую часть гранта. Сколько из них получат специальную часть, большую грантовую поддержку, определит совет», — подчеркнул он.

Оценивая идеологические основы программы «Приоритет-2030», ректоры ведущих российских вузов отметили вовлеченность региональных вузов в систему международных стандартов.

«Хочется, чтобы в новой программе «Приоритет-2030» вузы не потеряли из поля зрения идею университета мирового уровня, ориентиров на развитие регионов, на развитие страны», — отметил ректор Европейского университета в Санкт-Петербурге Вадим Волков.

«Университет должен работать на научно-технологических ориентирах. Образование должно строиться на научных исследованиях и коллаборации с другими вузами. Также университет должен быть вовлечен в неакадемический сектор при проведении исследований для бизнеса и общества. Должна выстраиваться кооперация между бизнесом и обществом. Именно это заложено в идеологии программы «Приоритет-2030», — оценил программу ректор Санкт-Петербургского университета ИТМО Владимир Васильев.

По мнению директора Института общественных стратегий Московской школы управления «Сколково» Андрея Волкова, новая программа является пространством, которое заставит задуматься ее участников о своей собственной модели развития и о том, как выбранная вузом модель соотносится с мировыми моделями развития успешных университетов.

*(По материалам, предоставленным пресс-службой Минобрнауки России)*
12. **Gillett-Swan J.** The challenges of online learning: Supporting and engaging the isolated learner. *Journal of Learning Design*, 2017, vol. 10, no. 1, p. 20–30. DOI: 10.5204/jld.v9i3.293

13. **Kara M.**, **Erdoğan F.**, **Kokoç M.**, **Cagiltay K.** Challenges faced by adult learners in online distance education: A literature review. *Open Praxis*, 2019, vol. 11, no. 1, p. 5–22. DOI: 10.5944/openpraxis.11.1.929

14. **Fresen J. W.** Embracing distance education in a blended learning model: challenges and prospects. *Distance Education*, 2018, vol. 39, is. 2, p. 224–240. DOI: 10.1080/01587919.2018.1457949

15. **Damary R.**, **Markova T.**, **Pryadilina N.** Key challenges of on-line education in multi-cultural context. *Procedia — Social and Behavioral Sciences*, 2017, vol. 237, p. 83–89. DOI: 10.1016/j.sbspro.2017.02.034

16. **Ouma R.**, **Nkuyubwatsi B.** Transforming university learner support in open and distance education: Staff and students perceived challenges and prospects. *Cogent Education*, 2019, vol. 6, is. 1. DOI: 10.1080/2331186X.2019.1658934

17. **Nage-Sibande B.**, **Morolong B. L.** A trend analysis of opportunities and challenges of open and distance learning provision in dual-mode institutions. *Distance Education*, 2018, vol. 39, is. 4, p. 495–510. DOI: 10.1080/01587919.2018.1457951

18. **Palvia S.**, **Aeron P.**, **Gupta P.**, **Mahapatra D.**, **Pardiya R.**, **Rosner R.**, **Sindhi S.** Online education: Worldwide status, challenges, trends, and implications. *Journal of Global Information Technology Management*, 2018, vol. 21, is. 4, p. 233–241. DOI: 10.1080/1097198X.2018.1542262

19. **Kebritchi M.**, **Lipschuetz A.**, **Santiague L.** Issues and challenges for teaching successful online courses in higher education: A literature review. *Journal of Educational Technology Systems*, 2017, vol. 46, is. 1, p. 4–29. DOI: 10.1177/0047239516661713

20. **Chen S.Y.**, **Basma D.**, **Ju J.**, **Ng K.-M.** Opportunities and challenges of multicultural and international online education. *Professional Counselor*, 2020, vol. 10, no. 1, p. 120–132. Available at: https://eric.ed.gov/?id=EJ1251004

21. **Cloete A. L.** Technology and education: Challenges and opportunities. *Theological Studies*, 2017, vol. 73, no. 3, p. 1–7. DOI: 10.4102/hts.v73i3.4589

22. **Yusuf B. N.** Are we prepared enough? A case study of challenges in online learning in a private higher learning institution during the COVID-19 outbreaks. *Advances in Social Sciences Research Journal*, 2020, vol. 7, no. 5, p. 205–212. DOI: 10.14738/assrj.75.8211

23. **Kear K.**, **Rosewell J.**, **Williams K.**, **Ossiannilsson E.**, **Rodrigo C.**, **Sánchez-Elvira Paniagua Á.**, **Santamaría Lacho M.**, **Vyt A.**, **Mellar H.** Quality assessment for E-learning: A benchmarking approach. *Maastricht: EADTU*, 2016. Available at: http://oro.open.ac.uk/47597/

24. **Xu H.**, **Mahenthiran S.** Factors that influence online learning assessment and satisfaction: Using Moodle as a Learning Management System. *International Business Research*, 2016, vol. 9, no. 2, p. 1–18. DOI: 10.5539/ibr.v9n2p1

25. **Andryushkova O. V.**, **Gorbunov M. A.**, **Kozlova A. V.** Learning Management System kak neobkhodimyj ehlement Blended Learning [Learning Management System as a necessary element of Blended Learning]. *Otkrytoe obrazovanie — Open Education*, 2017, vol. 21, no. 3, p. 80–88. (In Russian.) DOI: 10.21686/1818-4243-2017-3-80-88

26. **Stobart G.** Testing times: The uses and abuses of assessment. London, Routledge, 2008. 224 p. DOI: 10.4324/9780203930502

НОВОСТИ

«Приоритет-2030»: на ПМЭФ-2021 презентовали программу стратегического академического лидерства вузов страны

В рамках Петербургского международного экономического форума (ПМЭФ-2021) на площадке Минобрнауки России состоялась дискуссия, посвященная новой программе поддержки и развития университетов. Представители министерства и приглашенные эксперты рассуждали о том, как и зачем будут создаваться в России университеты мирового уровня.

По словам заместителя главы Минобрнауки России Андрея Омельчука, новая программа «Приоритет-2030» вобрала в себя все лучшее, что было в предыдущей программе развития университетов страны — Проекте 5-100, но вместе с тем получила изменение в дизайне программы. На смену целевому попаданию в международные рейтинги пришли инструменты, которые будут формировать развитие вузов. «В новой программе мы учили вклад университетов в экономику и развитие страны. Нельзя поддерживать только 21 лидера, в нашей стране их намного больше. Это будет самая масштабная программа господдержки университетов за последнее время. В программу войдут более 40 вузов, они гарантированно получат базовую часть гранта. Сколько из них получат специальную часть, большую грантовую поддержку, определит совет», — подчеркнул он.

Оценивая идеологические основы программы «Приоритет-2030», ректоры ведущих российских вузов отметили вовлеченность региональных вузов в систему международных стандартов.

«Хочется, чтобы в новой программе «Приоритет-2030» вузы не потеряли из поля зрения идею университета мирового уровня, ориентиров на развитие регионов, на развитие страны», — отметил ректор Европейского университета в Санкт-Петербурге Вадим Волков.

«Университет должен работать на научно-технологических ориентирах. Образование должно строиться на научных исследованиях и коллаборации с другими вузами. Также университет должен быть вовлечен в неакадемический сектор при проведении исследований для бизнеса и общества. Должна выстраиваться кооперация между бизнесом и обществом. Именно это заложено в идеологии программы «Приоритет-2030», — оценил программу ректор Санкт-Петербургского университета ИТМО Владимир Васильев.

По мнению директора Института общественных стратегий Московской школы управления «Сколково» Андрея Волкова, новая программа является пространством, которое заставит задуматься ее участников о своей собственной модели развития и о том, как выбранная вузом модель соотносится с мировыми моделями развития успешных университетов.

*(По материалам, предоставленным пресс-службой Минобрнауки России)*