ОЦЕНКА ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ ДЛЯ ФОРМИРОВАНИЯ УНИВЕРСАЛЬНЫХ КОМПЕТЕНЦИЙ СТУДЕНТОВ

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

© Т. В. Рихтер, Л. Г. Шестакова, И. М. Зенцова, Н. Ю. Сугробова

DOI: 10.15293/2658-6762.2006.10

УДК 378.14

Оценка эффективности использования мобильных приложений для формирования универсальных компетенций студентов

Т. В. Рихтер, Л. Г. Шестакова, И. М. Зенцова, Н. Ю. Сугробова

Проблема и цель. Авторами исследуется проблема использования мобильных приложений для формирования у студентов универсальных компетенций, что обусловлено активным развитием мобильных приложений, их возможностями и широким распространением среди молодого поколения. Цель работы: оценить эффективность использования мобильных приложений для формирования у студентов универсальных компетенций.

Методология. Авторами применяются теоретический анализ и обобщение научной литературы по вопросам формирований компетенций у студентов высших учебных заведений, использования информационных, компьютерных и мобильных технологий; теоретические и практические методы педагогического исследования, проводимого со студентами-педагогами 3-5 курсов в 2017-2019 годах; методы математической статистики для обработки эмпирических данных (корреляционный анализ).

Результаты. В работе представлены результаты оценки эффективности использования мобильных приложений для формирования у студентов универсальных компетенций. Выделены показатели оценки сформированности выбранных универсальных компетенций. Авторами поэтапно исследуются: выравнивание знаний и умений студентов в области владения мобильными приложениями; публичная демонстрация знаний и умений студентов в использовании мобильных приложений; включение работы с мобильными приложениями в процесс изучения различных дисциплин (модулей); введение в учебные курсы свободных заданий (в форме группового проекта), которые студенты сами формулируют (выбирают), выполняемых с использованием

Рихтер Татьяна Васильевна - кандидат педагогических наук, доцент, кафедра математических и естественнонаучных дисциплин, Пермский государственный национальный исследовательский университет.

E-mail: tatyanarikhter@mail.ru

Шестакова Лидия Геннадьевна - кандидат педагогических наук, заведующий кафедрой, кафедра математических и естественнонаучных дисциплин, Пермский государственный национальный исследовательский университет. E-mail: shestakowa@yandex.ru

Зенцова Инна Михайловна - кандидат педагогических наук, доцент, кафедра математических и естественнонаучных дисциплин, Пермский государственный национальный исследовательский университет.

E-mail: imzencova@mail.ru

Сугробова Наталия Юрьевна - кандидат биологических наук, доцент, кафедра математических и естественнонаучных дисциплин, Пермский государственный национальный исследовательский университет.

E-mail: nsugrobova68@mail.ru © 2011-2020 Science for Education Today Все права защищены

2020, том 10, № 6 http://sciforedu.ru ISSN 2658-6762

мобильных приложений; введение в итоговое контрольное мероприятие самооценки (самоанализа). Отмечается, что необходимо целенаправленное включение в образовательный процесс вуза работы студентов с мобильными приложениями, когда студент, являясь активным участником образовательного процесса, использует мобильные приложения для освоения содержания дисциплины, формирования компетенций и их оценки.

Заключение. В заключении делаются выводы о том, что выявленные и обоснованные особенности использования мобильных приложений обеспечивают положительную динамику формирования универсальных компетенций студентов.

Ключевые слова: обучение студентов; универсальные компетенции; показатели сформи-рованностиуниверсальных компетенций; мобильные приложения; электронное портфолио; самооценивание; демонстрация владения компетенциями; групповая работа.

Постановка проблемы

Внедрение и использование информационных и компьютерных технологий, цифрови-зация - актуальное направление модернизации образования. Мобильные приложения в современном мире занимают значительное место. Текущая ситуация с коронавирусной инфекцией, временный переход на дистанционный режим работы только показывает их значимость в различных областях жизни и сферах деятельности, в том числе и образовании. Как отмечают Е. В. Соболева, Н. И. Ису-пова, Л. В. Караулова, М. М. Ниматулаев [27, с. 165], применение мобильных технологий даст возможность качественно изменить методы и средства обучения, подготовить кадры для цифровой экономики.

Использование мобильных приложений может быть включено в процесс формирования универсальных компетенций (УК) актуализированных ФГОС ВО, отнесенных к категориям: системное и критическое мышление, разработка и реализация проектов, командная работа и лидерство, коммуникация, межкультурное взаимодействие, самоорганизация и саморазвитие (в том числе здоровьесбереже-ние), безопасность жизнедеятельности.

M. Din выявлял готовность студентов университета к критическому мышлению через навык критического чтения [4]. В своей статье N. Bachtadze, V. Kulba, O. Zaikin,

A. Zylawski проанализировали индивидуальную и групповую компетентности, необходимые для выполнения проекта. Они создали математическую модель, демонстрирующую эффективность формирования групповых компетенций при работе над проектом [3]. Важность формирования межкультурной коммуникационной компетенции у студентов отмечается в работе M. U. Nadeem, R. Mohammed, S. Dalib [8]. M. Li раскрывает взаимосвязь между культурным интеллектом и межкультурной компетенцией [7]. H. Tseng, X. Yi, H.-T. Yeh рассматривают зависимость саморегуляции и мотивации студентов от управленческого опыта [17]. Обеспечение готовности студентов к чрезвычайным ситуациям раскрывается в статье C. Skurka, B. L. Quick, T. Reynolds-Tylus, T. Short, A. L. Bryan. В исследовании проверяется влияние профессионально подготовленного видеофильма о чрезвычайных ситуациях на поведение студентов [14].

В. В. Захарова выявляет роль универсальных компетенций в формирования личности выпускников вузов [19]. О. Б. Капични-кова, О. В. Романова, Е. Н. Дидусенко, А. И. Капичников показывают, что внедрение универсальных компетенций открывает возможности для сочетания компетентностного подхода с деятельностным и сопряжения обучения с воспитанием [22]. А. М. Шехмирзова

© 2011-2020 Science for Education Today

Все права защищены

182

2020, том 10, № 6

описывает характерные для современной вузовской практики формирования универсальных компетенций методологические проблемы, представляет их социальную значимость 1. И. Ю. Тарханова рассматривает возможности учебных и производственных практик для формирования универсальных компетенций студентов вузов [28]. Е. И. Казакова и И. Ю. Тарханова утверждают, что наиболее приемлемой формой оценки сформированности универсальных компетенций и инструментом мониторинга индивидуальных достижений студентов при освоении образовательных программ высшего образования является портфо-лио [21, с. 133].

В исследованиях последних лет большое внимание уделяется использованию возможностей информационно-коммуникационных технологий в обучении с целью достижения высоких образовательных результатов. J. Pi-catoste, L. Perez-Ortiz, S. M. Ruesga-Benito считают, что успех на рынке труда для выпускников вузов зависит от наличия у них высоких навыков в области информационно-коммуникационных технологий [12]. D. Alt, O. Avidov-Ungar, A. Forkosh-Baruch отмечают, что средства информационно-коммуникационных технологий необходимо интегрировать в традиционный процесс обучения [1; 2]. T. Dufva, M. Dufva исследуют влияние цифровых технологий на профессиональные навыки и компетенции будущих специалистов [5].

В настоящее время студенты вузов активно используют различные мобильные приложения, которые стали реальными средствами получения всех видов информации. Как любое средство они имеют свои преиму-

ISSN 2658-6762

щества и недостатки, задача педагога заключается в их оптимальной интеграции в образовательный процесс. Поэтому становится возможным рассмотреть вопрос формирования универсальных компетенций с помощью мобильных приложений.

M. Elphick рассматривает возможности мобильных технологий в аспекте повышения творческого потенциала студентов [6]. Д. Д. Климентьев и В. В. Климентьева обосновывают целесообразность использования доступных мобильных приложений в образовании на конкретных примерах для оптимизации аудиторных занятий и самостоятельной работы [23]. И. Ю. Котова обосновывает необходимость внедрения и использования мобильных технологий в системе высшего образования и подробно рассматривает мобильные приложения для осуществления формирующего оценивания [25]. Н. О. Гордеева провела синтез российских исследований, представленных в электронных научных библиотеках, посвященных использованию мобильных устройств и приложений в образовательном процессе [18].

Обучение, реализуемое с помощью мобильных устройств, называется мобильным обучением (m-learning - MobileLearning). Данная технология тесно связана с электронным обучением и дистанционными образовательными технологиями. Это направление является перспективным и ожидается, что в ближайшем будущем мобильное обучение станет неотъемлемым элементом большинства образовательных технологий.

Y. Tsai, C. Lin, J. Hong, K. Tai в своих исследованиях уделяют внимание особенностям дистанционного обучения на основе массовых

http://sciforedu.ru

1 Шехмирзова А. М. Формирование универсальных компетенций как системный образовательный результат педагогического коллектива вуза // Paradigmata poznani. - 2017. - № 4. - С. 82-87.

2020, том 10, № 6

открытых онлайн-курсов [16]. K. Ruas, D. Lima определяют преимущества и недостатки дистанционного обучения в образовательном процессе2. E. A. L. Roumell, D. U. Bolliger выделяют перспективы дистанционных программ руководителями докторантуры [13]. V. Nejkovic, M. Tosic анализируют среды онлайн курсов SPOC, различные платформы, инструменты и методику обучения [9]. D. Ortega-Sánchez, I. M. Gómez-Trigueros выявляют значимость массовых открытых онлайн курсов при достижении целей образования в области устойчивого развития [10]. M. A. Peters, P. Jandric считают, что массовые открытые онлайн курсы являются инструментом демократизации общества [11].

K. Turvey, M. Hayler указывают на возможность персонализации учебного процесса с помощью технологий Web 2.0 [15]. Использование средств мобильных приложений для повышения эффективности обучения и формирования экологического мышления и ресурсосбережения исследуют Е. В. Соболева, Н. И. Исупова, Л. В. Караулова, М. М. Нима-тулаев [27]. Авторы отмечают, что «спектр информационного взаимодействия на занятиях обогащается за счет таких направлений воздействия, как "учитель - ученик - мобильное (автоматизированное) устройство - природа"» [27, с. 164].

Для мобильного обучения характерны следующие признаки: взаимодействие и проведение совместной работы в сети независимо от местонахождения студентов и преподавателя; использование мобильного устройства в качестве источника учебных, методических и справочных материалов; предоставление студентам возможности коррекции содержания

ISSN 2658-6762

образовательного материала, проведения исследований; обучение в своем собственном темпе на основе мультимедийного контента на своих мобильных устройствах [26, с. 100]. Вместе с тем возможности мобильных технологий в обучении недостаточно используются в учебном процессе. В связи с этим актуальна задача внедрения в образовательный процесс подготовки студентов мобильных технологий.

При использовании мобильных приложений рассматривают две модели: BYOD (BringYourOwnDevice - принеси свое собственное устройство) и CYOD (ChooseYourOwnDevice - выбери свое устройство) [20, с. 96].

С точки зрения Д. А. Иванченко, в высшем учебном заведении целесообразно использовать комплекс таких мобильных сервисов, как общие информационные мобильные сервисы, сервисы мобильной идентификации и аутентификации и др. [20, с. 97].

С. С. Колосков, В. Н. Бабешко, А. В. Са-мочадин, Ю. А. Кошлич выделяют наиболее необходимые функции мобильных средств поддержки учебного процесса [24, с. 153].

Таким образом, в теории выделены особенности, принципы, преимущества и недостатки использования мобильных приложений в образовательном процессе высшей школы, однако еще не проведена оценка эффективности использования мобильных приложений для формирования универсальных компетенций студентов.

Цель статьи - оценить эффективность использования мобильных приложений для формирования у студентов универсальных компетенций.

http://sciforedu.ru

2 Ruas K., Lima D. Digital technologies of information and communication in distance education: a new trend? // Revista EducaOnline. - 2019. - Vol. 13 (1). - P. 99-121.

URL: http://www.latec.ufrj.br/revistas/index.php?jour-

nal=educaonline&page=arti-

cle&op=view&path%5B%5D=1032

© 2011-2020 Science for Education Today

Все права защищены

184

2020, том 10, № 6

Методология исследования

В исследовании использовались следующие методы: теоретический анализ и обобщение научной литературы по вопросам формирований компетенций, использования информационных, компьютерных и мобильных технологий; экспериментальные методы педагогического исследования; методы математической статистики для обработки эмпирических данных.

Работа по оценке эффективности использования мобильных приложений для формирования универсальных компетенций студентов проходила на базе Соликамского государственного педагогического института (филиала) ФГБОУ ВО «Пермский государственный национальный исследовательский университет». В исследовании принимали участие студенты, которые обучаются по образовательным программам направления «Педагогическое образование» (направленность «Математика и экономика») в 2017-2019 годах.

ISSN 2658-6762

Всего участвовало в работе 24 студента. Это была экспериментальная группа. В качестве контрольной группы выступили студенты того же направления подготовки (направленность «Начальное образование»), 24 человека. Целенаправленное использование мобильных приложений реализовано было только в экспериментальной группе. В качестве критериев эффективности рассматривалась сформиро-ванность у студентов следующих универсальных компетенций (табл. 1) и сопоставление полученных результатов с общей успеваемостью студентов.

Выбор компетенций, на наш взгляд, объясняется тем, что для их формирования наиболее актуально использование мобильных приложений.

Показатели оценивания сформированно-сти у студентов универсальных компетенций представлены в таблице 1.

http://sciforedu.ru

Таблица 1

Показатели оценивания сформированности универсальных компетенций студентов

Table 1

Indicators for assessing the formation of universal student competencies

Компетенция Показатели

УК-2. Способен определять круг задач в рамках поставленной цели и выбирать оптимальные способы их решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений Максимальный балл - 5 (баллы суммируются). 1. Правильно ставит цель и определяет в рамках поставленной цели круг задач - 2 б. 2. Выбирает и аргументирует оптимальные способы решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений - 2 б. 3. Грамотно и четко выстраивает выступление на этапе презентации (защиты, сдачи) подготовленной работы (проекта) - 1 б.

УК-4. Способен осуществлять коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностран-ном(ых) языке(ах) Максимальный балл - 5 (баллы суммируются). 1. Осуществляет поиск информации на русском и иностранном (переводит ее на русский) языках - 1 б. 2. Осуществляет подбор и краткое реферирование источников на русском и иностранном языках с указанной степенью новизны; уровнем/статусом публикации (журнал WoS, Scopus, РИНЦ и др.) - 2 б. 3. Поиск и участие в вебинарах, открытых онлайн курсах, направленных на совершенствование навыков коммуникации, знания иностранного языка - 2 б.

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

Окончание таблицы 1

УК-6. Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни

Максимальный балл - 6 (баллы суммируются).

1. Составляет индивидуальные планы с распределением временных и других ресурсов, анализирует итоги их выполнения - 1 б.

2. Формулирует задачи профессионального самосовершенствования - 1 б.

3. Планирование индивидуальной образовательной траектории (через получение дополнительного образования, обучение на онлайн курсах, участие в семинарах, вебинарах, конференциях, конкурсах и т. д.) - 2 б.

4. Составляет личное портфолио, демонстрирующего результаты работы, владение компетенциями - 2 б.

Результаты исследования, обсуждение

Студенты вузов в настоящее время являются активными пользователями социальных сетей, их мобильных версий, мессенджеров и др. Они привыкли находиться постоянно на связи друг с другом, быстро находить информацию (возможно, не всегда достоверную). В связи с этим использование мобильных приложений в учебных целях для студентов не несет дополнительной нагрузки.

Первой ключевой идеей оценки эффективности использования мобильных приложений для формирования универсальных компетенций являлось целенаправленное включение в образовательный процесс вуза работы студентов с мобильными приложениями. Этапы реализации первой ключевой идеи: выравнивание знаний и умений студентов в области владения мобильными приложениями; публичная демонстрация знаний и умений студентов в использовании мобильных приложений; включение работы с мобильными приложениями в процесс изучения различных дисциплин (модулей). Описание работы на каждом этапе представлено далее.

Первый этап (выравнивания знаний и умений студентов в области владения мобильными приложениями) был реализован на материале специально разработанного раздела «Мобильные приложения, особенности и способы использования». В содержание раздела

включены группы мобильных приложений, которые можно использовать для формирования универсальных компетенций в высшей школе: мессенджеры, мобильные версии социальных сетей, мобильные версии облачных сервисов, сканеры QR - кодов, дашборды. Здесь же студенты знакомятся с платформами дистанционного обучения, онлайн-курсами и т. д. Названный раздел целесообразно включить в состав близкой дисциплины (например, Информатика, Информационные технологии или другого подобного курса).

Организована учебная групповая деятельность, направленная на отработку умений студентов работать с мобильными приложениями. Группы сформированы таким образом, чтобы в них были студенты с разным уровнем владения мобильными приложениями. Чтобы студенты не отклонились от основной задачи (состоящей в выравнивании знаний и умений студентов в области владения мобильными приложениями), группам было выдано задание, состоящее из двух частей. Первая часть обязательная, в ней перечислены мобильные приложения, которые надо изучить, и задания, предполагающие их использование в конкретных ситуациях (например, организация группового видео обсуждения, совместной работы в мобильном приложении и др.). Вторая часть - вариативная. Студенты сами выбирают мобильное приложение, которое осталось без

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

внимания в обязательной части, или «новый» аспект его использования. Готовят презентацию своей работы.

На втором этапе для включения работы с мобильными приложениями в учебную и внеучебную работу вуза была организована публичная защита результатов студентов по разделу «Мобильные приложения, особенности и способы использования» (описаны выше). На защиту приглашаются преподаватели других дисциплин, работающие в группе (или курсе). Цель публичной защиты - продемонстрировать возможности студентов в области использования мобильных приложений. На защиту выносятся результаты работы студенческих групп без их дублирования, демонстрирующие не общеизвестные стороны использования мобильных приложений.

На третьем этапе использование мобильных приложений было включено в процесс изучения других дисциплин (модулей).

Использование мобильных приложений ориентировалось на формирование компетенций, закрепленных за дисциплиной.

Использовалась групповая форма работы. Преподаватель может с согласия студентов получить доступ к выполняемой работе. В этом случае он будет видеть не только конечный результат, но и сможет оценить степень включенности каждого члена группы, оперативно проконсультировать, обратить внимание на допущенную ошибку или отклонение от цели работы (проекта). Приведем пример использования мобильных приложений для формирования компетенции УК-4: Способен осуществлять деловую коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностранном(ых) языке(ах) (табл. 2).

Таблица 2

Соотнесение мобильных приложений, видов работы и УК-4

Table 2

Correlation of mobile applications, types of tasks and UK-4

Мобильные приложения для формирования компетенции Вид работы

iTranslate, ABBYY Lingvo, мобильные версии электронных библиотек и др. Поиск информации на иностранном языке (в том числе и на языке, который не изучается студентом) и ее перевода на русский язык

Подбор и краткое реферирование источников на русском и иностранном языках с указанной степенью новизны; уровнем/статусом публикации

Coursera, Открытое образование, Google Classroom, Moodle и MoodleCloud, Stepik и др. Участие в вебинарах, открытых онлайн курсах, направленных на совершенствование навыков коммуникации, в том числе и знания иностранного языка

Мессенджеры Групповое обсуждение задачи, проблемы, плана, результатов работы

Прим.: УК-4. Способен осуществлять коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностранном(ых) языке(ах).

Note: UK-4. Able to communicate orally and in writing in the state language of the Russian Federation and foreign language (s).

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

Вторая ключевая идея. Студент, являясь активным участником образовательного процесса, использует мобильные приложения для освоения содержания дисциплины (модуля), формирования компетенций и их оценки. Этапы реализации второй ключевой идеи: включение в учебные курсы свободных заданий (в форме группового проекта), выполняемых с использованием мобильных приложений, которые студенты сами формулируют (выбирают); введение в итоговое контрольное мероприятие самооценки (самоанализа) сфор-мированности компетенций через оформление и защиту электронного портфолио. Ниже представлена их характеристика.

Четвертый этап предусматривает в учебных курсах задания, которые студенты в группах выбирают (формулируют себе самостоятельно). Преподаватель при необходимости может проконсультировать их. Для таких заданий четко формулируются критерии их оценивания, в качестве которых выступают следующие:

- задание формулируется и выполняется на материале изучаемой дисциплины или конкретной темы (допустимы интегрированные задания на материале нескольких курсов);

- выполнение выбранного студентами задания и представление результата (защита проекта) демонстрирует владение компетенциями, закрепленными за дисциплиной или отдельной темой (в идеале всех закрепленных компетенций);

- использование при выполнении задания мобильных приложений.

Пятый этап предусматривает включение в итоговое контрольном мероприятие по дисциплине работу студента по самооцениванию степени владения компетенциями, закрепленными за дисциплиной. Одной из удобных форм может быть составление электронного портфолио, подтверждающего владение компетенциями.

Можно использовать ресурсы для создания портфолио, персональных сайтов или мобильные приложения для создания презентаций (Portfolios.ru, Sites.google.com, Google Slide, Prezi Viewer, Polaris Office и др.). Пример структурирования портфолио представлен в таблице 3.

Таблица 3

Соотнесение формируемых компетенций, результатов обучения и подтверждающих работ

Table 3

Correlation of formed competencies, learning outcomes and supporting works

Компетенция из ФГОС ВО Результаты обучения, которыми на материале дисциплины студент владеет (самооценка) Подтверждающая работа и/или документ

Формулировка компетенции Указываются знания, умения, опыт, входящие в состав данной компетенции, которыми владеет студент. Возможно использование глаголов: знаю, умею, способен, участвовал и т. д. Дается название работы (документа), подтверждающей владение указанным в столбце 2 результатом обучения. Это могут быть статьи, сертификаты, грамоты и т. д.

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

Для определения уровня сформирован-ности универсальных компетенций, представленных в таблице 1, членами экспертной группы по показателям (табл. 1) были оценены выполненные студентами на 4 этапе групповые проекты; защита электронных портфолио в экспериментальной группе (отражающие информацию табл. 3) и бумажного портфолио (без требования структурирования его по компетенциям) в контрольной группе. Результаты подводились в апреле 2019 года. Членами экспертной группы показатели (табл. 1) оценивались баллами для каждой компетенции, после

чего баллы суммировались сначала по компетенциям отдельно, потом находилась общая сумма по трем компетенциям. Распределение студентов по уровням осуществлялось исходя из того, сколько он набрал баллов в сумме по трем рассматриваемым компетенциям.

Высокий уровень: 14-16 баллов;

Средний уровень: 9-13 баллов;

Низкий уровень: менее 9 баллов.

Результаты распределения по уровням сформированности универсальных компетенций в экспериментальной группе представлены на диаграмме (рисунок 1); в контрольной группе на диаграмме (рисунок 2).

Рис. 1. Распределение по уровням сформированности универсальных компетенций студентов экспериментальной группы Fig. 1. Distribution according to the levels of formation of universal competencies of students of the experimental group

2020, том 10, № 6 http://sciforedu.ru ISSN 2658-6762

Ряд 2; средний; 51,5

Ряд 1; низкий;

5t Ряд i; jIcokmm; 21 .6

Рис. 2. Распределение по уровням сформированности универсальных компетенций

студентов контрольной группы Fig. 2. Distribution by levels of formation of universal competencies of students

of the control group

Таким образом, можно сделать первый вывод, что использование мобильных приложений для формирования универсальных компетенций эффективно, так как результаты сформированности выбранных универсальных компетенций в экспериментальной группе (где целенаправленно использовались мобильные приложения) оказались выше, чем в контрольной.

Во время работы было замечено, что уверенное использование мобильных приложений в учебном процессе часто оказывает положительное влияние на успеваемость студентов экспериментальной группы, в том числе и по

другим предметам (курсам), где преподаватели их целенаправленно не использовали. Нами было предположено, что положительно на успеваемость сказывается овладение выбранными универсальными компетенциями.

Полученные результаты оценки сформи-рованности у студентов экспериментальной группы универсальных компетенций (показатели представлены в табл. 1) были сопоставлены с общей успеваемостью по дисциплинам (вычислялся средний балл по всем прошедшим экзаменам, средний балл округлялся до единиц) (табл. 4).

Science for Education Today

2020, том 10, № 6 http://sciforedu.ru ISSN 2658-6762

Таблица 4

Результаты отслеживания сформированности у студентов универсальных компетенций

Table 4

The results of tracking the formation of students with universal competencies

Студент УК-2. Способность определять круг задач в рамках поставленной цели и выбирать оптимальные способы их решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений УК-4. Способность осуществлять деловую коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностранном(ых) языке(ах) УК-6. Способность управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни Успеваемость

1 4 5 6 5

2 5 4 5 3

3 5 4 4 4

4 3 3 5 4

5 4 4 3 5

6 4 3 4 4

7 5 5 5 3

8 4 5 6 4

9 3 5 4 5

10 4 5 4 4

11 5 4 5 4

12 3 4 5 4

13 5 4 4 3

14 4 4 5 5

15 5 5 4 4

16 3 4 6 4

17 4 3 3 4

18 4 3 4 3

19 5 4 5 5

20 4 4 5 5

21 4 3 4 3

22 3 4 6 4

23 5 5 4 5

24 4 5 6 3

Выборки студентов по уровню интеллекта и возрасту - однородные. Для выявления зависимости умений сформированности универсальных компетенций посредством мо-

бильных приложений проводился корреляционный анализ. Матрица корреляционного анализа представлена в таблице 5.

© 2011-2020 Science for Education Today

Все права защищены

191

Science for Education Today

2020, том 10, № 6 http://sciforedu.ru ISSN 2658-6762

Таблица 5

Корреляционная матрица

Table 5

Correlation matrix

Переменные УК-2 УК-4 УК-6 Успеваемость

УК-2 0,86 0,39 0,43 0,59*

УК-4 0.51 0,84 0,79* 0,71*

УК-6 0,43 0,78* 0,84 0,67*

Успеваемость 0,67* 0,68* 0,66* 0,97

На уровне значимости р < 0,05 заключаем, что положительную корреляционную связь имеют УК-4 и УК-6. Заключаем, что при высоком уровне сформированности у студента способности управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни студент способен осуществлять деловую коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностран-ном(ых) языке(ах). Кроме того, положительная корреляция всех трех компетенций имеется с успеваемостью студентов.

На основании приведенных результатов можно сделать второй вывод о том, что после проведения эксперимента на показатели успешности учебной деятельности существенно влияют способности управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни и осуществлять деловую коммуникацию в устной и письменной формах на государственном языке Российской Федерации и иностранном(ых) языке(ах).

Заключение

В работе проведена оценка эффективности использования мобильных приложений

для формирования у студентов универсальных компетенций. Оценка проводилась в отношении трех компетенций: способен определять круг задач в рамках поставленной цели и выбирать оптимальные способы их решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений; способен определять круг задач в рамках поставленной цели и выбирать оптимальные способы их решения, исходя из действующих правовых норм, имеющихся ресурсов и ограничений; способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни.

В работе выделены:

- показатели оценки сформированности выбранных универсальных компетенций;

- описаны две ключевые идеи, положенные в основу работы по оценке эффективности использования мобильных приложений для формирования универсальных компетенций (целенаправленное включение в образовательный процесс вуза работы студентов с мобильными приложениями; студент, являясь активным участником образовательного процесса, использует мобильные приложения для освоения содержания дисциплины (модуля), формирования компетенций и их оценки);

- этапы осуществления работы по оценке эффективности (выравнивание знаний

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

и умений студентов в области владения мобильными приложениями; публичная демонстрация знаний и умений студентов в использовании мобильных приложений; включение работы с мобильными приложениями в процесс изучения различных дисциплин (модулей); введение в учебные курсы свободных заданий (в форме группового проекта), которые студенты сами формулируют (выбирают), выполняемых с использованием мобильных приложений; введение в итоговое контрольное мероприятие самооценки (самоанализа) сфор-мированности компетенций через оформление и защиту электронного портфолио).

Таким образом, считаем, что использование мобильных приложений в учебном процессе позволяет формировать у студентов универсальные компетенции, это подтверждено экспериментом.

В качестве продолжения работы можно транслировать описанный опыт на другие направления и профили подготовки. Интересен вопрос переноса полученных результатов на формирование профессиональных компетенций студентов.

СПИСОК ЛИТЕРАТУРЫ

1. Alt D. Science teachers' conceptions of teaching and learning, ICT efficacy, ICT professional development and ICT practices enacted in their classrooms // Teaching and Teacher Education. -2018. - Vol. 73. - P. 141-150. DOI: https://doi.org/10.1016/j.tate.2018.03.020

2. Avidov-Ungar O., Forkosh-Baruch A. Professional identity of teacher educators in the digital era in light of demands of pedagogical innovation // Teaching and Teacher Education. - 2018. -Vol. 73. - P. 183-191. DOI: https://doi.org/10.1016/j.tate.2018.03.017

3. Bachtadze N., Kulba V., Zaikin O., Zylawski A. Mathematical Model and Method of Analysis of the Personal and Group Competence to Complete the Project Task // IFAC-PapersOnLine. - 2019. -Vol. 52 (13). - P. 469-474. DOI: https://doi.org/10.1016/j.ifacol.2019.11.105

4. Din M. Evaluating university students' critical thinking ability as reflected in their critical reading skill: A study at bachelor level in Pakistan // Thinking Skills and Creativity. - 2020. - Vol. 35. -P. 100627. DOI: https://doi.org/10.1016/j.tsc.2020.100627

5. Dufva T., Dufva M. Grasping the future of the digital society // Futures. - 2019. - Vol. 107. -P. 17-28. DOI: https://doi.org/10.1016/j.futures.2018.11.001

6. Elphick M. The Impact of Embedded iPad Use on Student Perceptions of Their Digital Capabilities // Education Sciences. - 2018. - Vol. 8 (3). - P. 102. DOI: https://doi.org/10.3390/educsci8030102

7. Li M. An examination of two major constructs of cross-cultural competence: Cultural intelligence and intercultural competence // Personality and Individual Differences. - 2020. - Vol. 164. -P. 110105. DOI: https://doi.org/10.1016/j.paid.2020.110105

8. Nadeem M. U., Mohammed R., Dalib S. Retesting integrated model of intercultural communication competence (IMICC) on international students from the Asian context of Malaysia // International Journal of Intercultural Relations. - 2020. - Vol. 74. - P. 17-29. DOI: https://doi.org/10.1016/jijintrel.2019.10.005

9. Nejkovic V., Tosic M. Exploring factors for effective use of online information in SPOC within the engineering education // Computer Applications in Engineering Education. - 2018. -Vol. 26 (5). - P. 1457-1469. DOI: https://doi.org/10.1002/cae.21991

10. Ortega-Sánchez D., Gómez-Trigueros I. M. Massive Open Online Courses in the Initial Training of Social Science Teachers: Experiences, Methodological Conceptions, and Technological Use for

© 2011-2020 Science for Education Today Все права защищены

2020, том 10, № 6 http://sciforedu.ru ISSN 2658-6762

Sustainable Development // Sustainability. - 2019. - Vol. 11 (3). - P. 578. DOI: https://doi.org/10.3390/su11030578

11. Peters M. A., Jandric P. Dewey's Democracy and Education in the age of digital reason: the global, ecological and digital turns // Open Review of Educational Research. - 2017. - Vol. 4 (1). - P. 205218. DOI: https://doi.org/10.1080/23265507.2017.1395290

12. Picatoste J., Perez-Ortiz L., Ruesga-Benito S. M. A new educational pattern in response to new technologies and sustainable development. Enlightening ICT skills for youth employability in the European Union // Telematics and Informatics. - 2018. - Vol. 35 (4). - P. 1031-1038. DOI: https://doi.org/ 10.1016/j.tele.2017.09.014

13. Roumell E. A. L., Bolliger D. U. Experiences of Faculty with Doctoral Student Supervision in Programs Delivered via Distance // The Journal of Continuing Higher Education. - 2017. -Vol. 65 (2). - P. 82-93. DOI: https://doi.org/10.1080/07377363.2017.1320179

14. Skurka C., Quick B. L., Reynolds-Tylus T., Short T., Bryan A. L. An evaluation of a college campus emergency preparedness intervention // Journal of Safety Research. - 2018. - Vol. 65. - P. 6772. DOI: https://doi.org/10.1016/jjsr.2018.02.003/

15. Turvey K., Hayler M. Collaboration and personalisation in teacher education; the case of blog-ging // Teaching and Teacher Education. - 2017. - Vol. 68. - P. 42-52. DOI: https://doi.org/ 10.1016/j.tate.2017.08.003

16. Tsai Y., Lin C., Hong J., Tai K. The effects of metacognition on online learning interest and continuance to learn with MOOCs // Computers and Education. - 2018. - Vol. 121. - P. 18-29. DOI: https://doi.org/10.1016/j.compedu.2018.02.011

17. Tseng H., Yi X., Yeh H.-T. Learning-related soft skills among online business students in higher education: Grade level and managerial role differences in self-regulation, motivation, and social skill // Computers in Human Behavior. - 2019. - Vol. 95. - P. 179-186. DOI: https://doi.org/10.1016/j.chb.2018.11.035

18. Гордеева Н. О. Использование мобильных технологий в образовании: метаанализ российских исследований // Современные проблемы науки и образования. - 2018. - № 3. - С. 147. URL: https://elibrary.ru/item.asp?id=35166963

19. Захарова В. В. Университетская среда и проблема формирования универсальных компетенций // Вестник юридического института Московского института инженеров транспорта. -2017. - № 2. - С. 55-62. URL: http://elibrary.ru/item.asp?id=29967470

20. Иванченко Д. А. Управление мобильными технологиями в информационном пространстве современного вуза // Высшее образование в России. - 2014. - № 7. - С. 93-100. URL https://elibrary.ru/item.asp?id=21735261

21. Казакова Е. И., Тарханова И. Ю. Оценка универсальных компетенций студентов при освоении образовательных программ // Ярославский педагогический вестник. - 2018. - № 5. -С. 127-135. https://doi.org/10.24411/1813-145X-2018-10164 URL: https://eli-brary.ru/item.asp?id=36479344

22. Капичникова О. Б., Романова О. В., Дидусенко Е. Н., Капичников А. И. Перспективы дея-тельностного подхода к формированию универсальных компетенций студентов // Высшее образование сегодня. - 2019. - № 5. - С. 21-24. DOI: https://doi.org/10.25586/RNU.HET.19.05.P21 URL: https://elibrary.ru/item.asp?id=37738238

23. Климентьев Д. Д., Климентьева В. В. Доступные мобильные приложения в образовании: бесплатно, интересно, несложно и эффективно // Ученые записки. Электронный научный журнал Курского государственного университета. - 2018. - № 1. - С. 198-205. URL: https://elibrary.ru/item.asp?id=35043044

Science for Education Today

2020, том 10, № 6

http://sciforedu.ru

ISSN 2658-6762

24. Колосков С. С., Бабешко В. Н., Самочадин А. В., Кошлич Ю. А. Методика апробации внедрения мобильных сервисов на платформе управления мобильными устройствами в вузах // Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. - 2015. - № 19. - С. 152-159. URL: https://elibrary.ru/item.asp?id=25983434

25. Котова И. Ю. Мобильные технологии в формирующем оценивании // Мир педагогики и психологии. - 2018. - № 10. - С. 6-12. URL: https://elibrary.ru/item.asp?id=36481996

26. Паскова А. А. Мобильное обучение в высшем образовании: технологии BYOD // Вестник Майкопского государственного технологического университета. - 2018. - № 4. - С. 98-105. URL: https://elibrary.ru/item.asp?id=36961272

27. Соболева Е. В., Исупова Н. И., Караулова Л. В., Ниматулаев М. М. Развитие экологического мышления и навыка бережливого производства в курсе мобильной робототехники // Science for Education Today. - 2020. - Т. 10, № 1. - С. 149-173. DOI: https://doi.org/10.15293/2658-6762.2001.09 URL:https://elibrary.ru/item.asp?id=42525591

28. Тарханова И. Ю. Формирование универсальных компетенций студентов вуза средствами учебной и производственной практики // Социально-политические исследования. - 2019. -№ 1. - С. 110-118. DOI: https://doi.org/10.24411/2658-428X-2019-10344 URL: https://eli-brary.ru/item.asp?id=37416635

© 2011-2020 Science for Education Today Все права защищены

2020, Vol. 10, No. 6. http://en.sciforedu.ru/

ISSN 2658-6762

DOI: 10.15293/2658-6762.2006.10

Tatiana Vasilyevna Richter

Candidate of Pedagogical Sciences, Associate Professor, Department of Mathematical and Natural Sciences, Perm State University, Perm, Russian Federation. ORCID ID: http://orcid.org/0000-0002-3698-3147 E-mail: tatyanarikhter@mail.ru (Corresponding Author) Lidia Gennadievna Shestakova

Candidate of Pedagogical Sciences, Head, Department of Mathematical and Natural Sciences, Perm State University, Perm, Russian Federation. ORCID ID: http://orcid.org/0000-0002-6823-4511 E-mail: shestakowa@yandex.ru Inna Mikhailovna Zentsova

Candidate of Pedagogical Sciences, Associate Professor, Department of Mathematical and Natural Sciences, Perm State University, Perm, Russian Federation. ORCID ID: http://orcid.org/0000-0002-2243-2731 E-mail: imzencova@mail.ru Nataliya Yuryevna Sugrobova

Candidate of Biological Sciences, Associate Professor, Department of Mathematical and Natural Sciences, Perm State University, Perm, Russian Federation. ORCID ID: http://orcid.org/0000-0002-6575-3308 E-mail: nsugrobova68@mail.ru

Using mobile learning applications for the development of students' universal competencies: Evaluation of the effectiveness

Introduction. Nowadays, the widespread use of mobile learning applications has brought significant changes in education. This paper addresses the problem of using mobile learning applications for developing universal competencies among students. The purpose of the research is to assess the effectiveness of using mobile applications for the development of universal competencies in students.

Materials and Methods. The data were collected through reviewing and critical analysis of research literature on the development of competencies among students of higher educational institutions and the use of information, computer and mobile technologies for educational purposes. The empirical study was conducted using methods of educational research from 2017 to 2019. The sample consisted of students in years 3-5 doing an undergraduate degree in Education. Methods of mathematical statistics were employed for processing empirical data (correlation analysis).

Results. The paper presents the results ofevaluating the effectiveness ofusing mobile applications for developing students' universal competencies. The authors identified the indicators for assessing the development of the selected universal competencies.

© 2011-2020 Science for Education Today All rights reserved

Abstract

196

2020, Vol. 10, No. 6. http://en.sciforedu.ru/ ISSN 2658-6762

The authors examined the following stages of developing universal competences by means of using mobile learning applications: (1) knowledge and skills alignment in the field of using mobile learning applications; (2) demonstrating knowledge and skills of using mobile learning applications; (3) inclusion of mobile learning applications in studying various disciplines (modules); (4) using mobile learning applications as a part of a larger activity (group projects); (5) using mobile learning applications for academic assessment (self-evaluation).

It is emphasized that it is necessary to purposefully include students' work with mobile applications in the educational process of the university, when a student, being an active participant in the educational process, uses mobile applications to master the content of the discipline, enhance competencies and evaluate them.

Conclusions. The article concludes that characteristics of using mobile learning applications identified and described in this research facilitate the development of students' universal competencies. The findings can be used to improve the efficiency of the educational process at the university.

Keywords

Educating students; Universal competencies; Indicators of the formation of universal competencies; Mobile learning applications; E-portfolio; Self-assessment; Demonstration of competence; Group work.

REFERENCES

1. Alt D. Science teachers' conceptions of teaching and learning, ICT efficacy, ICT professional development and ICT practices enacted in their classrooms. Teaching and Teacher Education, 2018, vol. 73, pp. 141-150. DOI: https://doi.org/10.1016/j.tate.2018.03.020

2. Avidov-Ungar O., Forkosh-Baruch A. Professional identity of teacher educators in the digital era in light of demands of pedagogical innovation. Teaching and Teacher Education, 2018, vol. 73, pp. 183-191. DOI: https://doi.org/ 10.1016/j .tate.2018.03.017

3. Bachtadze N., Kulba V., Zaikin O., Zylawski A. Mathematical Model and Method of Analysis of the Personal and Group Competence to Complete the Project Task. IFAC-PapersOnLine, 2019, vol. 52 (13), pp. 469-474. DOI: https://doi.org/10.1016/j.ifacol.2019.11.105

4. Din M. Evaluating university students' critical thinking ability as reflected in their critical reading skill: A study at bachelor level in Pakistan. Thinking Skills and Creativity, 2020, vol. 35, pp. 100627. DOI: https://doi.org/10.1016Zj.tsc.2020.100627

5. Dufva T., Dufva M. Grasping the future of the digital society. Futures, 2019, vol. 107, pp. 17-28. DOI: https://doi.org/ 10.1016/j .futures.2018.11.001

6. Elphick M. The Impact of Embedded iPad Use on Student Perceptions of Their Digital Capabilities. Education Sciences, 2018, vol. 8 (3), pp. 102. DOI: https://doi.org/10.3390/educsci8030102

7. Li M. An examination of two major constructs of cross-cultural competence: Cultural intelligence and intercultural competence. Personality and Individual Differences, 2020, vol. 164, pp. 110105. DOI: https://doi.org/10.1016/j.paid.2020.110105

8. Nadeem M. U., Mohammed R., Dalib S. Retesting integrated model of intercultural communication competence (IMICC) on international students from the Asian context of Malaysia. International Journal of Intercultural Relations, 2020, vol. 74, pp. 17-29. DOI: https://doi.org/10.1016/jijintrel.2019.10.005

9. Nejkovic V., Tosic M. Exploring factors for effective use of online information in SPOC within the engineering education. Computer Applications in Engineering Education, 2018, vol. 26 (5), pp. 1457-1469. DOI: https://doi.org/10.1002/cae.21991

2020, Vol. 10, No. 6. http://en.sciforedu.ru/

ISSN 2658-6762

10. Ortega-Sánchez D., Gómez-Trigueros I. M. Massive Open Online Courses in the Initial Training of Social Science Teachers: Experiences, Methodological Conceptions, and Technological Use for Sustainable Development. Sustainability, 2019, vol. 11 (3), pp. 578. DOI: https://doi.org/10.3390/su11030578

11. Peters M. A., Jandric P. Dewey's Democracy and Education in the age of digital reason: the global, ecological and digital turns. Open Review of Educational Research, 2017, vol. 4 (1), pp. 205-218. DOI: https://doi.org/10.1080/23265507.2017.1395290

12. Picatoste J., Pérez-Ortiz L., Ruesga-Benito S. M. A new educational pattern in response to new technologies and sustainable development. Enlightening ICT skills for youth employability in the European Union. Telematics and Informatics, 2018, vol. 35 (4), pp. 1031-1038. DOI: https://doi.org/ 10.1016/j.tele.2017.09.014

13. Roumell E. A. L., Bolliger D. U. Experiences of Faculty with Doctoral Student Supervision in Programs Delivered via Distance. The Journal of Continuing Higher Education, 2017, vol. 65 (2), pp. 82-93. DOI: https://doi.org/10.1080/07377363.2017.1320179

14. Skurka C., Quick B. L., Reynolds-Tylus T., Short T., Bryan A. L. An evaluation of a college campus emergency preparedness intervention. Journal of Safety Research, 2018, vol. 65, pp. 6772. DOI: https://doi.org/10.1016/jjsr.2018.02.003/

15. Turvey K., Hayler M. Collaboration and personalisation in teacher education; the case of blogging. Teaching and Teacher Education, 2017, vol. 68, pp. 42-52. DOI: https://doi.org/ 10.1016/j.tate.2017.08.003

16. Tsai Y., Lin C., Hong J., Tai K. The effects of metacognition on online learning interest and continuance to learn with MOOCs. Computers and Education, 2018, vol. 121, pp. 18-29. DOI: https://doi.org/10.1016/j.compedu.2018.02.011

17. Tseng H., Yi X., Yeh H.-T. Learning-related soft skills among online business students in higher education: Grade level and managerial role differences in self-regulation, motivation, and social skill. Computers in Human Behavior, 2019, vol. 95, pp. 179-186. DOI: https://doi.org/ 10.1016/j.chb.2018.11.035

18. Gordeeva N. O. Use of mobile technologies in education: metaanalysis of Russian researches. Modern Problems of Science and Education, 2018, no. 3, pp. 147. (In Russian) URL: https://elibrary.ru/item.asp?id=35166963

19. Zakharova V. V. University environment and the problem of the formation of universal competencies. Bulletin of the Law Institute of the Moscow Institute of Transport Engineers, 2017, no. 2, pp. 55-62. (In Russian) URL: https://elibrary.ru/item.asp?id=29967470

20. Ivanchenko D. A. Mobile technologies management in the information space of modern institute of higher education. Higher Education in Russia, 2014, no. 7, pp. 93-100. (In Russian) URL: https://elibrary.ru/item.asp?id=21735261

21. Kazakova E. I., Tarkhanova I. Y. Assessment of students' universal competences when mastering educational programs. Yaroslavl Pedagogical Bulletin, 2018, no. 5, pp. 127-135. (In Russian) https://doi.org/10.24411/1813-145X-2018-10164 URL: https://elibrary.ru/item.asp?id=36479344

22. Kapichnikova O. B., Romanova O. V., Didusenko E. N., Kapichnikov A. I. Prospects for an activity-based approach to the formation of universal student competencies. Higher Education Today, 2019, no. 5, pp. 21-24. (In Russian) DOI: https://doi.org/10.25586/RNU.HET.19.05.P21 URL: https://elibrary.ru/item.asp?id=37738238

23. Klimentyev D. D., Klimentyev V. V. Available mobile applications in education: free, interesting, easy and effective. Uchenye Zapiski. Electronic scientific journal of Kursk State University, 2018, no. 1, pp. 198-205. (In Russian) URL: https://elibrary.ru/item.asp?id=35043044

© 2011-2020 Science for Education Today All rights reserved

198

2020, Vol. 10, No. 6. http://en.sciforedu.ru/

ISSN 2658-6762

24. Koloskov S. S., Babeshko V. N., Samochadin A. V., Koslich Y. A. Methods of testing manager of mobile devices in higher education. Scientific reports of Belgorod State University. Economics. Computer science, 2015, no. 19, pp. 152-159. (In Russian) URL: https://elibrary.ru/item.asp?id=25983434

25. Kotova I. Y. Mobile technologies in formative assessment. The World of Pedagogy and Psychology, 2018, no. 10, pp. 6-12. (In Russian) URL: https://elibrary.ru/item.asp?id=36481996

26. Paskova A. A. Mobile education in higher education: BYOD technologies. Bulletin of Maykop State Technological University, 2018, no. 4, pp. 98-105. (In Russian) URL: https://elibrary.ru/item.asp?id=36961272

27. Soboleva E. V., Isupova N. I., Karaulova L. V., Nimatulaev M. M. Development of environmental thinking and lean manufacturing skills in the course of mobile robotics. Science for Education Today, 2020, vol. 10 (1), pp. 149-173. (In Russian) DOI: https://doi.org/10.15293/2658-6762.2001.09 URL: https://elibrary.ru/item.asp?id=42525591

28. Tarkhanova I. Y. Formation of universal competences of university students by means of educational and industrial practice. Socio-Political Studies, 2019, no. 1, pp. 110-118. (In Russian) DOI: https://doi.org/10.24411/2658-428X-2019-10344 URL: https://elibrary.ru/item.asp?id=37416635

Submitted: 29 May 2020 Accepted: 10 November 2020 Published: 31 December 2020

©

This is an open access article distributed under the Creative Commons Attribution License which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. (CC BY 4.0).

© 2011-2020 Science for Education Today

All rights reserved