Использование информационных систем при оценке качества квалификационных работ

110

Высшее образование в России • № 5, 2015

Abstract. The article presents the theoretical and empirical data about the a goal as an indicator of life perspectives and as a professional activity’s component. The results of the survey on goals of professional development of students of pedagogical universities and teachers are also presented. The authors came to a conclusion that there is an evident problem of out-professional tendency of future teachers, and the problems of object-oriented self-relationship and the lack of lifelong goals for the professional development typical for teachers-practitioners. The revealed problems can be viewed as the features of the dysontogenesis of the professional formation.

Keywords: goals, goal-setting, life perspectives, professional formation, future teachers, teachers-practitioners

References

1. Volodarskaya I.A., Mitina A.M. (1989) Problema tseley obucheniya v sovremennoy pedagogike:

ucheb.-metod. posobie[Problem ofteaching goals in modern pedagogy: textbook]. Moscow: MSU Publ., 72 p.

2. Shadrikov V.D.

3. Semenova E.V. (2007) [Technologies of the professional goal-setting as a factor of professional

formation of a graduate]. T eoriya i praktika fizicheskoy kul’tury [Theory and practice of physical culture]. No. 4, pp. 29-32.

4. Vinogradova I.A. (2014) [Psychological and pedagogical guide conduction of the teachers’ pro-

fessional development]. Zapadno-Sibirskiy pedagogicheskiy vestnik [West Siberian vestnik], No. 2. pp. 18-28.

5. Cheremoshkina L.V. (2013) [Subject of labor: factors of deprofessionalization]. In: Zhuravlev A.L.,

Sergienko E.A.

The paper was submitted 26.03.15.

ИСПОЛЬЗОВАНИЕ ИНФОРМАЦИОННЫХ СИСТЕМ ПРИ ОЦЕНКЕ КАЧЕСТВА КВАЛИФИКАЦИОННЫХ РАБОТ

СКАКОВСКАЯ Людмила Николаевна - д-p филол. наук, пpофессоp, nepBbra npopeicrop - npopeicrop по учебно-воспитательной pa6oTe, TBepciom госудаpственный yHraepauTeT. E-mail: education@tversu.ru

МЕДВЕДЕВА Ольга Николаевна - канд. физ.-мат. наук, доцент, Твepскoй гoсудаpсrвeн-ный унивepситeт. E-mail: medved@tversu.ru

МИДОРЕНКО Дмитрий Адольфович - начальник отдела, Методический цeнтp компью-тepизации учебного пpoцeсса, Твepскoй гoсудаpствeнный унивepситeт. E-mail: midorenko@tversu.ru

ПОТЕХИНА Анна Валерьевна - начальник отдела, Методический цeнтp кoмnьютepиза-ции учебного пpoцeсса, Твepскoй гoсудаpствeнный унивepситeт. E-mail: potekhina@tversu.ru

ЖДАНОВА Ольга Викторовна - канд. физ.-мат. наук, ассистент, Твepскoй гoсудаpствeн-ный унивepситeт. E-mail: zhdanova@tversu.ru

СУПОНЕВ Николай Петрович - канд. физ.-мат. наук, доцент, Твepскoй гoсудаpствeн-ный унивepситeт. E-mail: Nick.Suponev@tversu.ru

Социология образования

111

Аннотация. Статья посвящена результатам внедрения в Тверском государственном университете автоматизированных средств проверки выпускных квалификационных работ магистров на предмет обнаружения заимствованного материала. В качестве программного средства использовалась система «Антиплагиат. ВУЗ ». Проведен статистический анализ полученных данных для каждого направления подготовки за 2012/2013 и 2013/2014 учебные годы. Отражены особенности применения подобных систем.

Ключевые слова: выпускная квалификационная работа, заимствование текста, автоматизированная система проверки текстов, программа «Антиплагиат», качество образования

В последние десятилетия лавинообразно увеличилось количество источников информации и их доступность, что существенно облегчило поиск любого рода информации, однако неизбежно привело к росту заимствований во всех сферах интеллектуальной деятельности [1; 2]. Одним из проявлений проблемы плагиата в системе высшего профессионального образования является использование заимствований в письменных работах студентов. Творческая работа по написанию оригинального исследования, изучение и анализ источников -это, безусловно, трудоемкий и затратный по времени процесс. При написании рефератов и курсовых работ у студентов возникает соблазн скомпилировать работу по заданной тематике из различных источников. По некоторым данным, около трети всех студенческих работ российских вузов содержат плагиат, причем этот процент неуклонно растет.

В 2013 г. Тверским государственным университетом было принято решение о полномасштабной проверке выпускных квалификационных работ магистров с целью выявления заимствованного материала без ссылки на автора и (или) источник. Проверка осуществлялась сотрудниками Методического центра компьютеризации учебного процесса (МЦКУП) Тверского государственного университета в соответствии с приказом ректора. Основные задачи центра: 1

• повышение качества подготовки выпускных квалификационных работ;

• побуждение студентов к творческой работе по написанию оригинального исследования;

• стимулирование научных руководителей к более внимательному изучению работ.

В качестве технического средства проверки была выбрана система «Антиплагиат. ВУЗ » \ Программа представляет собой специализированную поисковую систему, которая собирает информацию из различ-ныхисточников - сайтов, баз данных научных статей и пр. (всего в системе сконцентрировано более 25 млн. документов) [3].

На первоначальном этапе необходимо было проанализировать работу самой программы «Антиплагиат. ВУЗ», выяснить, является ли она пригодной для подобных проверок, определить способы обработки результатов, выдаваемых системой, посмотреть, какое влияние оказывает процент оригинальности на оценки, и сделать выводы о целесообразности ее дальнейшего использования [4].

В 2012/2013 и 2013/2014 учебных годах в Тверском государственном университете осуществлялись первые выпуски магистров, подготовленные по 24 направлениям в соответствии с ФГОС. В систему «Антиплагиат. ВУЗ» были загружены все выпускные квалификационные работы. В 2013 г. их общее количество составило 284,

1 С 2009 г. данная система использовалась в Тверском государственном университете для проверки рефератов и курсовых работ, однако подобные проверки проводились преподавателями выборочно, результаты проверок централизованно не фиксировались.

112

Высшее образование в России • № 5, 2015

в 2014 г. - 243. К проверке допускались работы в форматах .doc, .docx и .pdf (следует отметить, что pdf-формат увеличивает оригинальность текста от 0,5 до 1,5%). Обязательным требованием было наличие титульного листа, сносок, списка литературы, то есть к проверке допускалась магистерская диссертация, оформленная по всем правилам, полностью подготовленная к защите.

Система «Антиплагиат. ВУЗ » имеет интуитивно понятный интерфейс и достаточно удобна в использовании. По итогам проверки документа системой формируется отчет. В целом скорость загрузки и проверки работ на предмет заимствований зависит от загруженности используемой системы. Отметим, что в июне 2014 г. скорость обработки загружаемых документов существенно возросла, для формирования отчета, как правило, требовалось несколько минут. В аналогичном периоде 2013 г. данная процедура занимала гораздо больше времени, в некоторых случаях отчет становился доступным только на второй день после загрузки работы.

Основу отчета составляет таблица со ссылками на заимствованные документы и процентами их содержания в работе, а также полный текст документа с выделенными фрагментами, которые система распознает как заимствованные. Возможна ручная постобработка отчета - в системе предусмотрена возможность удаления ссылок на источники заимствования в таблице, однако снять выделения непосредственно с фрагмента в тексте не представляется возможным, что не всегда удобно.

Получаемый в результате «машинной» проверки отчет требует анализа. Система

оценивает как плагиат титульный лист, списки литературы, ссылки на литературные источники, что в некоторых случаях достигает 15% от общего объема найденных в тексте заимствований. Грамотно оформленные цитаты также распознаются системой как заимствованный текст. Большую проблему при проверке составляли литературный обзор и описание методик исследования. Данные разделы однозначно распознаются в проверяемых работах как заимствованные, несмотря на указание авторами диссертаций ссылок на первоисточники. Кроме того, в программе не предусмотрено распознавание формул, что ограничивает ее применимость для некоторых направлений подготовки. В разных источниках, хранящихся в базах Интернета, имеются ссылки на одни и те же первоисточники, поэтому не представляется возможным определить, использовал ли автор магистерской диссертации при подготовке и выполнении работы первоисточник или воспользовался базой Интернета.

По результатам проверки выпускных квалификационных работ магистров ТвГУ было рассчитано среднее значение оригинальности; в 2012/2013 учебном году оно составило 79,1%, а в 2013/2014 учебном году наблюдалось уменьшение данного показателя до 75,2%. Максимальное значение оригинальности было выявлено в 2012/

2013 учебном году и составило 99,85%, а минимальное было зафиксировано в 2013/

2014 учебном году и составило 10,08% (табл. 1).

В процессе проверки в 2012/2013 учебном году 16 магистерских диссертаций было переработано и представлено на повторную экспертизу, в следующем году

Таблица 1

Результаты проверки за 2012/2013 и 2013/2014 учебные годы

Общее количество Минимальное значение Максимальное значение Среднее значение

год проверенных оригинальности по оригинальности по оригинальности по

работ, шт. университету, % университету, % направлению, %

2012/2013 284 22,52 99,85 79,10

2013/2014 243 10,08 98,96 75,20

Социология образования

113

число повторно проверяемых работ возросло до 43. В 2013/2014 учебном году около 35% от всех представленных диссертаций были отправлены на доработку еще на стадии предварительной проверки по следующим причинам:

• отсутствие титульного листа;

• отсутствие списка литературы;

• отсутствие ссылок;

• отсутствие какой-либо части текста диссертации, заявленной в оглавлении (главы, параграфа, заключения, введения);

• технические сложности с чтением файлов системой «Антиплагиат. ВУЗ» (несовпадение кодировки);

• обнаружение попыток обмана системы «Антиплагиат. ВУЗ».

Попыткой обмануть систему «Антиплагиат. ВУЗ» проверяющими были расценены следующие действия:

- замена кириллических символов на латинские;

- вставка уменьшенных и обесцвеченных символов;

- добавление специальных символов в слова;

- замена текста изображением текста;

- представление текста в виде гиперссылки;

- наличие большого количества несогласованных предложений как следствие многократного автоматизированного перевода текста на различные языки.

Следует отметить, что разработчиками системы «Антиплагиат. ВУЗ» был устранен один из недостатков, которым ранее пользовались обучающиеся, - замена кириллических символов на латинские.

По окончании проверки результаты были обобщены и сопоставлены с оценками, полученными студентами при защите магистерских диссертаций. Несмотря на то, что сама проверка в системе «Антиплагиат» стимулировала многих преподавателей и руководителей основных образовательных программ к более внимательному рассмотрению выпускных работ, зависимости

между процентом оригинальности и оценкой, полученной на защите, не выявлено.

В процессе работы с системой возник очень серьезный вопрос: какой процент цитирования от объема работы является допустимым? Это касается также допустимого процента цитирования одного источника. Путем установления пороговых значений ответить на эти вопросы нельзя, однако отправная точка необходима. Нерешенность вопроса о минимально допустимом проценте оригинальности, конечно, затрудняет деятельность проверяющих. И хотя эта проблема носит скорее организационный характер, она обнаруживает то обстоятельство, что любая автоматизированная система проверки текстов может быть лишь инструментом, посредником между экспертом и базой документов, а сама проверка является трудоемким интеллектуальным процессом и должна быть индивидуальной в каждом случае. Решение об оригинальности работы всегда остается за научным руководителем и руководителем ООП.

В целом опыт Тверского государственного университета по проверке магистерских диссертаций в системе «Антиплагиат. ВУЗ» является положительным. Использование автоматизированной системы является фактором, влияющим на повышение качества подготовки выпускных квалификационных работ. Неотвратимость проверки побуждает студентов к более серьезному отношению к подготовке выпускной квалификационной работы, а научных руководителей и руководителей ООП - к более внимательному изучению работ магистров.

Литература

1. Авдеева Н.В., Никулина О.В., Сологубов

А.М. Система «Антиплагиат.РГБ» и недобросовестные авторы диссертаций: кто победит? // Научная периодика: проблемы и решения. 2012. № 5 (11). С. 11-16.

2. Плагиат в науке (Круглый стол в РГГУ. 11

114

Высшее образование в России • № 5, 2015

июня 2014 г.) // Социологическое обозрение. 2014. Т. 13. № 3. С. 193-218.

3. Пакет «Антиплагиат.ВУЗ». URL: http://

corp.antiplagiat.ru

4. Зимина О.И., Медведева О.Н., Мидоренко

Д.А., Супонев Н.П. Опыт использования системы «Антиплагиат.ВУЗ» в Тверском

государственном университете: «плюсы» и «минусы» программы // Материалы XXI Всерос. науч.-метод. конф. «Телемати-ка’2014» (Санкт-Петербург, 23-26 июня 2014 г.).

Статья поступила в редакцию 17.03.15.

INFORMATION SYSTEMS FOR EVALUATION THE QUALITY OF GRADUATION

QUALIFICATION THESES

SKAKOVSKAYA Ludmila N. - Dr. Sci. (Philology), Prof., First Prorector, Tver State University, Tver, Russia. E-mail: education@tversu.ru

MEDVEDEVA Olga N. - Cand. Sci. (Phys.-Math.), Assoc. Prof., Tver State University, Tver, Russia. E-mail: medved@tversu.ru

MIDORENKO Dmitriy A. - Head of Development and Application of Information Technologies in Education, Tver State University, Tver, Russia. E-mail: midorenko@tversu.ru POTEKHINA Anna V. - Head of Department of e-Learning Technologies, Tver State University, Tver, Russia. E-mail: potekhina@tversu.ru

ZHDANOVA OlgaV. - Cand. Sci. (Phys.-Math.), Assistant of Department of Magnetism, Tver State University, Tver, Russia. E-mail: zhdanova@tversu.ru

SUPONEVNikolay P. - Cand. Sci. (Phys.-Math.), Assoc. Prof., Tver State University, Tver, Russia. E-mail: Nick.Suponev@tversu.ru

Abstract. The article is devoted to results of applying computer-based system of verification of graduation qualification theses at Tver State University for the detection of plagiarism. We used a system «Antiplagiat.VUZ » as software. Statistical analysis of data was conducted for all directions of training in the 2012/2013 and 2013/2014 academic years. Features of the application of such systems were studied.

Keywords: graduation qualification theses, plagiarism, computer-based system for text verification, Antiplagiat.VUZ, education quality

References

1. Avdeeva N.V., Nikulina O.V., Sologubov A.M. (2012) [Unscrupulous authors of dissertations vs

“Antiplagiat.RSL” - who will win?]. Nauchnaya periodika: problemy i resheniya [Scientific review: problems and solutions]. No. 5

2. [Plagiarism in Science (Round Table, June 11, 2014)]. Sotsiologicheskoe obozrenie [Russian sociological

Review). 2014, vol. 13, no. 3, pp. 193-218

3. «Antiplagiat.VUZ» [The program «Antiplagiat.VUZ»]. Available at: http://corp.antiplagiat.ru

4. Zimina O.I., Medvedeva O.N., Midorenko D.A., Suponev N.P. (2014) [Experience in using a system

«Antiplagiat.VUZ » at Tver State University: «pros » and «cons » of the software]. Materialy XXI Vserossiiskoinauchno-metodicheskoi konf. «Telematika’2014 » [Proc. XXI Sci. and Tech. Conf. «Telematika’2014»]. St. Petersburg, 23-26 June, 2014.

The paper was submitted 17.03.15.

g