«Хотели отправить на пересдачу»: в УрФУ нейросеть сдала экзамен по истории России на тройку

Еще три месяца назад все удивлялись — московский студент за день с помощью нейросети написал диплом и защитился. Он говорил компьютеру, что надо писать, нейросеть писала, а студент потом лишь немного правил. Так что это еще вопрос, кто на самом деле защитился — нейросеть или человек.

В общем, в Уральском федеральном университете в Екатеринбурге, раз такое дело, решили пойти еще дальше — убрать из цепочки посредника в виде студента и принять экзамен сразу у нейросети.

Эксперимент такой решил провести доцент кафедры истории России УрФУ Михаил Киселев. Среди нейросетей, которые допустили до экзамена, были две наиболее нашумевшие — Sage и Chat GPT. И если вы видели в Интернете красивые картинки, созданные нейросетями, то знайте, что эти две немного иного рода.

Картинки они не делают, скорее «общаются» с человеком с помощью чата, отвечая на его вопросы. Ты пишешь нейросети «придумай сказку про Колобка, в которой он выживает», а она выдает тебе готовый текст, написанный человеческим языком, в котором Колобок убегает от лисы. За это студенты по всему миру уже полюбили такие нейросети.

— В ученом сообществе это обсуждаемая проблема сейчас, — рассказал «КП-Екатеринбург» Михаил Киселев. — В США, например, вызвало резонанс эссе с названием «Смерть университетских эссе». В нем подразумевалось, что преподавателям теперь будет сложно понять, кто написал эссе — компьютер или человек. Американские коллеги проводили опыты по написанию эссе нейросетью по разным дисциплинам. Она получала оценку либо 3, либо 4.

Впрочем, наметанный глаз преподавателя все равно отличит, студент писал или нейросеть. Дело в том, что у компьютера текст получается подозрительно гладким, без индивидуального стиля человека. Плюс бывают глупые ошибки.

— Я попросил нейросеть привести мне список знаменитых историков. Она взяла математика дореволюционной России Пафнутия Чебышева и поместила его в список историков, — говорит Михаил Киселев.

Экзамен длился полчаса. Времени на подготовку ответа нейросети дано не было — незачем. Она и так почти моментально отвечает на запрос.

— Я задавал нейросетям вопросы по истории России, представив, что передо мной студенты, которые перед экзаменом выучили определенный объем материала, — объясняет Михаил Киселев. — И выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то она уже путается. Хотя «духовная» — это то же самое завещание, но языком XVI века.

Дальше больше. Обе нейросети неправильно назвали Василия III царем — титул этот появился только при Иване IV Грозном. Ну, а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало.

Спросили нейросеть и про феномен сословно-представительской монархии. А она вместо того, чтобы рассказать про Земский собор (действовал с XVI по XVII век. — Прим. ред.), например, бросилась вещать о современном парламенте. В общем, срезался «студент». Понял, что ответа не знает, и начал придумывать, надеясь получить хотя бы тройку.

— На троечку она и защитилась. Знания какие-то есть. Но все-таки у меня было желание отправить ее на пересдачу, — смеется историк. — Видно, что материал она не понимает. Проблема с нейросетью сейчас в том, что она порой выдумывает факты и людей. Она дает не наиболее правильный, а наиболее вероятный ответ.

Так что, если с помощью нейросети написать диплом и получится, то заменить себя ею на экзамене студенты уж точно не смогут. Впрочем, в вузе отмечают, что в будущем нейросети, возможно, станут сильнее. А пока в лучшем случае их можно использовать как цифрового помощника для оформления списка литературы в дипломной работе, составления аннотации и подбора ключевых слов. На такую техническую работу она точно способна.