Маленькие ошибки нейросетей привели к большим потерям

Герман Греф обвинил искусственный интеллект в огромных убытках. Топ-менеджер рассказал, что Сбербанк потерял миллиарды рублей из-за ошибок машины.

По словам Германа Грефа, эти системы нуждаются в серьезном усовершенствовании.

Герман Греф, глава Сбербанка

Футурологи нам говорят, что примерно через 30-50 лет задача сильного искусственного интеллекта будет решена, но пока машина еще не в состоянии оценивать правильность принимаемых ею решений. Очень часто бывают ошибки. Искусственный интеллект принимает решения, как правило, в очень больших системах. И маленькая ошибка, закравшаяся в алгоритм, может приводить к очень большим последствиям. В нашей практике мы теряли миллиарды рублей на этом. И потом когда это ошибка выявлялась, мы учились на ней, вставляли всевозможные фильтры, чтобы калибровать, верифицировать или валидировать систему.

Герман Греф большую ставку делает на искусственный интеллект: почти все его публичные выступления посвящены именно этой теме. Неоднократно он заявлял, что в банковской сфере не осталось областей, где не применялись бы такие технологии, — это и так называемые персональные финансовые менеджеры, и, к примеру, чат-боты, которые отвечают на типовые запросы клиентов.

Но к многомиллиардным убыткам, скорее всего, привели более серьезные проблемы. Не обошлось и без человеческого фактора, уверен директор по науке и технологиям Агентства искусственного интеллекта Роман Душкин: «Фактически речь идет о системах поддержки принятия решений, которые обычно не объясняют, как они находят те или иные закономерности. В этом сейчас их главная проблема, над которой бьются лучшие умы в этой области. Скорее всего, то, о чем говорит господин Греф, не связано с обработкой входящих звонков чат-ботами и так далее. Потому что это все-таки не столь важные технологические операции, на которых можно потерять миллиарды. На самом деле, система поддержки принятия решений должна выдавать свои рекомендации в отдел аналитики, и вот уже эксперт своей подписью подтверждает это решение. Тут действует так называемый человеческий фактор, от которого никуда не деться. Люди тоже совершают ошибки».

Банковская сфера зависима от клиентов — их поведение не всегда можно предсказать, отсюда часть ошибок, отметил эксперт по нейронным сетям компании «1С-Битрикс» Александр Сербул: «Системы искусственного интеллекта выдают вероятности. В данном случае если взять банк, какие там могут быть потери? Обычно там определяется вероятность выдачи клиенту кредита. Возникает вопрос: как учитывать потери? Самая простая метрика — вероятность умножается на сумму кредита, и, соответственно, получается некая математическая цифра. Выявляется, что же банк может потерять, если некое событие произойдет. На этих простых моделях кредитные организации и работают. Сказать точно, ошибается машина или нет, чрезвычайно сложно. Перед вами тысячи нейронов, которые выстроились в таком порядке, что привели к вероятности выдачи кредита 98%, но это может быть ошибка.

К сожалению, сейчас можно только статистически оценивать качество работы алгоритмов.

Можно сказать, что они дают правильный прогноз в 90% случаев. И эту цифру ученые сейчас пытаются поднять».

Ранее Герман Греф говорил, что из-за внедрения искусственного интеллекта из Сбербанка были уволены около 70% менеджеров среднего звена.