Искусственный интеллект в вопросе вынесения судебных решений, или ИИ-судья

160 ВЕКТОР ЮРИДИЧЕСКОЙ НАУКИ

Проблемы интеграции и интернационализации права и правовых систем в сфере цифровых технологий

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ В ВОПРОСЕ ВЫНЕСЕНИЯ СУДЕБНЫХ РЕШЕНИЙ, ИЛИ ИИ-СУДЬЯ1

Аннотация. Статья посвящена анализу проблематики использования искусственного интеллекта (ИИ) при вынесении судебных решений. Практика вынесения судебных решений ИИ применяется в ряде стран, например в Великобритании и США, однако она не является однозначной. Так, управление данными, обрабатываемыми роботами, представляет большую проблему не только с точки зрения законодательства об обработке персональных данных, но и с точки зрения типа данных, их объема. Идея ИИ-судей поднимает также важные этические вопросы, связанные с предвзятостью и автономией, в том числе создателей ИИ. На основании проведенного в статье анализа следует заключить, что вынесение судебных решений ИИ предполагает решение не только информационных вопросов, проблем защиты информации и информационной безопасности, защиты системы ИИ от проникновений, но и вопросов обучения ИИ, характеристик и систематизации самих данных в программах, критериев их обработки. Все эти проблемы требуют нормативного решения и определения критериев использования ИИ при вынесении судебных решений. Ключевые слова: искусственный интеллект, вынесение судебных решений, защита информации, информационная безопасность, машинное обучение, США, Великобритания, Европейский Союз.

DOI: 10.17803/2311-5998.2019.56.4.160-168

1 Работа выполнена при поддержке гранта «Искусственный интеллект и робототехника: компаративистское исследование моделей правового регулирования в современных государствах, международных организациях и интеграционных объединениях» 18-29© Т. С. Заплатина, 2019 16150 мк

В

ЕСТНИК

УНИВЕРСИТЕТА

О.Е. КупнЬина ГМПОА1

Татьяна Сергеевна ЗАПЛАТИНА,

преподаватель кафедры интеграционного и европейского права Университета имени О.Е. Кутафина (МГЮА), кандидат юридических наук tatianazaplatina@yandex.ru 125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9

)УНИВЕРСИТЕТА

имени O.E. Кутафина

Заплатима Т. С.

Искусственный интеллект в вопросе вынесения судебных решений, или ИИ-судья

T. S. ZAPLATINA,

lecturer of integrational and European law Chair of Kutafin Moscow State Law

University (MSAL), PhD in Law tatianazaplatina@yandex.ru 125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, 9

ARTIFICIAL INTELLECT IN THE PASSING SENTENCES ISSUES OR AI JUDGE

Abstract. The article is devoted to the analysis of the Artificial Intellect in the issues of bringing judicial decisions. The practice of passing sentences by AI is used in a number of countries, for example in the UK and the USA, but such a practice it is ambiguous. Thus, the management of data processed by robots is a big problem not only from the legal point of view concerning the personal data process, but also from the type of data and their volume point of view. The idea of AI judges also raises important ethical issues related to AI creators prejudgment and autonomy. Basing on the analysis performed in the article, it should be concluded that bringing judicial decisions by AI implies not only informational issues solving, but also solving of information protection and information security problems, protection of AI system from penetrations as well as AI training issues, data characteristics and data sys-tematization in the programs, data processing criteria. All these issues require legal regulatory decisions and the criteria determination for the AI use in bringing judicial decisions.

Keywords: Artificial Intellect, bringing judicial decisions, information, information security, Machine Learning, USA, United Kingdom, European Union.

И

скусственный интеллект (ИИ; англ. Artificial Intellect — AI) уже является частью нашей жизни — это не научная фантастика. ИИ — это реальность: от использования виртуального личного помощника для организации нашего § ^

2

ПР

рабочего дня до поездок в автомобиле с автоматическим управлением. Помимо облегчения нашей жизни, ИИ помогает нам решать некоторые из крупнейших

мировых проблем: от лечения хронических заболеваний или снижения уровня С!

смертности в дорожно-транспортных происшествиях до борьбы с изменением тСр

климата или предвидения угроз кибербезопасности. В Дании ИИ помогает спа- М§Б

сать жизни, позволяя аварийным службам диагностировать остановку сердца. ш АЕ

В Австрии он помогает рентгенологам более точно определять опухоли, мгно- ПИ^ венно сравнивая рентген с большим количеством других медицинских данных2. Ш

Рост вычислительной мощности, доступности данных и прогресса в алгоритмах ШЦ1

превратили ИИ в одну из самых стратегических технологий XXI в. Рассуждая над -СИ^

правовыми проблемами использования ИИ в различных сферах общественной g

ови

Joint Research Centre: Artificial Intelligence. A European Perspective // URL: http://publications. ЫАИ jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report_online.pdf (accessed:

20.02.2019). ТЕХНОЛОГИЙ

>

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на

жизни, в частности над возможностью использования ИИ при вынесении судебных решений, важно иметь представление о том, что такое ИИ, а также о его составляющих.

Пей Ванг3 считает, что не существует одно фиксированное определение искусственного интеллекта. Он перечисляет несколько способов, которыми ИИ может быть определен: по структуре, по поведению, по функциям и по принципу. Нильс Дж. Нильссон4 разбивает ИИ на такие компоненты, как искусственный (машина, в отличие от человека) + интеллект. Он считает, что с ростом сложности машины увеличивается ее интеллект. Джеймс Винсент5 отмечает, что одна из трудностей в использовании термина «искусственный интеллект» состоит в том, что его сложно определить. Фактически, как только машины стали справляться с задачей, которую раньше могли выполнять только люди — будь то игра в шахматы или распознавание лиц, — решение подобных задач перестало считаться признаком интеллекта (известным как «Эффект ИИ»).

Бен Коппин6 начинает с простого определения ИИ как изучения разумных систем. Однако это неполное определение, так как ИИ может использоваться для решения (простых и сложных) задач, которые являются частью внутренней структуры сложных систем. Затем он переопределяет термин на ИИ, включающий использование методов, основанных на интеллектуальном поведении людей для решения сложных проблем. По словам Коппина, второе определение более полезно при рассмотрении разницы между сильным ИИ и слабым ИИ7.

Рассел и Норвиг8 распределили ИИ по четырем категориям в зависимости от способностей: разумное мышление, рациональное мышление, разумные поступки и рациональные поступки.

Разумные поступки позволяют машинам обработать информацию на естественном языке, успешно общаться, хранить информацию, рассуждать над хранимой информацией, использовать ее для ответа на вопросы и делать новые выводы.

Что касается мышления, то, создавая машины, которые имитируют человеческое мышление, следует понимать, как люди думают. Это возможно благодаря самоанализу, психологическим экспериментам и визуализации мозга. Информатика и психология человека объединяются посредством когнитивной науки, которая в конечном итоге позволяет создать то, что мы сейчас называем ИИ. Рациональное мышление, в свою очередь, подчеркивает важность логики в вычислительном процессе.

3 Pei W. A. N. G. (2008). What Do You Mean by «AI»?. Artificial General Intelligence, 362-373.

4 Nilsson N. J. (1998). Artificial intelligence: a new synthesis. Elsevier. P. 5.

5 Vincent J. (2016, February 29). What counts as artificially intelligent? AI and deep learning, explained. Retrieved // URL: https://www.theverge.com/2016/2/29/11133682/deep-learning-aiexplained-machine-learning (accessed: 20.02.2019).

6 Coppin B. (2004). Artificial intelligence illuminated. Jones & Bartlett Learning. P. 4.

7 Anand S., Sinha A., Tiwari U. Artificial Intelligence — Literature Review. The Centre for Internet and Society, India // URL: https://cis-india.org/internet-governance/files/artificial-intelligence-literature-review (accessed: 20.02.2019).

8 Russell S., Norvig P. & Intelligence, A. (1995). A modern approach. Artificial Intelligence. Prentice-Hall, Egnlewood Cliffs, 25, 27.

в

ЕСТНИК Заплатина Т. С.

УНИВЕРСИТЕТА Искусственный интеллект в вопросе

имени o.e. кугафина(мгюА) вынесения судебных решений, или ИИ-судья

Итак, ИИ можно отнести к любому механизму или алгоритму, который способен наблюдать за окружающей средой, обучаться и, основываясь на полученных знаниях и опыте, предпринимать разумные действия или предлагать решения. Есть много разных технологий, которые подпадают под это широкое определение. На данный момент наиболее широко используются методы машинного обучения (англ. — Machine Learning (ML)).

ML — это технология, основанная на данных. ML требует больших объемов данных для обучения. По этой причине все страны, разрабатывающие стратегии ИИ, повышают ценность данных. Разработка таких стратегий нелегка, потому что они должны сбалансировать часто конкурирующие интересы между открытием доступа к данным для продвижения инноваций и прозрачности и ограничением его для защиты частной жизни и коммерческой конфиденциальности9. Сейчас мы находимся в начале нового этапа, связанного с высокими ожиданиями от возросших вычислительных возможностей и данных. Их комбинация поддерживает новые разработки, такие как машинное обучение для прогнозирования поведения. ML представляет собой сдвиг в вычислительной технике. Традиционно программист писал бы компьютерный код, устанавливая правила, необходимые для обработки ввода данных, чтобы получить ответ в качестве вывода.

В ML компьютер получает входные данные, а также ответы, ожидаемые от данных, агент ML должен разработать правила, применимые к новым данным для получения оригинальных ответов. Система ML является обучаемой, а не запрограммированной. Хотя ML — это общий класс алгоритмов, которые учатся на основе данных, их точность во многом зависит от качества набора обучающих данных и от того, насколько хорошо они структурированы, семантически маркированы и очищены, чтобы сделать их репрезентативными для решения проблемы и уменьшить количество параметров в данных.

ML имеет много общего со статистическим моделированием. Статистические оценки становятся более надежными по мере увеличения размера базового набора данных и уменьшения разброса данных. При большом разнообразии наблюдений и множестве объясняющих переменных в наборе данных для достижения надежных прогнозов могут потребоваться очень большие наборы данных. Как

10

ПР

правило, алгоритмам ML требуется гораздо больше данных, чем людям, чтобы обучаться сопоставимым навыкам. Например, алгоритм автоматического вождения может потребовать миллионы километров данных вождения, в то время как водителю-человеку требуется всего несколько тысяч километров опыта, чтобы стать опытным водителем. Сбор и аннотирование больших наборов данных со- М  Б пряжены с трудностями, качество необработанных данных часто низкое и требует очистки и структурирования, а многие данные нередко бесполезны10.

В настоящее время многие методы ML отображают некоторые характеристики модели «черного ящика», т.е. мы знаем, что входит и что выходит из алгоритма, но —Ц Н

у нас нет полного понимания его внутренней работы. Это ограничивает научное Ц И m

S — Г

е ра

9 Joint Research Centre: Artificial Intelligence. A European Perspective // URL: http://publications. ° Ац

jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report_online.pdf (accessed: ЫАИ

20.02.2019). X И И

Joint Research Centre: Artificial Intelligence. A European Perspective. ТЕХНОЛОГИЙ

>

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на

понимание алгоритмов, способность к восстановлению и усложняет человеческий контроль над происходящими в них процессами, например их безопасностью. В этой связи необходимо определить рамки оценки, которые являются значимыми в реальных условиях, чтобы соответствовать практическим условиям их применения, улучшить объяснимость, подотчетность и прозрачность алгоритмов.

Управление данными, обрабатываемыми роботами, представляет большую проблему. Действительно, автономные роботы будут собирать большие объемы данных, используя различные датчики как в случае с беспилотниками, роботами-помощниками и роботами по безопасности. Однако как быть в ситуации, когда робот обрабатывает информацию, связаную с судебным разбирательством, и выносит судебное решение? Так, ученые-компьютерщики из Университетского колледжа Лондона и Университета Шеффилда разработали программное обеспечение, которое может предсказать исход реальных дел в судебных процессах. Это программное обеспечение предсказало вердикт Европейского Суда по правам человека (далее — ЕСПЧ) с точностью до 79 %.

Алгоритм этого программного обеспечения не только рассматривает и взвешивает юридические доказательства, но также учитывает, что правильно и что неправильно. ИИ-судья вынес такое же решение, что и ЕСПЧ в четырех из пяти дел, касающихся унижения человеческого достоинства и неприкосновенности частной жизни. Чтобы принять решения, ИИ отсканировал 584 дела с опубликованными судебными решениями и изучил информацию по каждому делу, пока не пришел к собственному приговору11.

В данном контексте, сравнивая рассмотренное определение ИИ и МЦ следует заключить: чтобы сделать ИИ более эффективным в принятии решений, необходимо ввести больше алгоритмов, чтобы охватить больше случаев (в судебных решениях), так ИИ сможет лучше изучить и применить свою технику принятия решений. Важно также обратить внимание на необходимость предотвратить использование системы в злонамеренных целях. Более того, не следует исключать случаи хакерства для целей выявления недостатков в коде, чтобы выиграть дело. Возможны также случаи написания программ, которые могут изменить решение алгоритма ИИ, выносящего судебное решение.

Эксперты предполагают, что до того, как система станет доступной для других судов, будущий искусственный интеллект должен быть обучен специфике суда и пониманию того, как он должен использоваться12.

Рассмотрим еще один пример использования ИИ для решения судебных вопросов. Многие суды США используют систему освобождения под залог где судья устанавливает сумму залога, которую обвиняемый может заплатить, чтобы избежать необходимости оставаться в тюрьме в ожидании суда. В этой системе судьи часто устанавливают очень большую сумму залога для обвиняемых, чтобы избежать риска их неявки в суд. В этой связи ИИ может быть применен для оценки этого риска. Так, в некоторых американских судах судьи начинают использовать

11 Artificial Intelligence judge // URL: https://www.universityherald.com/articles/45702/20161024/ artificial-intelligence-judge-predict-outcome-european-court-trials.htm (accessed: 20.02.2019).

12 European Courts use artificial intelligenc // URL: http://anonymous-news.com/european-courts-use-artificial-intelligence-pass-sentence (accessed: 20.02.2019).

в

ЕСТНИК Заплатина Т. С.

УНИВЕРСИТЕТА Искусственный интеллект в вопросе

имени o.e. кугафина(мгюА) вынесения судебных решений, или ИИ-судья

системы искусственного интеллекта, чтобы решить, когда и на какой срок преступники должны быть заключены в тюрьму. Чтобы создать систему искусственного интеллекта, используют компьютеры для анализа данных тысяч судебных дел. Затем компьютеры используют эти данные, чтобы предсказать, совершит ли обвиняемый новое преступление или не вернется в суд.

Система ИИ, используемая судьями США, называется оценкой общественной безопасности. Инструмент был разработан частным фондом Лауры и Джона Арнольда, базирующимся в Техасе. В нем говорится, что система предназначена для предоставления судьям наиболее объективной информации для принятия справедливых решений в отношении заключенных13.

Судьи штата Нью-Джерси в настоящее время используют Оценку общественной безопасности, чтобы помочь в принятии предварительных решений в отношении обвиняемых. Судьи в других штатах также использовали эту систему. Процесс оценки начинается, как только у подозреваемого снимают отпечатки пальцев и информация поступает в централизованную компьютеризированную систему. На первом слушании, где из тюрьмы обвиняемые предстают перед судом при помощи видеоконференции, оценка риска предоставляется судье. Обвиняемые с более низкими оценками часто освобождаются под надзором суда до следующего судебного заседания. В этой связи судья Эрнест Капосела отмечает, что поддерживает усилия государства по использованию технологий для предоставления наилучшей доступной информации, чтобы помочь в принятии осторожных решений в отношении обвиняемых14.

Рассматривая вопрос возможности полной замены судей ИИ, следует ответить на вопрос, могут ли данные заменить суждение? Система ИИ, с одной стороны, направлена на уменьшение предвзятых решений, которые могут зависеть от расы, пола или внешности обвиняемого. Факторы риска, использованные при оценке, включают возраст и прошлые судимости, однако, с другой стороны, они не включают расу, пол, происхождение занятости, где человек живет или исто- ^ рию арестов.

Идея судей ИИ поднимает важные этические вопросы, связанные с пред- ш взятостью и автономией. Программы ИИ могут включать в себя предвзятость их Ши программистов и людей, с которыми они взаимодействуют. Хотя такие програм- Em мы могут воспроизводить существующие предубеждения человека, отличитель- ПР ной особенностью ИИ является то, что он может вести себя непреднамеренным С А образом по мере того, как он обучается (ML). Поэтому искоренение смещения тЦр становится еще более трудным, любая программа судейства должна учитывать М  Б эти предубеждения и проверяться на них15. — >Е

Предоставление ИИ полномочий по принятию решений по судебным делам

также поднимает фундаментальную проблему автономии. Судьи, будучи людьми, Е ш —

р>?

ЦИ±

13 URL: https://learningenglish.voanews.com/a/ai-used-by-judges-to-rule-on-prisoners/4236134. И И m html (accessed: 20.02.2019). В  А

14 URL: https://learningenglish.voanews.com/a/ai-used-by-judges-to-rule-on-prisoners/4236134. ° Ац html (accessed: 20.02.2019). Ы А И

15 URL: https://www.opendemocracy.net/transformation/ziyaad-bhorat/do-we-still-need-human-judges-in-age-of-artificial-intelligence (accessed: 20.02.2019). ТЕХНОЛОГИЙ

>

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на

могут быть предвзяты в определенных делах, ИИ же может быть использован для уменьшения такого рода предвзятости. Однако в отношении ИИ-судей следует отметить проблему обработки предоставленных для вынесения решения данных. Если ИИ сможет правильно определить закономерности в процессе принятия судебных решений, он, возможно, будет лучше использовать прецедент для решения или прогнозирования дел, как, например, это было отмечено при анализе недавно разработанной учеными из Лондонского университетского колледжа компьютерной программы, анализирующей данные из 584 дел в ЕСПЧ. Если ИИ сможет изучить историю дела и точно решить дела, основываясь на фактах, судьи-люди могут быть зарезервированы для вышестоящих судов, где необходимо рассмотреть более сложные юридические вопросы.

Ситуация усложняется в случае судей, которые вводят мораль в закон — это сложная задача, потому что оспариваются этические ценности и истоки морали. Например, некоторые юристы считают, что мораль исходит от Бога, природы или какого-то другого трансцендентного источника. Программирование ИИ с практическим, осуждающим пониманием этих божественных или подобных Богу источников в изменяющемся человеческом обществе является чрезвычайно сложной задачей. Более того, удивительный и непреднамеренный характер «обучения» ИИ может привести к четкой линии интерпретации, своего рода «lex искусственный». В этом случае ИИ может помогать или заменять людей в судах низшей инстанции, но судьи-люди должны сохранять свое место в качестве конечных арбитров на вершине любой правовой системы. С практической точки зрения, ИИ может помочь в изучении всей широты и глубины закона, но люди в конечном счете выберут то, что они считают морально превосходящей интерпретацией.

Американский судья Ричард Познер считает, что использование ИИ и автоматизации должно быть ограничено оказанием помощи судьям в выявлении их собственных предубеждений и поддержании последовательности. Тем не менее все более широкое использование автоматизации и процесса принятия решений ИИ в судах неизбежно повлияет на принятие человеком судебных решений16.

Еще один аспект в вопросе возможности полной замены судей ИИ связан с защитой и обработкой данных. Поскольку речь идет именно о вынесении судебных решений по делам, участниками которых являются физические лица, возникает проблема, связанная с обработкой персональных данных. В этой связи должны существовать строгие правила, регулирующие защиту персональных данных, а также большое значение должно быть уделено защите данных особого характера.

Поскольку данные могут передаваться практически без затрат по всему миру, вопрос о них стал проблемой, которая вращается вокруг идеи, что данные подчиняются законам и структурам управления в стране, где они собираются. В рамках Европейского Союза Регламент (ЕС) 2016/679 Европейского парламента и Совета от 27.04.2016 о защите физических лиц в отношении обработки персональных данных и о свободном перемещении таких данных и отмене Директивы 95/46/

16 URL: https://www.opendemocracy.net/transformation/ziyaad-bhorat/do-we-still-need-human-judges-in-age-of-artificial-intelligence.

"7^ЕСТНИК Заплатила Т. С.

я УНИВЕРСИТЕТА Искусственный интеллект в вопросе |6/

имени o.e. кугафина(мгюА) вынесения судебных решений, или ИИ-судья

ЕС17 (Регламент о защите данных (GDPR)) позволяет передавать персональные данные между государствами-членами. Передача персональных данных за пределы ЕС требует, чтобы получатель соблюдал правила GDPR.

Наборы данных являются необходимым входом в алгоритмы машинного обучения (МЦ. Доступ к данным, а также широкий обмен ими важен для развития ИИ. Регуляторные правовые меры ЕС в отношении данных оказываются между двумя полюсами:

(а) предоставление исключительных прав в качестве стимула для производителей и владельцев данных вкладывать больше средств в их сбор и анализ и

(б) обеспечение большей доступности данных для облегчения извлечения новых данных из данных, в том числе с ИИ/МЬ

Существует широкое нерегулируемое пространство между правами на персональные данные в рамках GDPR и общими правами на владение базой данных, где правят рыночный обмен данными, двусторонние контракты и меры технической защиты. Эта дискуссия варьируется от расширения эксклюзивных прав на владение данными до облегчения доступа к данным. Быстрый рост ИИ как технологии обработки данных подпитывает эту дискуссию. Нахождение нового баланса между этими двумя противоположными полюсами в дебатах требует больше социальных и политических дебатов. В связи с этим рассматриваются различные варианты, в том числе конкретное регулирование, создание нового квалифицированного права на доступ к данным или системы принудительных лицензий для предоставления доступа к данным как на горизонтальной, так и на секторальной основе. Доступ и использование данных являются основополагающими для многих приложений ИИ. Тем не менее эмпирические данные показывают, что оптимальную структуру для торговли и обмена данными еще предстоит реализовать.

На основании вышеизложенного, резюмируя все за и против ИИ в вопросе вынесения судебных решений, следует указать, что ответ на данный вопрос является неоднозначным, предполагает решения не только информационных вопросов, проблем защиты информации и информационной безопасности, защиты

17

пт

Пе

системы ИИ от проникновений, но также вопросов обучения ИИ, характеристик и систематизации самих данных в программах, критериев их обработки. Все эти проблемы требуют нормативного решения, определения критериев использова- П! ния ИИ при вынесении судебных решений. Т-Ер

ПП О Б

пЛМ ез И

гп ЦI

ЦИЕ

И п Г

е е А

Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 ОАц

on the protection of natural persons with regard to the processing of personal data and on ЫАИ

the free movement of such data, and repealing Directive 95/46/EC (General Data Protection

Regulation) //OJ L 119. 04.05.2016. P. 1-88. ТЕХНОЛОГИЙ

>

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на

БИБЛИОГРАФИЯ

1. Anand S., Sinha A., Tiwari U. Artificial Intelligence — Literature Abstract. The Centre for Internet and Society, India // URL: https://cis-india.org/internet-governance/files/ artificial-intelligence-literature-review (accessed: 20.02.2019).

2. Coppin B. (2004). Artificial intelligence illuminated. — Jones & Bartlett Learning.

3. Joint Research Centre: Artificial Intelligence. A European Perspective — URL: http://publications.jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report_online.pdf (accessed: 20.02.2019).

4. Nilsson N. J. (1998). Artificial intelligence: a new synthesis. Elsevier.

5. Pei W. A. N. G. (2008). What Do You Mean by «AI»?. Artificial General Intelligence.

6. Russell S., Norvlg P. & Intelligence, A. (1995). A modern approach. Artificial Intelligence. Prentice-Hall, Egnlewood Cliffs.

7. Vincent J. (2016, February 29). What counts as artificially intelligent? AI and deep learning, explained. Retrieved // URL: https://www.theverge. com/2016/2/29/11133682/deep-learning-aiexplained-machine-learning (accessed: 20.02.2019).