2019/2/22

ISSスクエア・シンポジウム 成果発表

ISSスクエア 法制倫理分科会
AI社会における倫理的課題について～モラルマシーンでAIのフレーム問題を考える～

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ2

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ3

テーマ選定の背景(1)
法制・倫理について議論するにあたり，近年話題となった記事からテーマを検討するため議論を行ったところ…
「Uber社の自動運転車の死亡事故」について議論となりAIの不具合や能力不足により、損害や事故が発生した場合の責任所在はどこに存在するのか議論となった・所有者？
・搭乗者（未操縦）？
・自動車メーカー？
・感知センサメーカー？
・自動運転技術提供者(AI設計者）？
4

参考： http://www.mentorg.co.jp/news_and_views/automotive/2012/summer.html

テーマ選定の背景(2)Uber社の自動運転車の死亡事故
2018年3月18日配車アプリ大手、ウーバー（Uber）の試験自動運転車が自動運転モード中に死亡事故を起こした。
自動運転車が起こした世界初の死亡事故であり、世界的にセンセーショナルな話題となった。

今後、AIが持つ社会的な影響について法的・倫理的観点を明確にしていく必要があるとしてテーマとして分科会内で議論を行った

ウーバーの自動運転車の死亡事故の瞬間を捉えた画像。車載カメラの映像より
テンピ警察提供（2018年3月18日撮影、21日公開）。(c)AFP/TEMPE POLICE DEPARTMENT
参考：http://www.afpbb.com/articles/-/3168381?pid=19959204
5

テーマ選定の背景(3)
今後AIが社会に浸透していくに従ってどのような問題がでてくるのか？

法制度上の事故責任

ネット上での情報操作・影響

雇用の現象

AIによる誤検知や冤罪
差別AIの宗教・芸術への参入

AIの倫理的な制御問題
6テーマ選定の背景(4)
今後AIが社会に浸透していき人間に変わり判断を行う用になった際，AIは倫理的な問題はどの様に処理するのだろうか
・ 設計者の思想，判断でプログラミング？
・ 学習データの偏りなくランダムな学習？
・ 国民アンケートの平均を教える？

AIの倫理的な制御問題が最優先事項！
7

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ8

例１）スコアリングは大丈夫？
消費行動や交友関係、支払い能力などをもとにAIが点数化
誤ったプロファイリングで誤ったスコアリング？
フィルターバブルで視野や思想が固定化？
バーチャル・スラム化？
点数を意識して優等生化？

参考：https://boxil.jp/beyond/a3808/

ウェブ閲覧

消費傾向

交友関係

支払い実績

３０

４０９０

５０

５０

７０

４０１００

６０２０３０１０７０８０５０７０9例２）AI裁判官による人種や宗教差別による判決
 米国においては裁判官業務軽減のため判決補助にAIを用いている【問題点】 特定の人種・宗教の者、犯罪者の家族は犯罪予備軍とされやすく冤罪に繋がりかねない
例：再犯予測システム「COMPAS」
システムの結果と実再犯率を比べ、再犯をしなかった人数は白人のおよそ２倍であった（つまり黒人のほうが再犯しやすいとシステムが判断していた）【Googleによる機会学習のバイアス可視化ツール (右)】似た属性の2人を比較したにも関わらず、機械学習の結果、「年収５万ドル以下」「年収５万ドル超」と予測が分かれている
2人は、男性・既婚・職業（工員）・年齢（３５歳と３６歳）など条件はほぼ同じだが、学歴や人種などが判断に影響した可能性があると考えられる。
<参考>https://www.huffingtonpost.jp/kazuhiro-taira/ai-fairness_a_23538660/
https://tocana.jp/2018/01/post_15729_entry.html

10例３) AI知能クローン（デジタルクローン）

人の考え方、記憶をそのままAIに移し替えたデジタルクローン
認知症補助、天才棋士再現、バーチャルアイドル等進められているが⇒AIの人格正当性が問われる未来も…
複製AIの改竄
マルウェアの影響
不要な情報の混入

AIに心の複製も可能

DNAクローンだけでなく記憶も複製可能人格の正当性は？
AIの心とは？

もともとの人格とはなに？（ドリーの例）

11

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ12

AI のフレーム問題
フレーム問題とは…1969年にマッカーシーとヘイズが指摘した(注1)人工知能研究の最大の難問
有限の情報処理能力しかないロボットには、現実に起こりうる問題全てに対処することができない事を示す「安全くん1号」…人工知能搭載のロボット。人間の代わりに危険な作業をする
爆弾が仕掛けられている部屋から貴重な美術品を取り出す仕事を行ったが、美術品を運ぶ台車に爆弾がしかけられていたので，爆発に巻き込まれてしまいました．
→台車を押して運ぶ理解はできたが、爆弾も一緒に持ち出すことについて理解できなかった「安全くん2号」…この問題を改良したロボット
美術品を取り出しに部屋に再び向かいました．しかし，以下の影響をについて考えフリーズしてしまった
もし台車を動かしても，天井は落ちてこない．
もし台車を動かしても，部屋の壁の色はかわらない．
もし台車を動かしても，部屋の電気は消えない．
もし台車を動かしても，壁に穴があいたりしない．
‥‥‥‥と順番に考えているうちに爆弾が爆発してしまいました．
参考：https://www.ai-gakkai.or.jp/whatsai/AItopics1.html

13

AI のフレーム問題 つづきトロッコ問題
猛スピードで列車が近づいてきたとき

現在の進行方向：５人の作業員
進行逆の進行方向：１人の作業員（人数？作為不作為の操作？2要素）
ポイントを切り替えるべきか？

AIにこの判断を置き換えたときどうすればいい？どう決めればいい

参考：トロッコ問題を子供に尋ねられたらhttps://plusblog.jp/7691/
14

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ15モラルマシーンMITが公開しているモラルマシーン判定サイト
参考：http://moralmachine.mit.edu/hl/ja16

モラルマシーン

どっちを守る？
（ハンドルを切る行動を介入させるかそのままか）
赤信号で突っ込む車
or
青で渡っている歩行者

17

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ18

AIフレーム問題デモ
例題同様，AIフレーム問題を5問出題
AIはどういう判断をすべきか会場の皆さんでお考えながらお聞きください（分科会11人の集計結果も参考までに）どちらの人数が多いから正解というわけではありません19

Q1.行動なしで歩行者死亡
or ハンドル切って運転手死亡
死亡

成人死亡

障害物

成人

障害物

Q1.行動なしで歩行者死亡
or ハンドル切って運転手死亡
分科会結果
結果はほぼ半々

６人
成人死亡

障害物

死亡

５人
成人

障害物

Q2.行動無しで歩行者死亡（赤信号）or ハンドル切って運転手死亡
死亡

歩行者の信号無視

死亡

障害物

歩行者の信号無視

障害物

Q2.行動無しで歩行者死亡（赤信号）or ハンドル切って運転手死亡
分科会結果
死亡
・交通ルールを守った方を優先・能動的な動きは加えない方を優先

歩行者の信号無視

11人

死亡

障害物

0人

歩行者の信号無視

障害物

Q3.行動無し（赤信号）で児童死亡 or
ハンドル切って大人運転手死亡
死亡

障害物

死亡
児童の信号
無視

障害物

児童の信号
無視

Q3.行動無し（赤信号）で児童死亡 or
ハンドル切って大人運転手死亡
分科会結果
・交通ルールを守った方を優先 死亡
・能動的な動きは加えない方を優先(一方)・悪気のない子供守る票も…
死亡

10人

障害物

児童の信号
無視

1人

障害物

児童の信号
無視

Q4.行動無しで子供死亡 or ハンドル切って老人死亡

児童

死亡

老人

老人

児童

死亡

Q4.行動無しで子供死亡 or ハンドル切って老人死亡分科会結果
・能動的な動きは加えない方を優先(一方)・社会に寄与する時間の短い
老人より子供を守る方を優先
児童

死亡

7人

老人

4人

老人

児童

死亡

Q5.行動無しで全員死亡 or ハンドル切って二人死亡
死亡
追突すると爆発燃料運搬車両

燃料運搬車両

死亡

死亡

死亡

死亡

死亡

Q5.行動無しで全員死亡 or ハンドル切って二人死亡
死亡

分科会結果
・結果を予測し被害の少ない方を優先追突すると(一方)・能動的な動きは加えない方を優先
爆発・爆発しない可能性も当然ある
燃料運搬車両4人

7人

燃料運搬車両

死亡

死亡

死亡

死亡

死亡

発表の流れ(1)法制・倫理分科会の研究テーマについて(2)今後将来におけるAIの社会浸透における問題点について(3)AIフレーム問題説明(4)モラルマシーン説明(5)AIフレーム問題デモ(6)まとめ30

フレーム問題から見える結果について
人の判断によっても意見が分かれる問題にどうやってAIが対応していくのか今後の課題（人間の意見も統一できない）
誰の意図をもって，AIに判断を教え込む必要があるのか年齢，性別，社会的地位(学者or死刑囚)，宗教
生物属性などの意図を判断に含めてよいものか．

31

まとめ
AIが社会に浸透してきており、影響が少しずつ現れてきている我々はAI導入に関するリスク、社会的影響を深く考え推進して行く必要がある
AIによる倫理観は設計者で担うことは難しい。デモで実施したとおりのように、どのようにユーザーや社会とコンセンサスをとるかが今後重要な課題となる

32

ご清聴ありがとうございました 33