公益社団法人日本工学会 技術倫理協議会 第 17 回公開シンポジウム＜AIと倫理＞

講 演 資 料日 時：令和3年12月6日（月） 13時00分～16時45分
形 式： オンライン（Zoom ウェビナー）主 催：公益社団法人日本工学会 技術倫理協議会【協議会会員】公正研究推進協会、電気学会、電子情報通信学会、土木学会、日本化学会、
日本機械学会、日本技術士会、日本原子力学会、日本建築学会、
日本工学教育協会、日本非破壊検査協会、日本マリンエンジニアリング学会

日本工学会 技術倫理協議会 第 17 回公開シンポジウム＜AIと倫理＞
開催趣旨：
人工知能 (以下 AI) は、最近最も著しく進展しつつある新技術であり、既に製造業、交通・運輸、
医療・介護、IT サービス、商業、マーケティングなど多くの分野で急速に普及している。また、人間の役割を変革する可能性の大きい自動運転車や自律的な判断能力を持つ業務ロボットは AI がキーテ
クノロジーであり活発な技術開発が行われており、その実現は大きな社会的インパクトとなる。 応用
範囲が広く期待されている AI であるが、対象を学習して認識力を高め適宜判断する機能を有するため、従来の技術と異なり事故などが生じた場合の検証や責任の追跡に困難を生じるという問題がある。
また、AI の不適切な研究開発や利用によって生ずる負の側面も指摘されている。今回のシンポジウム
では、このような問題意識に基づき、AI の技術開発や利用に課すべき指針など AI の倫理問題について、識者をお招きして幅広く理解を深めると共に科学技術者が果たすべき役割について議論する。

＜ プ ロ グ ラ ム ＞
司会︓三⽊ 哲也（電気通信⼤学名誉教授）
開始

終了

演 題

～
時間

時間

登 壇 者
技術倫理協議会 議長（京都大学名誉教授）

13:00～13:05

開会挨拶

松久 寛

13:05～13:45【講演１】「AI は「善き社会」の夢を見るか−私たちが今考えるべき
こと」

遠藤 薫

氏

学習院大学 法学部 教授

13:45～14:25【講演２】「自動車の自動運転の開発にかかる倫理的問題」

伊藤 誠 氏

筑波大学 システム情報系
情報工学域 教授

14:25～15:05【講演３】「AI をめぐるネガティブな倫理とポジティブな倫理」

直江 清隆 氏東北大学 文学部 教授

15:05～15:15

休 憩

15:15～16:45

講演者によるパネル討論

パネリスト：遠藤 薫 氏、伊藤 誠 氏、
直江 清隆 氏
司会：札野 順（早稲田大学 教授）

2021/11/24

AIは「善き社会」の夢を⾒るかー私たちが今考えるべきことー
2021.12.6 ⽇本⼯学会公開シンポジウム
学習院⼤学
遠藤 薫

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

1

1

⾃⼰紹介
• 遠藤 薫• 東京⼤学教養学部基礎科学科卒業• 東京⼯業⼤学⼤学院博⼠課程修了（社会学，博⼠（学術））• 信州⼤学⼈⽂学部⽂化情報論講座助教授• 東京⼯業⼤学⼤学院社会理⼯学研究科価値システム専攻助教授• 学習院⼤学法学部政治学科教授（社会学）

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

2

2

1

2021/11/24

専⾨領域• 理論社会学（社会システム論/社会変動論）• 社会情報学、メディア論• 計算社会科学• シミュレーションの社会学• ⽂化社会学• 歴史社会学遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

3

3

社会活動
• ⽇本社会学会 常務理事
• 計算社会科学会会⻑
• ⽇本学術会議元第⼀部会員 社会学委員会委員⻑（現連携会員）• ⽇本計画⾏政学会 元副会⻑（現監事）• 数理社会学会 元副会⻑
• 国⽴国会図書館制度元審議会委員• 社会学系コンソーシアム元理事⻑• 横断型基幹科学技術研究団体連合 元副会⻑• ⽇本社会情報学会元会⻑
• 社会情報学会元副会⻑
• その他
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

4

4

2

2021/11/24

主な著書

重版出来！

遠藤薫，2021.12.6
重版出来！

日本工学会公開シンポジウム

重版出来！55

研究関心

2021.4.21 遠藤薫

6

6

3

2021/11/24

Contents• コロナ禍で加速するデジタル化• 〈情報社会〉〜〈AI社会〉の展開• AIは幸福な社会をもたらすか︖︓AIの⼆つの⽅向• AI／ロボットの別の⼆つの⽅向︓⼈間のAI化• ⼈新世とポスト・ヒューマン• 未来に向かって

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

77

コロナ禍で加速するデジタル化

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

8

8

4

2021/11/24

世界を襲う新型コロナウィルス禍
ー2020年の危機
グローバリ
ゼーション

気候変動

膨⼤な⼈⼝

⾃然の⼈⼯化

結果としてのパンデミック（新型コロナ感染拡⼤）
https://covid19.who.int（ 2020.9.11）

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

99

私たちの世界は持続可能か︖
ーー誰も置き去りにせずに世界を覆う諸問題は、まず、世界のなかでもっとも弱いものたちを攻撃する︕
もっとも弱いものたちを守ることが「幸福な社会」の証である。

アライグマ以外の画像はWikipedia より
アライグマは遠藤撮影

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

10

10

5

2021/11/24

コロナ禍の中で進む
Digital Transformation

図

テレワーク、オンライン授業の導⼊

データ︓2020年6⽉実施
N=2003

図

テレワーク、オンライン授業の導⼊の影響

インターネット調査（2010年国勢調査に拠る都道府県別・年代別・性別割当）
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

11

11

COVID-19の今後への影響予測

データ︓2020年6⽉実施 インターネット調査（2010年国勢調査に拠る
都道府県別・年代別・性別割当），N=2003
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

12

12

6

2021/11/24〈情報社会〉から〈AI社会へ〉

https://www.jetro.go.jp/biz/areareports/special/2018/1001/

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

13

13〈情報社会〉の展開（欧⽶）シンセサイザー
歌う⼈形（エジソン）
チェス差し⼈形ターク
オートマタ

第4の産業⾰命

現代ロボット，AI
コンピュータ

第3の産業⾰命

電気・⽯油

第2の産業⾰命

⾃動織機

第1の産業⾰命

時計

近代の
幕開け

ギリシア⾃動機械
機械仕掛けの神
鍛治神ヘーパイストス
⻘銅の巨⼈タロース
パンドーラ

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

14

14

7

2021/11/24

近代合理主義と機械論的哲学
前近代︓存在論
近代︓⽣成論F.L. ﾊﾞｳﾏｰ『近現代ヨーロッパの思想』
対象の機能­構造を分析⇒同等の機能を実現⇐フランケンシュ
タインの呪い天⽂学・物理学

国家（秩
序）論

医学・⼯学

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

1515

20世紀後半以降の科学におけるパラダイムシフト
擬機械論的システムから
擬⽣命論的システム（オートポイエーシス）へ
DNA ⼆重らせん構造は︓1953
年、James Watson）とFrancis
Crickが提唱
Von Neumann, John,
1966, “Theory of Self
Reproducing Automata”,
Univ. of Illinois Press

社会科学

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

情報
科学
⽣命
科学
16

16

8

2021/11/24

加速度と特異点• 「たえず加速度的な進歩をとげているテクノロジーは……⼈類の歴史において、ある⾮常に重⼤な特異点に到達しつつあるように思われる。この点を超えると、今⽇ある⼈間の営為は存続することができなくなるだろう」（スタニスラフ・ウラムが伝えたジョン・フォン・ノイマンの⾔
葉。 ”Tribute to John von
Neumann”, Bulletin of theAmerican Mathematical Society
64.3, pt.2 (May 1958):1-49.
(Kurzweil 2005:21より)）(Kurzweil 2005:31より)

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

17

17

AI／ロボットの別の⼆つの⽅向• 限定機能を⾃動化するAI ／ロボット• 無限定機能を⾃律的に実施するAI／
ロボット

https://commons.wikimedia.org/wiki/File:Honda_
ASIMO_(ver._2011)_2013_Tokyo_Motor_Show.jpg

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

18

18

9

2021/11/24

AIは「善い社会」の夢を⾒るか︖• AI／ロボットは⼈間の社会に適応できるのか︖• AI／ロボットは⼈間の社
会を損なわないか︖• そもそも「⼈間の思考」の⼈⼯的再現（⾃律型思考）は可能か

AI
参
照

埋込

社会ʻ

開
発

⼈間
⼈間
⼈間
⼈間
⼈間

創出

社会

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

19

19

AI、IoTの進歩する未来は︖（⽇⽶⽐較）
調査結果より（詳細は発表時）• あなたにとって次のような未来は、望ましい未来ですか、それとも不安に満ちた未来ですか︖次の（1）から（4）までのそれぞれについて
あなたの考えに近いものに○をつけてください。（○は１つずつ）

⽇⽶とも⼈間をサポートするロ
ボットを希望
遠藤薫，「インターネット利⽤と先端技術の社会的実装 WIP(WIP ⽇本チーム) 調査から」 2019.6.30 情報通信学会春季⼤会
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

20

20

10

2021/11/24

AI、IoTの進歩する未来は︖（⽇⽶⽐較）
調査結果より（詳細は発表時）• 問 ロボットやコンピュータが⼈間の仕事の⼤部分を実⾏できるようになったら、結果として起こりそうなことは次のうちどれですか。 次の1）から7）までのそれぞれについて、あなたのお考えに最も近いものに1つずつ○をつけてください。

経済についてはアメリカの⽅が悲観的︖

遠藤薫，「インターネット利⽤と先端技術の社会的実装 WIP(WIP ⽇本チーム) 調査から」 2019.6.30 情報通信学会春季⼤会
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

21

21

AI／ロボットのリスク• AI／ロボットの悪⽤• AI／ロボット利⽤の意図せざる結果• AI／ロボットの誤動作• AI／ロボットの暴⾛• AI／ロボットの悪⽤• AI／ロボットの軍事利⽤• AI／ロボットによる監視社会化• その他
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

22

22

11

2021/11/24

⼈間ｰ機械が共⽣するための「倫理」とは︖• ロボット三原則（Asimov
1950)• 第⼀条 ロボットは⼈間に危害を加えてはな らない。また，その危険を看過する ことによって，⼈間に危害を及ぼし てはならない。
• 第⼆条 ロボットは⼈間にあたえられた命令 に服従しなければならない。ただし， あたえられた命令
が，第⼀条に反す る場合は，この限りでない。
• 第三条 ロボットは，前掲第⼀条
および第⼆ 条に反するおそれのな
いかぎり，⾃ ⼰をまもらなければならない。

• ロボット法に関する三つのシナリ
オ（Pagallo 2013）• i ロボットの法的⼈格とその憲法的権利• ii 契約におけるロボットの法的答責性とその ⾃律性がどのように他の法分野に影響を与 えるか• iii 他者の⾏為に対して⼈が負うべき新しい種ロボットは今後，⼈間の⼀種となるのか，それ ともあくまで機械の範疇にとどまるのか。

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

23

23

トロッコ問題（遠藤による2018年⽇⽶中調査結果より）• 問 ブレーキが故障して暴⾛する路⾯電⾞が線路の分岐点に近づいている。もしその線路のまま路⾯電⾞を⾛らせると、線路上にいる
五⼈の作業員が死ぬ。進路を待避線に切り替えると、待避線の作業員⼀⼈が死ぬ。あなたがこの路⾯電⾞の運転⼿だったらどうするか︖（⼀つ選択）• 問２．問1と同じ状況で、本線上の５⼈が⾼齢者で、待避線上の作業員が若者だった場合にはどうですか︖（⼀つ選択）

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

24

24

12

2021/11/24

AI／ロボットの別の⽅向

https://commons.wikimedia.org/wiki/File:ActroidDER_01.jpg

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

25

25

⼈間のロボット（サイボーグ）化• ⼈体を⼈⼯的に変化させる• ⼈体に⼈⼯機械を埋め込む• ⼈体の⼀部を⼈⼯機械によって代替する• ⼈⼯機械に⼈体を埋め込む• ・・・・• どこまでが〈⼈間〉か

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

ニール・ハービソン（1984年7⽉27⽇⽣まれ）は、スペイン⽣まれのイギリス・アイ
ルランド⼈のサイボーグ・アーティストであり、ニューヨークを拠点に活動するトランスパシー権の活動家である。 彼は、世界で初めて頭蓋⾻にアンテナを埋め込まれた⼈間であることや、政府からサイボーグとして法的に認められることを主張していることでよく知られている。
（https://en.wikipedia.org/wiki/Neil_H
arbisson）

26

26

13

2021/11/24

⼈間の脳のreproduction• ほぼ完全な⼈間の脳、実験室で培養成功 2015年08
•
•

•
•

⽉20⽇ 09:51 発信地︓ワシントンD.C./⽶国
http://www.afpbb.com/articles/-/3057782【8⽉20⽇ AFP】極⼩の⼈間の脳をほぼ完全な形で実験室での培養に成功したとの研究結果を⽶⼤学の科学者が18⽇、発表した。
神経系疾患の治療に⼤きな進歩をもたらす可能性もあるという。
⽶オハイオ州⽴⼤学（Ohio State University）の報告によると、⼩さな脳の培養に成功したのは、同⼤のルネ・アナンド（Rene Anand）教授。脳の成熟度は、妊娠5週の胎児に相当するという。「それは発⽣中の脳のように⾒えるだけでなく、多様な細胞型、1個の脳に匹敵するほぼ全ての遺伝⼦の発現もみられる」と同教授は述べている。
……
また、これは神経科学研究全般にとっても恩恵となる可能性がある。この脳を利⽤することで、ゲノム研究においては、現在⽤いられているコンピューターモデルではない実践型のアプローチ
を実⾏できるからだ。このことについては、「数学的相関法や統計的⼿法はそれ⾃体、因果関係を特定するには不⼗分だ。実験シ
ステム、つまり⼈間の脳が必要なのだ」と説明している。(c)AFP

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

2727

⽔槽の中の脳• Hilary Putnam，1982，REASON, TRUTH
AND HISTORY，Cambridge University Press

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

28

28

14

2021/11/24

擬⾝体か、拡張現実か

https://en.wikipedia.org/wiki/Augme
nted_reality#/media/File:Desjardins_AR_Augmented_Reality_Game,_Mar
ch_2013.png

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

29

29

IoT:Internet of Things
IoH︓Internet of Human
IoA︓Internet of Ability
すべてがつながっていく

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

30

30

15

2021/11/24〈世界脳〉としてのインターネット

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

3131

監視網としてのインターネット

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

32

32

16

2021/11/24

ネットワーク化されたサイボーグとしての〈私〉たちの「社会学」は可能か

Unknown Master, Italian (active 1570s)
https://commons.wikimedia.org/wiki/File:Unknown_engraver__Humani_Victus_Instrumenta_-_Ars_Coquinaria_-_WGA23954.jpg

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

33

33

N.ルーマン『ポストヒューマンの⼈間論』東京⼤学出版会• 意味を構築する作動を、その作動がフィードバックによる⾃⼰再⽣産によって⽣み出すものの違い−−⼼的システム［意識システム］なのか、それとも社会システム［コミュニヶーションシステム］なのか−−によって区別することにより、われわれは、フッサールの理論的直観を全く別の「⽣活世界」に取り込もうとする⽬標に、かなり近づいたことになる。いまや、こう考えてみることができるかもしれない。ここに素描したことを基礎として、⼀つの社会理論を仕上げることができる。そこでは、コミュニケーションは基本的な作動として、情報を求めることは外部参照として、伝達を受けとめることは⾃⼰の歴史と照合する⾃⼰参照として、理解することはコミニーヶーションによって凝縮された意味をさらなるコミニーケーションにのせるための前提としてｌいつでも再開・続⾏できるコミュニケーションの重点を外部参照に置くか⾃⼰参照に置くか新たに決定しうるというオプションつきで捉えられるであろう。意識と同様にコミュニケーションも、作動によって⾃⼰の環境に介⼊することはできない。それは、システムの外に出てしまい、システムの環境において作動することを意味することになってしまうから。しかし、これができない代わりに、意識システムの場合もコミュニケーショ
ンシステムの場合も、システムは外部参照と⾃⼰参照を区別することができ、そのおかげで、双安定性を保ちながら未来に開かれた観察を⾏う
ことができるのだ。（p.41-2）

システム理論の基本的構図
システム（作動の閉鎖性）

環境(他の諸システム）
区 別
構造
連結

区別の内部転写とオッシレー
ションシステム⇔環境
⾃⼰参照⇔外部参照
リフレクシヨンii（としての⾃照）

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

34

34

17

2021/11/24

ポストメディア／ポストヒューマンへの期待と批判• 「テレビ、通信サービス、情報処理の接合」が急速に進展することで、「個⼈が集合的に再適合化され、情報機械やコミュニケーション機械、知性、芸術、⽂化の機械がインタラクティヴに使⽤され」、「あらゆる領域
において、⾮物質的な現実性のこうした⽣産が、物質的連関やサービスの⽣産に対して前景化」することで、「権⼒のあらゆる古い体制と、それぞれが世界をモデル化する⽅法は、脱領⼟化されたのだ」 （F.ガタリ(1990:76) ）• 加速主義の⼈々は、ポストキャピタリズムに⼀気に向かい出す転換点（ティッピングポイント）を技術の進歩が⾃動的に発⽣させる、と考えます。加速主義の論者の多くは、技術の進歩を⼿放しに称賛する、テクノ・
ユートピア主義者です。しかし、技術の進歩がむしろ、資本にとってのユートピアを⽣み出す可能性を⼩さく⾒積もりすぎている。だから、私は加速主義を⽀持しません。⼈間が機械によってコントロールされる⽇が来ても、加速主義の⼈たちは気にしないかもしれませんが、私はおおいに気にします。（Paul Mason 2019:294）
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

35

35

⼈新世とポスト・ヒューマンhttps://commons.wikimedia.org/wiki/File:Hong_Kong_Skyline_-_Dec_2007.jpg

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

36

36

18

2021/11/24

超情報社会の課題︓環境と⼈⼝• 「地球という惑星は，いま，激烈な科学技術に よる変容を経験しているのだが，ちょうどそれに ⾒合うかたちで恐るべきエコロジー的アンバラン スの現象が⽣じている。この
エコロジー的アンバ ランスは，適当な治療がほどこされないならば， ついには地上における⽣命の存続をおびやかすも のとなるだろう。こうした激変と並⾏して，個⼈的かつ集団的な⼈間の⽣活様式もしだいに悪化の ⼀途をたどっている」(Guattari 1989, 訳書:9)コロナ禍もその影響︖
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム3737

⼈新世(アントロポセン) とグレート・アクセラレーション• 完新世（Holocene）から⼈新世（Anthropocene）へ• 完新世︓⼈類⽂明の繁栄期（最近の12000年）• ⼈新世︓産業⾰命以降、とくに1950年代以降の経済活動の爆発的な加速（Great Acceleration）によって、⼈類が地球および⼈類⾃⾝を⼤きく変えてしまう可能性のある「⼈新世」が到来。
• ⇒地球への4つの圧⼒

圧⼒1︓⼈⼝増加と豊かさの追求
圧⼒2︓気候変動
圧⼒3:⽣態系の急激な破壊
圧⼒4︓地球環境の突然、不可逆的、広範な変化のリスク

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

38

38

19

2021/11/24

⼈新世(アントロポセン) とグレート・アクセラレーション

WWF，2018，『⽣きている地球レポート2018 』（https://www.wwf.or.jp/activities/data/201810lpr2018_jpn_sum.pdf）
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

39

39

いま・・・
• ⼈間の繁栄（⼈間中⼼主義）•⇩ 再帰性による転換• ⼈⼝の急激な縮⼩• ⾼齢化、少⼦化• 気候変動、巨⼤災害による⽂明破壊• ⼈獣共通（動物由来）感染症パンデミック•⇩• ⼈間はいつまで地球上で優位を保ち続けられるのか• ⼈間が優位であることは望ましいことなのか• 機械・動物はどのように位置づけられるのか
2021.9.22 遠藤

薫

40

40

20

2021/11/24

⼈間中⼼主義から⾒た⼈間と世界
⼈間中⼼主義︓「⾃然環境は⼈間が利⽤するための存在である、もしくは⼈間がもっとも進化した存在である」との信念（世界観）
神
⼈間
動物
⽣物
無機物（機械）遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

41

41

ポスト・ヒューマニズムとは︖
イデオロギーとしてのヒューマニズム（⼈間中⼼主義）

⾏
き
詰
ま
り
の
認
識

⾮⻄欧的世界観
弱い⼈間中⼼主義︓
⼈間以外のモノに内在的価値を認める
批判的ポスト・ヒューマニズム︓
討議倫理を重視
強硬で排他的な⼈間中⼼主義⇒「類としての⼈間を分割する政
治」
遠藤

薫（c）

42

42

21

2021/11/24

Routley, R. [1973] “Is There a Need for a New, an Environ- mental
Ethic ?,” reprinted in Zimmerman, M. E. et al. (ed.) [1998]
Environmental Philosophy (Second Edition), Prentice Hall, pp.17-25.

• 「⽂明、少なくとも⻄洋⽂明は、⼈間と⾃然環境との関係を⽰す新しい倫理（そしてそれに派⽣する新しい経済）を必要としていると⾔われています。レオポルドの⾔葉を借りれば、「⼟地とそこに⽣育する動物や植物と⼈間の関係を扱う倫理」である。倫理は、⼟地とそこに⽣育する動物や植物と⼈間との関係を扱うものである」（［1］p.238）。もちろん、古くからある
倫理が⾃然に対する⼈間の関係を扱っていないわけではない。
そして、⼀般的な⾒解では、⼈間は⾃分が望むように⾃然を⾃由に扱うことができる。」

遠藤

薫（c）

43

43

⽇本⽂化と未来の環境倫理• 「⽇本⼈の精神に⾒られる⾃然と⽂化の独特の融合は、⼆⼗⼀世紀の⾃然保全にとっては、障壁というよりむしろ強みである。現代の⻄洋の⾃然保
全哲学は、⼈間の領域と⾃然の領域の根本的な分離を継承し永続させてきた。⻄洋の歴史は、「⼈間」が英雄で⾃然がその敵として対置されて、両者が覇権を争う叙事詩であった。われわれ⼈間が⾃然に対する悲劇的な征服を完成した現在、保全論者は両者の⽴場を逆転させようとしているのだ
が、⼆元論そのものには依然として異議が唱えられていない。実際には、
ホモ・サピエンスはアフリカ・ゾウと同じく⾃然の⼀部であるし、⼈間は⾃分たちが住む環境をつねに変容させてきた。⼆⼗⼀世紀における⾃然保
全の課題は、⾃然環境を⼈間が利⽤しそこに居住するにあたって、⼈間と環境とが相互に⾼め合い豊かにし合うようなやり⽅を追究し促進していくことだろう。」• Callicott, J. Baird, 1994, EARTHʼS INSIGHTS: A Multicultural Survey of Ecological
Ethics from the Mediterrancan Basin to the Australian Outback. University ofcalifornia Press.（⼭内友三郎他・監訳，2009，『地球の洞察−−多⽂化時代の環境哲学』みすず書房）
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

44

44

22

2021/11/24

ロボット，AIの系譜（⽇本）
現代ロボット，AI

初⾳ミク

コンピュータ

舞台装置等
の仕掛技術
から
くり
⼈形

電気・⽯油

歌舞伎

⼈形
浄瑠璃

戦後の情報社会化

明治・近代
明治・富国
強兵
化

時計
⾃動織機

和時計

傀儡師
陰陽師（技術者）

時計

⾒世物

鍛治神=天⽬⼀箇神

南蛮⽂化と
の出会い

巨⼈ ダイダラボッチ
⼀つ⽬⼩僧 ひょっとこ

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム4545

ヒトとモノの関係
共⽣か？

対⽴か？

モノたちの共⽣する世界

神

不安定

⼈

循環する
上下関係

者
物

霊

物

三者の等価関係

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

46

46

23

2021/11/24

⽂化と⽂化の共進化⻄欧的⼈⼯物観⽇本的⼈⼯物観

⼈⼯知能の創出

⼈⼯知能の社会化

⼈⼯知能の進化

⼈⼯知能と⼈の相互化

⼈⼯知能と⼈間の擬似的対抗

⼈⼯知能と⼈間の緩やかなネットワーク化
共進化

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

47

47

未来に向かって参加と評価のシステムの構築を

エージェントベー
ストシミュレーション（ABS)

可視化

客観化

2021.1.28 遠藤薫

48

48

24

2021/11/24

主な参考⽂献• Braidotti, Rosi , 2013, THE POSTHUMAN (1st Edition), Polity Press.（⾨倉岳史・監訳，
2019，『ポストヒューマン 新しい⼈⽂学に向けて』フィルム・アート社）• 遠藤薫，2019，「AI／IoT社会における規範問題を考える計算社会科学とポスト・ヒューマニ
ティ」『社会情報学』第８巻２号 2019
• 遠藤薫，2018，『ロボットと⽣きる明⽇』，岩波書店• 遠藤薫，2015，「メタ複製技術時代のく世界脳〉−−書物へのオマージュと電⼦化されたく知〉」，⻑尾真編『デジタル時代の知識創造』KADOKAWA• 遠藤薫，2013，『廃墟で歌う天使−−ベンヤミン『複製技術時代の芸術作品』を読み直す』，現代書館• 遠藤薫，2000，『電⼦社会論ーー電⼦的リアリティの想像⼒と世界変容』• Guattari, F. （1989） Les trois ecologie, Galilee.（杉村昌昭訳，2008，『三つのエコロ
ジー』平凡社）• Haraway, Danna, 1991, SIMIANS, CYBORGS AND WOMEN: The Reinvention of Nature.
• Kurzwel, Ray, 2005, THE SINGULARITY IS NEAR: WHEN Humans TRANSCEND BIOLOGY.
（井上健・監訳，2007，『ポスト･ヒューマン誕⽣ コンピュータが⼈類の知性を超えるとき』NHK出版）• Mitchell, William, 2003，The Cyborg Self and the Networked City，The MIT Press.
遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

49

49

ご静聴
ありがとうございました

遠藤薫，2021.12.6 ⽇本⼯学会公開シンポジウム

50

50

25

日本工学会 技術倫理協議会 第17回公開
シンポジウム2021/12/6

日本工学会技術倫理協議会
令和3年度第17回公開シンポジウム「AIと倫理」
2021年12月6日（月）自動車の自動運転の開発にかかる倫理的問題
筑波大学 システム情報系
伊藤誠

1

自己紹介

伊藤誠

最近は実務的な議論にかかわることが多いです• 自動運転関連の主な研究プロジェクト• 令和元年‐3年度「戦略的イノベーション創造プログラム（SIP）第2期／自動運転（システムとサービスの拡張）／自動運転の高度化に則したHMI及び安全教育方法に関する調査研究」，サブテーマ代表• 平成30‐令和2年度「戦略的イノベーション創造プログラム（SIP）第２期／自動運転（システムとサービスの拡張）／視野障害を有する者に対する高度運転支援システムに関する研究」, サブテーマ代表• 主な社会貢献• 第5,6,7期先進安全自動車 (ASV) 推進計画 通信利用技術分科会 委員• ISO/TC241 道路交通安全マネジメントシステム国内審議委員会委員⾧• 無人運航船安全評価等実施委員会 委員• APRIN 理工学分科会 委員

2日本工学会 技術倫理協議会 第17回公開
シンポジウム

本日の講演で話さないこと• サービス開始後に学習して（勝手に）変わっていくAIについての倫理的な問題については触れないつもりでいます• そのようなシステムは，少なくとも今日において、機能・性能が保証できる手法・枠組みは確立していないと理解しています• 当面の対応として，日本の自動車業界において，機能・性能を保証できないものが製品として市場に出る可能性は高くないと信じています• 今実用化が進んでいる程度の自動運転は、まだそれほどインテリジェントではないというべきです• この意味で、今すぐ答えを出さなければならない問題ではないという認識です• さらに、そのようなAIにおいて、自動車独自の側面はあまりないかもしれません• 人の生死に直接かかわるという意味で分かりやすい問題ではありますが。

• いわゆる「トロッコ問題」については触れないつもりです• 皆さん、もう飽き飽きされているころかと思います• 倫理そのものについては語ることはできません

3

本日の講演で話すこと• 国内外の自動運転の開発にかかわる活動について、• 現在進められているものを見たり聞いたりしている中で，• 倫理「的」な意味で問題・課題があると感じていることのうち、• 重要そうなものをいくつかピックアップしてご紹介します4

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウム2021/12/6

プロローグ：自動運転への不安
自動車の自動運転はかえって不安全を招くのではないか？

• 誤用，悪用により，「自動運転的な機能」を持つ車の事故は実際におき始めている• 完全な自動運転は交通法規に厳格に従うと思われ，道路交通を混乱させかねない

自動車の自動運転は人間の行動の自由を奪うのではないか？

• 駐停車禁止のところで，ちょっと車を止めて用事を済ませたい，といったことがしづらくなる• 厳密にはダメなことであっても、ちょっとした「融通」は世界のいたるところにある。そうした融通を利かせづらくなる

5

プロローグ
Where is the editorial responsibility in publishing records inthis nature?
Well, where is the editorial responsibility in not publishingthem?

Spotlight (2015)6日本工学会 技術倫理協議会 第17回公開
シンポジウム2021/12/6

Automated Driving
Where is the responsibility in developing automated driving
systems?
Well, where is the responsibility in not developing them?
現在の道路交通で安全が阻害されていて、自動運転で安全が向上する可能性があるなら、自動運転の開発に取り組まないことの責任を考えなければならない「自動運転」に問題・懸念があるからといって、「そんなものやるな」と言うのは、
必ずしも適切な対応だとは限らない

7

では、現状どれくらい安全が阻害されているか

道路交通事故（日本の場合）

事故後30日以内死者
3416名＠2020

負傷者数1,400,000

1,200,000

1,000,000

800,000

600,000

400,000

200,000

今でも、年間30万人を超える負傷者がある

01948 1950 1952 1954 1956 1958 1960 1962 1964 1966 1968 1970 1972 1974 1976 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016 2018 2020

内閣府、交通安全白書、令和3年版

8日本工学会 技術倫理協議会 第17回公開
シンポジウム2021/12/6

世界の動向
年間135万人が道路交通事故で死亡する

WHO (2018). Global status report on road safety 2018

9789241565684-eng.pdf

9

自動運転の開発における倫理的問題
1. 安全を保証することはできるか
2. 責任を（適切に）分担することはできるか10日本工学会 技術倫理協議会 第17回公開
シンポジウム

１．安全を保証するということの問題• 安全をリスクで判断できるか• 「許容できないリスク」とは• How safe is safe enough?

• 普通の人並か、模範ドライバか• デジタルツインは本当に大丈夫か• 実機、実社会で実証していないシステムの安全を信頼できるか

11

リスクで安全を判断すること• 安全：

許容できないリスクがないこと• 許容できる・できないの判断を下すのは誰か• 社会として、安全だ、と判断するということと• 開発者が、「安全」とする度合を決める こととの違い• 安全の保証≠事故の非発生• 交通事故が（絶対に）起こらないようにするという意味ではない• 交通事故のリスクが、（社会が許容する程度に）十分低いことの確証を与えるということ• 厳密には、「社会がこれぐらいなら許容するだろう」と開発者が判断する程度に十分低いということを、• 「社会がこれなら確信してくれるだろう」と開発者が確証するということ• リスクの「色」• 減少分と増大分を差し引きできるか• 意図しないヒューマンエラーで発生していた事故は，自動化技術で減少できる• リスクホメオスタシスが効くと，「分母」が増えるため，トータルとしての事故は期待通りには減らないかもしれない• 誤用・悪用は，件数が少なくても許せない？

12

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウム13

How safe is safe enough?
SAKURA Projectの場合 https://www.sakura-prj.go.jp/• 自動運転システムが安全であることを保証するアプローチ• Reasonably foreseeable なシナリオ• 道路形状、自車挙動、周辺環境から、シーンを特定• そのシーンにおいて、現実世界で起こっている実データをもとに、パラメータの範囲を特定• Preventable• Avoidable by a competent and careful human driver「普通の人並み」に安全な運転ではなぜ社会は満足できないのか
あるいは，なぜ，それでは社会が満足できないだろうと技術者は考えるのか（cf. エアバッグの実用化初期の問題を思い出そう）

14

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウムデジタルツインによる保証• 実証できることの限界• 広大なパラメータの空間のすべてを実社会で実地に検証することは事実上不可能• 実証不可能性への対応

1. リリースしてみて，問題が発生したら随時ソフトウェアアップデートで対応する• これ自体は必ずしも悪いものではなく、インターネットの世界はもともとそういうもの。
• ベストエフォート、無保証• 一部の電気自動車では、あたかもそのようなアプローチをとっているとしか思えないブランドもある2. プロセスでの保証• 演繹的な論理とシミュレーション
究極的には、信頼 がすべてをきめる

15

２．責任を分担することの問題• Shared responsibility• 人間の意思をどこまで尊重するか

16

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウム2021/12/6

Shared Responsibility• ISO39001で採用している考え方 (cf. Vision Zero)• 道路交通安全は、それに参加するあらゆる機関が責任を共有して対応する（せざるを得ない）• 主要なプレイヤー• 道路インフラ• 道路ユーザ、運送事業者

どの主体も、それ単独では、
道路安全を保証できない（だからこそのshared responsibility）
ただ、どの主体がどこまでの責任を持つべきかについては、
必ずしもコンセンサスが得られるわけではない

• 車両

17

Share の意味
• 一つのものを一緒に持つ (extend, assist)• 一つのものを分割して、それぞれにわける (divide)

責任の共有の問題が責任の分担の問題になって、話がややこしくなる

18日本工学会 技術倫理協議会 第17回公開
シンポジウムdivided responsibility の非対称性• 車両とドライバの場合、どちらがどこまでの責任を負うのかは、
合意なしに、車両側の都合だけで決まる• 大枠としては、「運転自動化レベル」に応じて責任の範囲は決まっている• レベル２：常にドライバが主体的に安全確保を行う• レベル３：システムが作動中は、ドライバは安全確保に努める必要はない• 具体的にどの場面においてどちらが責任を負うかは、車両側が決める• 現在実用化されている「レベル3」のシステムでは、作動可能な条件として、速度の範囲が設定されている• 速度の上限に達したら、そこから先はドライバが運転を引き取る必要がある• 車両のユーザは、その全てをわかってシステムを使っているわけではない

19

Unshared responsibility:
今の運転支援に起こっていること• レーン内を維持することを支援するシステム（hands-onのシステムの場合）• システムは、システム作動中であっても、ドライバがハンドルを握ることを要請している• ドライバがハンドルから手を離したら• 「手が離れているぞ」と注意喚起• それでも手を放し続けていたら• システムは、メッセージを発するとともに作動を終了。

• 結果として、「誰もハンドルを操作していない」状態ができあがる• 法的には、レベル2であるのでいかなる場合においてもドライバが責めを負う• しかし、unshared な状態を作り出す（主要な）原因は、明らかにシステムデザインにある

20

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウム

自動運転システム利用にあたって
ドライバが持つべき覚悟• 完全自動運転の時代が来るまでは、ドライバが何らかの役割・責任を持つ• その役割・責任を正しく理解しないことには、適切な利用は望めない• 他方、自動車は、自動運転がなくたって、ある程度は安全に運転できる• システムの機能・性能と、自身の役割・責任とを正しく理解するには、それなりの「覚悟」がいる• その覚悟を持たせるインセンティブをメーカサイドが提供できるか

21

人間の意思をどこまで尊重するか• 従来の運転支援：人間中心の思想（参考：ASV運転支援の考え方）• 人間の意思を確認する• 勝手に作動したりしない• 人間の意思を優先する• ACC：ドライバのアクセル→オーバーライド、ドライバのブレーキ：システムオフ• 衝突被害軽減ブレーキ： ドライバがアクセルを踏めば、自動ブレーキがオフ• 自動運転は人の不安全な行動を見過ごし（たまま）でよいのか• システムの状況認識能力はどんどん高度化している

22

2021/12/6

日本工学会 技術倫理協議会 第17回公開
シンポジウム

人間の意思をどこまで尊重するか• 基本的には法順守• あらゆる場合に法順守？

• ACCはもともと時速110㎞まで設定できるようになっている

23

2021/12/6

日本工学会技術倫理協議会第17回公開
シンポジウム2021/12/06

AIをめぐるネガティブな倫理とポジ
ティブな倫理直江清隆（東北大学）

1

直江清隆
東京大学 理学系研究科博士課程単位取得退学
現在、東北大学大学院文学研究科 教授
専門：哲学、技術哲学、科学技術倫理2

1

日本工学会技術倫理協議会第17回公開
シンポジウム2021/12/06

ポジティブとは？！
前向き責任(forward-looking/ prospective responsibility)
いま起こりつつある出来事やこれから起きる出来事に関して行為者が負う責任。後ろ向きの帰責と対比。これから起きる出来事に対する予防策を含む。
志向倫理(aspirational ethics) エンジニアに対したんなる義務（「やってはならないこと」）を超えて人間のwell-beingを促進することを要求(Harris, 2017)。「誇り」「社会意識」環境意識」といった「プロフェッションとしての品性」として「誇り」「社会意識」環境意識」など。予防策と対立しうる。
ポジティブな倫理
善き生活と善き社会のビジョンに基づいて、私たちが（ともに）いかに生きるかに関係する倫理。 これは、制限を設けて、私たちがしてはならないことを述べる否定的な(negative)倫理とは対照的。「八に配慮したデザイン」(Value-sensitive Design)を含む。

3

汎用AI とその未来をめぐってなされている議論の核心「魔術を解くか、あるいは人間存在の神秘にしがみつくか」という問い。しかし、重要なのは、仮定の話としての汎用AI によって生じる哲学的問題や、遠い将来のスーパーインテリジェン
スにまつわるリスクの話ではなく、既に働きはじめているAIの現実の姿である。(Coeckelbergh, 2020)

デザインが担う倫理 技術倫理に対するアプローチの一つであり、技術の設計（デザイン）および開発段階に倫理を統合することを目的とする責任あるイノベーションの主要な構成要素。
「デザインに価値を埋めむ」こととして定式化される。

42

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム

例：WHOの専門家委員会によるEthics and governanceof artificial intelligence for health(2021.6)「AIが患者やコミュニティの利益を向上させることができるか否かは、倫理的に正当化可能な法律や政策あるいは倫理的にデザインされたAI技術を、設計・実装するための集団的努力にかかっている。また、健康のためのAI技術への資金提供や、設計、規制、利用を行う人々が、倫理原則や人権に関する義務を優先しない場
合には、深刻な悪影響を及ぼす可能性がある。」(xi)
健康のために人工知能を利用するための主要な倫理原則
1 自律性の保護
2 人間の幸福(well-being)、人間の安全、公共の利益の促進
3 透明性、説明可能性、理解可能性の確保
4 責任と説明責任の育成
5 包摂性（inclusiveness)と公平性の確保
6 応答性(responsive)と持続性をもった人工知能の促進

5

人工物（ＡＩなど）への価値の組み込み⇒”人間中心”のAI

https://learning.edx.org/course/course-v1:DelftX+RI101x+1T2016/home
より

6

3

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム

１. AIと人々のふるまい方の変化
医療へのAI（およびIoT、ビッグデータ）の導入可能性の例
・手術支援ロボット（ポスト・ダヴィンチ）
・服剤管理IoT・ウェラブル生体センサー IoT、血液検査
・画像解析、医療診断
・治療提案、予後予測
・問診、身体診察
・遠隔治療
・個別医療

ビッグデータビッグデータ・電子カルテ 多目的臨床データ登録システム
cf. リセプト National Database（NDB）
・創薬

7

情報倫理的コンフリクト（従来型）(1)AIを用いたビッグデータ解析により、医療分野で診断、治療、政策立案な度への活用が可能になる⇅機微性を持った個人のプライバシー情報の侵害の可能性
情報のリーク
匿名化しても「容易照合性」
AIと人間の関わりかたの変化
技術的媒介：人工物が人間の経験や現実の解釈をいかに媒介するかに注目
技術が現実とわれわれの関係を媒介す
るとき、われわれが知覚するものを変換し（transform）、この変換は常に増幅（amplification）と縮減（reduction）
を伴う.

8

4

日本工学会技術倫理協議会第17回公開
シンポジウム2021/12/06(2)技術に伴う能力や熟練の変化
プラトンの『パイドロス』

文字の使用について議論するエジプトの発明神
テウトと王タモスの対話
テウトは文字という技術を発明。テウトはタモス王を訪れて彼が発明した文字について、これは市民を賢くし、よりよく記憶することを可能にするだろうと述べたが、タモスはテウトが期待したほど感嘆しなかった。
①文字には人間の能力（記憶力や知恵）を代替、拡張する効用がある。
②文字に依存することで機能（記憶）の訓練がなおざりになり、衰退（物忘れ）を来すようになる。
③発明者が常にその発明品の効用の良い評価者であるのではない。発明者の意図と発明品の効果は異なる。
④以上の議論は、文字以外の発明品にも当てはまる。

9

道具主義的な見方からの転換
道具主義
技術は利用者の目的に奉仕する道具である‖
技術は価値や政治から中立
技術は合理的。技術それ自身には価値判断の対象となる内容は含まれない
技術的媒介
技術は、人間の活動を再構成する働き。「増大と縮減」。
社会や文化は外的要因ではない。

ベインブリッジ「自動化の皮肉」

105

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム

画像化、画像診断
複数の観測者、入力装置、データ処
理コンピューター、ターゲットとなる患者の器官、これらを要素とするネット
ワークによって知が営まれている(Hutchins)

医療者

患者/患者
の器官

検査者・画
像入力機器

AI

Cf. 「熟練の全人性は労働者の集団としての全人性によって、工程の全体としてのトータリティによって、彼ら自身の協業への意志によって担われる」（中岡哲郎 『工場の哲学』 1973）「画像はこれらのデータを用いて構成されたものであるが、データを超えている」(Girre)。データを読み、そこからいわば一個のモデルとして画像を提
示
11

11

AIにおけるバイアス
再犯予測システムCOMPAS
アメリカの裁判所でいつ仮釈放されるかについての判断の際に使用
・被告に１３７の質問（犯罪、保釈の履歴や年齢、雇用状況、暮らしぶり、教育レベル、地域とのつながり、薬物使用、信条、さらには家族の犯罪歴、薬物使用歴など）を答えさせ、過去の犯罪データとの照合により、再び犯罪を犯す危険性を１０段階の点数として割り出すシステム
問題点
裁判官が過度にCOMPASに依存してしまう傾向
アルゴリズムによる判定の偏り
偽陽性の人（再犯すると予測されたが実際にそうではなかった被告）は黒人に偽陰性の人（再犯しないと予測されたが実際に再犯した被告）は白人に
偏っていた

12

6

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム２. AIと責任という考えの変化
例， ケアロボット

https://learning.edx.org/course/course-v1:DelftX+RI101x+1T2016/homeより

13

ケアロボットのメリット（例）・ある種の技術的課題をより効率的かつ信頼性を持って遂行できる• 患者に対する虐待のリスクがない• 医療従事者や資源の不足を緩和する見込み

ケアロボットへの倫理的危惧（例）• プライバシー・ケアの質の低下を招く?
• 注意を払うこと• 応答性• 言語能力• 互酬性

ケアロボットに関する責任の問題• 道徳的、法的責任
ロボットがもたらして損害に対して誰が責任を負うのか？
医療機関だろうか？それともロボットだろうか？
ケアロボットを提供している会社だろうか？ 患者自身だろ
うか？

14

7

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム

道徳的責任のための条件
1，能力条件(capacity)

子どもや認知症患者は除外の可能性

2，自由条件 行動する自由があり、外的圧力の影響下におかれていないという条件。（もし私がある人の頭に銃口を向けて、何か悪事を働くよう要求したとすれば、その人には悪事に対する責任があるとは考えられない。彼は他のしかたで行為する自由がなかったから。）
3，知識条件 自分の行動がある否定的な結果をもたらすかもしれないという知識を持つべきであるということ。もしこのことを知らないのな
ら、一般に彼は責任を負わされない。（当然知っているべき知識を知らない場合には、責任を負うことになる。）
4，因果条件 その人の行動と否定的結果の間には、因果的連関がなければならないということ。私が因果的に寄与していない物事について、私に責任を負わせることはできない。

15

課題１

ＡＩに道徳的行為者性はあるのか？ （１，２）

AI は「ただの機械にすぎない」のだろうか。それともAI は何らかの道
徳的な考慮に値するのだろうか。

人間：意識と自由を持ち、道徳的・非道徳的な行動、推論、判断、および意思決定を行う。道徳的行為者

従来型の自動車。人間の殺傷という非道徳的な結果をもたらしうる。道徳的行為者ではない。運転者が道徳的行為者。

自動運転車：道徳的な行動、推論、判断、および意思決定を組み込むか？
道徳的行為者？

（https://toyokeizai.net/articles//228800）

16

16

8

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム・道徳的行為者性（Moral agency）
・道徳的被行為者性（Moral patiency）
・AI やロボットは、他者たりうるだろうか。⇒ＮＯ！でもよい。
道徳的配慮の直接的な対象とはならない動物の場合と同様、AIが道徳的行為者でなくとも、AIを虐待することは、人間に対しても残虐でありうる心をつくりだすのだから、非道徳的な行為。

https://www.itmedia.co.jp/news/articles/1502/10/news065.html
より重要なのは道徳的行為者としてのネットワーク
その構成素であるAIが道徳的行為者であるか否かは、とりあえず問題にせずともよい。
17

17

課題２

多くの人の手が関わる責任をどう考えるか(Many hands問題) ２，３
一体だれに責任？

プログラマー

規制当局

自動車メーカーの製造開発部門

歩行者

地図データの作成者

自動車の所有・管理者

車のユーザー（ドライバー）
プロジェクトの統括責任者1818

9

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウムMany hands問題その２
時間的分散AIの場合、複雑なソフトウェアは長い歴史を持ち、多くの開発者がソフトウェアの様々な部分に様々な段階で関与していることが多い。
・AIソフトウェアは、ある用途の文脈のために開発されても、後に全く別の用途の文脈で使われることがある。
・機械学習AIの場合は、データやデータセットの生産、選択、処理のプロセスと歴史がある。
・メンテナンスも必要です。メンテナンスが責任を持って行われなければ、AIを搭載した技術システム（例えば飛行機）も故障する可能性がある。
・エンドユーザーがAIを理解していない、自分がAIを使っている（あるいはAIに使われている）ことさえ知らない

Many things問題
・AIのプロセスや歴史には、さまざまなソフトウェアや、物質的な技術的アーティファクトも関与（技術的な作用に因果関係があり、ある程度のエージェンシーを持つ可能性のあるものもある）(Coeckelbergh 2020)19

Uber、アリゾナで自動運転試験中に人身事故(2018)
アリゾナ州で、横断歩道ではない見通しのよい
４車線道路を横断していた女性女性（49）を自動運転車のソフトウエアが認識できず、減速しないまま突っ込んで、死亡させた事故
予期せぬ状況に備えて運転席には人間の監視要員が座っていたが、事故当時はスマートフォ
ンで動画をストリーミングしていた（過失致死罪で起訴）
しかし、Uberのエンジニアは・横断歩道以外の車道を渡る歩行者を想定していなかった・誤作動を怖れて衝突の危険性を検知してから車両が反応するまでに1秒のタイムラグを設定
・ボルボの衝突被害軽減ブレーキ（自動ブレーキ）のシステムを無効にしていた。（同じような機能をもつ２つソフトウェアを同時に動作させるのは安全性に問題があるため）

もしも、ＡＩ医療で診断ミス、手術ミスが起きたら？
20

20

10

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム

工学倫理の練習問題：ある新しい耐火性物質の開発と使用に関し、複数の人々が関係する架空の事例
この有望な新物質は洗剤に触れると発がん性を示す。洗濯部局の従業員の一人が、がんを発病し、死亡する。下の4人の人々のうちの一人が洗濯作業員の死に対して道徳的責任をもつと言えるのかどうか。
関係する4人の人物
A：研究所勤務。この新しい物質の原子特性に関する基礎研究に従事
B：消防隊に雇われ、この新物質を用いた
消防士のための新しい隊員服をデザイン
C：デザイナーを雇った消防隊の隊長
D：消防隊で勤務。消防士の隊員服の洗濯の責任者
http://delftxdownloads.tudelft.nl/RI1
01x-ResponsibleInnovation

Manu hands 問題：ある出来事に対して集団（ネットワーク）としては道徳的責任があるが、その集団（ネットワーク）を構成するどの個人ないし団体にも道徳的責任がない。

21「分散責任」という考え「AIに基づく決定や行動の影響は、デザイナー、開発者、ユーザー、
ソフトウェア、ハードウェアを含む多くのアクター間の数え切れないほどの相互作用の結果であることが多い。分散したエージェンシーには、分散した責任が伴う」（Taddeo and Floridi 2018, 751）
しかし、１ 責任の分散は責任が均等に分散されることを意味しない（ある人々が他の人々よりも責任が重い場合がある）
２ 技術システム全体がどのように構成されているのか、誰がその部品（例えばセンサー）の開発、使用、保守、および部品間の相互作用に責任を持っているのか？
⇒責任の所在を明らかにするには、入り組んだ因果関係を調べる必要がある2211

日本工学会技術倫理協議会第17回公開
シンポジウム2021/12/06

再犯予測システムCOMPAS・アメリカの裁判所で仮釈放の時期についての判断に使用
・AIにおけるバイアス
さまざまなバイアスがさまざまなしかたで発生する可能性（デザイン、テスト、利用のすべての段階において）・トレーニングデータセット〔訓練データ集合〕の選択において・トレーニングデータセットそれ自体において・アルゴリズムにおいて・データセットにおいて（例えば、データセットが母集団を代表していない。人種や性別の偏り）
・疑似相関に基づいた意思決定において・アルゴリズムを作成する集団において（例えば、持続性、安全性やセキュリティ、健康や幸福、プライバシー
や説明責任についての彼らの観点を意図的、非意図的に入れ込んでしまう）
・より広い社会において

23「責任のギャップ」(Matthias, 2004)
他のエージェントや環境との相互作用から学習する能力を備えた知的システムは、その行動に対する人間の制御や予測を困難にする。
コントロールできない、あるいは困難な場合、人間はどのように責任を負うのか。
システムの不透明性、複雑性、予測不可能性
・AIのユーザー、管理者、規制者の無知：技術の開発や使用に誰がどのような仕方で、どのような意図で関わっているのかを知らない
AIのユーザー 自分の行動がもたらす意図しない結果や道徳的な意味を必ずしも認識していない。（例えば、使用しているデータセットやアルゴリズムにバイアスがかかっていること，自分自身の偏りや，その偏りがアルゴリズムの設計に反映されていることを知らない可能性）⇒自分のしていることの道徳的（ないし反道徳的）意味を全く認識していない可能性がある。
・AI開発者の無知：透明性のないAIシステムの場合にはAIはブラックボ
ックス。さらに、自分の技術が将来使われる可能性や、自分のコードが使われる当初の適用領域とは異なる領域についての理解を欠く可能性。

2412

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム課題３

ポジティブな倫理へ
ー説明責任をどう考えるかー「健康のために人工知能を利用するための主要な倫理原則」（WHO)
1 自律性の保護
3 透明性、説明可能性、理解可能性の確保
5 包摂性（inclusiveness)と公平性の確保「人間中心の AI 社会原則」統合イノベーション戦略推進会議 2019
●基本理念
⑴人間の尊厳が尊重される社会(Dignity)⑵多様な背景を持つ人々が多様な幸せを追求できる社会(Diversity &Inclusion)⑶持続性ある社会(Sustainability)●人間中心のAI社会原則(1)人間中心の原則 (2)教育・リテラシーの原則 (3)プライバシー確保の原則 (4)セキュリティ確保の原則 (5)公正競争確保の原則 (6)公平性
説明責任及び透明性の原則 (7)イノベーションの原則

25

ナッジ（リバタリアン・パター ナリズム）
他者危害原則かパターナリズムか、自由か強制かという対立を超える試み。行動変容。
人々を強制しないが、選択肢の構造（チョイス・アーキテクチャ）を変更することで、より望ましい選択肢を選ぶように人々の行動を誘導（ナッジ）するという発想。
（人々がデフォルトの選択肢を選びやすいという傾向を利用）

https://prtimes.jp/ma
in/html/rd/p/0000000
02.000049072.html

26

13

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム・より望ましい選択肢を選べるようにする意志決定の補助・デザインする側に価値の選択
AIのバイアスがありうる
AIが合理的な解を導き出し、人間は非合理な行動をするという枠組では語り得ない・ナッジは導入されるべきか？
いかなるアーキテクチャをとっているかについて透明性は不要か？

27

ブラックボックスと説明能力、責任あるAI が決定木を使っているとき、特定の入力が与えられたときにどの意思決定に至るかが一意的に決まるようにプログラムされている。
⇒人間はそのAI がどうしてその意思決定に至ったのかを説明することができる⇒人間はその意思決定に責任を取ることができる。
ニューラルネットワークを利用した深層学習を使うAI に関しては、そのAIがどのようにして意思決定に至ったかは透明ではない。
⇒人間はその意思決定について十分に説明することができない。すなわち、人間はそのシステムが一般的にどのように働いているかは知っているが、特定の意思決定について説明することはできない。
深層学習を使ったチェスの場合、プログラマーはそのAI がどのように働いているかは知っている。しかし特定の一手について、機械がどうやってそれに到達したのか、すなわちニューラル・ネットの中の各々のレイヤーの中で何が起こっているのかの正確なところは透明ではなく、説明することができない。

28

28

14

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム「ブラックボックス」を開けることは可能なのだろうか？
説明能力のあるAI（Explainable AI）
自らが行う行動、決定、推薦について人間に対して説明することのでき
るAI、またはそれがいかにして結果に至ったかについて十分な情報を提供できるAI。
従来

トレー
ニング
データ

学習プ
ロセス

学習済
みモデ
ル

出力

ユーザ
ー

なぜそうであるか、
どういうときに信じて良いのかが不明

トレー
ニング
データ

新しい
学習プ
ロセス

学習済
みモデ
ル

出力+
理由

ユーザ
ー

なぜそうであるか、
どういうとき信じて良いのかが理解可能

将来

29

29

「通訳者」としての医療従事者？
・非言語コミュニケーションのような診療記録に残らない患者情報（人間が得意でAIが不得手ば領域）
・患者やその家族にとっての納得感をAIと共同していかに形成するか。
いかなる結果や方針を伝達するか
いかなる予測結果やリスク、治療方
針を伝えるのか
自律の確保に向けて・AI依存の回避
当該のAI システムの特性の明確化
・選択肢の構造を提示
いかなるフレームワークによる選択肢か・選択肢の理由の提示「もし〜ならば、〜となる。」⇒AIを含むネットワークに対する信頼(trustworthiness)

30

30

15

2021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウム技術は ‘価値自由’ではない （古典的事例）
Langdon Winner「人工物に政治はあるか?」(http://animalnewyork.com/)Robert Mosesの設計によるJones Beach water tower とWantagh Parkway。道路に掛かる橋は、バスが通れないよう（＝黒人や貧困層が来られないよう）低く設えられている。
◎技術には価値が意図的、非意図的に組み込まれている（バリアフリー：弱者の社会参加という価値）31

ポジティブな倫理の一例：価値に配慮したデザイン (VSD)
行動の成果の成り行きに関係する知識と(ⅱ)それらに開かれたオプションの範囲に関する知識を得て、適切な道徳的価値の観点から評価。これ
らの考慮を、デザインや新しい技術の発展、道徳的改善へと導くための必須要件として用いる。

●倫理的課題：多様な価値の間のバランスをどうとるか

安全性(監視社会)
自由とプライバシー(セキュリティを欠く社会)

・人権や持続可能性、公正さ、安全性は一つのデザインにおいて適合されうるのか？
・人工物に組み込まれる価値の重みをだれが決めるのか？

32

162021/12/06

日本工学会技術倫理協議会第17回公開
シンポジウムまとめと補足１，価値に配慮したデザイン(value-sensitive design)⇒人間中心のAI・開発者には見えないバイアスもあり得る
・いかなる価値を組み込むか・価値相互のコンフリクト

33

道徳的行為者としてのネットワーク

医療者

患者/患者
の器官

検査者・画
像入力機器

AI

・AIが道徳的行為者であるか否かはとりあえず問題外
・様々なアクターへの責任の分散
・人間の主体の自律の確保（組み入れられる価値）自律モデルの限界の議論⇒意志決定モデルの再検討が必要かどうかの議論
の必要性

34

34

17

日本工学会技術倫理協議会第17回公開
シンポジウム2021/12/06

開かれた議論のなかでAIの方向性を決めていく必要。
責任ある研究とイノベーション(Responsible research and Innovation: RRI)
科学技術の進歩を社会に適切に組み入れるために、技術革新の過程やその製品に関して社会的なアクターや革新に携わる技術者が、（倫理的）受容可能性、持続可能性、社会的望ましさを視野に入れて相互に応答しあう(mutually responsive)ような、透明で相互的なプロセスのこと (R.
Shomberg, 2014)

https://www.researchgate.net/figure/Five-keys-of-Responsible-Research-andInnovation-as-depicted-in-the-Structural_fig1_331604166

35

18