社会情報学

第８巻１号

2019

特集「ネオ・サイバネティクス」・論文
AIネットワーク状況下における集合的責任：ネオ・サ
イバネティクスの理論に基づく電子人間批判を交えてCollective responsibility under AI network: Criticism of electronic
person based on neocybernetics theory
キーワード：
人工知能, 倫理，情報倫理, 集合的責任, 電子人間, オートポイエーシス
keyword：artificial intelligence, ethics, information ethics, collective responsibility, electronic person,
autopoiesis

青山学院女子短期大学，理化学研究所，青山学院大学

河

島

茂

生

Aoyama Gakuin Women’s Junior College, RIKEN, Aoyama Gakuin University Shigeo KAWASHIMA要約
本論文は，AIやロボットが社会に普及している状況下において，また複数のAIが通信ネットワーク

において接続していく状況下において，いかに倫理的責任の帰属を位置づけるかを検討している。ネオ・
サイバネティクスの理論に依拠しつつ，EU議会における電子人間の提言への懸念を示し，AIネットワー
ク環境下の集合的責任ともいうべき考え方を支持した。電子人間確立の提案は，オートポイエティック・システムでないものに人格という位置を与えることであり，それは，実情に合わないのに加えて倫理的問題を引き起こしかねない。電子人間を制度的に確立しなくとも，集合的責任の制度構築により補償は可能である。近年のコンピュータ技術の動向を鑑みるに，特定の人や組織に責任を帰属できない場合が想定される。その場合は，被害者を救済し，開発者・利用者の萎縮を引き起こさないために集合的責任の導入が求められる。ただしAIネットワーク状況下における責任のありようは，集合的責任のみだけは不足である。特定の人や組織の瑕疵が明確である場合は，そこに責任を帰属させることが望まれる。
これは近代以降の慣習になっており容易に変えることが難しいうえ，開発者・利用者の故意の過失もし
原稿受付：2019年１月29日
掲載決定：2019年２月25日

1

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて

河島茂生

くは怠慢，責任感の減退を防ぐためには，また技術を改善する動機の維持のためには必要であると考えられる。
Abstract
The aim of this paper is to consider how to position the attribution of ethical responsibility insituations where AI and robots are widely used in society and in situations where cooperation
exists among multiple AIs and between AIs and other systems. Based on the theory of neocybernetics, we express concern about the electronic persons’ proposal introduced in theEuropean Parliament and support the idea of collective responsibility under the AI network
environment. The electronic persons’ proposal involves according a position as a personality towhat is not an autopoietic system. It does not match the actual situation and causes ethicalproblems. Even if we do not establish an electronic person institutionally, we can compensate for
it by establishing systems of collective responsibility. In view of recent trends in computer
technology, we assume that responsibility cannot be attributed to specific people or organizations.
In such a case, establishing collective responsibility is required to compensate the victims and notgive rise to a situation wherein people do not favor developing or using AI. However, under the
AI network situation, there is lack of collective responsibility. If the defects of a specific person ororganization are clear, responsibility should be attributed to the concerned person or organization.
This has been the custom after the modern era and one that is difficult to change. Besides, toprevent deliberate crimes, negligence, and decline in the responsibility of developers/users and toremain motivated to improve this technology, it is necessary to impose ethical responsibility on
wrongdoers, whether they are people or organizations.

2

社会情報学

１

問題の所在

1.1

研究の背景

第８巻１号

2019

を大きく変えるトピックである。
また，AI間のネットワーク化が進むことで倫理的責任の帰属先が不透明になってしまいかねな

本論文のねらいは，AI（Artificial Intelligence）

いことも危惧される。AIの内部は，人々が期待やロボットが社会に普及している状況下においす る 性 能 を 上 げ る べ く，CNN（Convolutionalて，また複数のAIが通信ネットワークにおいて

Neural Network） や RNN（Recurrent Neural

接続していく状況下において，いかにして倫理的Network），Auto Encoderといった複数の機械学

責任（ethical responsibility）の帰属を位置づけ

習の手法やIf-Thenの条件文が多数組み合わされていくかを考察することである。

構築されている。さらに，それらのAIが相互作

第３次ブームが始まってからおよそ５年が過用してデータを交換させて群として機能すること

ぎ，AIが社会に組み込まれてきている。ロボッ

で多様なサービスが実現される。AI間が連携す

トの内部にも機械学習のアルゴリズムが使われてることで，たとえば以前万引きをした人が店舗内いることが多い。そうしたなかで，責任のありかに入ってきたことを監視カメラの映像からAIのたの検討が継続して行われている。

画像認識技術が検知し，その信号が警備ロボット

EU議会では，高いレベルのロボットに電子人に伝わり，警備ロボットが該当者を追跡すると間（electronic persons）という法的地位を与えいったことが可能となる。あるいは，鉄道運行状ることが提案され話題になった。具体的には，況を監視しているAIが運転見合わせを検知し，「Report with Recommendations to the

その路線の駅にAI搭載の自動運転車を配車させCommission on Civil Law Rules on Robotics」

るといったことが可能となる。
けれども，AIのネットワーク化が進むことで（Delvaux, 2017）の59のf）で提案されている

困った事態が起きることも想定される。たとえば

次の文言が該当する。

GAN（Generative Adversarial Network）によっ
長い目でみたときにロボットに特化したて本物と間違えられそうな嘘の画像・動画が作ら法的地位を策定することはありうる。それ，それがボットによって自動的にさまざまなの場合，少なくとも最も洗練された自律ネット上の場所に投稿されたら，どうだろう。し型ロボットは電子人間の地位を得て，そかも作成者は不明なままである。そのことによっのロボットが成した功績や損害の責任をて名誉を毀損されて人生が変わってしまったと引き受ける。おそらく自律的決定を行っき，どのように補償を求めればよいだろう。あるたり，みずからの判断で第三者と相互作

いは，セキュリティ対策を施したコンピュータに用したりするようなケースでは電子人格

対してもクラッキングできるAIが大量にばらまが適用される。

かれたとしよう。そのAIの開発者は分からない。
とある合図で一斉に攻撃をしかけ，工場や銀行等ロボットを電子人間とみなすことで，ロボットのシステムを相次いで麻痺させる。業務が妨害さ自体に責任の帰属を行えるようにする措置であれ多額の損失が生まれた場合，その補償はどのよる。この文言は話題を呼び，AIやロボットの専うな存在が担えばよいだろう。マルウェアの攻撃

門家や企業家，法律や医療，倫理の専門家たちがによりお掃除ロボットが幼児めがけて突進したり反対を唱える公開書簡を作り，署名を集めている。

介護ロボットのパワーの強弱が変わり身体が傷つ

電子人間の是非は，これからの社会の倫理的了解

けられたりすることも推察される。AIネットワー

3

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて


河島茂生

クにおける状況下においては，このような問題には，複雑かつ大規模な科学技術の倫理的責任にま対処することが求められる。

で及んでいない。

本論文の目的は，上記のような重要課題に関し

科学技術の個人的責任を超えた集合的な共同責て，ネオ・サイバネティクスの理論に依拠しなが任の提唱は本論文がはじめてではない。たとえば

ら電子人間の検討ならびにAIネットワーク下に

Schomberg（2009）は，不確実性が増す技術がおける集合的責任（collective responsibility）と社会に組み込まれる状況を作り出しているのは，もいうべき考え方を考察することである。この両個人の意図というよりも集合的行為であるため集主題は互いに関連しており，本論文は，後述する

合的責任を考えなければならないとした。そのうように電子人間の導入を批判し，集合的責任の導えで，集合的責任を構築するためには少なくとも入の意義を述べていく。

公開討論やテクノロジー・アセスメント，法・政なお本論文は，法的責任（liability）ではなく，策上の基礎づけ，知識の質と予見可能性の向上があくまで倫理的責任に議論を限定する。法的責任必要であると述べている。とはいえ，Schomberg

として扱われることが多い議題も倫理的観点からの論文はAIもしくはAIネットワークについては論じる。周知のように責任（responsibility）と射程外である。本論文は，ネオ・サイバネティク

いう語は多義語であるが，本論文では過去の行為スの理論に依拠することにより基礎的なところかの賞罰にかかわる責任という意味でも，現時点ならAIネットワーク化の集合的責任を捉える。

らびに未来の行為の義務や責務にかかわる責任とAIと責任の問題については数多くの研究があいう意味でも用いる。また本論文でいうAIは，る。なかでも赤坂（2018）は，不法行為法との機械学習を中心としたソフトウェアに加え，AI関連からAIに法的人格を与えた場合の損害補填を構成要素とするコンピュータ・システム（たと機能や抑止機能，制裁機能を検討しており，一定

えばロボット）も含む。EU議会での提案についの妥当性は見出せるものの，制裁機能やAI自体ての言述は，その用語法に則りロボットと表記すの故意・過失の認定に疑問があるとしている。必ることもある。

ずしもAIに法的人格を付与する必要性はなく，本論文でも集合的責任の一形態として上げる無過1.2

失補償制度について支持している。とはいえ赤坂関連研究および研究の目的

Perrow（1984） は， 定 常 事 故（normalの研究は，あくまで法学的観点から論じたもので

accident）という語を生み出し，被害が甚大だっあり，本論文とは理路が異なる。本論文は，人間たスリーマイル島原発事故やボパール化学工場事と機械との違いならびにそれに付随する倫理的含故などを取り上げながら，複雑かつ大規模な科学意に基づき，電子人間なる概念に批判を述べ，代技術に依存している現代社会は事故が避けられなわりに集合的責任を論じていく。また赤坂は，いと指摘する。複雑なテクノロジーが緊密に結び

AI・ロボットを法的人格として扱い財産権をもつけられているため，それぞれ単独では起こりえ

たせると法的責任が明確になる点を評価しているない動きが生じる。安全装置や管理者も対応できが，後述するようにそれはAI・ロボットへの責ず，予期せぬ大事故につながる。このPerrowの

任転嫁につながると思われる。

指摘は，AIネットワーク環境下においても成り

また大屋（2017）は，加傷性と個別性の点で立つ。先に触れた通りAIネットワークは，複雑ロボットやAIが責任を負いうる主体となるのはなAI同 士 が 通 信 ネ ッ ト ワ ー ク で 連 動 し て 群 と困難だと述べている。人間は傷つき死ぬ存在であなって動くからである。けれどもPerrowの研究

るがゆえ処罰が効力を発揮し責任を担う。また個

4社会情報学

1.3

体であるがゆえ責任の単位を同定しやすい。けれ

第８巻１号

2019

本論文の構成ども，ロボットやAIはそうではない。この示唆は，

本論文は，第２章でネオ・サイバネティクスの理路は違うけれども，本論文においてネオ・サイ

概念装置について述べ，第３章でEU議会においバネティクスの理論に依拠しながら人間と機械とて提案されている電子人間について考察する。まの差異を論じることで一層明確になる。加えて本た，第４章でAIがネットワーク化し連動して動論文では，この先行研究で検討されていない集合

く状況下における集合的責任について論じる。最的責任を扱う。

後に本論文を要約し，残された課題を述べる。

ネオ・サイバネティクスに基づいてAI社会の倫理を検討した先行研究としては，「ネオ・サイ２

バネティクスの理論に依拠した人工知能の倫理的オートポイエティック・システムおよびそれに関連した倫理・責任問題の基礎づけ」（河島, 2016）が挙げられる。
この論文は，ネオ・サイバネティクスの理論をもネオ・サイバネティクスの理論的支柱であるとに生物と機械との違いを述べ，AIは自動化のオートポイエーシス理論は，生物と機械との区分

範囲が広がっているにせよあくまで人間が作ったを明確にした（Maturana & Varela, 1980=1991）。

機械であり，AI自体に倫理的責任を負わせるこ生物の特徴は，自分で自分（auto）を作る（poiesis）とは困難であると結論づけている。

ことであり，そうした働きを内部で行う単位体を

また，「ビッグデータ型人工知能時代におけるオートポイエティック・システムという。オート情報倫理」（河島, 2018）は，ネオ・サイバネティ

ポイエティック・システムは，生物の必要十分条

クスの理論のなかでも基礎情報学の概念装置を使件である。たとえば細胞は，自分を構成するさま

いながら，機械学習を中心とするAIが普及した

ざまな物質を継続的に作り出し，その物質の産出

社会における個人的次元と社会的次元の各領域の過程のなかでそれ自体の境界を含めて自己産出しありようならびに相互に交差する領域のありようていく。人間の体内でも細胞が次々と分化して変について論じている。個人の心の領域は，AIが形・破壊しながら常に自分を作り続けている。い直接入り込んでおらず唯一性が保持されており，

わば人間は，37兆個もの細胞を作り続けている

それが社会的次元の倫理的基盤である。社会的次

オートポエティック・システムの集合体であり，元は，個人的次元を拘束するゆえそこでの倫理性

それぞれの集合体（つまり，個人）は唯一無二のを担保することはきわめて重要であり，差別の生存在になっていく。そして，みずから内部を存立

成・助長に注意しなければならない。さらに「AIさせ外部との境界を作り出すがゆえ「主観」なる社会における「人間中心」なるものの位置づけ」

ものが生成する。またオートポエティック・シス（河島, 2019）では，人間と機械との同質性／異テムは，内的メカニズムに沿って環境を認知する

質性を整理したうえでAIの倫理綱領の基盤となが，同じ時空間を占めるほかのシステムがない以る方向性を検討している。

上，また内部メカニズムも唯一無二である以上，けれどもネオ・サイバネティックスの理論を用

個別に環境を認知する。すなわち，システムが接いた上記３点の研究は，EU議会に出された電子する環境も唯一無二となる。ほかのシステムとの人間を考察しておらず，また特定の人や組織に責厳密な交換はきかない。

任を帰属できない事態についても考察していな

オートポイエティック・システムの反対概念でい。本論文は，こうした点で先行研究と区別されあるアロポイエティック・システムは，それ自体る。

によって作られるのではなく，別のもの（人間）5

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて

河島茂生

によって作られ，別のもの（allo）を生み出す

かで自分の考えで判断する自由意志なるものが特（poiesis）。人間がエアコンや自動車の部品を精権的に位置づけられ，責任もそれに付随すること巧に作り，それらの部品を組み合わせる。摩耗しになった。すなわち近代以降，心的システムの自た部品は人間が取り替える。エアコンがエアコン

由意志がとりわけ重視されて道徳的行為者とな自体を作っているわけではなく，自動車も自動車り，自由意志をもつ個人に責任が帰属されていっ自体を作っていない。自動車は，シート，タイヤ，た。前近代は，人間だけでなく動物や植物，さらハンドル，ガラス，ヘッドランプ，メーターなどには無機物に至るまで責任が帰属された。動物裁

３万点ほどの部品からできている。それらは，人判も行われた。ネオ・サイバネティクスの理論で間が作り組み立てている。後述するようにAIもいうと，無機物はさておき，動物や植物はオート

アロポイエティック・システムの一種である。

ポイエティック・システムであり自律的な存在でこうした点を考慮すると，機械よりも，我々をある。また個人の心的システムがその人の抱えて含む生物に倫理的配慮を行うことが優先される。

いる大量のオートポイエティック・システムのほ言い換えれば，人間だけでなく広く生物全般が道んの一部分にすぎないことを踏まえると，その心徳的被行為者（moral patient），すなわち道徳的的システムの作動のほんのわずかな働きだけに責配慮を受けるべき対象である。というのも，AI任を帰属させるのは必然であるとはいえない。とやロボットなどの機械とは違い，生物はオートポ

はいえ近代以降，人間の自由意志への責任帰属のイエーシスの帰結としての自律性を有し唯一無二習慣が広まった。この習慣は，日常的な社会生活であるからである（1）。この考え方は，少なくないに深く広く根付いているため，今後もそう簡単に相違点はあるが，動物倫理の方向性と同一線上には変わらないと目される。
オートポイエーシス理論によれば社会は，社会あり，さらにその範囲を拡張するものであるといシステムと呼ばれ，細胞や心的システムとは違っえる。
一方，道徳的行為者（moral agent），つまりそた別種のオートポイエティック・システムである。

の行為が道徳的観点から評価される者の範囲はど

つまり，社会は「生物的」であり，コミュニケー

うだろうか。道徳的行為者の範囲をやみくもに拡ションが後続のコミュニケーションを喚起しなが大しては，犬や猫，子ども，機械にまで道徳的責ら存立する自己産出を特徴としている。個人の心任を負わせることになってしまう。機械は，人間的システムには還元できない社会システム内でのが作り操作し維持管理するアロポイエティック・

自律性が生じる。コミュニケーションは意味的なシステムであり，そのような非自律的存在は道徳関係で連鎖する。質問は回答を導き，商品・サー的行為者になりえない。

ビスの提供は金銭の支払いを条件づける。依頼はよく知られているように近代社会になって，受託／拒否の返事を強いる。けれども，コミュニ

人間は自由意志（free will）をもち自己決定する

ケーションは不確実性を帯びており，いかなるコがゆえに，その選択から生じた結果を引き受ける

ミュニケーションが連鎖していくかを統制できなことを原理としてきた。オートポイエーシス論でい場合も多い。質問の意図で発した言葉が命令やは人間の心を心的システムと呼ぶ。心的システム

嫌味に受け取られるなど，自分の思いとは離れては，オートポイエティック・システムの一種であ

まったく別様に解釈されることが起きる。あるいり，心に浮かび上がってくる思考を間断なく連鎖

は身に覚えがないことでも噂が広まってしまい収させていくシステムである。思考には，疎外感や束できない状況も起きる。とりわけ社会システム

孤独感，愛，生き甲斐などが含まれるが，そのなの規模が大きくなると，コミュニケーションは非6

社会情報学

第８巻１号

2019

人称的な側面が強くなっていく。特定の誰かが日まっても，後続のコミュニケーションで覆される本の経済や法律，学術のありかたを隅々までコンこともある。当然ながら，ある人の行為が強制さトロールできるわけではない。むしろ各種のルーれたものであり避けられない状況下であった場合ルを作り，属人的な要素を廃していく傾向にある。

は，自分の意志で決定することができなかったと

現代社会では，コミュニケーションの連鎖がみなし，倫理的責任が軽減されたり，あるいは免除されたりする。

コ ン ピ ュ ー タ 技 術 に 媒 介 さ れ る こ と が 多 く，
2013年以降は特に機械学習を中心としたAIが入

ただし社会システムの責任は，特定の人や組織り込んでいる。コミュニケーションはデジタル技に帰属できる場面ばかりではない。コミュニケー

術に取り込まれると意味が捨象され０／１のパションの連鎖が急激に進み，誰も止められないこ

ターンに符号化されるが，そのコンピュータの処とが起き，特定の誰かに帰責することが難しい場

理結果がまた人間によって観察されコミュニケー面が生ずる。たとえば株式市場で買い注文が殺到

ションの素材となり有意味化する。現代社会ではして市場全体の株価が上がったとしても，特定のこのプロセスが迅速かつ膨大な量になっている。

個人のおかげではない。持ち株が上がった人全体

すでに社会とデジタル技術が分かち難く結びついがいわば分散的に責任を負い利益を受けるかたち

た「“人間＝機械”複合系」（西垣, 2008）となっである。新聞の発行部数が減っても，特定の個人ている。

の責任ではない。国家全体の出生率が上がらなく社会のなかで責任が生じる。ある問題を伴う出ても特定の個人が責めに帰すわけではない。これ

来事があったとき，誰の責任であるかは必ずしも

らは，自然人である個人ではなく，社会システム

自明ではない。それゆえ，責任の度合いとともに，の動きのゆえであり，いわば株式市場や業界，国いかなる組織や人に責任を被せるかの議論がしば家といった社会システムの問題なのである。先ほしば起きる。たとえばスポーツの試合中に暴行がど触れた通りコミュニケーションは非人称的でああったとき，それが暴行をした選手の意図的行為りうる。

なのか，それとも監督やコーチの命令にどうしても従わざるをえなかったのかが検討される。前者

３であれば選手の責任となり，後者であれば監督・電子人間に対する批判的検討

コーチの責任となる。決算の書類に虚偽があった

前述したようにEU議会では電子人間としてロときfそれは社長の意図的行為なのか，それともボットを扱う提言がなされている。この提起は，部下が社長を貶めるために裏で動いたのか，さまロボットの法的責任を考えるために編み出された

ざまな噂が飛び交う。前者であれば社長の責任で案であり，高機能化するロボットの責任割当の複あり，後者であれば部下の責任である。すなわち，雑さを解消するために強制加入の保険制度を確立

心的システムの自由意志のありようが問題になっして補償基金を設立することや，EUで登録簿をているのである。もちろん十分に予見可能である

用意し，個々のロボットと基金との対応関係を可にもかかわらず，それにかかわる対策をとってい視化しておくことなどと関連して提出されているないのであれば非難に値する行為とみなされる。

（Delvaux, 2017）。

責任の所在は，さまざまなコミュニケーションを

ところが冒頭で触れたように電子人間の案は反積み重ねながら定位されていく。すぐさま責任の対署名にまで至っている（Robotics-openletter.

所在が明確にならないこともあり，帰属先または

eu, 2018）。その反対の理由は，技術的な面でも分け方をめぐってしばしば争いが生じる。一度決

倫理的・法的な面でも困難があるからである。反7

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて


河島茂生

対署名の文書によれば，技術的な面でいうと電子深層学習でも同様である。従来のSVM（Support

人間に関する提案が出てくるのは，最先端のロ

Vector Machine）などの手法に比べて自動化のボットでさえ実装されていない機能を過大評価

範囲は増した。大量のデータから特徴量の抽出をし，予見不能性や自己学習能力についても表層的

自動で獲得し，間違った出力があれば出力に近いな理解にとどまっていることによる。また，サイ側から調整する誤差逆伝播法も使われているから

エンス・フィクションやいくつかのセンセーショ

である。けれども，AIを導入する目的や領域を決ナルな報道発表によって歪められたロボット観にめ，教師あり学習や教師なし学習，強化学習の手基づいていることによる。法的な面に関しては電法の選択を行うのは人間である。また単語や文章

子人格は，自然人のモデルから導きだすことはでの特徴量を抽出するための記号類似度の計算方法

きない。また，法人のモデルからも導きだすことを考え，実用に耐えられる分類精度の値を決めるができない。というのも，法人の背後には人間がのも人間である。大量の教師データを用意するのいるが，電子人格はそうではないからである。

も人間であり，CNNを使うのかRNNを使うのか，

これに加えて，反対署名の文面にはないが，多何層のニューラル・ネットワークにするのかを決くのロボットは通信ネットワークにつながっておめるのも人間であり，検証用のデータを用意してりデータ収集・送信，ソフトウェア更新などを絶

テ ス ト す る の も 人 間 で あ る。GPU（Graphics

えず行っているため，ロボット単体に責任を帰属

Processing Unit）などのハードウェアも人間がすることにはプラグマティックな観点からも疑問用意している。AIがハードウェアも含めて自分である（大屋, 2017）。

で自分を作るようになるには，相当の技術的スロボットに独立した法的人格を与えようとする

テップが要される。オートポイエーシスの有無で立論は，なにも上記の提言だけではない。たとえ考えると，第３次ブームのAIもアロポイエティッ

ば，ChopraとWhiteは，ヒューマニストを怒ら

ク・システムであり，いまだ生物と機械は異質でせ る 恐 れ が あ る と し つ つ も， 人 工 的 行 為 者ある（河島，2016）。AIは，ネオ・サイバネティ（artificial agent）は人間と同様の自律的な意思

クスの意味では自律性を備えていない。

決定を行うため，法的人格に値すると書いている

また人間とAI・ロボットを同列に扱えば，大（Chopra & White, 2011）。これに反対する哲きな倫理的問題を引き起こしかねない。人間のよ

学者は，人工的行為者には「何かが欠落している」

うにAIを扱うという考えは，逆に人間を機械のと言うのだが，それは排他主義的な発想であるとように扱ってもよいという考えを導きかねない。

述べている。

人間も機械も同じであれば，同じように扱ってもその欠落している「何か」は，ネオ・サイバネ

差し支えないからである。これは，人間が機械のティクスの理論に基づけば，オートポイエーシス

ように365日24時間働くことを要求されるというである。たとえ最新のAIが搭載されていてもロことでもある。コンピュータであれば３年〜５年

ボットはアロポイエティック・システムであり，ほどしたら処理スピードが遅くなるため不要物と反対署名のいうようにロボットを電子「人間」としてしばしば捨てられるが，人間もそれと同じよ

して扱い，そこに帰責することには異議を唱えざ

うな扱われ方をされるということでもある。いう

るをえない。

までもなく，人間の尊厳を損なうことである。

エアコンや自動車と同じくAIも，AIがAIを作っ加えて，ロボット自体が独立してみずから判断ているわけではなく，アロポイエティック・シス

を下せるからそれ自体で責任を負えるとすれば，テムである。AIの第３次ブームを牽引している

それを開発・利用した人や組織は免責される。

8

社会情報学

第８巻１号

2019

SharkeyやNavejansが手厳しく批判するように，る。オートポイエーシスの有無でいえば，AI・ロボットへの法的人格の付与は，機械の起こしたロボットと社会組織ではやはり差がある。

動作に対して製造者の責任を消去する（Delcker,
2018）。そうなれば，製造者の瑕疵が明確にな４るケースであっても，その責任を問えない事態に

AIネットワーク化における集合的責任陥る。ロボットを組み立てたりデータを提供した

近代になってからは個人の自律性，つまり心的りする場面で誤りがあっても，その責任を追及でシステムの自由意志がその論理的根拠となり，基きない。2007年に南アフリカで訓練中に自動制

本的には個人に責任を帰属させてきた。各人の心御兵器が誤作動し９人が死亡，15人が傷を負っ的システムはみずからの意思によって判断し行為た事件で，南アフリカ政府は機械の故障だとしてする。その帰結については責任を引き受ける。倫製造者を非難した（Hosken, 2008）。そのような理的行為においても同様である。近代以降，人間

非 難 が で き な く な り か ね な い。 か つ てWienerの心的システムにおける自由意志に倫理の基盤を（1964=1965）が指摘したように，人間が設計・置き，そのことから瑕疵があったときに個人に責製造した機械自体に事故の責任を押しつけるとい任を課し，社会の安定を図ってきた。被害を生ん（2）

う完全なる責任逃れに陥るといえる 。そのようだのは個人の行為であり，その人を非難することな責任逃れの考え方からは，今後の被害者数を減で被害者の苦しみを解消することが求められた。

らすための方策が生み出されてこないと推察されこうした事態は，そう簡単には変わらないと想る。電子人間という提案は，実態から乖離してお定される。近代社会に生きる我々は，それぞれのり倫理的問題をも惹起しかねない。

人が自己決定する権利をもっており，多かれ少な

AIやロボットが起こした事故に対する補償基

かれ各人が自由意志によって判断を下していると金が電子人間とあわせてEU議会で提言されてい考えているからである。したがって過失が個人のる。しかし補償基金は，電子人間とは別個の論点判断に求められる場合，個人に帰責することはこであり，電子人間なるものを確立しなくとも設立

れまで通り続いていくと予想される。意図的に悪できる。補償基金設立にあたり電子人間は必要条

意をもって人に損害を与える人が完全にいなくな

件ではない。というのも，過失が不分明な場合にることは考えられない。金銭でサイバー攻撃を請は集合的責任を導入すれば機能するように想定さけ負う人もいる。ドローンを操作して，あるいはれるからである。あくまでAIやロボットを作り

自動運転車を乗っ取り，他者を殺害することもあ利用している人間社会側の責任として定位するこりうるだろう。IoTのプログラムに設計上のミスとで，不必要にAIやロボット自体に責任転嫁すがあれば，その責任を問われるのはメーカーである事態を防ぐことが可能である。

ると予想される。欠陥による危険を認識していて付言しておけば，EU議会で提案されている電も措置を講じていないのであれば，社会的に期待子人間の考え方では，AI・ロボットが結婚したされるべき義務を果たしていないと解される。必り投票したりすることは想定されておらず，自然要なセキュリティ対策を講じていない人もいる。

人よりも法人と似た観念が仮定されているようにAIが普及した社会が無責任社会になってはなら見受けられる。ただし法人自体は，社会組織であず，開発者・利用者の故意の過失もしくは怠慢，

りオートポイエティック・システムである。すな

責任感の減退を防ぐためには，また技術を改善す

わち，その内部のメカニズムに則り環境を認知しる動機の維持のためには，明確なるミスについてながら公式的な決定を連続的に実施し存立していその倫理的責任を追及し続けざるをえない。特定9

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて


河島茂生の人や組織の過ちまで，後述する集合的責任としの複数の会社が開発・運営しているb，c，d，・・・て補償することは人々が納得しないと考えられといったAIのデータを取り込み，独自のメカニる。許し難い過失や故意があった場合でも，それズムで処理して結果を出すようにプログラムを実を追及できないとするならば被害者は不満を募ら装したとしよう。このときaの開発者は，b，c，

し鎮静化には至らない。開発者やそのAIによっd，・・・が正しいデータで妥当なデータ処理をてサービスを提供するものが責任を負い，役割にしていることをあてにできるからこそ，自分の作あった行為を遂行すると予期できるからこそ，業に専念することができる。aの開発者は，b，c，

人々はAIネットワークを信頼して受容すること

d，・・・の中身やデータの適切性について検証ができる。コミュニケーションが遂行されるなかする時間もなければ権限もない。したがって，たで，どのような人・組織に帰責していくかが定まっとえ擬制であってもb，c，d，・・・が適正な動ていくと推量される。複数の人や組織が関与してきをしていると信じなければならない。もちろん，いる場合は，話し合いの末，７:３などのように

b，c，d，・・・のAIの不具合が噂になったり，デー

事後的に責任が配分されていくだろう。あらため

タ・フォーマットが崩れたりしているとaの開発

ていうまでもなく，倫理的責任の帰属は財産的な者は気づく機会を与えられる。しかし厳密なる検制裁だけにかかわるわけではない。職業活動の統証はし難い。それゆえ誤ったデータが一度流通す

制に通じる懲戒にもかかわる。

ると，それが連鎖していく恐れがある。これらは重要な課題は，前記したように，複数のAIがAI群のネットワーク化に内在するリスクである。

連携して動くなかで個人の悪意や過失が同定できまた，ネットワーク通信を介した事件ではデジタない場合に起こる。あるいは，どの個人が行った

ル・フォレンジックの限界がすでに露呈しており，行為なのか特定できないケースに起きる。複数の誰が行った殺害予告・サイバーテロなのかを特定

AIがネットワーク化し連携しながら動くことができないケースが相次いでいる。インターネット

想定されている段階で，個々のエンジニアや運営

広告では，広告主や広告代理店，配信事業者でも，者に瑕疵が認められない場合でも，他者の人生やどのようなウェブサイトに広告が表示されている生命に強く影響を与えるような誤った動きが起きかを正確に把握できず，思惑から外れて猥雑なることが予想される。不注意や管理の不徹底だけ

ウェブサイトや政治的にきわめて偏ったウェブサ

でなく，どんなに予防策を講じても事故は起こり

イトに掲載され，またアドフラウド（広告詐欺）

うる。おかしな挙動が絶対に起きないことは考えにもあっている。AIがネットワーク化して群とにくい。

して機能するようになると，責任の所在の検証がAIは，専門性の高い分野であり，その内部機難しくなることは，それほど頻繁に発生するとは構はただでさえ複雑であり，今後もその複雑性は考えにくいとはいえ，容易に想定される。AIの増すと考えられる。MicrosoftのAI「Tay」の騒動相互作用といった予期しえない動きまで開発者やに端的に表れているように機械学習を使っている

利用者の義務の範囲内に入れてしまうと，過失がため，データが変動すると出力も変わる。個々のないにもかかわらず責任が課せられてしまう事態

AIは対策を施してサービスを実施するだろうが，に陥ってしまう。

そうしたAI同士がネットワーク化し連動するな

なにも過失がない場合にも，エンジニアや運営

かで，予期しない動きが生じ未解明の事象が出て者が責任追及されるとすれば，それはAI開発おくることは避けられない。協業／分業に伴うリスよび利用の萎縮につながり，社会的な損失ともなクもある。aというAIシステムの開発者は，ほかる。過度に責任を負わせようとすると，開発者側

10社会情報学

第８巻１号

2019

や利用者側への圧力が高まる恐れがある。たとえ係が定められた範囲で収まるように調整されてい事故が重大であったからといって，そこから開発る。けれどもAIがネットワーク化し不確実性の者側・利用者側の瑕疵を演繹することはできない。

ある社会システムに組み込まれて群として動いた

過度な責任追及は，開発者・利用者側への負担をときに開発者・利用者の予期せぬ動きが生じ，コ

増し，かえってAIシステムがもたらす利益を確

ントロール不能に陥ることが考えられる。善意で保することが難しくなる。

開発しても，わざと悪用する意図がなくとも，注

逆に過失が同定できないからといって，被害者意していても開発者・利用者が完全に統御できるが救済されない事態を招くことも望まれない。特ものではない。集合的責任の制度構築により，開に被害者側が過失を立証しなければならない場

発者・利用者の負担を過度に増加させなくとも被合，AIネットワークの複雑さを鑑みると，その害者を救済する途が開かれる。開発活動・利活用

過失の立証はきわめて難しいといわざるをえなの保護および被害者の保護を考慮すると，こうしい。AIの予期せぬ動きで，身体に危害が加えらた制度は，過分な責任追及を行う度合いを相対的れたり人生を狂わされたりする人が生じた場合，に低くし被害者救済も図れるため，バランスの取そうした人たちを救済する仕組みは欠くことがでれた帰結をもたらすように推察される。過失のあきない。人間は誰もが唯一無二のオートポイエ

りかが分からないケースにおいては誰かの罪を問ティック・システムの集合体であり，かけがえのうというよりも，AIネットワーク化の産業活動ない存在である。誰もが社会的排除に陥らないよ

全体，つまりAIを開発・維持しデータを収集・うにしていかなければならない（河島, 2019）。

整理・解析しAI同士を連携させる一連の作業全

すなわち，開発者や利用者側への活動を阻害せず，体に関係していると受け止めることが求められかつ被害者を救済する制度の創設が要請される。

る。またそうしたAIネットワークを基盤技術としたがって悪事を働いたものが特定できない場

しそれと渾然一体となっている人間社会全体の問合にせよ，十分予見されえず非意図的な場合にせ題であると受け止めることも議論の範疇に入る。

よ，過失が同定できないならば，AIネットワー

制度としては，税金や保険，業界の組合，業者

クが組み込まれた社会システムそれ自体が一種のからの拠出，利用者の一部負担などの財源による道義的責任を担い，損害を被った人に補償してい補償が考えられる。すなわち税金の税率を増やしく制度の構築が望まれる。これは，言い換えればて社会保障を強化したり，加入を義務とする保険

社会システムを道徳的行為者と定位する社会制度を設けたりして，いわゆる無過失補償制度の確立であり，社会システムの問題として受け止めるとを目指すことも一手段である（3）。

いうことである。AIネットワークも，社会のコ

すでに「自動運転に係る制度大綱」（高度情報

ミュニケーションを半ば担い，人々のコミュニ

通信ネットワーク社会推進戦略本部・官民データ

ケーションを機械情報に変換して機械情報を動的活用推進戦略会議, 2018）において次のように述に連鎖させるため，現代社会の社会システムの一べられている。「ハッキングにより引き起こされ部を形成している。上記で述べたように，社会シた事故の損害（自動車の保有者が運行供用者責任

ステムのコミュニケーションは，そもそも不確実を負わない場合）に関しては，政府保障事業で対性があり非人称的な面を抱えている。そのような応することが妥当であると考えられる。他方，例

特徴をもつ社会システムに組み込まれてAIネッ

えば，自動車の保有者等が必要なセキュリティ上ト ワ ー ク は 動 作 す る。 個 々 のAIは ア ロ ポ イ エの対策を講じておらず保守点検義務違反が認めら

ティック・システムであり，入力と出力の対応関れる場合には上記の通りではないと考えられる」11

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて


河島茂生（p.18）。つまり，明らかな瑕疵が見出せる場合いうことではない（4）。Arendt（1987=2007）は，にはその人が責任を問われるが，そうでない場合

罪は単独の個人の行為に関連づけられるものでには政府が補償的責任をとるということである。

あって，悪いことをしたという自覚が罪にあたる

同様の指摘は，「自動運転における損害賠償責任とした。集団に罪があるといってしまうと，「わに関する研究会 報告書」
（国土交通省自動車局,

たしたちのすべてに罪があるのだとしたら，誰に2018）にもみられる。

も 罪 は な い と い う こ と に な っ て し ま う」

集合的責任は，なにも身体への傷害に対する金（1987=2007: 195）と述べている。あくまで集銭的な補償だけにかぎられない。インターネット

合的責任は，過誤の罪を引き受けることを指して上ではフェイクニュースが氾濫している。AIは，いるのではなく，補償的責任である。社会システ

フェイクニュースの検知や伝播過程の分析にも使ムの便益を増進させるために導入されているAI

われるが，フェイクニュースの作成や流布にも使ネットワーク化に付随するリスクであり，予見可

われる。匿名化技術によって作成者や送信元が特能性の低い出来事により人生に重大な悪影響を定できないように加工され，プラットフォーム企

被った人を社会的に排除しないための措置であ業のサービスに流される。そのデータが人生を左る。たとえ無辜であってもAIネットワーク化社

右しかねない意思決定を支援するAIに取り込ま会を成立させている人々が分散的に背負わなけれれ，そのほかのAIにも伝播していく。たとえ不ばならない代価である。

快な嘘，不正確で誤解をもたらす情報が出回り名誉が傷つけられて人生が狂わされても，怒りを向５

ける相手が分からず対処できない。謝罪広告も出

結語

してもらえない。そうしたときに，公益財団法人

本論文は，ネオ・サイバネティクスという学術等の運営組織を共同で立ちあげてフェイクニュー的礎をもとに，電子人間の提言への懸念を示し，スが事実誤認であることを示し，合わせてAIのAIネットワーク環境下の集合的責任ともいうべ

データの書き換え要請を行うことで被害者を救済き考え方を支持してきた。

する方法もありうる方策である。

電子人間に対する提案は，アロポイエティック・

誤解を避けるために付け加えておくと，非難をシステムであり非自律的なものに人格という位置

向ける先が不分明である際に集合的責任が求めらを与えることであり，それは，実情に合わないのれるのであって，個人や法人の瑕疵が特定できるに加えて倫理的問題を引き起こす。

場合は，これまで通り個人や法人に責任を帰属す

本論文は，個人的・組織的責任と集合的責任のればよい。ここでいう集合的責任とは，集合知の両立を支持する。近代以降の社会は，個人の内に対といってもよく，個人や組織を超えた大きな規

ある心的システムの自由意志を特権的に位置づ

模（業界や国家，国際社会など）における責任をけ，そこに倫理的責任を帰属させてきた。特定の指している。また，集合的責任はアカウンタビリ

人や組織の過誤であることが同定されているにもティではない。というのも，予期できない事故がかかわらず，社会で補償していくとなると，人々起き，また被害者もしくはステークホルダーが納は違和感を抱き不満を覚えると想定される。また得する意味を伴った説明ができない場合に機能す

個人的・組織的責任をなくせば，開発者や利用者ることを想定しているからである。

は悪意をもったり注意を怠ったりしてしまうこと

加えて集合的責任は，AIネットワーク化社会も考えられる。したがって個人的・組織的責任をにおける個々人がそれぞれ罪（guilt）を背負うとできるかぎり追及していくべきである。しかし複12社会情報学

第８巻１号

2019

雑なAIを含んだコンピュータ・システムがネッ

謝辞

トワーク化し互いにデータをやりとりして動く

本論文は，中川裕志先生（理化学研究所）からと，どうしても特定の人や組織の過誤が判然としいただいたご示唆を踏まえ執筆した。深く感謝申ないことが起こりうる。このような特定の人や組し上げる。また本論文は，科学研究費補助金若手織に責任を帰属できない場合，被害者を救済し，研究（B）「人工知能・ロボット・サイボーグの開発者・利用者の萎縮を引き起こさないために集

倫理的問題に関する理論的かつ実証的研究」（平合的責任の導入が求められる。すなわち個人的・

成29年度−平成31年度，代表: 河島茂生，研究課

組織的責任だけでは限界がある。個人の内面の倫

題番号: 17K12800）の助成を受けた研究に基づ理観を高め技能を向上させるだけではなく，不確いたものである。

実性が内在化している社会システムの責任として引き受けることが求められる。個人的・組織的責

注

任を可能なかぎり追及し，それでも難しい場合は（１）社会システムを観察する立ち位置からいえ

最後のセーフティネットとして集合的責任に沿っば，個人は他者や機械と交換可能であり，た制度を準備せざるをえない。

特定個人への思いやりだけを追い求めると最後に本論文で残された課題について述べる。

平等性を欠く事態に陥ってしまう。ただし，本論文は，理論的な基礎研究であるゆえ，具体的個々人への配慮の次元を忘れてしまえば，な制度について考察していない。実際には，どの社会システムの倫理性の確保の基盤は失わように特定の個人や組織に帰属できる責任と集合れる。こうした議論については「ビッグデー

的責任とを区別し運営していくのか，制度の構造

タ型人工知能時代における情報倫理」（河は多様でありうる。集合的責任を認定する仕組み

島, 2018）を参照。

をいかにするか，補償の金額は定額にするのか，（２）AIネットワーク社会推進会議の利活用原

それとも個別に対応していくのか。補償や運営組則（案）における公平性の原則で論点となっ織の財源はどのようにするのか，どのような領域ている「人間の判断の介在」は，個人の人を適用範囲とするのか。あまりにも数が多くなっ生を左右する重要な意思決定に関してAIてしまった場合，どのように対処していくのか。

自体への責任転嫁を防ぐために求められる

あらためていうまでもなく，これらは相互に連関事項である（河島, 2019）。

しており総合的な検討が必要である。

（３）すでにフランスでは医療事故事例においてまた，社会システムの責任として引き受ける場

損害賠償制度と併存するかたちで無過失補合，営業秘密に抵触しない範囲でAIの技術が公償 制 度 が 導 入 さ れ て お り， こ の ほ か ス

開されていなければならず，透明性を最大限に図ウェーデンやニュージーランド，デンマー

り，たとえライバル企業であっても共同で解決策

クでも導入されている。日本でも産科医療を練ることが強く期待される。調査機関を設け，補償制度が整備されている。

事故の調査を行い再発防止に努めなければならな（４）Arendtは，宗教の影響によって，倫理やい。さらにAIネットワークの技術者や企業といっ道徳が集団的なものから個人的なものへとた職業集団内に限ってコミュニケーションするだ

変わったといい，集合的責任は政治的なもけでなく，それ以外の多くの人たちとの対話の場のであると述べている。このように個人のを用意し，可能なかぎり利害関係者が納得しあっ次元だけに倫理をとどめてしまうのは本論て進めていく必要があると目される。

文の立論との相違が見て取れる。

13

AIネットワーク状況下における集合的責任：ネオ・サイバネティクスの理論に基づく電子人間批判を交えて


河島茂生

参考文献

なるものの位置づけ」,『情報システム学会誌』
14（２）, pp.21-28.

赤坂亮太（2018）「不法行為法における AI の法

国土交通省自動車局（2018）「自動運転における的人格に関する検討」, 2018年度人工知能学会

損害賠償責任に関する研究会 報告書」,

全 国 大 会 発 表 資 料, <https://confit.atlas.jp/<http://www.mlit.go.jp/common/001226452.

guide/event-img/jsai2018/ １ F ２ -OS-5a-03/

pdf> Accessed 2019, January 12.

public/pdf?type=in>

高度情報通信ネットワーク社会推進戦略本部・官Accessed 2019, January 12.
Arendt, H. （1987=2007） Collective

民データ活用推進戦略会議（2018）「自動運転

Responsibility. Boston College Studies inに係る制度大綱」, <https://www.kantei.go.jp/

Philosophy,（26）, pp.43-50.（中山元訳「集団jp/singi/it2/kettei/pdf/20180413/auto_drive.

責任」,『責任と判断』筑摩書房, pp.195-208.）pdf> Accessed 2019, January 12.

Chopra, S. & White, L. F. （2011） A Legal

Maturana, H. R., Varela, F. J.,（1980=1991）

Theory for Autonomous Artificial Agents,

Autopoiesis and Cognition, D. Reidel

University of Michigan Press, Michigan,

Publishing Company, Dordrecht, 146p.（河本252p.

英夫訳『オートポイエーシス』国文社, 320p.）
西垣通（2008）『続 基礎情報学』NTT出版, 219p.

Delcker, J.（2018）Europe Divided over Robot

大屋雄裕（2017）「外なる他者・内なる他者」,『論‘Personhood’,

究ジュリスト』（22）, pp.48-54.

<https://www.politico.eu/article/europe-

Perrow, C.（1984）Normal Accidents, Basic

divided-over-robot-ai-artificial-intelligence-Books, New York, 386p.

personhood/> Accessed 2019, January 12.
Delvaux, M. （2017） Report with

Robotics-openletter.eu（2018）Open Letter to

Recommendations to the Commission on

the European Commission on Artificial

Civil Law Rules on Robotics

Intelligence and Robotics,<http://www.robotics-openletter.eu/> Accessed<http://www.europarl.europa.eu/

2019, January 12.

cmsdata/113782/juri-final-report-robotics.

Schomberg, R. von （2009） Organising

pdf> Accessed 2019, January 12.

Collective Responsibility, Keynote lecture at

Hosken, G.（2008）Army Blames Gun’s Maker

the first annual meeting of the Society forfor Lohatla, IOL News,the Study of Nanoscience and Emerging<https://www.iol.co.za/news/south-africa/

Technologies, Seattle, 11 September.

army-blames-guns-maker-for-lohatla-387027>

Wiener, N.（1964=1965）God and Golem, inc.,

Accessed 2019, January 12.

M.I.T. Press, Cambridge, 99p.（鎮 目 恭 夫 訳

河島茂生（2016）「ネオ・サイバネティクスの理『科学と神』みすず書房, 149p.）

論に依拠した人工知能の倫理的問題の基礎づけ」,『社会情報学』５（２）, pp. 53-69.
河島茂生（2018）「ビッグデータ型人工知能時代
における情報倫理」,『基礎情報学のフロンティア』東京大学出版会, pp.59-79.
河島茂生（2019）「AI社会における「人間中心」

14