社会情報学

第５巻２号

2016

研究
ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ
Foundations of the ethical issues regarding artificial intelligence
relying on the theory of neocybernetics
キーワード：
人工知能，倫理，情報倫理，ネオ・サイバネティクス，基礎情報学，オートポイエーシス
keyword：artificial intelligence, ethics, information ethics, neocybernetics, fundamental informatics
autopoiesis

青山学院女子短期大学

河 島 茂 生Aoyama Gakuin Women’s Junior College

要

Shigeo KAWASHIMA

約
本論文では，ネオ・サイバネティクスの理論のなかでも特にオートポイエーシス論に依拠しながら，

第３次ブームの人工知能を定位し倫理的問題の基礎づけを目指した。オートポイエティック・システム
は自分で自分を作るシステムであり，生物の十分かつ必要な条件を満たす。一方，アロポイエティック・
マシンは，外部によって作られるシステムであり，外部からの指示通りに動くように調整されている。
この区分に照らせば，第３次ブームの人工知能は，人間が設定した目的に応じたアウトプットが求められるアロポイエティック・マシンであり，自己制作する生物ではない。それゆえ，責任を帰属する必要条件を満たさず，それ自体に責任を課すことは難しい。人工知能に関する倫理は，あくまでも人間側の倫理に帰着する。とはいえ人間は，しばしば生物ではない事物を擬人化する。特に生物を模した事物に対しては愛情を感じる。少なからぬ人々が人工知能に度を越した愛情を注ぐようになると社会制度上の対応が要される。そうした場合であっても，自然人や法人とは違い，人工知能はあくまでもアロポイエ
ティック・マシンであることには留意しなければならない。

53

ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生

Abstract
In this paper, we seek to lay the foundations of the ethical issues revolving around how to place
the third boom in artificial intelligence, while relying on the theory of neocybernetics, in particular
autopoiesis theory. Autopoiesis refers to a self-producing system what characterizes living beings.
However, the artificial intelligence developed in this third boom are allopoietic machines, whichmust give outputs in accordance with the purposes that humans have set, and do not produce
themselves. Therefore, they do not satisfy the requirements of attributing responsibility, and it isdifficult to impose responsibility on these artificial intelligences themselves. Therefore, the ethics
related to this artificial intelligence simply reduce to ethics on the human level. Nevertheless,human beings often personify non-living things. They particularly feel affection toward things
that are modeled after living things. If it comes to a point where too many people pour too muchaffection into artificial intelligence, we will have to deal with it on a societal level. Even in sucha case, we must bear in mind that artificial intelligence are allopoietic machines and are different
from natural persons and juridical person.
（受付：2016年６月１日，採択：2016年８月20日）

54

社会情報学

１

第５巻２号

2016

きく崩すこととなる。生命と機械との差異は，倫問題の所在理的議論の大きな分かれ目である。

本論文の目的は，ネオ・サイバネティクスの理

けれども，人工知能の倫理をめぐる論考は多々論に基づきながら，昨今の人工知能の現在地点をあるが，生物と機械との差異をもとに検討した研確認し，その方向性から見出せる倫理的問題の基究は見当たらない。2000年以降，人工知能もし礎づけを行うことである。現代社会には，すでに

くはロボットをめぐる倫理は大きく分けて２方

多種多様な人工知能が入り込んでいる。特定の人向で議論が進められている。１点目は，ロボエ

工知能ごとに個別に倫理上の問題を議論する前シックス（roboethics）と呼ばれ，社会生活に組に，全体を俯瞰するような基準となるものさしがみ込まれる人工知能と人間とのかかわりを探求し求められる。そうでなくては，人工知能をめぐるようとする方向性である（1）。たとえばD.Dennett

倫理は場当たり的かつ統一の取れない事態に陥っ（1997=1997）やD.Levy（2007），西條（2013）てしまう。本論文では，こうした大きな問題意識

らの研究が挙げられる。２点目は，マシン・エに立って，ネオ・サイバネティクスの理論を参照

シックス（machine ethics）と呼ばれ，いかにしながら，人工知能倫理をめぐる基本的な方向性

して人工知能に倫理的な側面を実装して道徳的を考察することとした。

な 振 舞 い を す るAMAs（artificial moral agents）

人工知能の開発は，細かい違いはあるにせよ，を設計するかという方向性である。たとえば関「人間のように思考するコンピュータ」が目指さ

口・堀（2008）やW.Wallach & C.Allen（2009），

れており，人間と機械との境界を越えようとする

M.Anderson & S.Anderson（2011）， 久 木 田傾向が見出せる。
そうした傾向に合わせるように， （2012），
岡本（2012）らの研究が位置づけられる。
情報哲学の分野でも自然物と人工物との境界を設

これらの２方向の研究は，人工知能をめぐる倫理

けず，情報的存在として生命／非生命を連続的を考えるうえで示唆に富むものの，いずれも知能に捉える理論も提示されている（Floridi, 2011）。

や感情に焦点が当たっており，生命と機械との相

K.Darling（2012）のように，基礎的な議論を経違についてはほとんど問題にしてこなかった。

ないまま財産権を超えたロボットの保護について

しかし，この相違を議論せずに倫理的な問題を論じている研究者も現れている。しかし倫理的な検討していけば，上述の課題が生じる。むしろ生問題において，生物と機械との差異について検討

命と機械との差異を踏まえたうえで，これまでのせず両者を同一線上に位置づけてよいのだろう

人工知能倫理の議論を整序-再編することが望まか。こうした姿勢はいたずらに倫理の範囲を拡大しい。これゆえ，本論文では最初に生物と機械としてしまう恐れがある。ロボットに対して保護さの違いを議論の俎上に載せ，その立論をもとに人れる権利を与えてしまえば，損壊したとしても捨工知能倫理の基底的な領域を検討することとしてられない。あるいは人間が勝手に電源を切った

た。議論の過程で，倫理的責任の所在や倫理的配り改変したりすることが躊躇われる。人間が機械

慮の必要性，道徳的共同体への包摂の可否，擬人と対等に扱われる事態さえ招きかねない。責任を化の問題についても扱っていく。

逃れるために人工知能それ自体に責任を帰属させ

なお，2.2で述べるように人工知能の開発は多る論法も出てくることが危惧される。これまで権岐にわたっており，技術的には実現の道筋が比較

利や責任の範囲は「生命なるもの」が必要条件で的明確である短期的な計画もあれば，いくつものあったが，人工知能が生命でないとすると，人工技術的革新を経なければならない長期的な計画も知能に責任を帰属させる立論はその必要条件を大ある。それぞれは，
後でいうアロポイエティック・55

ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけある。それぞれは，後でいうアロポイエティック・
マシン／オートポイエティック・システムの開発
マシン／オートポイエティック・システムの開発計画に対応している。本論文では，倫理的問題に計画に対応している。本論文では，倫理的問題においてこの２タイプの人工知能のあいだに大きなおいてこの隔たりがあることを指摘するとともに，前者の人2 タイプの人工知能のあいだに大きな工知能をめぐる倫理的問題が喫緊であるため，そ隔たりがあることを指摘するとともに，前者の人の問題を中心に取り上げる。
工知能をめぐる倫理的問題が喫緊であるため，その問題を中心に取り上げる。
２

オートポイエーシス理論に基づく生物と河島茂生

プロセス(関係)のネットワークを，絶えず再つ。
（i）変換と相互作用をつうじて，自己を生産し実現する，(ii)ネットワーク(機械)を空産出するプロセス（関係）のネットワークを，間に具体的な単位体として構成し，またその絶えず再生産し実現する，（ii）ネットワー
空間内において構成素は，ネットワークが実
ク（機械）を空間に具体的な単位体として構成し，またその空間内において構成素は，
ネッ
現する位相的領域を特定することによってトワークが実現する位相的領域を特定するこみずからが存在する(Maturana& Varela,とによってみずからが存在する（Maturana
1980:78-79=1991:70-71)。
& Varela, 1980:78-79=1991:70-71）。

オートポイエティック・システムは，構成素のオートポイエーシス理論に基づく生物と機械
機械との相違点，ならびに人工知能技術
オートポイエティック・システムは，構成素のの位置づけ
産出過程のネットワークであり，現れては消えてとの相違点，ならびに人工知能技術の位置づけ
産出過程のネットワークであり，現れては消えていく構成素を絶え間なく産出しながらみずからを
2.1 生物と機械との差異
いく構成素を絶え間なく産出しながらみずからを.1 生物と機械との差異
動的に特定する自己準拠的性質をもっている(図本論文が依拠するネオ・サイバネティクスは，動的に特定する自己準拠的性質をもっている（図本論文が依拠するネオ・サイバネティクスは，過去の蓄積に依拠しながら絶えず自分を作っ
情報学の基礎理論であり，生物と機械との違いに −1)。
１）
。過去の蓄積に依拠しながら絶えず自分を焦点を当てつつ倫理的問題を考える理論的基盤を ていくシステムである。
作っていくシステムである。
情報学の基礎理論であり，生物と機械との違いに与えてくれる。ここでいうネオ・サイバネティク
焦点を当てつつ倫理的問題を考える理論的基盤をスとは，B.ClarkeやM.Hansenが使った用語であ
与えてくれる。ここでいうネオ・サイバネティク
り，その核心はオートポイエーシス理論であるとスとは，B.Clarke
や M.Hansen が使った用語でいってよい（Clarke & Hansen, 2009）。ラディ
あり，その核心はオートポイエーシス理論である
カル構成主義や機能的分化社会論という特徴も挙といってよい(Clarke & Hansen, 2009)。ラディ
げられるが，それらはオートポイエーシス理論の
カル構成主義や機能的分化社会論という特徴も挙立場から導き出されるものである。オートポイ
げられるが，それらはオートポイエーシス理論のエ ー シ ス 理 論 は，H.R.MaturanaやF.J.Varelaが立場から導き出されるものである。オートポイエ
主に細胞や神経系，生物個体の認知機能に関する
図−1
図１ オートポイエティック・システム
オートポイエティック・システムーシス理論は，
H.R.Maturana や F.J.Varelaが主
研究をもとにして学術的に定式化した（Maturana& Varela, 1980 = 1991）。オートポイエーシスに細胞や神経系，生物個体の認知機能に関する研（autopoiesis）とは，一言でいえば，自分で自分MaturanaやVarela自は， 原 イ
メージとしMaturana
や Varela身自身は，原イメージとして，究をもとにして学術的に定式化した(Maturanaて，M.C.Escher作の「 描 き あ う 手」（drawing
M.C.Escher
作の「描きあう手」(drawing
hands)& Varela,（auto）を制作（poiesis）しながら円環的に内閉1980 = 1991)。オートポイエーシス
したシステムであり，生命の十分かつ必要な条件 をよく引き合いに出した。この絵画は，2
hands）をよく引き合いに出した。この絵画は，
つの手
autopoiesis)とは，一言でいえば，自分で自分を兼ね備えている（Varela, 1979=2001）。オー
２つの手が互いに相手方を描きながら，両方の手が互いに相手方を描きながら，両方の手が地の部
auto)を制作(poiesis)しながら円環的に内閉した
トポイエティック・システムの定義を下に引用すが地の部分から離れて現出していくプロセスを視分から離れて現出していくプロセスを視覚化してシステムであり，生命の十分かつ必要な条件を兼（2）る 。
覚化している。オートポイエティック・システム
いる。オートポイエティック・システムは，絶えね備えている(Varela, 1979=2001)。オートポイエ
は，絶えず自分で自分を作るように作動しながら(2)。
ず自分で自分を作るように作動しながらみずから
ティック・システムの定義を下に引用する
オートポイエティック・システムは，構成
みずからを環境と隔てて顕在化していくシステム
を環境と隔てて顕在化していくシステムであり，素が構成素を産出するという産出（変形およであり，「描きあう手」のイメージと似通っている。
び破壊）過程のネットワークとして，有機的 「描きあう手」のイメージと似通っている。
オートポイエティック・システムは，このよ
オートポイエティック・システムは，構成素に構成（単位体として規定）された機械であうに作動的に閉じているが，その内的原理に合オートポイエティック・システムは，このようが構成素を産出するという産出(変形およびる。このとき構成素は，次のような特徴をもわせて環境を知覚している。たとえば生物は，に作動的に閉じているが，その内的原理に合わせ破壊)過程のネットワークとして，有機的に構て環境を知覚している。たとえば生物は，その生成(単位体として規定)された機械である。こ存のために環境を知覚し捕食する。いわば，みず
56のとき構成素は，次のような特徴をもつ。(i)からにとって価値をもたらすと推定されるものを変換と相互作用をつうじて，自己を産出する

社会情報学

その生存のために環境を知覚し捕食する。いわ

第５巻２号

2016

ある。当然のことであるが，エアコンは，フィル「図」としそれ以外のものを「地」としながら，自己制作するわけではない。それは外部にいる人
ば，みずからにとって価値をもたらすと推定さ
ターや熱交換器，クロスフローファンなどの部品
不断に知覚を継続している。情報(information)の間によって作られ適切に組み立てられている。人れるものを「図」としそれ以外のものを「地」
を自己制作するわけではない。それは外部にいるとしながら，不断に知覚を継続している。情報
人間によって作られ適切に組み立てられている。
語源はラテン語のインフォルマチオ(informatio)
間がそのソフトウェアも作り，リモコンで設定し（information）の語源はラテン語のインフォルマ
人間がそのソフトウェアも作り，リモコンで設定
から来ており，その原義は端的にいえば「生命にた温度になるように調整されている。もし人間が(3)。生命がオした温度になるように調整されている。もし人間
チオ（informatio）から来ており，その原義は端とって価値をもたらすもの」である
設定した通りに動かず，冷房の指示を出したのに的にいえば「生命にとって価値をもたらすもの」が設定した通りに動かず，冷房の指示を出したの
暖房しはじめたら故障である。エアコンは，アロートポイエティック・システムであり，そのなか（3）である 。生命がオートポイエティック・システに暖房しはじめたら故障である。エアコンは，アポイエティック・マシンの典型的な例である。オで焦点化されていくものが情報であるといってよ
ムであり，そのなかで焦点化されていくものが情
ロポイエティック・マシンの典型的な例である。
ートポイエティック・システムは自己準拠的に作い。たとえば食物や異性，敵，気温などが情報と報であるといってよい。たとえば食物や異性，敵， オートポイエティック・システムは自己準拠的に動するのに対し，アロポイエティック・マシンはして立ち現れてくる。
気温などが情報として立ち現れてくる。
作動するのに対し，アロポイエティック・マシン
基本的に入出力関係に従属して作動する。
Maturana や Varela は，オートポイエティッ
MaturanaやVarelaは，オートポイエティック・は基本的に入出力関係に従属して作動する。
ク・システムの特徴を際立たせるため，アロポイ
システムの特徴を際立たせるため，アロポイエ
第 3 次ブームの人工知能の位置づけ
エティック・マシン(allopoietic
machine)という2.2 2.2
ティック・マシン（allopoietic machine）という第３次ブームの人工知能の位置づけ
こうした概念区分に基づけば，第 3 次ブームで概念も提出している。アロポイエティック・マシ
概念も提出している。アロポイエティック・マシ
こうした概念区分に基づけば，第３次ブームで実現されつつある人工知能技術は，第 1 次・第ンは，オートポイエティック・システムの反対概
ンは，オートポイエティック・システムの反対概
実現されつつある人工知能技術は，第１次・第２次ブームと同じく，アロポイエティック・マシン
念であり，「自動車のように，その機能が自分自身次ブームと同じく，アロポイエティック・マシン
念であり，「自動車のように，その機能が自分自に位置づけられる。もちろん，IBM の Watson のとは異なったものを産出する機械」(Maturana &に位置づけられる。もちろん，IBMのWatsonの身とは異なったものを産出する機械」（Maturana&
Varela,1980:135=
1991:242）であって，入ような高度なエキスポート・システム，あるいはような高度なエキスポート・システム，あるいは
Varela, 1980:135= 1991:242)であって，入出力関出力関係に従属して動作するシステムである。すディープラーニングを使った画像認識や音声認
ディープラーニングを使った画像認識や音声認識係に従属して動作するシステムである。すなわち
なわちアロポイエティック・マシンは，開放シス
識，自然言語処理，さらには自動運転車やロボッ
自然言語処理，さらには自動運転車やロボット兵
アロポイエティック・マシンは，開放システムでテムであり，ある入力をすれば常に一定の出力をト兵器などは，仕事や遊び，交通，戦争などに大器などは，仕事や遊び，交通，戦争などに大きなあり，ある入力をすれば常に一定の出力をするよ
するように固定化されているシステムである（図きなインパクトを与えていくだろう。周知のようインパクトを与えていくだろう。周知のように，
うに固定化されているシステムである(図−2)。
２）。
に，グーグルの人工知能は，ディープラーニング
グーグルの人工知能は，ディープラーニングの手の手法を用いて膨大な計算を行い，猫の視覚的特法を用いて膨大な計算を行い，猫の視覚的特徴量
徴量を教師なし学習でみずから見出している。音を教師なし学習でみずから見出している。音声認
声認識も，ディープラーニングによってノイズの識も，ディープラーニングによってノイズの多い多い環境での認識率が高まった。こうした例はほ環境での認識率が高まった。こうした例はほかにかにもある。たとえば，視覚・聴覚・触覚を複合もある。たとえば，視覚・聴覚・触覚を複合的に的に組み合わせたマルチモーダル情報を自動的に組み合わせたマルチモーダル情報を自動的に計算計算してカテゴライズするロボットが開発されて
図２ アロポイエティック・マシン
図−2アロポイエティック・マシン
してカテゴライズするロボットが開発されているいる（長井・中村,2012）。カメラやマイク，触オートポイエティック・システムと違い，アロ覚センサーからのデータを計算しクラスタリング(長井・中村, 2012)。カメラやマイク，触覚センサ
ポイエティック・マシンは，みずからを再帰的にして，高い精度で物体を分類している。人工知能
オートポイエティック・システムと違い，アローからのデータを計算しクラスタリングして，高存立させるのではなく外部からの介入によって成は，実践的な体験に根ざした概念形成にまで至っ
ポイエティック・マシンは，みずからを再帰的にい精度で物体を分類している。人工知能は，実践立せしめられるシステムであり，内部ではなく外ていないとはいえ，部分的にせよみずから物的存立させるのではなく外部からの介入によって成的な体験に根ざした概念形成にまで至っていない的メカニズムによってその作動が決定される。た概念を形成していると考えられる。また進化論立せしめられるシステムであり，内部ではなく外とはいえ，部分的にせよみずから物的概念を形成
とえば，エアーコンディショナー（エアコン）で的計算の手法を使った研究でも，コンピュータ
的メカニズムによってその作動が決定される。たしていると考えられる。また進化論的計算の手法
とえば，エアーコンディショナー(エアコン)であを使った研究でも，コンピュータが自動計算する
57る。当然のことであるが，エアコンは，フィルタ領域が拡大している。
たとえばBrodbeckら(2015
ーや熱交換器，クロスフローファンなどの部品をは，「母ロボット」
がモジュールを組み合わせて「子ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生

が自動計算する領域が拡大している。たとえば

自己生産することが想定されている（Kurzweil,

Brodbeckら（2015）は，「母ロボット」がモジュー（4）。群ではなく単位体のレベルで2005=2007）

ルを組み合わせて「子ロボット」を作り評価し，そうした状況が仮に実現すれば，オートポイエ

さらにその評価をもとに組み合わせを行い，自走

ティック・システムと位置づけされ，生命の条件

するスピードが速いロボットを生み出している。

が満たされうる。後でみるように生命であるか否

母ロボットなる操縦機やその内部で自動計算するかは，責任の帰属が大きく分かれる分岐点であソフトウェア，子ロボットを構成するモジュー

り，技術的特異点の前後では大きく倫理的問題のル，実験方法，目標設定は開発者が制作している

議論が変わってくる。自分で自分を作るという意

が，母ロボットが進化的アルゴリズムに則り，モ

味での自律的存在に人工知能がなるということ

ジュールを組み合わせて制限時間内に遠くまで移は，いわば外部からのコントロールが効かないと動できる子ロボットを自動で割り出すまでにはいうことである。哲学者N. Bostrom（2014）が至っている。こうしたことは技術上の確実な成果

いうように，いかにして人類の知能を超える人工であるといえる。

知能を制御し，人間に害をもたらさないように設

しかし人工知能が機能するには，人間が要求仕計するかというコントロール問題が生じてくる。

様を固め，どのようなアルゴリズムを採用するか人間の指示通り動作せず，人間と人工知能との対という設計仕様を確定し，それに応じてプログ決というSF的な構図を想像することが可能な段ラムの命令と引数を細かく記述しなければなら階である。この段階では，人工知能自体が自己のない。ディープラーニングでも，人間がTorchや

コントロール権を有する。したがって，人工知能

Chainer，TensorFlowなどのフレームワークを整自体に行為者性を帰属することも可能であろう

え，そのフレームワークを利用しながら畳み込みし，責任を帰属することも可能である。法的な責層・プーリング層を多段に連結して後半に全結合

任を課す制度を作るならば，微妙ならざる差異は層をつなげて関数で正規化する準備を予め施さなあるだろうが，組織に対して適用している「法人ければならない。ソフトウェアばかりではない。

格」付与の手続きと似た手法を採ることが考えら

人間がGPUなどのハードウェアも用意し，必要れる。なお社会学者N.Luhmannは，オートポイ

なデータはセンサーを設置して収集している。試

エーシスの範域を拡張し，生命と同じく自己創出

行錯誤しながら，一定の入力に対して一定の出力性が見出せるものとして人間心理や社会を記述しがなされるように調整している。マルチモーダル

た（Luhmann, 1984 = 1993,1995）。それゆえ，

情報のクラスタリングや進化論的計算の分野も，

ネオ・サイバネティクスの観点からすれば，人間

大きく変わらない。すなわち，人間の介在なしにとともに組織に人格を認めるのは一定の妥当性を特徴量（素性）の抽出が可能となったにせよ，精もっている。

度が上がり柔軟性が増したにせよ，自動計算の領注 意 を 払 わ な け れ ば な ら な い の は， 自 律

域が広がっているにせよ，第３次ブームの人工知性（autonomy） と い う 言 葉 の 意 味 で あ る。 自能も，オートポイエティック・システムに近づ

律 性 と い う 語 は 多 義 的 で あ る。 自 律 型 自 動

きつつあるとはいえても，あくまでアロポイエ

車（autonomous vehicles） や 自 律 型 武 器

ティック・マシンに位置づけられる。

（autonomous weapons）のように，自律的なマ

もちろん発明家R.Kurzweilが提唱した「技術的シンは製造可能とみなされることが増えてきた。

特異点」（technological singularity）以降では，

しかしその自律とは，学習したパターンにしたが人工知能は，人間の知能を上回り，それ自身をい新たな対象物を分類するといった意味であり，

58

社会情報学

第５巻２号

2016

「自動的」という言葉に近い。これに対して，オー型人工知能とは，その名の通り特定のタスクをこ

トポイエティック・システムもその特徴を自律となすために開発された人工知能であり，別のタスいう語で表現できる。ただし，ここでいう自律はクへの汎用性がない。特化型人工知能はすでに実外部からの働きかけではなく内部の原理に則って現されている技術もあり，こうした人工知能をめ

作動し，自分で自分を作るという意味である。前ぐる倫理的問題を考慮することは喫緊の課題であ

者は技術的に実現可能と予測されるのに対し，後る。

者については実現の道筋がはっきりとはみえていない（5）。

３

2016年 現 在， 自 己 産 出 す る 人 工 知 能 は， そ倫理的責任（moral responsibility）の帰
属の到来を想像はできるものの，あるいはWhole
3.1

Brain EmulationやWhole Brain Architectureの人工知能に責任を帰属することの困難さ

ような興味深いプロジェクトが進んでいるもの

オートポイエティック・システムは，その内的の，その技術的成果がみえていない段階であると原理に基づいて動作する。つまり，その内部にシいってよい。これまで人類が発明してきたテクノ

ステム自体をコントロールする作用がある。それ

ロジーはすべてアロポイエティック・マシンであゆえ，オートポイエティック・システムに倫理的る。生命の起源が不分明である以上，オートポイ

責任を課すことは可能である。もちろん，すべて

エティック・システムの人工知能が生まれる可能のオートポイエティック・システムが責任を取る性は皆無ではない。しかし有史以来そうしたテク

条件を満たしているわけではない。植物やペット

ノロジーが制作されておらず，自己制作する人工は，生物でありオートポイエティック・システム

知能の実現は困難が予想される。長らく開発が進であるが，罪に問われない。犬が人を噛んだら責

められている自己反映計算の機能を高めなければは飼主に帰せられる。
子供が暴力沙汰を起こせば，ならず，加えてハードウェアも作って必要なデー親にも非難は及ぶ。すなわち，行為者と責任者はタはセンサーを設置して集めてこなければならな

概念上区別されるのであり，オートポイエティッ

い。また，外部を測定しそれに対応する能力の汎ク・システムでありかつ善悪の分別がつくとみ用性を高めなければ，すぐさまトラブルが生じるなされる人物のみが倫理的責任を帰属させられであろう。さらに，自己制作する人工知能は，人る（6）。逆にアロポイエティック・マシンは，生間によるプログラミングが必要なくなる一方で外物でもなく外部からの指示にしたがい動作するた部からの制御可能性が低くなり指示通り動くか分

め，責任が帰せられる公算が低い。窓ガラスが割からないため，企業がどこまで市場価値を見出しれて怪我をしたとしても，窓ガラス自体に対してて開発・販売に労力をかけるかは未知数である。

責任が追求されることはない。エアコンが壊れて販売に乗り出す場合，「意図通り動かなくとも故熱中症で人が死んだとしても，エアコン自体が起障ではありません」と説明書きを入れなければな

訴されることはない。したがって，オートポイエ

らないことは想像に難くない。したがって，緊要

ティック・システムであることは，十分条件ではかつ切実なのは，現代社会に早期に組み込まれる

ないが責任を帰すための必要条件である。自分で可能性の高いアロポイエティック・マシンとして自分を作る人工知能でないと，責任は帰属できなの人工知能にかかわる倫理的問題である。特化型

い。

人工知能／汎用型人工知能の区分でいうと，先に「コンピュータが殺人を犯したら，だれが罪に特化型人工知能が社会生活空間に入り込む。特化問われるのか」というありふれた問いがある。ネ59

ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生

オ・サイバネティクスの理論に基づけば，その回

人間に危害を加えてはならない。また，その危険

答は自己制作する性質を備えているか否かによっを看過することによって，人間に危害を及ぼしてて分かれる。アロポイエティック・マシンの人工はならない。第二条

知能が暴走し危害や損害が生じれば，罪に問われれた命令に服従しなければならない。ただし，あるのは人工知能側ではなく所有者や開発者，販売たえられた命令が，第一条に反する場合は，この者といった人間側といえる。その作動は人間側が限りでない。第三条定めているからである。それゆえ，自己制作してよび第二条に反するおそれのないかぎり，自己いく人工知能を開発していく道筋が明確につかめをまもらなければならない。
」（Asimov, 1950 =ていない現段階では，人工知能自体の倫理ではな

2004:5）の３原則である。このロボット３原則

く人工知能に携わる人間側の倫理に焦点を当てる

は，ロボット自身が自意識をもっていることを前ことが望ましい。

提としている。自意識は，心理レベルでのオートロボットは人間にあたえら

ロボットは，前掲第一条お冒頭で述べたAMAsの設計についても，いかに

ポイエティック・システムから生まれてくると考して人間が用いている倫理的推論をコンピュー

えられるが，この自意識が現出しないとすれば，タ技術者がAMAsに実装していくかに力点が置かそれは柴田正良が指摘するように単なる仕様書でれている。WallachやAllenはロボットが備えるあり，家電製品が求められる３原則にすぎない。

べき倫理的価値のレベルを「operational morality」「（一）安全（人間を危険にさらさない），（二）従「functional morality」「full moral agent」の３段階

順（人間の意図通り動く），（三）堅牢（簡単にはに分け，トップダウン・アプローチとボトムアッ

壊れない）」（柴田, 2010: 23-24）である。そう

プ・アプローチの両面から自律性と価値に対すした意味で，
ロボットという言葉の原義である「労る感受性を高めるように人間が関与するべきと働」「隷属」に合った原則といえる。

いう（Wallach & Allen, 2009） 。operational

誤解を避けるために付け加えておくと，AMAs

moralityと は 設 計 者 が 明 示 的 に 埋 め 込 ん だ 倫の設計の取り組みに見られるように，倫理の基準

理的対応のみを示すレベルであり，functionalを埋め込んだアロポイエティック・マシンが作る

moralityとは教えこまれたパターンをもとにしことは十分に可能である。たとえば功利主義が正て機械自体が倫理的な問題に自動的に判断を下義であるとすると，その原理を基準とする自動運

すレベルである。現存する人工知能の大半は，転車は正義の判断が組み込まれているといえるだ

operational morality の段階であり，functionalろう。しかしそれは，人間が考える正義をプログ

moralityの水準に到達している機械であってもラミングしてインストールしたルールに基づいてその初歩段階にすぎない。最上位のfull moral

動くだけであり，自動運転車が正義について内発

agentは，自己反省するレベルであり，現時点で的に思考した帰結ではない。そのため，正義に基は実現にはほど遠い（Wallach & Allen, 2009:

づく判断がつくように見えるアロポイエティッ

34; Wallach & Allen, 2012）。 い う な れ ば，

ク・マシンは，あくまで人間によって作られたもAMAsもアロポイエティック・マシンであり，人のであり，その責任は人間もしくは人間社会が引

間がどのような点に着目して倫理的判断を行わせき受けるべきである。

（7）

るかを決めている。
人工知能がアロポイエティック・マシンの段階3.2にある場合，有名なI.Asimovのロボット３原則
は意義を有するだろうか。「第一条

自動運転車やロボット兵器を事例として

こうしたことを踏まえ，紙幅の都合上，近年注

ロボットは目を浴びている自動運転車やロボット兵器を取り60

社会情報学

第５巻２号

2016

上げ，それらにかかわる応急の倫理的問題についい者，運転免許非保持者の人数，飲酒しても自動て簡潔に述べる。これらは，自己制作する人工知

車移動を可能にすることなどを勘案すると，けっ能であれば指示通り動くとは限らず，アロポイエ

して小さくはない（8）。交通事故や排気ガスの減

ティック・マシンとして開発が進められると想定

少，移動時間に別の作業に集中できるといったされる。まず自動運転車の欠陥にかかわる事項で効用も期待されているが，運転できない人たちのある。内閣府政策統括官（科学技術・イノベー

自動車移動を可能にすることは，そうした人たち

ション担当）（2015）は，自動運転レベルを4段に対するバリアフリー／ユニバーサルデザインの階に分け，レベル４「加速・操舵・制御を全てド実現であり，倫理的配慮にもつながる。それゆライバー以外が行い，ドライバーが全く関与しなえ，自動運転車に合った保険制度を確立し，保険い状態」を完全自動走行システムと名づけた。そ会社と自動車メーカー等が包括的な契約をして完のレベル４に位置する完全自動運転車は，準自動

全自動運転者を販売する方策が採られるかもしれ

運転車に比べて開発企業等にとってリスクが大きない。
『日本経済新聞』が報じたところによれば，

いといえる。アロポイエティック・マシンである

東京海上日動火災保険株式会社は2014年に自動完全自動運転車自体に責を帰すわけにはいかない

運転に対応した自動車保険を検討しはじめている。すでにドローンは保険が作らからである。また，しばしば指摘されるように， （瀬川ら, 2016）
事故を起こしたときには，製造物責任法がソフトれており，たとえばDJI社は製品「PHANTOM3」

ウェアに適用しがたいにせよ，責任を問われてしを三井住友海上火災保険株式会社の業務保険つきまうからである。異常気象で環境が大きく変わりで売り出している。 そうした先行する例を参考

画像認識がうまくいかず誤作動を起こしたら，そにして保険制度を構築することになると予想でき

れは設計上のミスである。アメリカの非営利組織

る。安全規格も必要とされるだろう。

FLI（Future of Life Institute）は人工知能に関す自動運転車の設計思想にも倫理的な問題が含まる公開書簡を発表しているが，その文書には次のれている。自動運転車が回避しきれない事故に直ような皮肉めいたコメントが載せられている。
「自面した場合，どのような倫理的な基準を採用して動運転車の導入によっておよそ４万件の交通事故

ハンドルを切るかは前もってルール化しておかな

死がなくなったとしても，自動車メーカーに寄せければならない。J-F. Bonnefonらのオンラインられるのは２万通の感謝の手紙ではなく，２万件調査（2015）によると，人々は功利主義的な意の訴訟かもしれない」（Future of Life Institute,

思決定を支持している。たとえば，自動運転車が2015a）。自動車メーカーの立場からすると，責直進すると10人が死亡する。進路を変えると1人任の帰属を逃れるためには，たとえ技術的に可能が死亡する。そうしたときには，
進路方向を変え，でも完全に自動運転化はせず，一歩手前の準自動より多数の人々を救うようにプログラミングしてで止め，人間にハンドルを握らせたほうがリスクおくことが肯定的に受け止められている。自己犠の低減にはなると考えられる。もしドライバーの牲が伴う場合でも同じであった。功利主義的な判

運転と自動運転車の判断に齟齬が生じたときは，

断は，現行の刑法37条「緊急避難」の措置に適

人間の操縦を優先させなければドライバーの過失合しており，社会的な同意が得られやすいと想定を問えない。運転者側にコントロールする機会がされる。もちろん，自由主義や共同体主義に則っ与えられていないからである。その帰責は自動車

た意思決定も可能であろう。こうした倫理的意思メーカー等が負う可能性が高い。

決定も，人間の責任の範囲として受け止め議論を重ねてからロボットに埋め込むべきである。

ただし自動運転車の市場規模は，高齢者や障が61ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生

責任の所在を別にすれば，完全自動運転車に対に精神的ショックを受け，軍事研究からは距離をする懸念として，そこに爆弾を積めば次に述べる

とり，科学者による軍事研究を厳しく非難した。

ロボット兵器となることが挙げられる。これは，いうまでもなく，Wienerのサイバネティクスは，

アメリカのDARPA（国防高等研究計画局）が自本論文で依拠しているネオ・サイバネティクスの動運転技術のコンテストを実施していたことから源流である（西垣, 2010）。日本学術会議は，戦容易に連想できることである。

時中に科学者が兵器開発に従事したことを省み，次にロボット兵器である。ロボット兵器は，遠1950年に「戦争を目的とする科学の研究には絶隔操作もしくは自動で相手に攻撃を仕掛けること

対従わない決意の表明」をしている。FLI（2015b）ができ，すでに開発されている。例としては無人

もまた，自動ロボット兵器が火薬や核兵器に続い飛行機や無人偵察機，自動機関砲が挙げられる。

て戦争に革命を引き起こすものであるとし，その自動運転車と同様，
あるいはナイフや拳銃と同様，禁止を強く訴えている。

ロボット兵器自体に責任を帰すことは難しい。ロ
ボット兵器の製造や使用者などの人間側に責任は帰属する。ロボット兵器は，味方の兵士の危険性を減らすため需要が高い。しかし，敵やその周囲

４

擬人化

4.1

擬人化の先鋭にいる人々への人道的配慮については疑義を挟ま第３次ブームの人工知能は，生物（人間）ではなければならない。ロボット兵器を使ったからとない。とはいえ，さまざまな場面で擬人化―ネオ・

いって人命を奪うことには変わりがない。あきら

サイバネティクスの用語になぞらえていえば，擬かにAsimovのロボット３原則からは外れている。

似オートポイエティック・システム化―はすでに

自動ロボット兵器は，事前に設定した条件に起きており，これから後そうした傾向にますます拍車がかかる可能性がある。

あった人間に攻撃を加える。けれども，学習したパターンで実際にどれほど敵と味方の区別をつけシ ミ ュ ラ ク ラ 現 象 に み ら れ る よ う に， コ ンられるだろうか。人工知能が顔認識していると判

ピュータ技術の有無にかかわらず元来，人間はさ断すれば，敵は顔を布で覆うだろう。全身の画像

まざまな事物を擬人化してきた。自動車を前から認識であれば髪型を変え服も変えるだろう。軍服

みたときに顔のようにみえるときがある。人面魚を脱ぎ私服を着ていたら，敵側の民間人との区別もそれに類する。それ以外にも，ギリシャ神話にはつきにくい。ディープラーニングによる画像認あるピグマリオンが彫った乙女像，人形浄瑠璃，識の精度が人間並みになったとはいえ，そうした

チェコの人形劇など例は数多い。

（9）

識別ができなければ誤射・誤爆を招いてしまう 。

コンピュータ技術に関しても擬人化が生じてP.W.Singer（2009=2010）が述べているよういる。人工知能研究の初期に開発されたELIZAもに，アメリカのロボット研究者はDARPAからの擬人化の例である。ELIZAは簡単なルールにした資金援助を受けていることが多いが，それを拒否がって言葉の意味も分からず回答しているだけだ

する研究者もいる。みずからの技術が戦争に使わが，ユーザーはその会話のなかで相手が人間であれることに耐えきれなかったからである。こうるかのように感じ，のめり込んだことがあった

した姿勢は，サイバネティクスの父N.Wienerをという。また，不倫サイトといわれる「Ashley

思い起こさせる。Wienerは，第２次世界大戦中，

Madison」では，ユーザーが会話ロボットを人間

フィードバック制御に基づいた弾道計算の研究にの女性だと思い込んでサービスを利用していた従事した。しかしその後，日本への原子爆弾投下（Pagliery, 2016）。LINE公式アカウントの「パン62社会情報学

第５巻２号

2016

田一郎」
「りんな」
，ウェブサイト「脳内カレシ具

場合との比較である。その結果，被験者は，同じ体化計画」といったサービスも，こうした例に属

端末で評価した場合のほうが，別の端末で評価よす。世界的な人気を誇る初音ミクも，声優の声のり肯定的な回答を行った。すなわち，我々が人間入った単なるボーカロイドではなく，キャラク

相手に示しているのと同様，豆知識を教えたコン

ターのイラストや年齢等のプロフィール設定をしピュータに対しては礼儀正しく接した。

たことで擬人化が引き起こされた。事実，初音ミ

また，相手を人間のように扱ったケースではな

クがまるで身体をもったかのように「そんな高音

いが，４本足で犬のように足を動かすロボットを苦しいわ」と歌う曲が作られ話題となった。

蹴ったところ，可哀想という声が相次いだ（CNN,

あるいは，将棋の電王戦も擬人化の例として挙2015）。擬人化ならぬ擬生命化が起きている。

げられるだろう。コンピュータ対人間といった構

実際には，人間の姿形のイメージが前景化して図で電王戦が報道され，ハードウェアもソフトいる場合のほうが擬人化は喚起されやすいと想定

ウェアも人間が作っているにもかかわらず，将棋される。自動販売機や電子レンジもロボットとい用コンピュータを作っている人間の存在が意図的えるが，そうした機器に人間性を見出す人は稀でに消去され語られることが多い。すなわち，コンあろう。人間の姿形のイメージが伴う例は，各ピュータ自体が機械学習の方法も含めてすべて

種オンライン・サービスのアバター，あるいは行っているかのように擬人化されている。ペリ

Pepperのようなロボットが挙げられる。目があパーソナル・スペースのような考え方を借りれば，り，顔が動き，また手足を動かしながら話しか電王戦は，コンピュータを使った人間と使わない

けられると，人間は親近感を引き起こされやす

人間との異種格闘技戦にすぎないが，そのようない。今後，人間とのスムーズなやりとりが可能に見方で語ると耳目を集められないと考えられる。

なるような人型ロボットが生活の場に置かれてい作為的に擬人化している様子が見て取れる。報道くだろう。ペットのような仕草をするロボットと記者以外の言葉としても，棋士自身が「コンピュー

してはAIBOやパロなどが有名だが，人々はそれ

タは怖がらずにちゃんと読んで，踏み込んでくる。

ぞれのロボットに愛着をもち特別性―ほかの同じ強いはずですよ。怖がらない，疲れない」（山岸,

機械では代替できない，かけがえのなさ―をしば2013）とコメントしており，対戦者の目線でもしば感じている。人型ロボットにも同じような感擬人化が起きていることが窺われる。

情移入が起きることが想定される。性愛の対象と人間の姿形のイメージは擬人化に必ずしも必要してのロボットも登場する可能性がある（Levy,とされない。たとえば，B.ReevesやC. Nassの実

2007; 西條, 2013）。

験によれば，我々は，単なるコンピュータであってもまるで人間であるかのように接する（Reeves

4.2

擬人化に伴う倫理的問題& Nass, 1998 = 2001）。彼らは，ある実験でコ擬人化された人工知能に行為者性を付与するこンピュータに対して我々が礼儀正しく振る舞うかとは既に行われている。代表的な例は先述した将を検証している。実験の方法は，まずコンピュー棋の電王戦である。アメリカのNHTSA（運輸省

タが一通りの豆知識を被験者に教え，次に被験者

道路交通安全局）が2016年２月に自動運転車のが豆知識の印象をアンケート方式で回答する。こ

人工知能を運転手とみなせる可能性があるとの見の回答の方法で２通りのものを用意し比較考量す解を示したが，この見解にも擬人化が生じており，る。豆知識を教えたコンピュータと同じ端末で豆人工知能に行為者性が帰属されているといえる。

知識の印象を聞く場合と，別の端末で印象を聞く

ただし，これらはあくまでも擬人化であり，実際

63ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生

は設定した目標値に向かって計算処理をしているを経ており，人間もまた生命が誕生してから約

アロポイエティック・マシンである。人間が機械

40億年のオートポイエティック・システムの来学習の手法や教師用データ，各種のハードウェア

歴を引き継いでいる。けれども，人工知能はそうを整えている。擬人化による行為者性の付与で危ではないからである。人工知能が道徳共同体に組惧されるのは，人工知能が高度化し汎用化してくみ込まれるためには，人間と同じような生理学的ると人間の尊厳が問われてくることである。とは知覚構造も要件だが，少なくとも他者の心のうち

いえ擬人化は，行為者性の付与までで留めることを推し量る能力は欠かせない。
ネオ・サイバネティが望ましい。倫理的責任にまで推し進めると，事クスの用語でいえば，オートポイエティック・シ

故が起こったとしても誰も責任を取らない無責任ステムとして他者の心理を眺める観察者の能力で状態が引き起こされかねかいからである。

ある。自分と同じように他者も思考と感情がありロボットとの間に倫理的な関係を結べるか否か

悩み苦しむ存在であることが見出せてはじめて，も重要な論点である。繰り返し述べるように，自他者への倫理的配慮がもたらされると考えられる

己制作しないロボット自体は生物（人間）ではなからである。そのほか，
人工知能にも寿命や病気，い。アロポイエティック・マシンである。倫理は死がなければ，人間の喜びや悲しみ，宗教などに他者との関係で生じるものであるため，ロボット

ついて理解が及ばないと想定される。たとえ自然自体に倫理的配慮をする必要はない。I.Kantのよ

人ではないロボットに「人権」を与える手順が踏く知られた道徳律「他者の人格を単なる手段としまれたとしても，ロボットが組み込まれた社会にてのみならず，目的としても尊重すること」にしおける正義をいかに考えていくかという課題が立

たがわなくともよい。24時間休みなく動かせた

ちはだかってくる。

り，売買したり，また故障したら廃棄しても差しただし擬人化のことを考慮すれば，人工知能に支えない。崩壊した建物の内部のような危険性の愛着をもち特別性を感じている人たちへの配慮

高いところにロボットを送り込んでも構わない。

が必要となってくるだろう。AIBOは，1999年かロボットが生命ではないがゆえの利便性である。

ら2006年までソニー株式会社が発売した犬型ロ

そして，便利／不便の尺度だけでロボットを測っボットであるが，2014年３月まで長らく修理サても人権を不当に傷つけたことにはならない。万ポートが継続されていた。しかし，ソニーによが一，ロボットに「人権」を与える「ロボットのる修理サポートが打ち切られた後も，修理に対権利」を打ち出すなら，便利／不便の尺度の放する要望は根強く，ソニーのOBが立ち上げた会。また，生命（人間）ではなく，社には修理依頼が次々と押し寄せている（宗像,

ましてや法人のような社会レベルのオートポイエ2015）。論理的にみれば，犬型ロボットはぬいぐ

ティック・システムですらない存在に人権を与えるみとさほど変わらない。しかし愛着のあるぬいるという論理的飛躍を埋め合わせる立論が不可避

ぐるみに旅をさせるツアーも人気であることを考となる。

えると，それほど不思議ではない。もし動物型ロ

棄が半ば伴う（10）

もちろん人工知能は，人間の道徳的共同体にもボット・人型ロボットにあまりにも愛情を注ぐ人属さない。Bostromは次のように述べている。
「欲が続出すれば社会的にも対応を迫られると考えら求に関しては，人工知能は人間との共通点がほとれる。動物型ロボット・人型ロボットについてはんどない。地球外生命体よりも共通点を見出すこ

修理サポートを長めに設定することや動物愛護法とは難しいだろう」（Bostrom, 2014:106）。地球に似た法制度が求められる可能性がある。動物愛

外生命体がいるとしたら，それは進化のプロセス

護法が制定されたねらいとしては，その第一条に64

社会情報学

第５巻２号

2016

示されている通り，動物を守ることによって人間配慮の直接的対象にはならず，道徳的共同体にも社会に生命尊重の思想が醸成されることが挙げら含まれない。とはいえ人間は，しばしば生物ではれる。人工知能の保護がそうした目的に合致するない事物を擬人化してきており，人工知能の擬人段階に達したならば検討しなければならない課題化が進んでいる。特に生物を模した事物に対してである。

はその傾向が顕著である。少なからぬ人々が人工

また1990年代後半以降，インターネット依存

知能に度を越した愛情を注ぐようになると，そう（嗜癖）が社会問題化した。オンラインゲームをした人びとに配慮した社会制度上の対応が要され中心にしてインターネット上の活動に極度に夢中る。その場合であっても，自然人や法人とは違い，になり，それ以外の生活に支障が出る人が続出し

人工知能はあくまでもアロポイエティック・マシている。認知療法や行動療法による治癒が期待さンであることには留意しなければならない。万がれている（河島, 2015）。インターネット依存の一，ロボットに「人権」を与える必要性を訴える研究で蓄積された知見をもとにして，ロボット依なら，かつてない大きな論理的飛躍を埋め合わせ

存の判定基準や治癒させる医療サポートすら必要なければならない。

になることが想定されうる。

自動運転車などの例にみられるように，人工ロボットへの愛は，セラピーロボットに見られ知能はこれまでにない倫理的問題を喚起しているように人間を慰撫する一方で，ビジネスのターる。人間が運転する場合は，不測の事態に対応す

ゲットとなる。恋人や子供に接するような感情をるにしても反射的に判断するだけであって，倫理抱かせグッズを売っていく商法が予期される。ま観が問題視されることはない。しかし，完全自動た，「心理的依存の対象となったロボットから発運転車で想定されている計算スピードはきわめてせられる情報は，より耳を傾けるべきものとし高速であり，事前のルールに基づいて動作を決めてユーザーに受け取られかねない」（西條, 2013:

る時間的余地が生じる。したがって，前もってど45）。したがって，広告の規制も想定されうる。

のような設計思想でアルゴリズムを組み立てるかが問いとして提起された。このように新たな技術

５が実現されることによって倫理的問題が引き起こ

結語

される例はほかにも存在する。たとえば，超音波

本論文は，個別的な議論に入る前段階として，検査が確立したがゆえに出生前診断が可能とな

人工知能倫理を考える基本的な枠組みを提示する

り，ダウン症や二分脊椎症の検査が胎児に対してことを目指している。人工知能倫理に関する既往できるようになった。親は，その検査をするか否の研究では生命と機械との相違点が等閑視されてか，検査をしてそれらの病気を患っている可能性いたが，本論文では，ネオ・サイバネティクスのが高いと判断された場合はどうするかといった倫理論に基づき，生物（人間）／機械の区分を人工

理的な判断が求められるようになった（Verbeek,

知能に適用して倫理的問題の基礎づけを試みた。

2011=2015）。これから人工知能がさらに社会生

このことにより次の言明が導かれる。第3次ブー活に入ってくるとすれば，その技術が引き起こす

ムを支える人工知能は，人間が設定した目的に応倫理的問題を慎重に検討しなければならない。

じたアウトプットが求められるアロポイエティッ

本論文で扱わなかった課題としても，人工知能

ク・マシンであり，それ自体に責任を帰属するこの内部メカニズムのオープン化，
人工知能の開発・とは難しい。人工知能に関する倫理は，あくまで製造・販売・メンテナンス等にかかわる人たちのも人間側の倫理に帰着する。人工知能は，倫理的登録制や免許制，あるいはウェブサイトで使われ65ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

河島茂生ているようなセキュリティの認証といった問題がは，漫画『攻殻機動隊』の人形使い，映ある。ロボットがインターネットに接続すること

画『her/世界でひとつの彼女』の人工知能を鑑みれば，個人情報の取扱いもより慎重にしな

型OS，あるいは映画『トランセンデンス』

ければならない。
これ以外にも多数の課題がある。

のマインド・アップロードされた主人公を

海外の動向を踏まえながら，制度設計を前もって思い浮かべれば分かりやすい。

整えていくことが喫緊の課題である。

（５） オ ー ト ポ イ エ ー シ ス 理 論 で は 構 造

メディアの社会構築主義的研究が知見を蓄積し（structure） と 有 機 構 成（organization）てきたように，技術は，可能的様態をいくつも保との区分を導入している。オートポイエ

持しており，「国家や資本の編制力から，市民，

ティック・システムの有機構成は外からはあるいは大衆の想像力にいたる，複合的で重層的みえない。したがって計算式で表せない。

な社会の諸力の錯綜した結果として，今日のようルールベース・テクノロジーでは生命の根な姿に固定化されてき」（水越, 1996:186-187）

幹たる有機構成は記述しきれないと考えらている。人工知能の倫理的問題に関する議論も，れる。とはいえ，ディープラーニングの手

未来の人工知能の在り方を決める契機になると考法では，ニューラルネットワークが重みづえられる。

けを自動的に計算して動き，それが外からも観察しきれない有機構成をなすことはあ

謝辞りえると思われるかもしれない。しかしな

本論文を執筆するにあたり，AIネットワーク

がら，オートポイエティック・システムの化検討会議（総務省情報通信政策研究所），ネオ・

有機構成は生命の必要条件であり，自分でサイバネティクス研究会，AI社会論研究会で意自分を作るということが構造のレベルで実見交換する機会を得ました。これらに関係された

現されていないのであれば有機構成も成立

方々ならびに査読者の皆様に深謝申し上げます。

していないといえる。
（６） L.Floridi & J.W.Sanders（2004） は， 本

注

論文とはまったく違った理路に基づき，抽（１）「 ロ ボ エ シ ッ ク ス 」 は，2002年 にG.

象化のレベルの違いを持ち出すことで行為

Veruggioに よ っ て 作 ら れ た 造 語 で あ る

者と責任者との区別をしている。彼らの論（Veruggio, 2006）。

法では，人工知能は行為者となりうるが責（２） MaturanaやVarelaは，生気論を避けるた

任は帰属されない。彼らの議論についてのめ，オートポイエティック・システムを機

批判的検討は別稿を期す必要がある。

械の一種だと定位した。しかし，一般的な（７） トップダウン・アプローチは，功利主義や機械はアロポイエティック・マシンという

I.Kantの定言命法などの倫理的基準をコン呼称で表し，それとオートポイエティッ

ピュータに実装するものであるが，それだ

ク・システムを区別している。オートポイ

けではさまざまな困難にぶつかる。たとえエティック・システムは，特殊な機械であば，功利主義的な計算をするうえでも，「どり，それが生物であると立論した。

の時点を帰結とみなすか」「どれだけ先の（３） 詳しくは『基礎情報学』（西垣, 2004）を

未来をコンピュータが計算できるか」「計参照。

算する効用をどのように規定するか」「ど（４） 自己制作する人工知能のイメージとしてのように異なる帰結の効用を比較考量する66

社会情報学か」といった問題が挙げられる。自動運転

第５巻２号

2016

Bla ke, A ndrew（2 0 05） Oba ma-led drone

車が避けられない事故に直面した場面のよ

strikes kill innocents 90% of the time

うに限定した領域でならさほど問題ではな< h t t p : // w w w.w a s h i n g t o n t i m e s . c o m /いだろう。

news/2015/oct/15/90-of-people-killed-by-us-（８） 平野（2014）によると，完全自動運転車

drone-strikes-in-afghani/> Accessed 2016,

は製品分類全体責任には認定されにくい。

July 7.

というのも，複数の効用があり，また司法

Brodbeck, Luzius & Hauser, Simon & Iida,

府よりも立法府や行政府が判断するべきもFumiya（2015） Morphological Evolutionのであるためである。

of Physical Robots through Model-Free（９） 2015年10月の報道によれば，アメリカの

Phenotype Development

無人攻撃機によって殺害された人のうち，< h t t p : //d x . d o i . o r g / 10 .13 7 1 / j o u r n a l .

９割近くにも上る人が標的ではなかった

pone.0128444>（Blake, 2015）

Accessed 2016, July 7.

Clarke, Bruce & Hansen, Mark, eds.（2009）

Emergence and Embodiment , Duke University（10） 基礎情報学がモデル化したように，観察者

Press, 296p.

の視点を変えれば，社会レベルのオートポ

CNN（2015）「「ロボット犬」でも蹴っちゃダメ？

イエティック・システムが存立するために，そこに関係する人間がアロポイエティッ

倫理めぐる議論盛んに」,

ク・マシンとして道具のように現出する（西<http://www.cnn.co.jp/tech/35060457.html>

垣, 2004）。本論文で，このことを否定しAccessed 2016, March 12.
D a r l i n g , K a t e（ 2 012） E x t e n d i n g L e g a lているわけではない。本論文では視点移動の操作を行わず，オートポイエティック・

Protection to Social Robots,

システム間の関係についても論じていな< ht t p://s p e ct r u m .ie e e.or g /autom aton /い。

robotics/artificial-intelligence/extendinglegal-protection-to-social-robots> Accessed

参考文献

2016, March 12.

A nder son, M ichael & A nder son, Susa n,

D e n n e t t , D a n ie l（ 19 9 7=19 9 7） D id H A L

eds. （2011）Machine Ethics , Cambridge

Commit Murder? Hal’s Legacy , MIT Press,

University Press, 548p.

pp. 351-365.（内田昌之訳「HALが殺人をおかしAsimov, Issac（1950=2004）I, ROBOT, Gnome

たら，だれが責められるのか？」『HAL伝説』早Press, 253p.（小尾芙佐訳『われはロボット』,

川書房, pp.391-408.）

早川書房.）

Duffy, Brian R.（2006）Fundamental Issues
in Social Robotics, International Review ofBonnefon, Jean-François & Shariff, Azim &Information Ethics , Vol.6 pp.31-36.

Rahwan, Iyad（2015）Autonomous Vehicles

Floridi, Luciano & Sanders, Jeffry.W.（2004）

Need Experimental Ethics,

On the Morality of Artificial Agents. Minds< ht t p://a r x iv.org /pd f/1510.033 4 6v1.pd f >and Machine , No. 14, pp. 349–379.

Accessed 2016, March 12.
Bost rom, Nick（2 014）Super intelligence ,Floridi, Luciano（2011）The Philosophy ofInformation , Oxford University Press, 405p.

Oxford University, 328p.

67

ネオ・サイバネティクスの理論に依拠した人工知能の倫理的問題の基礎づけ

Future of Life Institute （2015a） Research

河島茂生<http://business.nikkeibp.co.jp/article/

Priorities for Robust and Beneficial AI,

opinion/20150427/280471/> Accessed 2016,<http://futureoflife.org/static/data/

March 12.

documents/research_priorities.pdf> Accessed

長井隆行・中村友昭（2012）「マルチモーダルカ

2016, March 12.

テゴリゼーション」『人工知能学会誌』27巻６

Future of Life Institute（2015b）Autonomous号，人工知能学会, pp.555-562.

Weapons,

内閣府政策統括官（科学技術・イノベーション担<http://futureoflife.org/AI/open_letter_

当）（2015）「SIP（戦略的イノベーション創造

autonomous_weapons> Accessed 2016,

プログラム）自動走行システム 研究開発計画」,

March 12.

<http://www8.cao.go.jp/cstp/gaiyo/sip/

平野晋（2014）「製造物責任（設計上の欠陥）に

keikaku/6_jidousoukou.pdf> Accessed 2016,

おける二つの危険効用基準」『NBL』1040号,

March 12.

商事法務, pp.43-57.

西垣通（2004）『基礎情報学』NTT出版, 235p.

河島茂生（2015）「インターネット依存」『情報

西垣通（2010）「ネオ・サイバネティクスの源流」

倫理の挑戦』学文社, pp.53-76.

『思想』1035号, 岩波書店, pp.40-55.

久木田水生（2012）「ロボットは価値的記号を理

西條玲奈（2013）「性愛の対象としてのロボット

解できるか」, 京都生命倫理研究会をめぐる社会状況と倫理的懸念」『社会と倫理』

Kurzweil, Raymond（2005=2007） The

28号, 南山大学社会倫理研究所, pp.37-49.

Singularity is Near, Viking Press, 672p.（ 井岡本慎平（2012）「人工的道徳的行為者への近年

上健監訳, 小野木明恵・野中香方子・福田実訳のアプローチの検討」『HABITUS』16巻, 西日『ポスト・ヒューマン誕生』日本放送出版協会,

本応用倫理学研究会, pp.53-73

661p.）

Pagliery, Jose（2016）Some Ashley Madison

Levy, David（2007）Love and Sex with Robots ,women were actually computer 'fembots',

HarperCollins Publishers, 334p.

< h t t p : / / m o n e y. c n n . c o m / 2 0 1 6 / 0 7 / 0 5 /Luhmann, Niklas（1984 = 1993,1995）Soziale

technology/ashley-madison-fembots/>

Systeme , Suhrkamp Verlag, 675S.（佐藤勉・Accessed 2016, July 7.

村中知子・村田裕志・佐久間政広・永井彰・小Reeves, Byron & Nass, Clifford（1998）The

松丈晃訳『社会システム理論（上）
』
・
『社会シ

Media Equation , Cambridge University Press,

ステム理論（下）』恒星社厚生閣, 994p. ）323p.（細馬宏通訳『人はなぜコンピューター

Maturana,Humberto & Varela,Francisco（1980

を人間として扱うか』，翔泳社，2001, 399p.）= 1991）Autopoiesis and Cognition , D.Reidel

瀬川奈都子, 児玉小百合, 木ノ内敏久（2016）「デ

Publishing Company, 171p.（ 河 本 英 夫 訳

ジタルとルール（上）運転・作曲…進む自動化『オートポイエーシス』国文社, 320p.）―権利や責任，誰のもの。」『日本経済新聞』

水越伸（1996）「情報化とメディアの可能的様態

2016年１月26日発行, 朝刊, p. 1.
関口海良, 堀浩一（2008）「人工物を倫理レベルの行方」『メディアと情報化の社会学』岩波書店,

から設計するための方法論に関する一考察」

pp.177-196『2008年度人工知能学会全国大会（第22回）論宗像誠之（2015）「元ソニーマンが救うAIBOの文集』pp.1-4

命」,

68

社会情報学柴田正良（2010）「異世界の者たちの倫理」
『哲学・

第５巻２号

2016

Roboethics Roadmap,

人間学論叢』１号, 金沢大学哲学・人間学研究会,<http://www3.nd.edu/~rbarger/ethics-

pp.17-37.

roadmap.pdf> Accessed 2016, March 12.

Singer, Peter（2009 ＝ 2010）Wired for War ,Wallach, Wendell & Allen, Colin（2009）Moral

Penguin Press, 512p.（小林由香利訳『ロボッMachines , Oxford University Press, 288p.
Wallach, Wendell & Allen, Colin（2012）Hard

ト兵士の戦争』日本放送出版協会, 720p.）
Varela, Francisco（1979 = 2001）Principles ofProblems,

Biological Autonomy , North Holland, 701p.

<http://wendellwallach.com/wordpress/wp-（染谷昌義・廣野喜幸抄訳「生物学的自律性のcontent/uploads/2013/10/Hard-Problems-

諸原理」『現代思想』29巻13号, 青土社, pp.62-

AISB-IACAP2012-Wallach-and-Allen.pdf>

117.）

Accessed 2016, July 7.

Verbeek, Peter-Paul（2011=2015）Moralizing

山岸浩史（2013）「「人間対コンピュータ将棋」

technology , The University of Chicago Press,

頂上決戦の真実【後編】一手も悪手を指さな

183p.（鈴木俊洋訳『技術の道徳化』法政大学

かった三浦八段は，なぜ敗れたのか」, <http://

出版局, 318p.）

gendai.ismedia.jp/articles/-/35787?page=4>

Veruggio, Gianmarco（2006） The EURON

Accessed 2016, March 12.

69