シリーズ

情報テクノロジーの進展がもたら す 近 未 来 社 会 の 姿 を 考 え る

A I の ＜自 然 ＞、
A I へ の ＜作 為＞山 本 龍 彦 慶應義塾大学法科大学院教授◆

本稿の目的は、AIの＜自然＞とは何かを紙

1．自然と作為・幅の許す限りで考察し、「ずるずると」AI自・・・

然主義的世界に「突入」するのか、それとも、AI（人工知能）を中心とした先端的な情これに抗して「我々」が何かを選択し、その報技術によって、多様でインクルーシブな維持のために多少の無理をし続けるのかを社会が創造されるという。確かに、使い方熟議するきっかけを提供することにある。

によってはそうだろう。私もその可能性に期待する者の一人である。しかし、こうい◆うユートピア的世界を期待するならば、AI

2．More Dataという欲求の＜自然＞を真剣に考える必要がある。つまり、あるがままのAIとは何か、あるがまAIの＜自然＞を考える上で何より重要なまのAIをあるがままに受けとめる社会とはのは、AIの存立基盤、成長条件、存在意義何か、という思惟である。とは何かをイメージすることである。

近代社会とは、丸山眞男いわく、人間のAIの存立基盤、成長条件としてまず想起あるがままを超克しようとする＜作為＞的されるのは、データの量だろう。AIがより深空 間 で あ る。 人 間 が 定 め た 目 的 の た め に、くこの世界を学び、より賢くなるには、「よ人間が主体的に選択・決断し、＜自然＞にり多くのデータ（more data）」が必要にな引き戻されまいと無理をし続ける人為的なる。データ量が限定され、AIを訓練する教師空間である。そういう煩わしさがあってもデータのクオリティが落ちれば、AIの予測

なお丸山が「近代」にこだわったのは、「何精度は落ち、その存在意義も失われる。だとなく何かに押されつつ、ずるずると国をから、より多くのデータを欲し、より正確挙げて戦争の渦中に突入した」、あの戦争のな 予 測 を 行 お う と す る の がAIに と っ て の悲劇的経験による。

＜自然＞と言い得る。

シリーズ

AI の ＜ 自 然 ＞、AI へ の ＜ 作 為 ＞

こうしたAIの＜自然＞と根本的に対立し我々の私的居住空間を快適化するAIスピー得るのが、プライバシーである。近代社会

カーやAI家電は、我々の私生活を監視するは、「公」と「私」を切り分け、私的領域をのに最適な装置ともなるのである。

・・・・・・・・・・

見ぬもの、干渉せぬものとしてきた。私的領AIの旺盛な食欲によって、かつ公私を隔域では人間は本来的に自由であり、そのラてる境界が失効することで、我々のあらゆ

イフスタイル ―― 何を「善い生き方」とする行動が社会的評価の対象となり得る。こるか ――に関する個人の選択は尊重されなれ も ま た ＜ 自 然 ＞ で あ る。 例 え ば、 従 前、ければならない、と。他方、公的領域では家の中で誰と何を食べるかが公的決定の基人間は共同体を支える「市民（citizen）」と礎となることはなかった。しかし、例えばして、道徳的かつ（H. Arendt的な意味におAIが、ある個人の将来の健康リスクを正確・・・・いて）政 治 的に振る舞わなければならないに予測するよう命じられれば、「家の中でとされた。しかし、「もっとデータを」とい誰と何を食べたか」までもが捕捉され、結うAIの＜自然＞的欲求は、近代社会が前提果的に個人の極めて私的な行動が健康リスとしてきた「公／私」の壁を打ち崩す。例

ク評価と結び付けられることもあるだろう。

えばAIが、個人Xの社会的信用力を正確に予前 述 の よ う に、AIの 存 在 意 義 は そ の 高 い

測するよう命じられれば、公的領域におけ予測力にある。したがって、我々のあらゆるXの道徳的・演技的振舞いだけでなく、私る行動――言 動といった方が正確か――が的領域におけるXの自然的・動物的な姿ま「データ化」され、AIが学習できる言語へとでをも捕捉しようとするだろう。その方が「翻訳」され、公と私、あるいはサイバーとXのありのままの姿を捉えられるからであフィジカルの境界が徐々に融解されるといる。 近 年、HRテ ッ ク（Human Resources

う方向が＜自然＞なのである。

・

我々はこの＜自然＞をあるがままに受けTechnology）領域で、労働者の職務適性や離職率などを予測するAIシステムが設計・・・・・・・・とめるべきだろうか。

・

利用されているが、本 来的にAIは、その正確な予測のため、労働者のデータをシーム◆

レスに、すなわちそれがオフィスでの行動で3．開拓される心理あろうと、トイレでの行動であろうと、住居・・・・内での行動であろうと食 べたいはずである。

ディープニューラルネットワーク

（DNN：人間の脳神経系のニューロンを数理ているか」というタイトルのガーディアン

モデル化したニューラルネットワークを多紙の記事が、「ギャンブル業界は客をプロ層に重ねる深層学習の方法）など、AIの学ファイリングして、新たな恐ろしい方法（in習方法がより複雑・高度化していけば、無frightening new ways）でその客の行動を意識領域も含めた我々の心理状態までもが予測しようとAIを使っている」というマー分析の対象となり、「社会化」されていく

ケッターの言葉を紹介しているのは、AIの・のが＜自然＞である。近代の法体系は、確・・・・・・

発展によって心理領域がビジネスの新たな立し、完成した「意思」（法律学でいう「効狩場になることを饒舌に物語っているよう果意思」）を前提に構成され、この「意思」に思われる（Mattha Busby, Revealed: howが個人によって――他に覗かれ、また他にbookies use AI to keep gamblers hooked, The

影響されることなく――自律的に形成されGuardian, 30 April 2014）。また、“Brexit”をるものと仮定されていた。したがって、「意問う2016年のイギリス国民投票や、トラン思」が形成される以前の内心過程は法学的プが勝利した2016年アメリカ大統領選に深議論の対象とはならず、当然、保護の対象く関与したとされるケンブリジッジ・アナともならなかった（民法の錯誤論も、「『効リティカ社（選挙コンサルタント会社）が、果意思』という確固たる意思が存在するとFacebookユーザーらの心理的プロファイリの前提」に立ち、「それ以前の意思形成過ングを行い（フェイクニュースに対する脆程〔は〕『動機』として捨象」された。大村

弱性等の予測）、選挙運動に加担したことは敦志『民法読解総則編』（有斐閣、2009

よく知られている。もちろん、彼らは例外年）340頁。また日本国憲法は19条で「思ではない。例えば、アメリカのターゲットス想及び良心の自由」を保障するが、通説にマート社も、SNSデータなどから有権者の支よれば、同条で保護されるのは既に確立し持政党のみならず、権威主義的な性格や同情ている「信条」である）。しかし、情報技的な性格などをプロファイリングしており術 の 発 達 と 相 ま っ て 高 度 化 す るAIの 予 測（日本経済新聞2018年10月21日2面）、AIによ

力は、こうした前提を突き崩し、その対象る心理領域の開拓は、選挙運動の中心的手法を、意思形成以前の心理領域にまで拡大さとなりつつある。

・・・

せていく。
「いかにブックメーカーが、ギャ以上のように、AIの予測力は、嘘発見器ンブラーをはまらせておくためにAIを使っを過去のものにする。とすれば、＜自然＞

シリーズ

AI の ＜ 自 然 ＞、AI へ の ＜ 作 為 ＞に従えば、「意思」の前領域である心理状態ことになる。つまり、マイノリティはマイノが可視化され、社会化するのも時間の問題リティとしてその社会的身分を「固定」されであるといえよう。

ることになるわけである。

我々はこの＜自然＞をあるがままに受け・・

とめるべきだろうか。

また、仮に、ある遺伝情報が社会的信用力や知性と相関するとされた場合でも、AIの＜自然＞からすれば、相関する以上それを◆考慮すべきとなるだろう。相関があるのに4．スティグマとしての「スコア」考慮しない方が、予測精度を敢えて下げる自殺行為なのであって、いかにも＜不自然＞

前述した「more data!」というAIの自然的で あ る。 し か し、 遺 伝 情 報 な る ギ フ ト は、欲求と、近年よく指摘されるAIの判断過程の本人がその努力によって修正・変更できなブラックボックス化が、社会的身分の固定化

い「生まれ」に関する属性であるから、AIにないし新たな社会的カーストをもたらすのよるその考慮は「生まれ」による不利益をも、また＜自然＞かもしれない。例えば、個もたらすことにもなる。近代社会は、封建人の社会的信用力と人種・居住地等が相関的身分制の否定から始まった。それはすなするならば、AIはこれを考慮するのが＜自然

わち、「生まれ」によって個人の生き方が規＞だろう。しかし、人種や居住地が社会的信定されることを否定し、個人がその生き方用力と相関するのは、過去に人種的マイノリを自ら選び取ること、そしてその結果に対ティに対する偏見や差別があったからであする責任を自らが負うことを肯定するものる。この偏見や差別のために、マイノリティであった。それこそが、日本国憲法13条のは社会的・経済的な不利益を受け、特定の地いう「個人の尊重」の考え方である。
「more

域に暮らさざるを得ず、時に信用を損ねるdata」に従い、その予測精度のために相関すような悪行をなさなければならなかったのるものはすべて考慮するというAIの＜自然かもしれない。こうした社会構造を捨象し＞にゆだねれば、個人は自らが修正・変更て、単に相関があるとの理由でAIがこれを考できない属性によってその人生の可能性を慮すれば、マイノリティの社会的信用力はマ狭められることにもなる。

ジョリティよりも一般に低く算定されるこ

もちろん、AIは人種や居住地、遺伝情報のととなり、過去の差別が繰り返され続けるみで人間を「格付け」するものではない。むしろそれ以外の情報も含め、多元的・多角的おそらくより重要なのは、「技術的ブラックに個人を評価することにより、こうしたセンボ ッ ク ス（technical black box）
」 で あ る。

シティブな要素が過度に強調された、偏っ

これは、先述したDNNのような深層学習方た――人間による――判断を補正すること法を用いると、AIによる判断のロジックに対ができる。我々は、このことを忘れるべきでするアクセスが極めて困難になることからはない。これがAIを用いたインクルーシブな生じる。
「法的ブラックボックス」が仮に解社会の実現につながる。しかし、多元的な変けたとしても、AIの「思考」が高度化・複数のそれぞれにどのぐらいのウェイトをか雑化することによって、AIがなぜそのようけたのかなどが「ブラックボックス」し得るな判断を下したのか、人間には理解できなことも忘れるべきではない。これも、AIの宿くなるわけである。

命、あるいは＜自然＞といえる。

そ う す る と、AIに よ っ て 社 会 的 信 用 ス

この「ブラックボックス」には少なくとコアを低くつけられた者は、そのスコアがも2種 類 の も の が あ り 得 る（Guido Noto

「生まれ」の影響をどの程度受け、他の無La Diega, Against the Dehumanisation of意識的な行動等の影響をどの程度受けたもDecision-Making, 9 JIPITEC 3, 9-10（2018））。のなのかがわからず、何をすればスコアを1つは「法的ブラックボックス（legal black

上げられるのかをつかめずに、ロースコアbox）」である。これは、AIシステムないしのまま社会の下層を漂い続ける可能性もあアルゴリズムを設計した企業が、その設計る。そもそも一旦低いスコアをつけられるに際してどのようなデータを考慮し、またと、例えば就職で不利に扱われて定職に就は排除したのか、当該データにどれぐらいけず、そのことがまた低いスコアへとつなのウェイトをかけたのか、どの情報を強調がり、そしてそれが住居を借りることを難し、または過小評価（deemphasize）した

しくし、そのことがまた低いスコアへとつのかを「取引の秘密（trade secret）」ないしながり、今度は……など、「負のスパイラル」は知的財産として、または、これを開示すに陥る可能性が高い（Daniel Keats Citron

ると被評価者によるゲーミングが起き（敢& Frank Pasquale, The Scored Society, 89

えてアルゴリズムに合わせた行動をとるよ

WASH. L. REV. 1, 32（2014））。中国では既うになる）、業務に支障が出るなどとして、にアリババ・グループの信用情報機関（芝秘密＝不開示にすることから生じる。ただ、麻信用）のスコアリングサービスが広く普シリーズ

AI の ＜ 自 然 ＞、AI へ の ＜ 作 為 ＞

及しているが、実際、この信用スコアが低緊張によって生まれる、「怖れ」に支えられいと、融資や採用場面で不利に扱われるだ

た安全であることを忘れるべきではない。

けでなく、航空機チケットの購入が困難になったり、外国のビザ取得が困難になったり

我々はこの＜自然＞をあるがままに受け・・とめるべきだろうか。と、移動の自由が制限されることもあるという（「婚活」などでも不利益を受けるという）。

◆

芝麻信用の事業でも、やはりスコアリングの5．AIへの「作為」――AIの「民主化」

具体的な基準は明らかにされていないため、結局、低いスコアは、現代的な「スティグ

以 上、 本 稿 は、AIの ＜ 自 然 ＞ と、 こ のマ」ないし「緋文字」として機能する可能＜自然＞をあるがままに受けとめた社会と性がある。

は何であるのかにつき、ささやかな検討をこ う し て 見 る と、「more data」と「 ブ加えてきた。また、その各検討の最後では、

ラ ッ ク ボ ッ ク ス 」 と い うAIの ＜ 自 然 ＞ に我々はその社会をそ のようなものとして承よって、スコアを新たな「身分」とした階認 すべきかを問うてきた――我々は、AIの層社会――スコアの高低により生き方が規＜自然＞に身をゆだねるべきか。

・・・・・・・・・・・・・・・・定される社会――が生まれるのが＜自然＞

もし、この＜自然＞に抵抗し、プライバの 流 れ と も 考 え ら れ る。 も ち ろ ん そ れ は、

シー（公私区分）、意思主義、責任主義、あ中国の現在の状況が物語るように、安全なるいは「自由」といった近代の主要なコン社会の実現につながるという積極的側面もセプションを肯定し続けようとするならば、有する。AIへの「給餌」のため、縦横に張我々は＜作為＞を、つまり主体的で政治的り巡らされた監視ネットワークにより常にな 主 権 者 的 決 断 を 行 う 必 要 が あ る だ ろ う。

情報を取られ、それらの情報が信用スコアにそうでなければ、「何となく何かに押されつ何らか連動するとなると、我々は起床から就つ、ずるずると国を挙げて」、効率的で安全寝まで――あるいは睡眠中までも（？）――

だが、予定調和的で固定的な階層社会へと・・・・・・スコアの上げ下げを気にしてお 行儀よくし・・・・・・・・・・・「突入」していくことになろう。て おかなければならないからである。しかでは我々は何をすべきか。

し、我々はそれが、自らの行動の帰結に対紙幅の都合上、ここではAIの「民主化」する予測不可能性と、それに基づく萎縮とと い う こ と だ け を 述 べ て お き た い。AIの＜自然＞は、「more data」であり、さらなである（詳細は、山本龍彦「AIを『民主化』る予測精度の向上であり、ブラックボックスする――アルゴクラシー vs. デモクラシー」化である。AIの「民主化」のためには、これvioice3月号（2019年））。ブラックボックス

らを近代立憲主義の主要なコンセプションについては透明性、もしくは、透明性によっと突き合わせ、両者のトレードオフを可視化て担保される近代の主要なコンセプションすること、これを開かれた討議の俎上に載せ（責任主義や「自由」）がトレードオフの関係ることが重要である。例えば、予測精度の向に立つ。これも可視化し、主権者的決断の俎上に対しては憲法上の「公正」概念をぶつけ、上に上げるべきだろう。

その両者の均衡点をどこに打つのかを民主AIシステム、アルゴリズム、コードは、今的に議論すべきである。実際、アメリカのシ後は「法」と同じように、あるいはそれ以上カゴやフィラデルフィアなどで使用されるに我々の行動に影響を与えていく。だとす

犯罪予測システム（HunchLab）は、マイノれば、その設計プロセスをAIの＜自然＞にゆリティに対する偏見・差別の固定化や助長だねるのではなく、人為的に、また民主的にを避けるため、マイノリティが特に手を染めデザインしていくべきである。

る傾向のある軽犯罪歴等を「過少に見積もるAIのあるがままをあるがままに受けいれ（deemphasize）」アルゴリズムを使用してることがどのような社会を生み出すのかをいる（このアルゴリズムには、偏見への対抗強くイメージしながら。のため多少のランダム性も組み込まれていプロフィール…………………………………………………

る）。またペンシルバニア州アレゲニー郡のやまもと・たつひこ 1976年東京都生まれ。慶應義塾

児童虐待予測システム（AFST）にも、「人種は考慮しない」との政策的な判断が組み込まれている。このような予測精度と「公正」との調整・トレードオフは、単純な技術的問題ではなく、ハードな実体的価値判断を含ん・・・・だ政治的な問題である。したがって、これをシステム設計にかかわる技術エリートのみで議論するのではなく、多様なアクターを包摂しながら民主的に議論することが重要

大学法科大学院教授。慶應義塾大学グローバルリサーチインスティテュート（KGRI）副所長。博士（法学）。

1999年慶 応 義 塾 大 学 法学部 法律学 科 卒 業。2001年
同大学院法学研究科修士課程修了。2005年同大学院法学研究科博士課程単位取得退学。桐蔭横浜大学法学部専任講師、同准教授を経て現職。他に、司法試験考査委員（2014、15年）、ワシントン大学ロースクー
ル客員教授（2017年）総務省AIネットワーク社会推進会議（AIガバナンス検 討会）構成 員（2018年〜）。主な著 書に『AIと憲 法 』（ 共 編 著、 日本 経 済 新 聞出 版社、2018年）、『おそろしいビッグデータ』（朝日新聞出版、2017年）、『プライバシーの権利を考える』（信山社、2017年）他。