Wendell Wallach and Colin Allen, Moral Machine: Teaching
Robots Right from Wrong,
Chapter 7 “Bottom-up and Developmental Approaches”
要旨
久木田水生

2012 年 8 月 23 日

Organic Morality
P. 99–（“Human beings do not......”）
人間の発達においては生まれ nature と育ち nurture がともに重要な役割を果たしている。道徳の進化と人間の発達についての科学的説明はまだ不完全であり、またもし完全な説明が得られてとしても、それをどのよ
うにデジタルコンピュータに応用するかということは明らかではない。にもかかわらず進化と発達というアイ
ディアは、AMAs の設計において有用であるだろう。

AI が子供の発達を模倣するべきだというアイディアは AI 自身と同じくらい古い。Alan Turing は次のよ
うに書いている。「成人の精神をシミュレートするプログラムをつくるのではなく、子供の精神をシミュレー
トするプログラムを作ることを目指したらどうか？ もしそのようなプログラムが適切な教育を与えられたら、成人の脳が手に入るだろう。」

Turing は特に道徳について考えていたわけではなく、計算機械が独創的な行為を行うことができるかどうかという問題について考えていた。機械の独創性については Turing より一世紀前に Ada Lovelace（「解析機関」を設計した Charles Babbage の協力者）によって問題提起されていた。Lovelace は「解析機関は何か独創的なことを行うようなものではない。私たちがどのように行うように命じるべきかを知っていることなら何でもできる」と書いている。Turing は、子供の教育と同様の教育をコンピュータに施せば、「機械が最終的には純粋に知的な分野において人間と肩を並べるようになることが期待できるかもしれない」と言う。
子供の精神をシミュレートするというのは知的行為者の設計における唯一の戦略ではない。1975 年、John

Holland は遺伝的アルゴリズムの発明によって進化する適応的プログラムの可能性を示し、人々を大いに興奮させた。遺伝的アルゴリズムは、株式市場の予測や暗号の解読等の多くの目的で利用されている。ホランドの仕事はまた、コンピュータが人工生命を進化させる環境にさえなりうるというラディカルなアイディアに繋がった。
初期の人工生命はバーチャルな環境で進化をシミュレートすることが提唱された。しかしバーチャルな世界
は現実世界の突き付ける課題や複雑性の代わりにはならないということを認識して、ロボット工学者はまた、人工生命のテクニックを、物理的環境で動作するロボットのデザインに役立てるために利用した。これは現在進化的ロボット工学 evolutionary robotics として知られる領域である。

1

進化的ロボット工学では、現実の環境あるいはバーチャルな環境の中で、互いに若干異なるロ -ボット個体
たちが、それぞれどれだけうまくある仕事を成功させるかに従って評価される。それぞれのロ-ボットはその成功（適応度）を測定した得点を割り当てられ、最も高い適応度を持つロ-ボットたちが、新しい集団を生み出すのに利用される。その際には性生殖を模してそれらの構成部分が再結合され、また小さな無作為の変異が導入される。新しい世代の適応度が測定され、最も良い働きをしたものが選ばれ、繁殖を許される。これが何世代にもわたって繰り返され、ロ-ボットたちのその課題を遂行するスキルが次第に改善されていくことになる。
人工の赤ん坊と人工生命はどちらも AMAs を生み出すための方法を提供する限りにおいて、ボトムアップ・
アプローチの例である。

Artiﬁcial Life and the Emergence of Social Values
P. 101–（“In 1975, ......”）
1975 年、Holland が遺伝的アルゴリズムを発明したのと同じ年に、E. O. Wilson は社会生物学は「倫理学の進化的な起源の正確な説明」を生み出すかもしれない、と示唆した。これら二つを結びつけることで、人工生命が道徳的行為者を生み出すことができるという見通しが生まれる。
社会生物学者と進化心理学者は、価値体系の創発をもたらす進化的条件を記述することに努力を注いできた。この努力を理論的に支えたのがゲーム理論だった。これは合理的行為者の間の競争と協力についての数学的理論である。ゲーム理論での中心的な思考実験は「囚人のジレンマ」である。ここでは二人の共犯者のそれぞれが、相手に不利な証言をすれば自分は減刑される、という取引を持ちかけられる。その取引は、それぞれのプレイヤーにとって、最も合理的な選択は相手を裏切ることであるが、二人の利益全体を考えた場合には、二人ともが沈黙を守って相手に協力をする方が得になるように作られている。どちらの囚人も相手を信頼できないので、合理的な自己利益はどちらの囚人にも「離反」を選択するように迫る。
この種のゲームの分析は、二人の行為者が反復してプレーをする時により興味深くなる。反復的ゲームでは、それぞれのプレーヤーが、それまでのやり取りで何が起こったかに基づいて協力するか否かを決定することができる。反復的囚人のジレンマゲームは、異なる戦略を分析し、それぞれの戦略をテストするために使われる。Robert Axelrod が主催した様々な戦略同士を戦わせる大会では、「しっぺ返し tit for tat」と呼ばれる
シンプルな戦略が驚くほど有効であることが分かった。しっぺ返し戦略では、プレーヤーはまず最初のラウン
ドでは相手に協力し、その後は相手の一つ前のラウンドでの選択と同じ選択をする。著者たちは、より複雑な社会的配置（social arrangement）の中で生きる行為者の間で信頼を構築するためには、条件付き協力のためのより洗練された戦略が不可欠だろう、と推測する。

P. 102–（“Game theory came to......”）
William Hamilton は働き蜂のように、社会的昆虫の中には不妊のものがおり、それらは女王蜂が繁殖するために命を落としさえするという事実に注目した。進化的適応の論理は、自分の個体としての「適応度」を差し控えて子孫を持つことを放棄するより、このような配置から「離反」して自分自身の子孫を残した方が、遺伝子プールの中に自分の遺伝子を残すためには良い戦略である、と示唆するように思われる。しかし多くの社会的動物は自分の個体としての適応度を犠牲にして、互いに協力するように思われる。Hamilton はゲーム理論の論理が、生物個体全体とは独立に個々の遺伝子の進化的戦略に応用できることに気が付いた。Axelrod とHamilton は、協力が成功戦略になる場合もあるので、それは進化的過程から創発しうる形質の一つだ、と結論した。

2

Peter Danielson とブリティッシュ・コロンビア大学の応用倫理センターの同僚は、バーチャルな生物が、互いの行動に対して反応して変化し適応できる、シミュレートされた環境を構築した。Danielson は著書

Artiﬁcial Morality: Virtuous Robots for Virtual Games において、これらの人工生命シミュレーションを道
徳的エコロジー moral ecologies と呼んだ。シミュレートされた生物たちは協力あるいは離反することができる。競争相手の以前の振る舞いについての情報を保存しておいて、様々な条件付き協力戦略を実装するために利用することができるものもいる。Danielson の共同研究者 Bill Harms は、ボット達にバーチャルな世界を移動する能力を付けくわえた。するとこれらのバーチャルな生物たちは集団を形成し始めた。協力者たちは他の協力者たちと集団を作り、非協力的な「捕食者」もまた集まるようになった。資源が限られている厳しい時
期には協力者たちが競争における優位を持っていた。しかし条件的協力者資源を求めて互いに競争し続け、このことは様々な異なる程度の協力を生み出した。Danielson は「機能的」道徳性という概念を提案した。そこ
ではある行為者が道徳的であるためにはゲーム理論によって定義される合理性だけが唯一の前提条件である。
現在では Danielson はこれらの実験を極めて批判的に見ているが、当時は人工生命の実験が道徳的行為者の創発を可能にするだろうと考えていた。
人間の道徳性が進化によって生まれたのであれば、十分に洗練された人工生命実験が道徳的感受性を持った別な行為者を生み出すことも可能であるはずだ。しかし人工的な環境において「十分に洗練された」ということが何を意味するかは明らかではない。
進化から創発する特徴や能力は、個体のみから生まれるのではなく、それはまた社会的な相互作用から、そして多くの種が生息する環境における成功からも生まれる。
人工の環境から人間の道徳的傾向のようなものが生じるかどうかは、これから見ていかなければ分からない。近年の実験では、人々は（あるいはひょっとしたら他の動物も）公平さそのものに価値を見出す、ということが分かっている。Bryan Skyrms は著書 Evolution of the Social Contract において、「公平」な戦略が貪
欲な戦力よりもいつも支配的になるゲーム理論的なシミュレーションを記述している。しかしこのような単純な戦略とゲームから現実世界に至るまでは長い道のりだ、と批判者は指摘する。人間の道徳性が進化する条件についての現在の理解は乏しいので、この過程は人間が制御できない特徴に左右される可能性が高い。バー
チャルな環境で進化するにせよ、物理的な環境で進化するにせよ、AMAs は人間の進化から現れた道徳的行
為者とは非常に異なったものになる可能性が高い。
正しい環境を作ることに加えて、明示的に道徳的基準を適用せずにどのように適応度関数を設計するかという問題もある。「生存が最も道徳的だ」というスローガンは、「最も道徳的」というのがどういうことなのかを決定することの問題を際立たせる。
ヴァーチャルな人工生命の環境から、物理的に身体化された行為者への移行も簡単にはいかないだろう。
バーチャルな環境で進化した道徳的能力を持つ行為者の意思決定プロセスが物理的世界でもうまくいくとは限らない。進化シミュレーションにおける実験はこれまでのところ、人工的な生命形態のパターンが、現実の生物の robustness を理解するのに役に立つのに十分な複雑性を持つまでには至っていない。
かくして Rodney Brooks は、人工生命における実験は過去数十年の間に劇的に進歩してきたが、「私たちが生物的システムに期待するような仕方で、人工生命がそれ自身でうまくやっていくようにはなっていない（they have not taken oﬀ by themselves）」と述べた。熱帯生物学者で、非常に高く評価されているデジタル
新規あのソフトウェアプログラム（Tierra）の開発者である Thomas Ray は、「デジタルメディアの中での進化の過程は非常に限定された達成を記録するにとどまっている」と認める。 Peter Danielson は、進化シミュ
レーションのために使われるかなりシンプルなゲームと人工的環境は、現実世界の価値、法、道徳を生みだす
複雑な環境と多次元的シナリオを実際に反映しているわけではない、と認める。

3

バーチャルな枠組みの限界を認識して、Danielson はまったく異なるアプローチを追求するようになった（これについては第 9 章で触れる）。しかし他の科学者はより複雑なバーチャル世界と、より良い複雑さの尺度を開発し、その中で進化的過程を駆動しようと研究を続けている。多くは環境の豊かさに依存するだろう。現在の科学者たちのシミュレーションの能力から、現実の複雑性を捉えるところまでははるかに長い隔たりがある。

P. 105–（“Some researchers believe that......”）
現実世界で進化してきたのは「道徳的文法」あるいは「道徳の核」のようなものだと考える研究者もいる。

Noam Chomsky の言語に関する普遍文法からのアナロジーによって、普遍的道徳的文法というアイディアを最初に示唆したのは政治哲学者の John Rawls である。Rawls のアイディアは近年、ハーバードの霊長類学者 Marc Hauser の著書 Moral Minds において、人間の進化の文脈において発展させられた。AMAs の話題
は Hauser の本の射程からは外れているが、道徳的文法の同定は AMAs の設計にとって有用である可能性がある。ただし著者たちは道徳的核のようなものには懐疑的である。

Josh Storrs Hall は著書 Beyond AI: Creating the Conscience of the Machine において「人工的道徳本能の設計の良い最初の切り口は『共謀者保証プロトコル』であろう」と書いている。「共謀者」とは協力的行動をとる人間の傾向に付けられたラベルである。Hall は進化と競争の基本的な論理は彼が「超人間的道徳性」と呼ぶものを持つ先進的な道徳的行為者生み出すだろうという楽天的な信念を持つに至っている。Hall によればそのような道徳的行為は、自己利益、好奇心、信頼性、そして長期的計画の展望などの特徴――彼が長生きする知的社会的存在に作用する進化的過程において必然的に有利になる特徴と考えるもの――から自然に出てくると考える。Hall の見解は、AMAs を設計するという実践的な目的を超えた未来に言及している。しかしHall の倫理的行動は知性自身の進化から創発するという見解は、ボトムアップ・アプローチで人工道徳を実装する方法についての議論に重要な貢献をした。

P. 106（“Ideas of a moral grammar or moral instincts......”）
道徳的文法や道徳的本能というアイディアは人間本性の固定された要素に注意を引き付けた。しかし生命（特に知的生命）の最も顕著な特徴はその柔軟性と順応性である。進化が生み出したのは固定されたシステム
ではなく、発達し学習する順応的システムである。AMAs が人間によって作り出されたニッチにおいて良く機能するべきものであるならば、それは学習する機械でなければならない。

Learning Machines
P. 106–（“Whether evolved or constructed, ......”）
AMAs は自分がおかれた地域の規範を獲得する能力を持つ必要がある。人間の道徳性が経験を通じて、理性によって磨かれた試行錯誤を通じて作られるものであれば、AMAs に道徳的行為者になることを教えることは、人間の子供が経験するのと同様の教育の過程を必要とするということは十分にありうる。 AMAs は道徳的に受容できることとできないことに関してのフィードバックを受ける必要があるだろう。現在利用できる
機械の学習モデルは、現実の生物の学習メカニズムの豊かさにははるかに及ばない。

AI は常に機械学習に関わってきており、多くの学習モデルが開発されている。人間の言語学習に対する
Chomsky のアプローチは、一つの主要なモデルの例である。そこでは学習は、あらかじめ決められた可能性（これは普遍文法によって特定される）の中から最もよく事実を表わしているものを見つけるという問題として扱われる。別のアプローチでは、学習者はよりタブラ・ラサ的なもの（more of a blank slate）として扱わ

4

れる。伝統的に AI への記号的アプローチは前者、コネクショニスト・アプローチは後者の方法をとる傾向がある。
子供の学習過程がどちらに近いのかについて、発達心理学者の意見は分かれている。AMAs の開発者がこの論争に加わる必要はないが、しかし AMAs の設計において採用される学習モデルはどちらかの陣営に与している必要がある。現在の理解の不十分さを考えれば、うまくいく可能性があるものは何でも試してみるというオープンな多元主義的な態度をとるのが良いだろう。

P107–（“Some cognitive scientists......”）
一部の認知科学者は洗練された機械学習への進歩は、学習者の物理的に身体化された側面を考慮しなければならない、と考えている。例えば物理的対象についての幼児の「知識」は、物理的対象の振る舞いを記述する文からなっているのではなく、幼児の物理的存在と世界との関与に根ざしている（grounded in her

own physical presence and engagement with the world）だろう。子供のような知性をロボットに持たせることを目指している科学者の中には、Rodoney Brooks のかつての学生だった Brian Scassellati と Cynthia

Breazeal がいる。Scassellati は Cog プロジェクトに参加していた。その後二人は Kismet の開発において協働し、その後は独立に子供のようなロボットの第二世代の開発に取り組んでいる。ハードとソフトの両面において、克服するべき課題は途方もなく困難である。そして得的の基本的な社会的学習――たとえば心の理論など――については研究がされているが、道徳の発達の直接的な研究はなされていない。

P. 108–（“To adapt (ro)botic systems to moral development......”）
ロ-ボット的システムを道徳の発達に適応させるには、子供がどのように道徳的能力を獲得するかを理解する必要があるかもしれない。Freud と Piaget は道徳の発達についての理論の基礎を築いた。心理学者のLawrence Kohlberg は Piaget のアプローチを採用し、子供の道徳的能力はいくつかの認知発達的段階を経て発達すると考えた。前道徳的あるいは前規約的段階においては、行動は罰の回避として、また欲しいものを手に入れる手段として理解される。規約的段階においては、道徳性はまず個人間の調和として、そして最終的には社会契約の一側面として理解される。後規約的段階は、人間の福祉についての真摯な関心によって特徴づけられる。

Kohlberg の理論は彼の Harverd の同僚である Carol Gilligan によって厳しく批判されている。Kohlberg
は推論を不当に重視し、他者へのケアのより女性的な価値と Gilligan が見なすものを軽んじている、とGilligan は非難する。しかしならが彼らは二人とも子供の道徳的発達はいくつかの区別される段階を経て進行するという点では一致している。現在の AI 技術とコンピュータによって作られるロ-ボットにとっては、推論を重視する Kohlberg のアプローチの方が、ケアを重視する Gilligan のアプローチよりも取り組みやすいだろう。

P. 108–（“Another controversial issue......”）
道徳教育のプログラムをこれらの心理学者の理論に基づいて設計することはどれほど賢明なのだろうか？
（同様の問はカントやアリストテレスの道徳理論、功利主義、あるいはより宗教的に動機づけられた道徳教育についての県警についても提起される。）これらの理論が立てられるずっと前から何百万という子供が良い道
徳的行為者として成長していた。彼らは家族や隣人から、子供同士の遊びやイソップ寓話などから道徳性を学習する。
にもかかわらず、過去 50 年の間に、Kohlberg やその他の人々の仕事に基づいて道徳的推論を教える課程（module）が正式の教育（formal education）に組み込まれてきている。このような過程は人工的システムを5

訓練することにも使われうるかもしれない。その試みは道徳的発達の初期の段階を経ることなしにはうまくいかないだろう。初期の段階においては道徳的推論を教えるのに褒美と罰、是認と否認が大きな役割を果たしている。コンピュータで褒美と罰をシミュレートすることはできるが、しかしそれが現実の褒美と罰ほどの力を持つかどうかは明らかではない。しかし意識的な快苦なしでも、コンピュータによる学習メカニズムが道徳的行為の基本的なパターンを学ぶことはできるかもしれない。

P. 109–（“Among those who have considered......”）
学習ベースの AMAs へのアプローチを考慮した人々の中には Christopher Lang がいる。彼は、トップダ
ウン・アプローチを批判し、規則に制約されたいかなるシステムも行動が固定されるという致命的な欠点を持つと論じた。そして Lang は彼がもともと「クエスト倫理 quest ethics」と呼んだものを推奨した。この戦略
では、コンピュータは合理的な目標を追求する終わらないクエストを通して倫理について学習する。Lang の学習機会の中心にあるのは「山登り」あるいは「貪欲な探索」と呼ばれるアルゴリズムである。このような終わることのない学習アルゴリズムは、常により良い解決を探索する。
これらの学習システムはあらかじめ決められた規則に制限されていないため、Lang はこれを「バイアスのない学習機械」と呼んだ。ただしここでの「バイアスのない」という言葉の使い方は特殊な意味である。実際にはバイアスは様々な仕方で忍び込みうる。例えばプラットフォームのデザイン、アルゴリズムの選択、システムが利用できるデータの構造や豊かさなどにおいて。

Lang の議論は純粋に理論的なものであり、道徳的行為者を開発するための実際の目標追求や山登りのアル
ゴリズムはまだまだこれから研究されなければならない。学習機械は、起こりうる出来事のすべてを予測する
必要をプログラマーから取り除いてくれるため、倫理以外の分野ではそれは非常にポピュラーになっている。
著者たちはこれらのテクニックが、道徳的行為者を開発することに興味を持つプログラマーにとって非常に有望に思えるだろうと考える。

P. 110–（“Nevertheless, there are hazards inherent......”）
しかし学習システムには、それに内在する危険もある。学習する能力を持つ機械はどんなものであれ、悪いことを学習する可能性もまた持っている。この危険は IBM の「自律的コンピューティング」ネットワークに内在的なものである。これはコストを削減するために、人間が介入することなしに、システムの活動をモニターし、パフォーマンスを最適化し、バグやシステムのエラーを修正するようなハードウェアとソフトウェア
を設計する、というものである。ここでの困難な課題は、自己修復し学習をするが、重要な機能を変化させた
り、予測できない帰結をもたらすような仕方でコードを変化させることはないシステムを設計することである。システムが管理する変数が増えれば、一つの変更の結果は指数的に増加する。そして被害をもたらす潜在的な可能性も拡大する。
一つの解決は階層化されたアーキテクチャーである。階層化された計算システムでは、低いレベルの基準とプロトコルは機能的に高いレベルの機能性とは切り離される。ソフトウェアをカスタマイズする際は、コードが破壊されないように、共有されている低いレベルのモジュールをいじるのではなく、追加のソフトウェアモ
ジュールを設計する。AMAs を作るという目的のためには、核となる制約は基礎となる層に組み込まれ、学習し、新しい情報を処理する構造を改訂する部分からはアクセスできないようにされるかもしれない。このときどの道徳的制約が「より深い」プロトコルに組み込まれるべきかと言う問題が生じる。上で言及した道徳的文法や道徳の核というアイディアはこれに対して答えを提供するものかもしれない。
最も重要な制約は非常に低いレベルにプログラムされるかもしれない。これは人間の良心のようなものとし

6

て働くかもしれない。しかし人間が特定の目的のために良心を無効にすることがあるように、学習するコン
ピュータも、目標を達成するために障害となる制約を回避する方法を見つけるかもしれない。この問題は第12 章で再び扱う。
学習機械の潜在的な危険のゆえに、近いうちに、エンジニアが、学習と進化シミュレーションをシステム設計に対するより伝統的なボトムアップ・アプローチと組み合わせることが必要になるだろう。

Assembling Modules
P. 111–（“The immediate prospects......”）
エンジニアと計算機科学者が切り離された特定の課題を遂行する方法の設計に焦点を当てる一方、それらの課題は集積されてより複雑な活動とより大きな自律性を生じさせるかもしれない。これも著者たちの言う「ボトムアップ」アプローチの例である。計算機科学者とロボット工学者が取り組んでいる様々な個別的なスキルは道徳的能力にとって重要である。これらの別々のシステムを全体として機能させることは困難な課題である。最も有望なアプローチの一つは視覚的知覚、移動、操作、言語理解等のサブタスクの間の動的な相互作用を利用するというものである。MIT メディアラボの認知機械グループのリーダーである Deb Roy はそのような相互作用を利用して、見て聞いて話すことができるロボットアーム「Ripley」の開発をしている。Roy は公
開講演で自身のプロジェクトをアシモフの三原則の文脈で紹介することがある。しかし Roy の講演ではアシモフの第一原則についてははっきりと触れられていない。Roy はまだ第一原則に含まれる道徳的能力を実装する方法を思いついていないのである。
別々のスキルを集積して作ったシステムに、道徳的行動を含む複雑な行動を自律的に行うようにさせることはいかにして可能か？ 一部の科学者は個別的なスキルの集積が高次の認知能力の創発を引き起こすと期待または前提している。もしうまく部分を統合することができたら、それぞれは限定された柔軟性しか持たない部
分が、外部の条件に対して幅広い選択をすることができる複雑な動的システムを生み出しうる。ボトムアッ
プ・エンジニアリングはこのようにしてある種の動的道徳性を提供する。
人間の道徳性は動的である。人間は両親や世話をしてくれる人を信頼するように生まれてくるが、新しく出会う他者との関係を手探りで計りながら、様々な程度の信頼をそこに置く。AMAs もまた、はじめからすべての関係を疑うべきではないが、それらが相互作用する人間や他のシステムに対してどのレベルの信頼を置くべきかを、動的に、柔軟に手さぐりしながら決めていく能力を持っていなければならない。
複雑なボトムアップ・システムの強みは、それが様々な社会的メカニズムからの入力を動的に統合する仕方にある。弱みは、文脈や状況が変化したときに選択と行動を評価するのに使う目標についての理解が不十分だということである。しかしながらこの領域は現在進歩しており、Deb Roy の仕事のように、適応的システムが異なる課題の間のやりとりをより効果的に扱うことを可能にしている。

Bottom to Top
P. 114–（“Bottom-up strategies hold the promise......”）
ボトムアップ戦略は AMAs の設計に不可欠なスキルと基準を生み出す見込みがある。しかし AMAs を進化し発達させることは極めて困難である。また進化する AMAs にとっての適切な目標がなんであるかということもはっきりしていない。Yale 大学の Jonathan Hartman はアシモフの三原則を、トップダウンの厳しい制約としてではなく、ゆるい指導原則として、進化の文脈においてシステムが充足する目標として使うことを7示唆した。このアプローチの強みは、ロボットが原則に対してより動的な関係を発達させるかもしれないということである。そのような緩やかな制約は、Hall や Lang たちがアシモフの三原則を拒否した動機となったパズルや問題を回避することができるかもしれない。Hartman のハイブリッド・アプローチは直接的で直観的なトップダウンの原則を、ボトムアップの発達を望ましいものにする動的な柔軟性と組み合わせる。
ボトムアップのエンジニアリングの強みは目標を達成するために部分を組み合わせることにある。しかし洗練された道徳的判断の能力がボトムアップのエンジニアリングから創発すると想定するだけでは不十分だろう。このことはトップダウン・アプローチが提供する分析もまた必要であるということを示唆する。Hartmanのアイディアはある種のハイブリッド・アプローチを示唆している。しかしより直接的にトップダウンの倫理理論を AMAs に組み込む方法もある。システムの構成部分が適切に統合されれば、AMAs には、それが置かれた環境や社会的文脈において生じる課題に反応する上で、より幅広い選択が与えられる。これらの選択肢を評価するトップダウンの能力を持った AMAs は、その目標を達成すると同時に、許容できる社会的規範に適う行動を選択することができるだろう。しかし AMAs の設計に対するハイブリッド・アプローチはこれだけではない。私たちはそのことを次章で説明する。

8