人工知能の倫理

人工知能の倫理（じんこうちのうのりんり、）は、人工知能システム（AI）に特化したの一分野である。人工知能システムを設計、製造、使用、扱う人間の道徳的行動への関心と、における機械の行動への関心に分けられることもある。また、超知的なAIによる特異点（シンギュラリティ）の可能性の問題も含まれる。
倫理研究の分野.
ロボット倫理.
ロボット倫理（）という言葉は、人間がロボットをどのように設計し、構築し、使用し、扱うかという道徳を意味する。ロボット倫理はAIの倫理とも重なっている。ロボットは物理的な機械であるのに対し、AIはソフトウェアにしかすぎない。すべてのロボットがAIシステムによって機能するわけではなく、またすべてのAIシステムがロボットであるとも限らない。ロボット倫理は、機械が人間に危害を加えたり利益をもたらすか、個人の自律性に与える影響、社会正義への影響などについて考える。
機械倫理.
機械倫理（）または機械道徳（）とは、道徳的あるいは道徳的であるかのようにふるまうロボット、人工知能を持つコンピュータ、（Artificial Moral Agents、AMA）の設計に関わる研究分野である。これらのエージェントの性質を説明するために、AMAの概念に関連するの標準的な特徴、、、人工的エージェンシーのような特定の哲学的概念を考慮することが提案されている。
1950年代、アイザック・アシモフは、著書「"I, Robot"（われはロボット）」でこのテーマを考察した。編集者のジョン・W・キャンベル・ジュニアの勧めで、彼は人工知能システムが従うべき「ロボット工学の三原則」を提案した。その後、彼の研究の多くは、3つの原則がどこで破綻し、どこで逆説的な行動や予期しない行動を起こすか、その境界を検証することに費やされた。彼の研究は、固定された法則の集まりでは、起こりうるすべての状況を十分に予測することができないことを示唆している。最近では、学者や多くの政府が、AI自体に説明責任があるという考えに対して疑問を呈している。2010年に英国で開催された研究会では、アシモフの原則を改訂し、AIはその製造者または所有者／操作者のいずれかの責任であることを明確にした。
2009年、スイス連邦工科大学ローザンヌ校の知能システム研究所で行われた実験では、相互に協力するようにプログラムされたロボット（有利な資源を捜し出し、不利な資源を回避する）が、有利な資源を貯め込もうと嘘をつくことを学習したことが明らかになった。
専門家や学者の中には、軍事戦闘でロボットを使用すること、特にそのようなロボットにある程度の自律性を持たせることに疑問を呈する人もいる。米海軍は、軍事用ロボットがより複雑になるにつれ、その自律的な意思決定能力がもたらす影響により注意を払うべきとする報告書に資金を提供した。アメリカ人工知能学会の会長は、この問題を調査するための調査を委託した。彼らは、人間との対話を模擬できる「言語習得装置（Language Acquisition Device）」のようなプログラムを指摘している。
ヴァーナー・ヴィンジは、あるコンピューターが人間よりも賢くなる瞬間が来るかもしれないと示唆している。彼はこれを「シンギュラリティ（特異点）」と呼び、それが人間にとって多少なりとも、あるいは非常に危険なものとなる可能性があると示唆している。これはシンギュラリタリアニズムと呼ばれる哲学によって議論されている。（MIRI）は、「友好的な人工知能（"Friendly AI"）」を構築する必要性を提唱している。これは、AIがすでに進化していることに加え、AIを本質的に友好的かつ人道的にする努力をするべきという意味である。
AIがを下せるかどうかを確認するためのテストを作成することも議論されている。アラン・ウィンフィールドは、チューリング・テストには欠陥があり、AIがテストに合格するための要件が低すぎると結論付けている。代替として提案されているテストは、AIの判断が倫理的か非倫理的かを複数の判定者が判断することで現在のテストを改善する「倫理的チューリングテスト」と呼ばれるものである。
2009年、アメリカ人工知能学会が主催する会議に学者や技術者が集まり、ロボットやコンピュータが自給自足して自立的に判断できるようになるという可能性を仮定した場合の潜在的な影響について議論した。彼らは、コンピュータやロボットが何らかの自律性を獲得する可能性やその度合い、また、そうした能力を使用して脅威や危険をもたらす可能性の程度について議論を重ねた。彼らは、いくつかの機械がさまざまな形の半自律性を獲得していることを指摘し、その中には自力で電源を探したり、武器で攻撃する標的を選択する能力も含まれている。また、コンピューターウイルスの中には駆除を回避して「ゴキブリの知能」を獲得しているものがあることにも言及された。彼らは、サイエンス・フィクション（SF）で描かれているような自己認識はおそらくあり得ないが、その他にも潜在的な危険や落とし穴があることに着目した。
しかし、道徳的な能力を持つロボットを実現する可能性のある、一つの技術が存在する。は、ロボットによる道徳的価値の獲得に関する論文で、ニューロモルフィック・チップの事例について言及している。ニューロモルフィック・チップは、数百万もの人工ニューロンを相互に接続して、人間のように非線形な情報処理をすることを目的としている。ニューロモルフィック技術を組み込んだロボットは、独自に人間らしい方法で学習し、知識を身につけることができる。必然的に、このようなロボットがどのような環境で世の中について学び、誰の道徳感を受け継ぐのかや、あるいは利己心、生存志向の態度、迷いなど、人間の「弱点」も習得してしまうかどうかという問題を提起する。
とコリン・アレンは、著書「"Moral Machines: Teaching Robots Right from Wrong（ロボットに倫理を教える：モラルマシーン）"」において、ロボットに善と悪を教える試みは、人が現代の規範理論のギャップに取り組む動機付けとなり、実験的調査の基盤を提供することによって、人の倫理感の理解を深めることになるだろうと結論付けている。その一例として、機械にどのようなを使用するかという論争的な課題を、規範倫理学者に提示した。ニック・ボストロムとは、透明性と予測可能性という現代の社会規範（先例拘束力の原則など）に従うという理由で、ニューラルネットワークや遺伝的アルゴリズムよりも（ID3のような）決定木が好ましいと主張した。一方、クリス・サントス=ラングは、どのような時代でも規範が変化することを許さなければならず、特定の規範を完全に準拠しないことで人間が犯罪的「ハッカー」に対して脆弱になることを助けるだろうとして、反対の方向を主張した。
オックスフォード大学のAIガバナンスセンターによる2019年の報告書によると、アメリカ人の82%が、ロボットやAIは慎重に管理されるべきと考えている。懸念事項として挙げられているのは、AIが監視にどのように利用されるかや、オンライン上での偽コンテンツの拡散から、サイバー攻撃、データプライバシーの侵害、、自動運転車、人間による制御を必要としない無人航空機まで多岐に及んだ。
人工知能の倫理原則.
AIに関する84の倫理指針のレビューでは、透明性、正義と公正、無危害、責任、プライバシー、善行、自由と自律、信頼、持続可能性、尊厳、連帯という11の原則群が見いだされた。
ルチアーノ・フロリディとジョシュ・カウルズは、生命倫理の4原則（与益（善行）、無加害、自主尊重、正義）と、追加のAI実現原則（説明可能性）によって設定されたAI原則の倫理的枠組みを作成した。
透明性、説明責任、オープンソース.
は、AIは人類に多大な影響を与えるため、AI開発者は未来の人類の代表であり、その取り組みに透明性を持たせる倫理的義務があると主張している。とデイヴィッド・ハートは、AI開発のためのオープンソース・フレームワークとしてを作成した。OpenAIは、人類に有益なオープンソースAIを開発することを目的として、イーロン・マスクやサム・アルトマンらが設立した非営利のAI研究所である。他にも数多くのオープンソースのAI開発プロジェクトがある。
しかしながら、コードをオープンソース化することで理解できるようになるわけではなく、このことは多くの定義において、AIコードは透明ではないことを意味している。IEEEは、AIの透明性に関する標準化の取り組みを進めている。IEEEの取り組みでは、さまざまなユーザーに対して複数の透明性レベルを特定している。さらに、今日のAIの全能力を一部の組織に解放することは、公共の悪、つまり善よりも悪をもたらす可能性があるという懸念がある。たとえば、マイクロソフトは、同社の顔認識ソフトウェアへの普遍的なアクセスを（対価を支払える人であっても）認めることに懸念を表明している。マイクロソフトは、この話題について特別なブログ記事を投稿して、何が正しいかを判断するための規制を政府に求めている。
企業だけでなく他の多くの研究者や市民団体も、AIの透明性を確保するとともに、それを通じて人間の説明責任を果たす手段として、政府の規制を推奨している。この戦略がイノベーションの進展を遅らせることを危惧する人もおり、論争の的となっている。また、規制はシステムの安定化をもたらし、長期的にイノベーションを支援することができるという議論もある。2019年現在、OECD、国連、EU、そして多くの国々が、AIを規制するための戦略を立て、適切な法的枠組みの構築に取り組んでいる。
2019年6月26日、欧州委員会（EC）の人工知能に関するハイレベル専門家グループ（AI HLEG）は、「信頼できる人工知能のための政策と投資に関する提言」を発表した。これは、2019年4月に発表された「信頼できるAIのための倫理ガイドライン」に続く、AI HLEGの2番目の成果物である。同年6月のAI HLEG勧告は、人間と社会全体、研究と学術、民間企業、公共の4つの主要分野に及んでいる。欧州委員会は、「HLEGの勧告は、AI技術が経済成長、繁栄、イノベーションを促進する機会と、それに伴う潜在的なリスクの両方に対する評価を反映した」と主張し、AIを管理する政策形成においてEUが国際的な主導的役割を果たすと述べている。危害を防ぐためには、規制に加えて、AIを展開する組織は「信頼できるAIの原則」に沿った信頼できるAIの開発と展開で中心的な役割を果たし、リスクを軽減するための説明責任を負う必要がある。2021年4月21日、欧州委員会はを提案した。
倫理的課題.
AIシステムにおけるバイアス.
顔認識システムや音声認識システムなどにAIが組み込まれることが進んでいる。これらのシステムの中には、実際の業務用途に使用され、人々に直接影響を与えるものもある。これらのシステムは、製造者である人間によってもたらされたバイアス（偏り、偏見）やエラー（誤り）に対して脆弱である。また、これらのAIシステムを訓練するために使用されるデータ自体にもバイアスが含まれている可能性がある。たとえば、マイクロソフト、IBM、Face++の顔認識アルゴリズムは、いずれも人の性別を識別する際に偏りがあり、白人の男性の性別を肌の色が濃い男性よりも正確に検出することができた。さらに、2020年の研究によると、アマゾン、アップル、グーグル、IBM、マイクロソフトの音声認識システムの調査では、白人の声よりも黒人の声を書き起こすときのエラー率が高いことがわかった。さらに、アマゾンは、アルゴリズムが女性よりも男性の候補者を優遇したため、することをやめた。これは、アマゾンのシステムが、10年以上にわたって収集された主に男性の候補者からのデータで訓練されていたためである。
バイアスは、さまざまな方法でアルゴリズムに忍び込む可能性がある。AIシステムにバイアスが入り込む仕組みとして最も有力なのは、システムを訓練するために使用する過去のデータ中にバイアスが埋め込まれていることである。たとえば、アマゾンのAIを用いた採用ツールは、何年にもわたって蓄積された自社の採用データで訓練したもので、その間、無事に採用された候補者のほとんどは白人男性であった。その結果、アルゴリズムは過去のデータから（偏った）パターンを学習し、このような種類の候補者が採用される可能性が高いという現在や未来の予測をたてた。そのため、AIシステムによる採用判断が、女性やマイノリティの候補者に対して偏っていることが判明した。フリードマンとニッセンバウムは、コンピュータシステムにおけるバイアスを、既存バイアス（existing bias）、技術的バイアス（technical bias）、創発的バイアス（emergent bias）の3つに分類している。自然言語処理では、アルゴリズムが異なる単語間の関係を学習するために使用するテキストコーパスに問題が起こることがある。
IBMやグーグルなどの大企業は、このようなバイアスを研究し対処する努力を重ねてきた。バイアスに対処するための一つの解決策は、AIシステムの訓練に使用するデータのドキュメントを作成することである。プロセスマイニングは、エラーの特定、プロセスの監視、不適切な実行の潜在的な根本原因の特定、その他の機能により、組織がAI規制の提案の遵守を達成するための重要なツールとなりうる。
機械学習におけるバイアスの問題は、この技術が医療や法律などの重要な分野に普及し、深い技術的な理解を持たない多くの人が導入を任されるにつれて、より重要な意味を持つ可能性がある。一部の専門家は、アルゴリズムによるバイアスはすでに多くの業界に蔓延しており、それを特定し修正しようとする取り組みはほとんどなされていないと警告している。偏ったAIに対する意識を高めることを目的とした、市民団体によるオープンソースのツールも登場している。
ロボットの権利.
ロボットの権利（）とは、人の人権や動物の権利と同様に、人が機械に対して道徳的な義務を負うべきだという概念である。ロボットの権利（例：ロボットが生存し、自らの使命を遂行する権利）は、人権と社会に対する義務を結びつけるのと同様に、人類に奉仕するロボットの義務に結びつけることができると提案されている。たとえば、生存と自由の権利、思想と表現の自由、法の下の平等が含まれる可能性がある。この問題は、米国やでも検討された。
このテーマに関する具体的で詳細な法律が必要になる時期については、専門家の間でも意見が分かれている。は、2020年までに十分な人型ロボットが登場する可能性があると報告しているが、レイ・カーツワイルは、その時期を2029年としている。2007年に開かれた別の科学者グループは、十分に進化したシステムが存在するまでに少なくとも50年は必要であるとの見解を示していた。
2003年のローブナー賞の競技ルールでは、ロボットが自らの権利を持つ可能性を想定していた。
61. 任意の年に、サリー大学またはケンブリッジセンターによって登録された一般公開のオープンソースプログラムが銀メダルまたは金メダルを受賞した場合、メダルと賞金はそのプログラムの制作担当者に授与される。そのような受賞者が特定できない場合、または複数の受賞主張者の間で意見の相違がある場合、応募作がアメリカ合衆国またはコンテストの開催地で賞金と金メダルを合法的に所有できるようになるまでメダルと賞金は信託される。
2017年10月、アンドロイドのソフィアがサウジアラビアで市民権を取得したが、これは意味のある法的承認というよりも宣伝行為であると考える人もいた。また、この行為は人権や法の支配をあからさまに中傷するものとの見方もあった。
（）の哲学は、主に人間や人間以外の動物など、すべての感覚を持った存在に対し、ある程度の道徳的配慮を認めるものである。人工知能や異星人が感性を持つという証拠を示した場合、この哲学は、そうした存在に思いやりを示すとともに、権利を認めるべきとするものである。 
は、権利を必要とするAIを作成することは回避可能であり、AIエージェントにも人間社会にも負担となるため、それ自体が非倫理的であると主張している。
人間の尊厳への脅威.
1976年、ジョセフ・ワイゼンバウムは、敬意と配慮を必要とする次のような立場の人の代わりにAI技術を使うべきではないと主張した。
ワイゼンバウムは、このような立場の人々には、本物の共感の感情が必要だと説明している。「もし機械が彼らに取って代わったなら、人工知能システムは共感をシミュレートできないので、私たちは疎外され、価値を下げられ、不満を感じることになるだろう。人工知能がこのように使われれば、人間の尊厳が脅やかされることになる」。ワイゼンバウムは、こうした職種を機械化する可能性への考えは、人々が「自らをコンピューターと考えることからくる人の魂の萎縮」を経験していることを示唆すると主張した。
は、女性やマイノリティを代表して「公平なコンピューターに望みを託したい」と反論し、個人的な意図をまったく持たない自動化された裁判官や警察がいることを望む状況があることを指摘している。しかし、アンドレアス・カプランとミヒャエル・ヘンラインは、AIシステムはその訓練に使用するデータと同じくらいの賢さでしかなく、本質的には気まぐれなカーブフィッティングマシンにすぎないことを強調している。過去の判例で特定のグループに対する偏見が見られた場合、AIを使用して裁判所の判断を支持することは非常に問題となる。そうした偏見はAIシステムに形式化され、定着してしまうため、それを見抜いて争うことがより困難になるからである。
ワイゼンバウムはまた、一部のAI研究者（および哲学者）が、人間の心を単なるコンピュータプログラムに過ぎないと見なそうとする姿勢（現在、計算主義として知られている）を懸念していた。ワイゼンバウムにとって、これらの点は、AI研究が人間の生命を尊重しないことを示唆するものである。
AI創設者であるジョン・マッカーシーは、ワイゼンバウムの批判が道徳的であることに異議を唱えている。彼は「激しく曖昧な説教は、権威主義的な乱用を招く」と書いている。は、「人間の尊厳には、存在の本質に対する無知を取り除く努力が必要であり、その努力のためにAIが必要である」と書いている。
自動運転車の責任.
自動運転車の普及が目前に迫る中、完全な自動運転車がもたらす新たな課題に対処する必要がある。最近（2019年）では、これらの車が事故を起こした際の責任者の法的責任について議論されている。自動運転車が歩行者に衝突したある報告では、運転手は車に乗っていたものの、その運転は完全にコンピュータの手に委ねられていた。そのため、事故の責任は誰にあるのかという板ばさみに陥った。
2018年3月18日の別の事件では、アリゾナ州で、が、Uberの自動運転車にはねられて死亡した。この事故の場合、自動運転車は自律的に車道を走行するために車や特定の障害物を検知することができたが、道路の真ん中にいる歩行者を予測することができなかった。このため、彼女の死について、運転手、歩行者、自動車会社、または政府のいずれが責任を負うべきかという問題が起こった。
現在のところ、自動運転車は半自律運転と見なされており、運転者は注意を払い、必要に応じて制御できるように準備しておく必要がある。したがって、自律走行機能に過度に依存する運転手を規制するとともに、これらは便利ではあるが完全な代替手段ではなく、単なる技術に過ぎないことを教育することも政府の責任である。自動走行車が広く普及する前に、政府は新たな政策をもって、これらの問題に対処する必要がある。
人工知能の兵器化.
一部の専門家や研究者は、ロボットを軍事戦闘に使用すること、特にそうしたロボットにある程度の自律性が与えられている場合に疑問を呈している。2019年10月31日、米国国防総省の国防イノベーション委員会は、人工知能の倫理的使用の原則を推奨する報告書の草案を公表し、人間の操作者が常に「ブラックボックス」を調べ、キルチェーン・プロセスを理解できるようにするとした。しかし、大きな懸念事項は、この報告書がどのように実施されるかということである。米海軍は、軍事用ロボットがより複雑になるにつれ、自律的な決定を下す能力の影響にもっと注意を払うべきとする報告書に資金を提供した。研究者の中には、は、より効果的な意思決定ができるため、より人道的になりうると言う人もいる。
この10年の間に、与えられた道徳的責任を用い、学習する能力を備えた自律型兵器に関する研究が集中的に行われた。研究は「この結果は、将来の軍事用ロボットの設計に利用され、ロボットに責任を負わせようとする望ましくない傾向を抑制することができる」と述べている。帰結主義的な観点から言えば、ロボットが誰を殺すかを自ら論理的に判断する能力を身につける可能性があるからこそ、AIが覆すことのできない一定の道徳的枠組みを設ける必要がある。
最近では、という発想を含め、人工知能型の兵器技術に関して抗議の声がある。AI兵器は、人間が制御する兵器とは異なる種類の危険性をもたらす。多くの政府が、AI兵器を開発する計画に資金を提供し始めている。米国海軍は最近、自律型ドローン兵器の開発計画を発表し、これはロシアや朝鮮が同様の発表をしたのと対抗するものである。AI兵器が人間が操作する兵器よりも危険なものとなる可能性があるため、スティーブン・ホーキングとマックス・テグマークは、AI兵器を禁止する「Future of Life（生命の未来）」請願書に署名した。ホーキングとテグマークが投稿したメッセージには、AI兵器が差し迫った危険をもたらし、近い将来の破滅的な災害を回避するための行動が必要であることが述べられている。
嘆願書では「主要な軍事大国がAI兵器の開発を推し進めれば、世界的な軍拡競争は事実上避けられず、この技術的軌跡の終着点は明白である。自律型兵器は明日のカラシニコフになるだろう。」と述べられ、AI兵器に反対する支持者として、Skype共同創設者のやMIT言語学教授のノーム・チョムスキーの名も含まれている。
物理学者で天文学者の英国王室のマーティン・リースは、「馬鹿げたロボットが暴走したり、ネットワークが独自の知性を身につける」といった破滅的な例を警告している。ケンブリッジ大学でリースの同僚でもあるヒュー・プライスも、知性が「生物学の制約から逃れる」とき、人間は生き残れないかもしれないと同様の警告を発した。二人の教授は、人間の存亡を脅かすこのような事態を回避することを願い、ケンブリッジ大学にを設立した。
人間より賢いシステムが軍事用に利用される可能性について、は、これらのシナリオは「制御不能に伴うリスクと同様に潜在的に重要であると考えられる」と書いているが、AIが長期的に社会に与える影響に関する研究では、こうした懸念に比較的時間を割いていない。「これらのシナリオの部類は、（MIRI）や（FHI）など、この分野で最も活発に活動している組織ではあまり重視されておらず、それに関する分析や議論もあまり行われていないようである」。
不透明なアルゴリズム.
ニューラルネットワークによる機械学習のような手法では、コンピュータが、コンピュータ自身だけでなくそのコンピュータをプログラムした人間でも説明できないような意思決定をすることがある。このような意思決定が公正で信頼できるものであるかどうかを人が判断することは困難で、AIシステムのバイアスが発見されなかったり、人々がそのようなシステムの使用を拒否する可能性がある。このため、説明可能な人工知能（XAI）が提唱され、法域によっては法的要件が設けられるようになった。
特異点.
多くの研究者が、自己改善型AIは「知性の爆発」によって非常に強力になり、その目標達成を人間が止められなくなる可能性があると主張している。哲学者のニック・ボストロムは、論文「"Ethical Issues in Advanced Artificial Intelligence（高度な人工知能における倫理的問題）"」とその後の著書「""」において、人工知能は人類を絶滅させる能力を備えていると論じている。彼は、「一般的な超知能は自主的で独創性を持ち、自ら計画を立てることができるため、自律的なエージェントと考えるのが妥当である」と主張する。さらに、「人工知能は、人間との間で動機付けの傾向を共有する必要はないため、その本来の動機を定めるのは、超知能の設計者次第である。超知的なAIは、ほぼすべての可能な結果をもたらすことができ、その目標の遂行を妨げようとする試みを阻止することもできるため、多くの制御不能で意図せざる結果が起こりうる。他のエージェントを全滅させたり、行動を変えるよう説得することも、干渉しようとする試みを阻止することも可能である。」と論じている。
しかし、ボストロムは、「超知能が人類を圧倒して滅亡に導くのではなく、病気や貧困、環境破壊など多くの難問を解決し、人類を『強化』するのに役立つ可能性もある」とも主張している。
人間の価値体系は非常に複雑であるため、AIの動機を人間らしいものにすることは非常に困難である。道徳哲学が完璧な倫理理論を提供してくれない限り、AIの効用関数は、与えられた倫理的枠組みに適合しても、「常識」から外れた多くの潜在的に有害なシナリオを許容する可能性がある。によると、人工的に設計された知性がそのような適合を持つと信じる理由はほとんどない。、、、、Steven Umbrello、ルチアーノ・フロリディといったAI研究者は、有益な機械を開発するための設計戦略を提案している。
AI倫理の関係者.
AIの倫理や政策に関わる組織は、公的機関や政府機関、企業や社会的な組織も含め、数多く存在している。
2016年、アマゾン、グーグル、フェイスブック、IBM、マイクロソフトは共同で、人工知能技術のベストプラクティスを策定し、一般の人々の理解を促進し、人工知能に関するプラットフォームとして機能するために、非営利団体を設立した。アップルは2017年1月に参加した。法人会員がグループに対して資金面や研究面で貢献する一方、科学者コミュニティと協力して学識研究者が運営に参加している。
IEEEは「人工知能および自律型システムの倫理的配慮に関するグローバル・イニシアティブ」を立ち上げ、一般からの意見の助けも借りてガイドラインを策定、改訂しており、組織内外から多くの専門家がメンバーとして加わっている。
従来、社会が倫理を遵守するように、政府が法律や取り締まりなどを通じて、その役割を担ってきた。現在では、AIが倫理的に適用されるように、各国政府だけでなく、や非政府組織による多くの取り組みが行われている。
非政府組織の取り組み.
国際的な非営利団体であるは、2017年、アシロマで「有益なAI」に関する5日間の会議を開催し、AI研究の未来に向けた23の指針となる原則を発表した。この会議は、さまざまな分野の専門家やソートリーダーがビジョンを共有し、研究の問題、倫理や価値観、長期的な問題に対処するためのAIガバナンス原則の重要な基礎を築いた。 
フィクションの役割と影響.
AI倫理に関するフィクション（創作）の役割は複雑なものであった。フィクションが人工知能やロボット工学の発展に与えた影響は、3つのレベルに分けることができる。歴史的に見ると、フィクションは、AIの目標や展望だけでなく、それに関する倫理的な問題や一般的な恐怖にも影響を与えるような、共通の転義（例え、お約束）を予見してきた。20世紀後半から21世紀初頭は、大衆文化、特に映画、テレビシリーズ、ビデオゲームは、AIやロボットに関する倫理的な問題に対する関心事や悲観主義的な予測をしばしば反映させてきた。最近では、サイエンスフィクション（SF）の枠を超えて、文学作品でもこうしたテーマが扱われることが多くなっている。また、カタルーニャ工科大学のロボット工学および産業コンピューティング研究所の研究教授が指摘するように、高等教育の技術系科目においても、SFを題材として技術関連の倫理問題を教えることが増えている。
歴史.
歴史的に見ると、「考える機械」（）の道徳的、倫理的な意味合いの探究は、少なくとも啓蒙主義時代にまで遡る。ライプニッツは、あたかも知的存在のように振る舞うメカニズムに知性を帰することができるかを問い、デカルトもチューリング・テストの初期バージョンと呼べるものを記述している。
ロマン主義の時代には、創造者の制御から逃れ、悲惨な結末を迎える人工生物がしばしば描かれた。最も有名なのはメアリー・シェリーの「"フランケンシュタイン"」である。しかし、19世紀から20世紀初頭にかけて、工業化と機械化に対する広範な先入観は、倫理的に問題のある技術開発をフィクションの最前線に押し上げることになった。カレル・チャペックの戯曲「"ロッサム万能ロボット（R.U.R - Rossum's Universal Robots）"」は、感情を持った知的ロボットが奴隷労働に使われるという設定で、「ロボット」という言葉（強制労働を表すチェコ語の "robota" に由来）の発明につながっただけでなく、1921年の初演後に国際的な成功を収めた。1921年に発表されたジョージ・バーナード・ショーの戯曲「（"Back to Methuselah"）」は、人間のように振る舞う思考機械の妥当性を問う場面がある。1927年のフリッツ・ラングの映画「"メトロポリス"」では、技術主義政治の圧政に対して、搾取された大衆の蜂起を導くアンドロイドが描かれている。
技術開発への影響.
不屈の可能性を秘めたテクノロジーによって支配される未来への期待は、長い間、作家や映画製作者の想像力をかき立ててきたが、フィクションが技術開発の着想にどのような役割を果たしたかについてはあまり分析されてこなかった。たとえば、若き日のアラン・チューリングが1933年にバーナード・ショーの戯曲「"メトセラへ還れ"」を観て評価していたことは記録されているし、国際的に成功し多くの言語に翻訳された「"R.U.R.」"のような演劇も少なくとも認識していたはずだと考えられる。
また、AI開発の原理や倫理的な意味合いを確立する上で、SFが果たした役割についてを考えることもできる。アイザック・アシモフは、1942年の短編集「"I, Robot"」の一部である短編小説「堂々めぐり」で「ロボット工学の三原則」を概念化した。また、スタンリー・キューブリックの映画「2001年宇宙の旅」の原作となったアーサー・C・クラークの短編「」は、1948年に執筆され、1952年に出版された。とりわけ、1968年に出版されたフィリップ・K・ディックスの多数の短編小説と小説、特に「アンドロイドは電気羊の夢を見るか?」は、人間と見分けがつかないアンドロイドの感情反応を測定するために独自のチューリングテストであるフォークト・カンプフ・テストを取り入れた作品である。この小説は、後にリドリー・スコットによる反響を呼んだ1982年の映画「ブレードランナー」の原作となった。
サイエンスフィクションは、何十年も前から、AI開発の倫理的影響に取り組んでおり、一般的な人工知能に似たようなものを実現したときに起こりうる倫理的問題の青写真を提供してきた。スパイク・ジョーンズの2013年の映画「"Her/世界でひとつの彼女"」は、ユーザーがスマートフォンのオペレーティングシステムの魅惑的な声に恋した場合に何が起こるかを描いている。一方、「エクス・マキナ」は、明らかに認識できる機械に直面した場合に、顔や共感できる官能的な声によってのみ人間らしさを示したとしても、人はまだ感情的なつながりを築き、誘惑されるだろうか？という、より難しい問いを投げかけている（この映画は、2世紀前の1817年にE.T.A.ホフマンが書いた短編小説「"砂男"」にすでに存在していたテーマを反映している）。
人工的な感覚を持つ生物との共存は、最近の2つの小説の主題でもある。2019年に出版されたイアン・マキューアンの「"恋するアダム（Machines Like Me）"」では、人間のカップルに人工的なアンドロイドを巻き込んだ三角関係が描かれている。2021年に出版されたノーベル賞受賞者カズオ・イシグロの「"クララとお日さま（Klara and the Sun）"」は、人工知能を搭載した「AF」（artificial friend、人工の友人）であるクララが、一緒に住んでいるリフト（すなわち遺伝子強化）された後に奇病に苦しむ少女を助けようとする、一人称の記録である。
TVシリーズ.
AIに関連する倫理的な問題は、何十年も前からSF文学や長編映画で取り上げられてきたが、より長く複雑な筋書きやキャラクター設定を可能にする様式としてテレビシリーズが登場したことで、テクノロジーの倫理的な意味合いを扱ったいくつかの重要な作品が生まれてきた。スウェーデンの「'」シリーズ（2012-2013）は、人工的な感覚を持つ生物を社会に取り込むことがもたらす複雑な倫理的、社会的帰結に取り組んだものである。イギリスのディストピアSFアンソロジーシリーズ「"ブラック・ミラー（Black Mirror）"」（2013-2019）は、最近のさまざまな技術開発と結びついた暗黒世界的なフィクションの発展を試みたことで特に注目された。フランスのシリーズ「'」（2020）とイギリスのシリーズ「""」（2021）は、いずれもテクノロジーが人の理想的なパートナーを見つけようとしたときに何が起こるかを扱っている。Netflixのシリーズ「ラブ、デス&ロボット（Love, Death+Robots）」のいくつかのエピソードでは、ロボットと人間が一緒に暮らす場面が想像されている。その中で最も代表的な第2シーズン第1話では、人間がロボットに依存しすぎた場合、ロボットが制御不能になったときに、どれだけ悪い結果を招くかを描いている。
フィクションやゲームの未来像.
映画「"13F（The Thirteenth Floor）"」は、知覚を持つ住民が住む模擬世界が、娯楽を目的としたコンピュータゲーム機によって作られる未来を示唆している。映画「マトリックス（"The Matrix"）」は、地球上の支配的な種族が知覚を持つ機械であり、人類は最大限の種差別で扱われる未来を示唆している。短編小説「"（The Planck Dive）"」は、人類が自らを複製し最適化が可能なソフトウェアになり、ソフトウェアの種類を感覚的か非感覚的かで区別するような未来を示唆している。同じ発想は「宇宙船ヴォイジャー」に搭載された緊急医療ホログラムにも見いだすことができる。これは、作成者であるジマーマン博士の意識の一部を縮小した知覚的コピーであり、彼は緊急時に医療支援を行うためにこのシステムを作成した。映画「アンドリューNDR114（原作バイセンテニアル・マン）」と「A.I.」は、感情を持つことのできる知的ロボットの可能性を扱っている。「"I, Robot"」はアシモフ三原則の一端を探った。こうしたシナリオはすべて、感覚を持つコンピュータの誕生でもたらしうる非倫理的な結果を予期している。
人工知能の倫理は、BioWareのゲーム「Mass Effect」シリーズの中心的テーマの一つである。このゲームは、世界規模のニューラルネットワークによる計算能力の急激な向上により、ある文明が誤ってAIを作り出してしまうというシナリオに基づいている。この出来事は、新たに感覚を持った機械生命体に生物的な権利を与えることが適切と考える人々と、彼らを使い捨ての機械と見なし破壊するために戦った人々との間に倫理的な分裂を引き起こした。最初の対立にとどまらず、機械とその創造者との間の複雑な関係も、物語を通じて進行するテーマである。
「"デトロイト ビカム ヒューマン（Detroit: Become Human）"」は、最近、人工知能の倫理について論じた最も有名なビデオゲームの1つである。クアンティック・ドリームは、より没入型のゲーム体験をプレーヤーに提供するため、対話的な筋書きを使用してゲームの各章を設計した。プレーヤーは、感情を持つ3人のアンドロイドを操作し、さまざまな出来事に直面しながら、アンドロイドグループに対する人間の見方を変えるという目的を達成するためにさまざまな選択をし、それによって異なる結末をもたらす。プレーヤーがアンドロイドの視点に立つことで、真の人工知能が誕生した後のロボットの権利や利益をより深く考えることができる数少ないゲームのひとつである。
ヒューゴ・デ・ガリスとが始めたで強調されたように、時代とともに議論は可能性（"possibility"）よりも望ましさ（"desirability"）を重視する傾向にある。ヒューゴ・デ・ガリスによれば、コスミストとは、実際にはより知的な人類の後継者を作ろうとする思想をいう。
ケンブリッジ大学の専門家は、フィクションやノンフィクションにおいて、AIは圧倒的に無害として描かれ、その危険性や長所に対する認識を歪めていると論じている。