友好的な人工知能
人工知能に関する懸念の根源は非常に古い。Kevin LaGrandeurは、AIに固有の危険性は、ゴーレム、オーリヤックのゲルベルトのプロト用ロボット、ロジャー・ベーコンなどの人間そっくりの人工召使に関する古代文学に見ることができることを示した。そういった物語においては、人間そっくりの創造物の極端な知性とパワーは(自然に人間に従属すると見られている)奴隷としてのステータスと衝突し、悲惨な紛争を引き起こす。 これらのテーマに関しては、1942年にアイザック・アシモフが彼の小説の中の全てのロボットに組み込まれている原則である「ロボット工学三原則」を考案するに至った。これは、ロボットが創造者を刺激する、もしくは創造者が危害を受けることを許すことができなかったことを意味する。
ものすごく知的なAIの見通しが近い現代では、哲学者ニック・ボストロムが、人類の安全を確保するために極端な措置が取られない限り、人間の倫理と整合していない目標を持つものすごく知的なAIシステムは本質的に危険である、と述べている。彼は、次のように言った。
基本的に、「ものすごい知性」は、それが持つどのような目標であれ達成が可能であると想定すべきである。したがって、我々が与える目標及び全体のモチベーションシステムが「人間に友好的」であることが非常に重要である。
機械学習の先駆者であるリシャルト・ミカルスキーは、機械の心を含めたあらゆる本当に異質の心は不可知でありしたがって人間にとって危険であると数十年前に博士課程の学生に教えた。
汎用人工知能の研究者であるベン・ゲーツェル は、現在の人間の知識では友好的なAIを作成することはできないと考える。代わりに、ゲーツェルは、安全性の問題が解決されない限り、ナノテクノロジーなどの実存的リスクから人類を保護し、他の(非友好的な)人工知能の開発を遅らせるために、「軽度に超人的な知性と監視権限」を持つ「AIベビーシッター」を作成することを勧める。
Steve Omohundroは、明白に安全なAIの世代は次のおそらく安全な世代の構築を助けるという、AIの安全性への「足場」アプローチを提案した。