友好的な人工知能
この用語は、エリエゼル・ユドカウスキーが、確実に人間の価値を実現するものすごく知的な人工エージェントについて議論するために作り出した。スチュアート・J・ラッセルとピーター・ノーヴィグの主要な人工知能の教科書Artificial Intelligence: A Modern Approach がこのアイデアを説明している。
ユドカウスキー(2008)が友好的なAI を設計する方法の詳細について言及している。彼は、友好性(人間に害を与えないとする欲求)は最初から設計されているべきだが、設計者は、自分のデザインに欠陥がある可能性があること、及びロボットが時間をかけて学習し進化していくことを認識すべきであると主張する。つまり、この課題は、抑制と均衡のシステムの下でAIシステムを進化させるためのメカニズムを定義し、システムにこのような変化に直面しても友好性を残す効用機能を与えるという機械設計の一つである。
「友好的」は、この文脈では技術的な用語として使用されており、口語的な意味で「友好的」であるものとは限らず、安全かつ有用であるエージェントを指す。この概念は、再帰的に自己改善を繰り返し急速に爆発的に知的になる人工エージェントが、人間社会に大きく迅速かつコントロールの困難な影響を与える可能性があるという理由で、この仮定の技術について議論する文脈で主に使われる。