友好的人工智能

詞源與運用

最早使用這個詞來自的是埃利澤·尤多科斯基（Eliezer Yudkowsky）。，他當時是為了討論了能可靠實施人類價值的超智慧型人工代理可靠地實施了人類價值。斯圖爾特·羅素（Stuart J. Russell）和彼得·諾維格（Peter Norvig）在他們具有領導性的人工智慧教科書，人工智慧：一個現代化的方法，描述了這個主意：。
尤多科斯基（Yudkowsky (2008)）更詳細地的介紹了如何設計FAI。他認為友好（不被傷害人類的欲望）應該從一開始就被設計好，但設計師應該意識承認他們的設計並不完美，機器人也會逐漸學習並進化創新。因此挑戰在於機制器設計-是挑戰之一，在制衡制度下為正在進化的AI系統用於定義一個改造AI系統機制，在現金和帳單的系統下，並且給予這些個系統效用技術功能，使其能夠在面對變化時保持友好性。
『「友好的』」在這裡是技術用語，並挑選出安全有用的代理商，並不是口語中所說的「友好」。這一概念主要用於討論那些迅速在智慧型上提升，遞迴的自我提升的人工代理商。，迅速在智慧型提升，前提就是這假設性的理想的技術將會對人類社會帶來應該有一個大型的，快速，的並且其對於人類社會的影響是難以控制的影響

「不友好的AI」的風險

主要文章：來自通用基本人工智慧的存在性風險
對於AI的擔憂起源很早。 凱文·拉格蘭德（Kevin LaGrandeur） 表展示了古代文書中早有明確記載AI帶來的危險-人造人形僕人在古代文書中早有記載，包括， 例如石人，和奧瑞拉克的傑爾伯特（Gerbert of Aurillac）與和羅傑 . 培根（Roger Bacon）的原型始機器人在內的人工智慧服務。在這些故事中，這些擁有超級智慧型和力量的人形型機屈與身為奴奴隸的身分不服，（從自然角度講叫做次人類），並造成帶來了毀滅性的衝突。 直到19421年，這些主題促使推動艾薩克·阿西莫夫（Isaac Asimov）創造了「機器人三定律「－將原則硬連線至他創作的中所有的機器人定義為 硬連線，也這就意味著他們無法違背取代它們的創造者，或讓他們受到也無法造成傷害。
在現代，隨著超智慧型AI的前景逐漸逼近出現，哲學家尼克·博斯托羅姆（Nick Bostrom）指出那些與人類道義不相符的AI系統非常危險，除非能採取極端手段確保人類的安全。他說到：
總的來說我們需要假定一個超極智慧型能夠實現任何持有的目標。因此所以，我們所設定的目標，和整個推激動系統，必須是對『人類友好』的，這一點非常重要。
機器學習的開拓者，里斯澤德·麥可斯基（Ryszard Michalski），在幾十年前是這樣教導他的博士生的，任何真正異己的的外星人思想，包括機器思想，都是不可知的，並因此對人類是危險的。
最近，埃利澤·尤多科斯基（Eliezer Yudkowsky）呼籲建立「友好的AI」來減輕先進人工智慧所帶來的存在性風險。他解釋道：「人工智慧並不恨你，也不愛你，但你是原子組成的，而它能利用這原子可以用作與做別的事情上」。
史蒂夫·奧莫洪德（Steve Omohundro）表示，一個足夠高階的人工智慧系統，除非明確地的被抵制外，還是會展示一些基本的「驅動器」，如資源取得，由於目標驅動系統的原生特性，這些驅動器將會「沒有特殊預防措施」地導致AI出現不良行為。
亞歷山大·維斯納 - 格羅斯（Alexander Wissner-Gross）表示，那些被驅動至把其未來自由行動（或因果路徑熵）最大化的AI，如果其他們的計劃範圍超過一定的門檻，那些被驅動至把其最大化未來行動自由（或因果路徑熵）最大化的AI有可能會被認為是友好的，而如果他們的規劃範圍到達不到比該閾值短，則會被識認為不友好。
盧克·邁赫豪澤（Luke Muehlhauser）, 為給機器情報研究所建撰寫時，建議道，機器倫理研究人員應採用布魯斯·施奈爾（Bruce Schneier）所說的「安全思維方式」：，而不是與其考慮系統將如何運作，不如或者想像系統能如何失敗。例如，他提議建議道，就算是一個只做出準確的預測，並通過文字介面進行通訊的人工智慧，都有可能會導致意外的傷害。 

連貫推斷意志

尤多科斯基（Yudkowsky）推進了連貫推斷意志（CEV）模型。據他所說，如果「我們知道更多，思靠更快，是我們更希望成為的人，並且更密切地一起成長」，連貫推斷意志是人們的選擇和人們將集體採取的行動。如果「我們知道更多，思想更快，我們是我們更希望成為的人，並且更接近地一起成長」。
友好AI是由「種子AI」設計以及被編程去首先研究人性，然後再創造成為人類想要的AI，給予了足夠的時間和洞察力，以達到令人滿意的答案，。而不是由人類程式設計師直接設計的。

通过或有附随的人性的目标所具有的吸引力（可能以数学目的，以效用函数或其他决策理论形式主义的形式表达）来吸引一个目标，为了提供“友善”的最终标准，是定义客观道德的元伦理问题的答案; 所有事情都放入考虑的情况下，在所有事情都纳入考量的情况下，推断意志是人类客观想要的，。 但它的定义只能相对于当今人性的心理和认知素质来定义，它只能定义为非推断的人性。

其他途徑

通用基本人工智慧研究員本·古澤爾（Ben Goertzel）認為，人類無法用當前的人類知識去創造友好AI的人工智慧。古澤爾建議人類們可能會決客製造一個具有用「輕度超人的智慧型和監視力量」的來創造一個「AI保姆」，以保護人類免受存在性風險如像奈米技術這樣的存在性風險，並推遲其他（不友好的）人工智慧的發展，直到安全方面的問題被解決。

史蒂夫·奧莫洪德（Steve Omohundro）提出了一種「腳手架」的方法針對的人工智慧的安全方法，其中由一代個可靠的AI生成可以幫助構建可靠的下一代AI。
斯特凡·佩納爾（Stefan Pernar）借用 美諾悖論 指出，試圖解決FAI問題是無意義或不可救藥取決於是否假定宇宙表現道德現實主義。在前者，超人智慧型的AI將獨立用理智把自己放置在正確的目標體系。而假定後者，設計友好AI一開始將會徒勞無功，因為道德不能以理性處置。

公共政策

「我們的最終發明」作者詹姆斯·巴拉特（James Barrat）建議道：「人類必須建立一個公私合作夥伴關係讓，使A.I製造者互相分享對AI安全性的想法 － 像國際原子能機構，但是與企業公司之間的合作。」 他呼籲AI研究人員召開類似於 「阿西洛馬（Asilomar）重組DNA會議」，一個 （討論生物技術的風險）的會議。
約翰·麥金尼斯（John McGinnis）鼓勵政府加快友好AI人工智慧的研究。因為友好AI的門檻不一定很清楚，所以他建議一個更像「國立衛生研究院」的模型。「電腦和認知科學家的同行評審小組將篩選專案，並選擇那些旨在推進AI的設計，並確保這些進展將伴隨適當的保障措施。」 麥金尼斯認為同行評審比監管能更好地「解決那些不可能通過官僚主義任務來捕捉獲的技術問題。」麥金尼斯指出，他的建議與機器情報研究所的建議形成對照，機器情報研究所通常旨在避免政府參與友好AI的人工智慧。

據加里·馬庫斯（Gary Marcus）所說，人類花費在開發機器道德上的年金額花費是微乎其微及少的。  

批評

另見：技術奇點&批評
有些評論家認為，人類智慧型和超級智慧型都是不太可能的，所以友好的AI也是不可能的。艾倫·溫菲爾德（Alan Winfeld）在「守護者」中把人類級別AI人工智慧的難度與比光線快的行駛的難度相比較並指出，鑑於涉及的風險，我們需要「謹慎準備」，我們「不需要困擾於」超級智慧型的風險。

一些哲學家聲稱，任何真正有的「理性」代理人，無論是人工的還是人類的，自然會是仁慈的; 在這種觀點下，旨在產生友好AI的特定蓄意保障措施可能是不必要的，甚至是有害的。 其他評論家質疑人工智慧是否有可能是友好的。技術雜誌「新亞特蘭蒂斯」的編輯亞當·科佩爾（Adam Keiper）和阿里·舒爾曼（Ari N. Schulman）表示，由於道德複雜性的問題不會導致軟體進步或計算能力的提高，所以人類不可能可以保證人工智慧的「友好」行為。他們寫道，「只有當人們不僅有強大的預測能力可能預測出無數可能的結果，而且對於如何重視不同的結果的確定性達到共識」，那麼友好的AI理論所依據的標準才能起作用。