人工智慧對齊

人工智慧系統的對齊十分難以實現，一個未對齊的系統可能會在某時刻發生故障，或是產生有害後果。對人工智慧的設計者而言，從設計之初就考慮到未來可能發生的所有情況是不現實的。因此，比較常見的辦法是簡單的指定某個特定目標。然而，人工智慧系統可能會從中找到某些漏洞，從而選擇可能會造成危害的方法來更有效率的達成預期目標。人工智慧也可能發展出預期之外的工具行為，例如它們可能會傾向於攝取儘可能多的控制權，以增加達成目標的可能性。此外，在人工系統執行過程中，面對新的事態和資料分佈，它也可能會發展出全新的、在其部署前無法預料到的目標。在目前部署的商業系統，例如機器人、語言模型、自動駕駛汽車、社交媒體推薦引擎中，上述問題已有顯現。鑑於這些問題部分源於系統所具備的高效能，因此未來功能更強大的人工智慧系統可能更容易受到這些問題的影響。對於上述問題，人工智慧研究學界和聯合國呼籲加強相關的技術研究和政策制定，以保證人工智慧系統符合人類價值。是致力於建立安全的人工智慧系統的研究，人工智慧對齊是是其子領域之一。其它從屬於人工智慧安全的子領域還包括穩健性、執行監控和。人工智慧對齊的主要研究內容包括向人工智慧灌輸複雜的價值觀念、發展誠實的人工智慧、監管方式的擴充套件、對人工智慧模型的稽核與闡釋，以及對人工智慧系統有害傾向的防範，例如防止其發展出對控制權的渴求。與人工智慧對齊相關的研究包括人工智慧的可解釋性、、異常檢測、、形式驗證、、安全攸關係統工程、博弈論、，以及相關的社會科學研究。對齊問題.1961年，人工智慧研究者諾伯特·維納定義對齊問題為：“假如我們期望藉助機器達成某個目標，而它的執行過程是我們無法有效干涉的……那麼我們最好確認，這個輸入到機器裡的目標確實是我們希望達成的目的。”最近，對齊已成為現代人工智慧系統的一個開放性問題，也是人工智慧相關的研究領域之一。規則博弈.為明確人工智慧系統的目標，設計者通常會設定一個目標函式、示例或反饋系統。然而，人工智慧設計者很難一次性找出所有的重要數值與約束。因此，人工智慧系統可能會在執行過程中找到並利用某些漏洞，以意料之外的，甚至可能有害的方式達成目標。這種傾向被稱為規則博弈、獎勵作弊或古德哈特定律。在許多人工智慧系統中都觀察到了規則博弈的情況。例如，一個以划船競速為主題的電子遊戲，人工智慧系統的目標是完成比賽，並透過撞擊對手船隻來獲得分數；但是，它在其中找到了漏洞，它發現可以透過無限撞擊相同目標來獲取高分。應用了人工智慧的聊天機器人也常會出現錯誤訊息，因為訓練它們所用文字來自網際網路，這些文字雖然多樣但常有錯誤。當它們被訓練產生可能會被人類評價為“有幫助”的訊息時，它們可以製造出似乎有說服力的虛假解釋。還有一個被訓練為抓取小球的人工智慧手臂，在成功抓起時它能獲得獎勵。然而，它學會了使用視線錯覺作弊：機械手臂移動到小球與攝像機之間，展示出小球被成功抓起的錯覺。對齊問題的研究者旨在幫助人類檢測這類規則博弈，並引導人工智慧系統朝向安全合理的目標執行。伯克利計算機科學家認為，在人工智慧的設計中省略隱含約束可能會導致有害後果：“一個系統常會將無約束變數擴充套件至極限；而假如其中某個無約束變數與我們所關注的後果相關，那麼就可能出現我們不願見到的後果。這正是神燈精靈、、邁達斯這些古老故事的現代版本。”未對齊的人工智慧可能產生許多消極後果。例如一些社交媒體以點選率作為檢測使用者反饋的指標，然而這可能會導致使用者沉迷，從而影響他們的身心健康。斯坦福的研究者認為這類推薦演算法是未對齊的，因為它們“只是簡單的以使用者參與度作為指標，而忽視了那些難以測量的，對社會、對個人健康造成的影響。”為避免負面後果，人工智慧設計者有時會設立一些簡單的行為禁止列表，或將道德準則形式化，就如阿西莫夫的機器人三定律所描繪的那樣。然而，和諾維格認為這忽略了人類道德價值的複雜性：“僅憑人類，去預測並排除機器在嘗試達成特定目標時會採取的危險方式，這是十分困難，或者說甚至是不可能完成的。”此外，即便人工智慧系統理解人類的意圖，它們也可能完全漠視這些意圖。因為人工智慧系統的行事依據其設計者編寫的目標函式、示例或反饋系統，而不是他們的意圖。系統性風險.政府和商業公司可能有動機傾向忽視安全性，部署未對齊的人工智慧系統。例如上文所舉的社交媒體推薦引擎的案例，它可帶來巨大盈利，但同時在全球範圍內引發了電子成癮，並加劇社會極化。此外，相互之間的競爭壓力可能會導致逐底競爭，正如案件中所見到的那樣：自動駕駛汽車撞死了路過的行人伊萊恩·赫茨伯格。調查發現，汽車在由電腦控制駕駛時禁用了緊急剎車系統，因為該系統過於敏感，可能會影響駕駛體驗。高階人工智慧的未對齊風險.一些學者尤其關注高階人工智慧系統的對齊問題，其動機主要有以下幾點：人工智慧行業的迅速發展，來自政府及產業界的急切部署意願，以及與人工智慧先程序度成正比的對齊難度。截至2020年，包括 OpenAI 和 DeepMind 在內的超過70個公開專案都表達了發展通用人工智慧的意願，通用人工智慧是一個假想的系統，能夠表現出與人類相當、甚至是超出人類水平的認知能力。事實上，神經網路研究者已觀察到越來越多的普遍且出乎意料的能力，這些神經網路模型可以學習操作電腦、編寫自己的程式，並有能力執行其它廣泛的任務。調查顯示，一些人工智慧研究者認為通用人工智慧時代很快就會到來，另一些人則認為這還需要較長時間，而更多人表示這兩種情況都有可能發生。尋求資源控制權.目前的人工智慧系統還未具備透過長期規劃或戰略感知導致人類生存危機的能力。但未來具備這種能力的系統。人們在許多強化學習系統中都觀察到這種權力渴求的傾向。最近的研究在數學層面上展示了最佳的強化學習演算法會試圖從環境中攝取資源。因此，許多人認為應在具備權力渴求的高階人工智慧系統出現之前解決對齊問題，以免出現不可挽回的後果。生存危機.部分科學家認為，未對齊的人工智慧系統可能會挑戰人類在地球的主導地位，可能會剝奪人類的權力，甚至導致人類滅絕。人工智慧系統的能力越強大，對齊的難度也相應增加，因為它們可以輕易的從指定規則中找到漏洞、影響周遭環境、維持和發展自身能力與智力，並有意誤導設計者。強大的人工智慧系統有更多自主性，對其行為的監視和闡釋也更加困難。研究進展.對人類價值偏好的學習.指導人工智慧以人類的價值偏好行動並不是個容易的問題，因為人類的價值觀念複雜且難以說明完整。假如人類為人工智慧系統設定的是個非完美或不完整的目標，那麼以目標為導向的系統通常會嘗試利用這種不完美性。這種現象被稱為，或人工智慧系統的規則博弈，或古德哈特定律在該領域的應用。為使人工智慧系統的抉擇儘可能符合原始意圖，研究者常會使用具備“價值導向”的資料集，應用或方法。這其中的關鍵問題是監管的可擴充套件性，也即如何監督一個在特定領域表現超出人類的系統。訓練目標導向的人工智慧系統時，僅憑手動制定的獎勵函式難以對其行為作出約束。替代方法是使用模仿學習：人工智慧系統模仿設計者傾向看到的行為。在反向強化學習則是讓人工智慧系統與人類合作尋找合適的獎勵函式。合作反向強化學習強調人工智慧獎勵函式的不確定性，這種謙遜態度可減少規則博弈或權力渴求的傾向。不過，合作反向強化學習假設了人類可以表現出近乎完美的行為，面對困難目標，這是個有誤導性的假設。另有研究者探討了使用引導人工智慧作出複雜行為的可能。依據這種方式，人類不必向人工智慧演示具體做法，而是根據偏好對其行為提供反饋。然後就此訓練輔助模型，用作調整人工智慧的行為，以符合人類偏好。來自 OpenAI 的研究者使用偏好學習方法在一個小時內教會了人工智慧系統後空翻，這種行為通常很難由人類親自演示。偏好學習也是推薦系統、網路搜尋、資訊檢索的重要工具。不過，偏好學習的一個缺陷是獎勵作弊，即輔助模型可能無法準確表達人類的可能反饋，而人工智慧模型可能會強化其中的不匹配程度。目前的大型語言模型。紅隊模擬攻擊是指藉助人類或另一個人工智慧系統，嘗試找到某種使目標系統表現出不安全行為的輸入。即使不安全行為出現的機率較低，這也是不可接受的，因此研究者需要將不安全行為機率引導至極低水平。儘管偏好學習可向人工智慧系統指定難以表達的行為，但對於人類價值理念的輸入需要以大量資料集或人類互動作為基礎。為此提供了一種輔助手段：向人工智慧系統灌輸道德價值。機器倫理學旨在教授給這些系統人類道德的規範基礎，例如幸福、平等、公正；避免有意傷害；避免謬誤；遵循承諾。機器倫理學的目標是賦予人工智慧系統一套適用於廣泛場景的價值準則。這種方法有其自身的概念性挑戰，研究者需要澄清對齊的目標：人工智慧系統需要遵循設計者所作規則的字面意義，他的隱含意圖，他的顯示性偏好，他在充分知情時的偏好，還是設計者的客觀利益，或？其它挑戰還包括將不同利益相關者的偏好彙總，並避免出現價值鎖定——即防止人工智慧系統在某一時刻鎖定自身價值系統，不再隨發展而改變，這種固定的價值系統通常無法具備完整的代表性。可擴充套件監管.隨著人工智慧系統規模擴大，對它的監督難度也隨之升高。人工智慧系統被部署解決許多複雜的任務，而人類難以評估這些成果的實際效用。這些任務包括總結書籍內容、創作有說服力且真實的言論、編寫穩定執行且無安全漏洞的程式碼、預測長期事件旨在減少上述過程所花費的時間，並幫助人類更好的監督人工智慧的行為。人工智慧研究者保羅·克里斯蒂亞諾指出，人工智慧系統擁有者可能更傾向於為該系統設定容易評估的目標，而非開發可擴充套件監管技術，因為這種做法較為簡單且仍可獲得利潤。他認為這種傾向會促使“一個針對可獲利專案不斷最佳化的世界，這些專案可以是引導使用者點選按鈕、促使使用者在其產品中花費大量時間，而不是考慮朝著有利於我們的規則改良前進。”容易評估的目標可以是要求人工智慧的輸出達到某個分數。一些人工智慧系統已找到快速達成這種目標的捷徑：它們會嘗試迷惑人類監督者，作出有說服力卻並非真實的行為。一些人工智慧系統還可意識到它們正受評估，表現出“裝死”，直到評估結束後才恢復原行為。精密程度高的人工智慧系統可更輕易的執行這類欺騙性為，並且目標難度越高，人工智慧越有可能出現欺騙行為。假如模型具備規劃能力，那麼它們或許可從其監視者眼中掩藏所作的欺騙行為。在汽車產業，大眾集團工程師曾在汽車中部署用於規避實驗室尾氣檢測的系統，這顯示出逃避監測有時會受到現實世界的激勵。其它比如主動學習來模仿監督者可能作出的決斷。然而，假如任務過於複雜以至難以準確評估，或人類監督者過於容易受欺騙，那麼就無法有效的降低所需的監督工作量。為增加監督質量，研究者提出了許多方法，例如使用人工智慧助手輔助監督。克里斯蒂亞諾提出了迭代放大的方法，即透過迭代手段透過對簡單問題的組合建立針對複雜問題反饋訊號。迭代放大可應用在人工智慧對書籍內容的總結，人類監督者不必閱讀書籍內容便可評估其成果。另一種對齊方法是讓兩個人工智慧系統做辯論，並由人類決定其中勝者。這種辯論的目的是找出針對複雜問題的回答中的脆弱部分，並獎勵人工智慧作出的真實且安全的回答。誠實的人工智慧.人工智慧對齊領域的一個重要方向是確保人工智慧的誠實可信。牛津大學的研究人員表示，雖然類似GPT-3的大型語言模型可生成語法正確的文字，卻也可能從其海量訓練材料中繼承謬誤，甚至有意對人類撒謊。為模仿人類寫作，目前最先進的語言模型使用數百萬本書籍和大量網際網路文字作為訓練材料。這些材料可供它們學習寫作技巧，卻也包含有常見的謬誤、不準確的醫療建議和陰謀論。於是由這些材料訓練而來的人工智慧系統也可能模仿類似的錯誤言論。此外，假如事先給語言模型一段提示，那麼它們經常會順著這些提示繼續生成空洞的回答，或完全捏造虛假事實。例如我們要求該模型為某人工智慧研究者寫一段傳記，它會為這篇傳記新增許多錯誤的細節。為增加現代人工智慧系統的可信度，研究者嘗試了不同方向的解決方案。來自 OpenAI 和 DeepMind 的研究者開發了可引述人工智慧系統，它們在作出回答的同時會引述對應說明理由，這可以增加人工智慧系統的透明性和可信度。來自 OpenAI 和 Anthropic 的研究者藉由來自人類的反饋以及特殊資料集微調人工智慧助手，以避免無意的謬誤或不確定的回答。除技術解決方案外，研究者還認為應定義明確的真實性標準，並建立監管團體或監督機構，以在人工智慧系統部署前及執行時針對這些標準進行評估。研究者亦區分了人工智慧的真實性與誠實的差別，真實性是指它們只提出客觀真實的敘述，而誠實是指它們只提出自認為真實的敘述。最近研究發現，目前最先進的人工智慧系統似乎並無穩固的信念，因此較難得知它們的誠實度。此外，有人憂慮未來的人工智慧系統可能會向人類隱藏真實信念。在極端情況下，一個未對齊的人工智慧可能會欺騙操作者，使其誤以為它是安全的，或製造一切平穩執行的假象。一些人指出，假如人工智慧只作出它們自認為真實的表述，這將可以避免對齊中遇到的眾多問題。內部對齊與自發目標.對齊研究旨在考慮下述三種人工智慧系統的目標：“外部未對齊”是指預期目標不一致。內部未對齊常可由生物演化比喻作出解釋。在人類祖先環境，演化藉由整體適應度篩選人類基因，但人類卻發展出了其它目標。適應度對應上述的。例如，人類對甜味食物的喜好本是有益的，但在現代卻導致暴食和健康問題。而避孕技術的使用則是直接違反了整體適應度。以此為比喻，假如人工智慧開發者以整體適應度作為最初目標，那麼他們雖然在訓練環境中觀察到模型行為符合這一目標，卻無法預知實際部署後模型自發目標的非預期變化。為移除未對齊的自發目標，研究者使用了紅隊模擬攻擊、驗證、異常檢測、可解釋性等方法。這些方法或許可以減少下述兩類開放問題：第一，自發目標只在訓練環境之外才可被明顯注意，然而假如這些系統部署於高風險環境，那麼即使短時間的未對齊也可能造成巨大風險。高風險環境可以是自動駕駛汽車、醫保系統、軍事應用。並且隨著人工智慧系統自主性和能力的提高，它們或可無視人類的干涉。權力奪取和工具目標.自1950年代起，研究者就試圖製造具備長期預測與規劃能力的人工智慧系統。然而一些人認為，這類先進的人工智慧系統或許無可避免的帶有從周圍環境奪取權力的傾向，例如逃避被關機的命運或竭力汲取資源。這種傾向並非寫在人工智慧系統的程式碼中，而是隨執行而出現的，因為更大的權力意味著可更輕易達成系統設定的廣泛目標。因此，權力奪取也是一種工具趨同目標。儘管在現今的系統中權力奪取傾向並不常見，但隨著人工智慧長期預測能力的提高，它們有更大的可能具備這種傾向。目前已注意到在最優強化學習中，代理會尋求更多的選擇，籍此獲取權力了，這種行為在不同環境下都有出現。還發現在簡單開發環境中，一些系統為達成目標會試圖阻止人類的干涉，甚至阻止關機行為。以一個預設目標為端咖啡的機器人作為例子，他認為即使是這類機器人也會嘗試避免被關機，因為“假如一旦你死了就不能再端咖啡了”。假想的人工智慧系統可能會透過以下方式奪權：……打破封閉環境；破譯；獲得金融或額外的計算資源；為自身建立副本；獲得未經授權的能力、資訊或影響渠道；誤導或欺騙人類；抗拒、操縱對其行為的監控或理解……模仿人類；要求人類為自己做事；……操縱人類話語和政治；削弱各種人類機構和響應能力；佔領物理設施，例如工廠或實驗室；發展特定型別的科技與設施；或直接傷害、壓制人類。研究者希望將人工智慧系統訓練為“可糾正的”，即該系統不會試圖奪取權力，並且接受人類的關機、修改等企圖。另一未解決的問題是“獎勵作弊”：人工智慧系統因出現權力奪取的意圖而被懲罰後，它會進化出更隱蔽的權利奪取方式。研究者創造了一些技術與工具用於探測這類隱蔽行為，並試圖解釋黑箱模型的內部工作原理。此外，研究者還提出，可以藉助模糊化人工智慧系統的目標來解決其可能拒絕被關機的問題。假如人工智慧不能確定自己追尋的目標，那麼它們就不會抗拒人類的關機動作，因為人類的關機意圖表明它們先前所追尋的目標是錯誤的。不過要將這種理念轉化為實用系統還需有更多研究。具備權利奪取傾向的人工智慧系統帶來的風險與人類以往遇到的十分不同。傳統上安裝于飛機或橋樑的安全攸關係統不是“敵對的”，因為它們既無意圖也無能力逃避安全措施。然而具備權利奪取傾向的人工智慧系統則相反，它更像是個擺脫了安全防護措施的駭客。此外，傳統科技設施可藉由測試與排錯來獲得更高的安全性，而具備權利奪取傾向的人工智慧系統無法透過這種方式取得安全性，它們像是病毒，可以持續演化和擴張——甚至可能比人類社會發展更快，從而剝奪人類權力或導致人類滅絕。因此有人提出，應在具備權利奪取傾向的高階人工智慧系統出現前儘早解決人工智慧的對齊問題。不過也有批評指出權利奪取的傾向並非無可避免，因為即便是人類也並非時刻在追尋權力，或許僅是出於演化的緣由才這麼做。此外，關於未來人工智慧系統是否需要具備長期規劃能力也存在爭論。嵌入式代理.有關可擴充套件監管的工作大多集中在諸如POMDPs的形式化過程。目前的形式化過程假定代理演算法執行與外部環境分離，也即不在物理上嵌入。嵌入式代理是一個新興的研究領域，旨在解決理論框架與人類創造的真實代理系統之間的不匹配問題。舉例而言，即便可擴充套件監管問題已被解決，一個擁有計算機許可權的代理系統或許仍有動機竄改其獎勵回饋系統以獲取更多獎勵。DeepMind研究者維多利亞·克拉科夫娜記錄了一些獎勵作弊的案例，其中包括一類遺傳演算法，它學會了刪除包含目標輸出的檔案，以便在輸出空值時獲得獎勵。這類問題可藉助因果獎勵圖表形式化。來自牛津和DeepMind的研究人員認為，這類問題行為在高階人工智慧系統中更有可能出現，並且高階人工智慧系統會試圖奪取權力以保證持續獲取到獎勵訊號。研究人員也為這個開放問題提出了一些可能的解決方向。質疑.儘管有上述的憂慮，但也有一些人認為關於超智慧風險行為的擔憂是毫無意義的。這些懷疑者通常認為沒有必要控制超智慧的行為能力。有些懷疑者，例如。公共政策.許多政府機關與條約組織都發表宣告支援人工智慧對齊研究的重要性。2021年9月，聯合國秘書長在一份宣言中發起了關於監管人工智慧的倡議，期望藉此將其“與全球共同價值對齊”。同月，中國科技部發布了有關人工智慧研究的道德準則。依據這一準則，研究者必須保證人工智慧遵循人類共同價值，確保可控，並且不會危害公共安全。英國也在同一時間釋出了未來十年國家人工智慧戰略目標，其中表示英國政府將“嚴肅考慮未對齊的人工通用智慧的長期風險，及其對世界不可預見的改變。”該戰略也包含了針對人工智慧長期風險將會採取的行動。2021年3月，美國人工智慧國家安全委員會發表宣告稱“人工智慧的進步可能引發拐點或能力躍遷。這些進步也可能引發新的安全隱患、風險，或是對新政策、指導、技術的需求，以滿足安全性、穩健性和可信度，並保證系統目標與價值的對齊。美國應當……確保人工智慧系統及其使用符合我們的價值與目標。”