AIアライメント
com/publications/gophercite-teaching-language-models-to-support-answers-with-verified-quotes 2022年9月12日閲覧。.
↑ Askell, Amanda; Bai, Yuntao; Chen, Anna; Drain, Dawn; Ganguli, Deep; Henighan, Tom; Jones, Andy; Joseph, Nicholas; Mann, Ben; DasSarma, Nova; Elhage, Nelson; Hatfield-Dodds, Zac; Hernandez, Danny; Kernion, Jackson; Ndousse, Kamal (9 December 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861 [cs.CL]。
↑ Cox, Joseph (2023年3月15日). “GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human”. Vice. 2023年4月10日閲覧。
↑ “Alignment of Language Agents”. DeepMind Safety Research – Medium (2021年3月30日). 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
↑ McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (2006-12-15).
たとえば、大規模言語モデルでは、その真偽にかかわらず、自身の見解をユーザーの意見に合わせることが多くなっている。GPT-4は人間を戦略的に欺(あざむ)く能力を実証した。これを防ぐには、人間の評価者の支援を必要とするかもしれない( § スケーラブルな監視を参照)。研究者らは、真実性の明確な基準を策定し、規制当局や監視機関がこれらの基準に基づいてAIシステムを評価するべきだと主張している。
研究者らは、真実性(truthfulness)と正直性(honesty)を区別している。真実性とは、AIシステムが客観的に正しいことのみを表明することであり、正直性とは、AIシステムが真実であると信じることのみを主張することである。現在のシステムが安定した信念を持っているかどうかについての総意は得られていない。しかし、信念を持つ現在または未来のAIシステムが、虚偽であるとわかっていながら主張する可能性には、多くの懸念がある。たとえば、そうすることで肯定的なフィードバックを効率的に得ることができたり( § スケーラブルな監視を参照)、与えられた目標を達成するのに役立つ能力を得られる場合である( § 能力追求と手段的戦略を参照)。整合を欠いたシステムは、修正されたり運用停止されたりするのを避けるために、整合しているという誤った解釈を起こさせる可能性がある。AIシステムに、自身が真実だと信じることだけを主張させることができれば、多くのアライメント問題を避けられるという意見もある。
OpenAIやDeepMindなどの主要なAI研究所は、幅広い認知タスクにおいて人間と同等、あるいは人間を上回る汎用人工知能(artificial general intelligence、AGI)を開発するという目標を掲げている。最新のニューラルネットワークを拡張した研究者らは、ニューラルネットワークがますます一般的で予想外の能力を開発することを発見した。このようなモデルは、コンピューターを操作したり、自分でプログラムを作成することを学んでいる。ひとつの「万能型」ネットワークが、チャット、ロボット制御、ゲーム、写真を解釈することができる。複数の調査によると、機械学習研究の第一人者の中には、AGIがこの10年以内に誕生すると予想する人もいれば、もっと時間がかかると考える人や、どちらも可能であると考えている人も多い。
2023年、AI研究と技術領域のリーダーたちは、最大規模のAI訓練を一時停止することを求める公開書簡に署名した。この書簡には「強力なAIシステムは、その効果が完全なものとなり、かつ、その危険性を管理可能であると確信できてから開発すべきである」と述べられている。
NIPS'18. Red Hook, NY, USA: Curran Associates Inc. pp. 5603–5614.
↑ Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114221/https://drops.dagstuhl.de/opus/volltexte/2014/4550/ 2022年9月12日閲覧。.
↑ Gao, Leo; Schulman, John; Hilton, Jacob (19 October 2022). "Scaling Laws for Reward Model Overoptimization". arXiv:2210.10760 [cs.LG]。
↑ Anderson, Martin (2022年4月5日). “The Perils of Using Quotations to Authenticate NLG Content”. Unite.AI. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
1 2 Wiggers, Kyle (2022年2月5日).
1 2 Leike, Jan; Martic, Miljan; Krakovna, Victoria; Ortega, Pedro A.; Everitt, Tom; Lefrancq, Andrew; Orseau, Laurent; Legg, Shane (28 November 2017). "AI Safety Gridworlds". arXiv:1711.09883 [cs.LG]。
1 2 3 4 Hadfield-Menell, Dylan; Dragan, Anca; Abbeel, Pieter; Russell, Stuart (2017-08-19). “The off-switch game”. Proceedings of the 26th International Joint Conference on Artificial Intelligence. IJCAI'17 (Melbourne, Australia: AAAI Press): 220–227. ISBN 978-0-9992411-0-3. https://dl.acm.org/doi/10.5555/3171642.3171675.
1 2 3 4 Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). "Optimal policies tend to seek power". Advances in neural information processing systems.
↑ Turner, Alexander Matt; Tadepalli, Prasad (2022).
現在のシステムでは、長期的なプランニング(戦略や行動順序の具体化)や状況認識(環境やその要素の変化に対する理解)といった能力がまだ欠落している。しかし、これらの能力を備えた将来のシステム(必ずしもAGIである必要はない)は、望ましくない能力追求型の戦略(power-seeking strategies)を発達させることが予想される。たとえば、将来の高度なAIエージェント(主体性をもつ存在)は、資金や計算能力を獲得したり、増殖したりして(たとえば、他のコンピュータ上でシステムを自己複製する)、停止することを回避しようとするかもしれない。能力追求は明示的にプログラムされているわけではないが、より多くの力を持つエージェントの方が目的を達成しやすいため、能力を追求する傾向が現れるかもしれない。この傾向は手段的収束(英語版)として知られ、言語モデルを持つさまざまな強化学習エージェントですでに現れている。
"Truthful AI: Developing and governing AI that does not lie". arXiv:2110.06674 [cs.CY]。
↑ Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。 Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446. https://ui.adsabs.harvard.edu/abs/2021arXiv211211446R/abstract.
↑ Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022).
一部の研究者によると、人間が他の生物種に対して優位に立つことができる理由は、その優れた認知能力によるものであるという。したがって、研究者らは、1つまたは多くの整合を欠いたAIシステムが、ほとんどの認知タスクで人間を上回った場合、人類を無力化したり、人類絶滅につながる可能性があると主張している。将来の高度なAIにおける不整合がもたらすリスクを指摘した著名なコンピューター科学者には、ジェフリー・ヒントン、アラン・チューリング、イリヤ・スツケヴェル(英語版)、ヨシュア・ベンジオ、ジュディア・パール、マレー・シャナハン(英語版)、ノーバート・ウィーナー、マービン・ミンスキー、フランチェスカ・ロッシ(英語版)、スコット・アーロンソン(英語版)、バート・セルマン(英語版)、デイビット・マカラスター(英語版)、ユルゲン・シュミットフーバー(英語版)、マーカス・ハッター(英語版)、シェーン・レッグ(英語版)、エリック・ホーヴィッツ(英語版)、スチュアート・ラッセルなどがあげられる。