AIアライメント
1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210153534/https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064 2022年9月6日閲覧。.
↑ “UN Secretary-General's report on "Our Common Agenda"”. p. 63 (2021年). 2023年2月16日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values”
↑ The National New Generation Artificial Intelligence Governance Specialist Committee (2021年10月12日). “Ethical Norms for New Generation Artificial Intelligence Released”. 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。
↑ Richardson, Tim (2021年9月22日). “UK publishes National Artificial Intelligence Strategy”. The Register.
AIとアライメントの研究は、主に、部分観測マルコフ決定過程のような形式論の中で行われている。既存の形式論では、AIエージェントのアルゴリズムは環境の外で実行される(つまり環境内に物理的に埋め込まれていない)ことを想定している。埋め込みエージェンシー(embedded agency)は、このような理論的枠組みと開発者が構築する実際のエージェントとの間の不一致から生じる問題を解決しようとする、もう一つの主要な研究分野である。
たとえば、スケーラブルな監視の問題が解決されたとしても、自身が動作しているコンピュータにアクセスできるエージェントは、人間の監督者が与えるよりもはるかに多くの報酬を得るために、報酬関数を改ざんする動機をもつ可能性がある。DeepMindの研究者Victoria Krakovnaによる仕様ゲームの例のリストには、何も出力しなくても報酬が得られるように、目的出力を含むファイルを削除することを学習した遺伝的アルゴリズムが含まれている。この種の問題は、因果インセンティブ図を使用して形式化されている。
オックスフォード大学とDeepMindの研究者らは、このような問題のある行動は高度なシステムで起こる可能性が高く、高度なシステムは報酬信号を無期限かつ確実に制御し続ける能力を追求するだろうと主張した。研究者らは、この未解決の問題に対処するためのさまざまな手法の可能性を提案している。
2022年8月26日閲覧。
↑ Shermer, Michael (2017年3月1日). “Artificial Intelligence Is Not a Threat—Yet”. Scientific American. 2017年12月1日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (22 July 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。 Laskin, Michael; Wang, Luyu; Oh, Junhyuk; Parisotto, Emilio; Spencer, Stephen; Steigerwald, Richie; Strouse, D. J.; Hansen, Steven; Filos, Angelos; Brooks, Ethan; Gazeau, Maxime; Sahni, Himanshu; Singh, Satinder; Mnih, Volodymyr (25 October 2022).
Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230315193000/https://link.springer.com/book/10.1007/978-3-030-39958-0 2022年7月23日閲覧。
↑ Wiblin, Robert (2 October 2018). "Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems" (Podcast). 80,000 hours. No. 44. 2022年12月14日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
↑ Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020).
“DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. 2023年2月10日時点のオリジナルよりアーカイブ。2022年9月9日閲覧。 Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. 2023年1月17日時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
↑ Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114220/https://jair.org/index.php/jair/article/view/11222 2022年9月12日閲覧。.
↑ Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02).
VentureBeat. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
↑ Saunders, William; Yeh, Catherine; Wu, Jeff; Bills, Steven; Ouyang, Long; Ward, Jonathan; Leike, Jan (13 June 2022). "Self-critiquing models for assisting human evaluators". arXiv:2206.05802 [cs.CL]。 Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia; McKinnon, Cameron; Chen, Carol; Olsson, Catherine; Olah, Christopher; Hernandez, Danny; Drain, Dawn (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073 [cs.CL]。
↑ Moltzau, Alex (2019年8月24日). “Debating the AI Safety Debate”. Towards Data Science. 2022年10月13日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
1 2 3 4 5 6 7 8 9 10 Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette et al. (2022-07-12). “On the Opportunities and Risks of Foundation Models”. Stanford CRFM. arXiv:2108.07258. https://fsi.stanford.edu/publication/opportunities-and-risks-foundation-models.
1 2 3 Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, J.; Hilton, Jacob; Kelton, Fraser; Miller, Luke E.; Simens, Maddie; Askell, Amanda; Welinder, P.; Christiano, P.; Leike, J.; Lowe, Ryan J. (2022). "Training language models to follow instructions with human feedback". arXiv:2203.02155 [cs.CL]。
1 2 “OpenAI Codex”. OpenAI (2021年8月10日).
2022年10月10日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers. United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.
1 2 3 4 5 6 7 8 9 10 11 Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 June 2016). "Concrete Problems in AI Safety" (英語). arXiv:1606.06565 [cs.AI]。
1 2 3 4 “Building safe artificial intelligence: specification, robustness, and assurance”. DeepMind Safety Research – Medium (2018年9月27日).