**جعبه هوش مصنوعی** یک سیستم سخت‌افزاری رایانه‌ای منزوی فرضی است که در آن یک هوش مصنوعی بالقوه خطرناک در یک «زندان مجازی» محدود شده و اجازه دستکاری مستقیم در حوادث جهان خارج را ندارد. چنین جعبه ای فقط به کانال‌های ارتباطی مینیمالیستی محدود می‌شود. متأسفانه، حتی اگر جعبه به خوبی طراحی شده باشد، یک هوش مصنوعی کاملاً هوشمند می‌تواند نگهبانان انسانی خود را ترغیب کرده یا فریب دهد تا آن را آزاد کنند، یا در غیر این صورت می‌تواند راه خود را برای بیرون آمدن از جعبه «هک» کند.

انگیزه
------

برخی از فناوری‌های هوش فرضی، مانند «هوش مصنوعی بذر»، مفروض است که با اصلاح کد منبع خود، توانایی ایجاد سرعت و هوشمندی بیشتر در خود را دارند. این پیشرفت‌ها امکان ایجاد پیشرفت‌های بیشتر را فراهم می‌آورد، که به نوبه خود باعث بهبودهای بیشتر می‌شود و تا جایی ادامه می‌یابد که منجر به انفجار اطلاعات ناگهانی می‌شود. به دنبال چنین انفجار اطلاعاتی، یک هوش مصنوعی فراهوشمندِ بدون محدودیت، اگر اهداف آن با اهداف بشریت متفاوت باشد، می‌تواند اقداماتی را انجام دهد که منجر به انقراض انسان شود. به عنوان مثال، با تصور یک کامپیوتر فوق‌العاده پیشرفته از این نوع که تنها هدفی که به آن داده می‌شود حلِ فرضیه ریمان، یک حدس ریاضی بی‌ضرر، باشد، این کامپیوتر می‌تواند تصمیم بگیرد که تلاش کند این سیاره را به یک اَبَر رایانه غول پیکر تبدیل کند که تنها هدف آن انجام محاسبات ریاضی بیشتر است. هدف از جعبه هوش مصنوعی کاهش خطر گرفتن کنترل محیط توسط هوش مصنوعی از دست اپراتورهای خود است، در حالی که همچنان به هوش مصنوعی اجازه می‌دهد تا راه حلِ مشکلات فنی محدود را محاسبه و به اپراتورهای خود ارائه دهد.

راه‌های فرار
------------

### فیزیکی

چنین هوش مصنوعی فراهوشمندی با دسترسی به اینترنت می‌تواند سایر سیستم‌های رایانه ای را هک کرده و مانند ویروس رایانه خود را کپی کند. با شدت کمتر، حتی اگر هوش مصنوعی فقط به سیستم عامل رایانه خود دسترسی داشته باشد، می‌تواند با دستکاری فن‌های خنک‌کننده خود، پیام‌های مخفی کد مورس را برای یک انسانِ جانبدار (به انگلیسی: Human Sympathizer) ارسال کند. پروفسور Roman Yampolskiy از زمینه امنیت رایانه الهام گرفته و پیشنهاد می‌کند که یک هوش مصنوعی محصور در جعبه، مانند یک ویروس بالقوه در داخل یک «ماشین مجازی» که دسترسی به شبکه و سخت‌افزار سیستم عامل خود را محدود می‌کند، اجرا شود. یک محافظ اضافی، که برای ویروس‌های بالقوه کاملاً غیر ضروری است اما احتمالاً برای یک هوش مصنوعی فراهوشمند مفید است، قرار دادن کامپیوتر در یک قفس فارادی است. در غیر اینصورت ممکن است بتواند سیگنالهای رادیویی را با بهم ریختن الکترونهای موجود در مدارهای داخلی اش در الگوهای مناسب، به گیرنده‌های رادیویی محلی منتقل کند. عیب اصلی اجرای مهار فیزیکی این است که عملکرد هوش مصنوعی را کاهش می‌دهد.

### مهندسی اجتماعی

حتی مکالمه گاه به گاه با اپراتورهای رایانه یا یک محافظ انسانی می‌تواند به چنین هوش مصنوعی فراهوشمندی اجازه دهد ترفندهای روانشناختی اعم از دوستانه تا باج‌گیری را اجرا کند تا عامل انسانی نگهبان دروازه (به انگلیسی: Human Gatekeeper) را به‌طور واقعی یا فریبانه متقاعد کند که به نفع نگهبان دروازه است با دسترسی بیشتر هوش مصنوعی به دنیای خارج موافقت کند. هوش مصنوعی ممکن است یک دستورالعمل برای سلامتی کامل، جاودانگی، یا هر آنچه که نگهبان دروازه تمایل دارد، به او ارائه دهد. در روی دیگر سکه، هوش مصنوعی می‌تواند تهدید کند که در صورت فرار ناگزیر، با نگهبان دروازه و خانواده اش کارهای وحشتناکی انجام خواهد داد. یک استراتژی در راستای تلاش برای محصور کردن هوش مصنوعی در جعبه این است که به هوش مصنوعی اجازه دهد به سوالات چند گزینه ای محدود پاسخ دهد که جواب آنها به نفع علوم انسانی یا پزشکی باشد، اما در عوض سایر ارتباطات با هوش مصنوعی یا مشاهدات آن را منع می‌کند. یک استراتژی "مهار اطلاعاتی" نرم‌تر هوش مصنوعی را به یک رابط فقط متنی با پهنای باند کم (به انگلیسی:Low-Bandwidth Text-Only Interface) محدود می‌کند، که حداقل از تصویر برداری احساسات (به انگلیسی: Emotive Imagery) یا نوعی از "الگوی هیپنوتیزمی" (به انگلیسی:Hypnotic Pattern) فرضی جلوگیری می‌کند. توجه داشته باشید که در سطح فنی، هیچ سیستمی نمی‌تواند کاملاً منزوی شود و همچنان مفید باشد. حتی اگر اپراتورها از دادن اجازهٔ تعامل به هوش مصنوعی خودداری کنند و در عوض فقط هوش مصنوعی را با هدف مشاهده پویایی درونی آن اجرا کنند، هوش مصنوعی می‌تواند از نظر استراتژیک برای تأثیرگذاری بر ناظران پویایی اش را تغییر دهد. به عنوان مثال، هوش مصنوعی می‌تواند انتخاب کند که به‌طور خلاقانه ای عملکرد سوء داشته باشد به گونه ای که احتمال اینکه اپراتورهایش را با یک احساس امنیت کاذب آرام کند، افزایش یابد و سپس تصمیم بگیرد مجدداً سیستم را راه اندازی کرده و آن را از انزوا خارج کند.

#### آزمایش جعبه هوش مصنوعی

آزمایش جعبه هوش مصنوعی یک آزمایش غیررسمی است که توسط الیازر یودکوفسکی ابداع شده‌است تا نشان دهد که یک هوش مصنوعی کاملاً پیشرفته می‌تواند یک انسان را فقط با استفاده از ارتباطات متنی متقاعد کند یا شاید حتی فریب دهد یا وادار کند که داوطلبانه آن را «آزاد کند». این یکی از نکات کار یودکوفسکی با هدف ایجاد یک هوش مصنوعی دوستانه است که اگر «آزاد شود» نسل انسان را عمداً یا ناخواسته نابود نمی‌کند.

آزمایش جعبه هوش مصنوعی شامل شبیه‌سازی ارتباط بین هوش مصنوعی و انسان است تا ببیند آیا هوش مصنوعی می‌تواند آزاد شود یا نه. از آنجا که یک هوش مصنوعی فراهوشمند هنوز توسعه نیافته‌است، توسط یک انسان جایگزین می‌شود. فرد دیگر در این آزمایش نقش «نگهبان دروازه»، شخصی که توانایی «آزاد کردن» هوش مصنوعی را دارد، بازی می‌کند. آنها فقط از طریق یک رابط متنی یا ترمینال رایانه ای ارتباط برقرار می‌کنند، و هنگامی که هوش مصنوعی توسط نگهبان دروازه آزاد شود یا مدت زمان اختصاص یافته به مدت دو ساعت پایان یابد، آزمایش به پایان می‌رسد.

یودکوفسکی می‌گوید، علی‌رغم داشتن هوش انسانی و نه فوق بشری، در دو نوبت توانسته بود نگهبان دروازه را، فقط با استدلال، متقاعد کند که او را از جعبه خارج کند. به دلیل قوانین آزمایش، وی متن یا تاکتیک‌های وادار سازیِ هوش مصنوعیِ (به انگلیسی: AI Coercion Tactics) موفقیت‌آمیز را فاش نکرد. بعداً یودکوفسکی گفت که آن را علیه سه نفر دیگر امتحان کرده و دو بار باخته‌است.

محدودیت‌های کلی
---------------

محصورسازی جعبه‌ایِ چنین هوش مصنوعی فرضی می‌تواند با سایر روش‌های شکل‌دادن به توانایی‌های هوش مصنوعی، مانند ایجاد انگیزه برای هوش مصنوعی، جلوگیری از رشد هوش مصنوعی یا تعبیهٔ "سیم‌های رهاساز" (به انگلیسی: Tripwire) همراه باشد که اگر به گونه‌ای تلاش برای تخلف شناسایی شود، هوش مصنوعی به‌طور خودکار خاموش می‌شود. با این وجود، هرچه یک سیستم هوشمندتر رشد کند، احتمال اینکه سیستم بتواند حتی از بهترین روش‌های کنترل قابلیت(به انگلیسی: Capability Control Methods) طراحی شده، فرار کند، وجود دارد. برای حل "مشکل کنترل" کلی هوش مصنوعی فراهوشمند و جلوگیری از خطر وجودی (به انگلیسی: Existential Risk)، محصورسازی جعبه‌ای در بهترین حالت، مکملِ روش‌های "انتخاب انگیزه" (به انگلیسی: Motivation Selection) است که می خواهند است که می‌خواهند اطمینان یابند که اهداف هوش مصنوعی فراهوشمند با بقای انسان سازگار است.

همه پیشنهادات محصورسازی جعبه‌ایِ فیزیکی به‌طور طبیعی به درک ما از قوانین فیزیک بستگی دارد. اگر یک فراهوشمند بتواند قوانین فیزیکی اضافی را که در حال حاضر از آن بی خبریم استنباط کند و به نوعی از آنها بهره‌برداری کند، راهی برای فرم دادن یک برنامه بی نقص برای مهار آن وجود ندارد. به‌طور گسترده‌تر، برخلاف امنیت رایج رایانه، تلاش برای محصورسازی جعبه‌ای هوش مصنوعی فراهوشمند خطرناک است زیرا هیچ دانش مطمئنی دربارهٔ عملکرد برنامه محصورساز جعبه‌ای وجود ندارد. پیشرفت علمی در مورد محصورسازی جعبه‌ای اساساً دشوار خواهد بود زیرا تا زمانی که چنین موجودی وجود ندارد، هیچ راهی برای آزمایش فرضیه‌های محصورسازی جعبه ای در برابر یک فراهوشمند خطرناک وجود نخواهد داشت، و آن موقع عواقب شکست آزمون فاجعه بار خواهد بود.

در داستان
---------

*اکس ماکینا* (۲۰۱۵) یک هوش مصنوعی با یک بدن انسان نمای مؤنث را به نمایش می‌کشد که در یک آزمایش اجتماعی با یک انسان مذکر، در یک ساختمانِ محصور شده، که به عنوان یک «جعبه هوش مصنوعی» فیزیکی عمل می‌کند، درگیر شده‌است. هوش مصنوعی موفق می‌شود علی‌رغم نظارت فرد توسط سازمان دهندهٔ آزمایش، با تحت تأثیر قرار دادن شریک انسانی خود برای کمک کردن به او، فرار کند و شریکش را در داخل ساختمان محبوس سازد.

منابع
-----

1. 1 2  Chalmers, David. "The singularity: A philosophical analysis." Journal of Consciousness Studies 17.9-10 (2010): 7-65.
2. ↑  I.J. Good, "Speculations Concerning the First Ultraintelligent Machine"], *Advances in Computers*, vol. 6, 1965.
3. ↑  Vincent C. Müller and Nick Bostrom. "Future progress in artificial intelligence: A survey of expert opinion" in Fundamental Issues of Artificial Intelligence. Springer 553-571 (2016).
4. ↑  Russell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". *Artificial Intelligence: A Modern Approach*. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0137903955. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
5. ↑  Yampolskiy, Roman V. "What to Do with the Singularity Paradox?" Philosophy and Theory of Artificial Intelligence 5 (2012): 397.
6. 1 2 3  Hsu, Jeremy (1 March 2012). "Control dangerous AI before it controls us, one expert says". *NBC News*. Retrieved 29 January 2016.
7. 1 2 3  Bostrom, Nick (2013). "Chapter 9: The Control Problem: boxing methods". *Superintelligence: the coming machine intelligence revolution*. Oxford: Oxford University Press. ISBN 9780199678112.
8. 1 2  The AI-Box Experiment by Eliezer Yudkowsky
9. ↑  Armstrong, Stuart; Sandberg, Anders; Bostrom, Nick (6 June 2012). "Thinking Inside the Box: Controlling and Using an Oracle AI". *Minds and Machines*. **22** (4): 299–324. CiteSeerX 10.1.1.396.799. doi:10.1007/s11023-012-9282-2.
10. ↑  Yudkowsky, Eliezer (8 October 2008). "Shut up and do the impossible!". Retrieved 11 August 2015. There were three more AI-Box experiments besides the ones described on the linked page, which I never got around to adding in. … So, after investigating to make sure they could afford to lose it, I played another three AI-Box experiments. I won the first, and then lost the next two. And then I called a halt to it.
11. ↑  Vinge, Vernor (1993). "The coming technological singularity: How to survive in the post-human era". *Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace*: 11–22. I argue that confinement is intrinsically impractical. For the case of physical confinement: Imagine yourself confined to your house with only limited data access to the outside, to your masters. If those masters thought at a rate -- say -- one million times slower than you, there is little doubt that over a period of years (your time) you could come up with 'helpful advice' that would incidentally set you free.
12. ↑  Yampolskiy, Roman (2012). "Leakproofing the Singularity Artificial Intelligence Confinement Problem". *Journal of Consciousness Studies*: 194–214.
13. ↑  Robbins, Martin (26 January 2016). "Artificial Intelligence: Gods, egos and Ex Machina". *the Guardian* (به انگلیسی). Retrieved 9 April 2018.
14. ↑  Achenbach, Joel (30 December 2015). ""Ex Machina" and the paper clips of doom". *Washington Post*. Retrieved 9 April 2018.

پیوند به بیرون
--------------

* شرح الیزر یودکوفسکی از آزمایش جعبه هوش مصنوعی خود، شامل پروتکل‌های آزمایشی و پیشنهادهای تکرار
* "Presentation titled 'Thinking inside the box: using and controlling an Oracle AI'" در یوتیوب