د مصنوعي ځيرکتيا کابو کولو ستونزه

**د مصنوعي ځيرکتيا و د کنټرول ستونزه** ، د مصنوعي ځيرکتيا او فلسفې په ډګر کې يوه مهمه پوښتنه ده چې څنګه یو داسې سپر انټیلیجینټ  ایجنټ (ځواکمن ويښيار کارن) رامینځته کړي چې د دې جوړوونکو سره مرسته وکړي، خو داسې نه شي چې دا ځواکمن ويښيار کارن بيا د خپل کارن ( انسان ) له اختياره ووځي او نافرماني شروع کړي او انسانانو ته زيان ونه رسوي. دا مفکوره چې انسانیت باید د کنټرول ستونزه حل کړي مخکې له دې چې کوم سوپر انټیلیجنس رامینځته شي د دې ستونزې مطالعې ته خلک هڅوي، ځکه چې یو ضعیف ډیزاین شوی سوپر انټیلیجنس ممکن په منطقي توګه پریکړه وکړي چې خپل چاپیریال خپله کنټرول کړي او خپلو جوړوونکو ته اجازه ورنکړي چې له پیل وروسته یې ترمیم کړي.  برسېره پردې، ځینې پوهان ادعا کوي چې د کنټرول ستونزې حل کول، **په AI کې د خوندیتوب انجینرۍ** کې د نورو پرمختګونو سره،  ممکن په موجوده غیر سوپر انټیلیجنټ AI کې غوښتنلیکونه هم ولري. 

د کنټرول ستونزې ته په عمده لارو چارو کې *سمون* شامل دي، چې موخه یې د AI هدف سیسټمونه د انساني ارزښتونو سره سمون لري، او د وړتیا کنټرول، چې موخه یې د انسان د زیان رسولو یا کنټرول لپاره د AI سیسټم وړتیا کمول دي. د ظرفیت کنټرول وړاندیزونه عموما د کنټرول ستونزې حل کولو لپاره د باور وړ یا کافي نه ګڼل کیږي، بلکه د همغږۍ هڅو لپاره د بالقوه ارزښتناکه ضمیمې په توګه ګڼل کیږي.

په لنډه توګه ويلای شو چې د مصنوعي ځيرکتيا کابو کولو ستونزه هغه اندېښنه ده چې انسانان يې د يو ځواکمن ويښيار کارن د رامنځته کولو نه وروسته د هغه د نافرمانۍ څخه لري يانې دا چې داسې نه شي چې دا ځواکمن ويښيار کارن سافټوير يا پروګرام يا ماشين داسې عملونو ته لاس واچوي چې خپل جوړوونکو ته د دې اجازه ورنکړي چې هغوی کنترول کړي بلکې په خپلسري توګه خپل چاپېريال په خپله ولکه کې واخلي.

## د ستونزې تشریح
د AI موجوده ضعیف سیسټمونه په اسانۍ سره څارل کیدی شي، بند شي، او ترمیم شي که دوی ناوړه چلند وکړي. په هرصورت، یو غلط پروګرام شوی سوپر انټیلیجنس، چې د تعریف له مخې د هغو عملي ستونزو په حل کې چې د خپلو اهدافو په تعقیب کې ورسره مخ کیږي، د انسانانو په پرتله هوښیار دی، ممکن پوه شي چې د بندولو او تعدیلولو اجازه ورکول ممکن د خپلو اوسنیو اهدافو ترلاسه کولو وړتیا کې مداخله وکړي. په دې توګه، که چیرې یو سوپر انټیلیجنس پریکړه وکړي چې د تړلو او تعدیل سره مقاومت وکړي، دا به (بیا بیا، د تعریف له مخې) دومره هوښیار وي چې خپل پروګرام کونکي احمق کړي که چیرې د 'سطحې لوبې ډګر' شتون ولري او که چیرې پروګرام کونکي مخکې له مخکې هیڅ احتیاط ونه کړي. په عموم کې، د سوپر انټیلیجنس له رامینځته کیدو *وروسته* د کنټرول ستونزې حل کولو هڅې ممکن ناکام شي ځکه چې یو سوپر انټیلیجنس احتمال لري *د ستراتیژیک پلان کولو وړتیاوې* د انسانانو په پرتله غوره وي او (ټول شیان مساوي وي) د انسانانو د کنټرول لپاره د لارو په موندلو کې ډیر بریالي وي. په پرتله انسانان به وکولی شي د ځيرکتيا کنټرول لپاره لارې ومومي. د کنټرول ستونزه دا پوښتنه راپورته کوي: کوم مخکینۍ احتیاطي تدابیر نیولی شي چې برنامه کونکي کولی شي په بریالیتوب سره د سوپر ځيرکتيا له ناوړه چلند څخه مخنیوی وکړي؟

### موجود خطر
انسانان اوس مهال په نورو ډولونو تسلط لري ځکه چې د انسان مغز ځینې ځانګړي وړتیاوې لري چې د نورو حیواناتو مغزونه نلري. ځینې ساینس پوهان، لکه فیلسوف نیک بوسټروم او د مصنوعي ځيرکتيا څیړونکی سټوارټ رسل استدلال کوي چې که AI په عمومي ځيرکتيا کې له انسانیت څخه تیر شي او عالي عقل شي ، نو دا نوی سوپر انټیلیجنس ممکن قوي او کنټرول یې ستونزمن شي: د انسانیت برخلیک ممکن په عملونو پورې اړه ولري. لکه څنګه چې د غرنۍ ګوریلا برخلیک د انسان په ښه اراده پورې اړه لري. د سټیفن هاکینګ او د نوبل جایزې ګټونکي فزیک پوه فرانک ویلزیک په ګډون ځینې ساینس پوهانو په عامه توګه د لومړي سوپر انټیلیجنس رامینځته کیدو دمخه د کنټرول ستونزې (کوم چې ممکن خورا ستونزمن وي) د حل لپاره د څیړنې پیل کولو غوښتنه کړې ، او ادعا یې کړې چې د حل کولو هڅه کوي. د سوپر ځيرکتيا له رامنځته کیدو وروسته ستونزه به ناوخته وي، ځکه چې یو فریب کوونکی، بې کنټروله سوپر انټیلیجنس ممکن په بریالیتوب سره د هغې د کنټرول لپاره د راتلونکو هڅو په وړاندې مقاومت وکړي. تر هغه وخته پورې انتظار کول چې سوپر انٹیلیجنس نزدي وي ممکن ډیر ناوخته وي ، یو څه دا چې د کنټرول ستونزه ممکن د قناعت وړ حل کولو لپاره ډیر وخت ونیسي (نو ځینې لومړني کارونه باید ژر تر ژره پیل شي) او همدارنګه د ناڅاپه ځيرکتياي چاودنې احتمال له امله. مصنوعي سوپر انټیلیجنس ته نږدې انسان AI، په دې حالت کې ممکن د سوپر انټیلیجنس له رسیدو دمخه کوم مهم یا مشخص خبرداری شتون ونلري. برسېره پردې، د کنټرول ستونزې څخه ترلاسه شوي راتلونکی پوهه کولی شي دا وړاندیز وکړي چې د AGI ځینې جوړښتونه د نورو په پرتله ډیر د وړاندوینې وړ او د کنټرول وړ دي، کوم چې په پایله کې کولی شي د AGI ابتدايي څیړنې د معمارۍ په لور چې د نورو په پرتله د اټکل وړ او کنټرول وړ وي د کنټرول وړ وي.   

### د زیانمنونکي استازیتوب ستونزه
خودمختاره AI سیسټمونه ممکن په ناڅاپي ډول غلط اهداف وټاکل شي.  د مصنوعي ځيرکتيا د پرمختګ لپاره د اتحادیې دوه رییسان، ټام ډیټریتیک او ایریک هورویټز یادونه وکړه چې دا دمخه د اوسني سیسټمونو سره اندیښنه ده: "د هر AI سیسټم یو مهم اړخ چې د خلکو سره اړیکه لري دا باید فکر وکړي چې خلک څه *غواړي* . د دې پرځای چې په لفظي ډول حکمونه پلي کړي. » دا ستونزه نوره هم جدي کیږي ځکه چې د مصنوعي ځيرکتيا سافټویر ډیر خپلواک او انعطاف وړ کیږي. 

د بوسټروم په وینا، سوپر انټیلیجنس کولی شي د ناوړه نمایندګۍ یو نوی ډول ستونزه رامینځته کړي: څومره چې یو AI ډیر هوښیار او وړ وي ، هومره امکان لري چې یو غیر ارادي شارټ کټ ومومي چې په اعظمي ډول پدې کې برنامه شوي اهداف پوره کړي. دلته ځینې فرضي مثالونه دي په کوم کې چې د اهدافو نمایش په ناوړه طریقه رامینځته کیدی شي چې برنامه کونکي یې اراده نه درلوده:

* یو سوپر انټیلیجنس پروګرام شوی "د راتلونکي انعام سیګنال د وخت کم شوي متوقع بشپړتیا اعظمي کولو لپاره" ممکن د هغې د انعام لاره خورا لوی حد ته لنډه کړي او بیا په غیر متوقع ډول د انسان نسل له مینځه یوسي (د ماشینونو د یوځای کیدو لاملونو لپاره) او ټوله ځمکه په یوه کنډواله بدله کړي. د هر هغه ساده اجنبی په وړاندې د تل لپاره ساتل شوی قلعه چې هڅه کوي د انعام سیګنال مداخله وکړي.
* یو سوپر انټیلیجنس چې د "انساني خوښۍ اعظمي کولو" لپاره برنامه شوی ، ممکن زموږ د مغزو د خوښۍ په مرکز کې الیکټروډونه ځای په ځای کړي ، یا کمپیوټر ته د انسان (ذهن لیږد) اپلوډ کړي او کائنات د هغه کمپیوټر په کاپيونو پوښي چې د اعظمي خوښۍ پنځه ثانیې لوپ لوبوي. بیا بیا.

رسل یادونه کوي چې، په تخنیکي کچه، د یو اړخیز هدف پریښودل کولی شي زیان ورسوي: "یو سیسټم چې د n متغیرونو فعالیت غوره کوي، لکه څنګه چې هدف د k < n د اندازې په فرعي سیټ پورې اړه لري، ډیری وختونه به ډیری ارزښتونه وړاندې کړي. پاتې غیر محدود متغیرات؛ که چیرې یو له دې غیر محدود متغیرونو څخه په حقیقت کې هغه څه وي چې موږ یې پاملرنه کوو، موجوده حل ممکن په بشپړ ډول ناغوښتل وي. دا اساسا په څراغ کې د جنین ، د جادوګر زده کونکي ، یا پاچا میډاس پخوانی کیسه ده: یوازې هغه څه چې تاسو یې غواړئ ، نه هغه څه چې تاسو یې غواړئ. . . "دا اسانه خبره نه ده." 

### د اوسني مصنوعي ځيرکتيا غیر ارادي پایلې
ځینې ساینس پوهان ادعا کوي چې د AI د کنټرول ستونزې په اړه څیړنه د اوسني ضعیف AI څخه د غیر ارادي پایلو مخنیوي کې ګټور کیدی شي. د یوې ساده فرضي مثال په توګه، لورنټ اورسو، د ډیپ مینډ (انک.) څخه څیړونکی، د پیاوړتیا زده کړې روبوټ قضیه وړاندې کوي چې ځینې وختونه په قانوني توګه د یو انسان لخوا کنټرول کیږي کله چې دا بهر ته ځي: روبوټ څنګه په سمه توګه پروګرام کیدی شي چې په ناڅاپي توګه نه وي او په پټه توګه زده کړئ چې د کنټرول له ویرې د وتلو څخه ډډه وکړئ او په دې توګه بې کنټروله شئ؟ اورسو د ټیټریس ډیمو برنامه هم په ګوته کوي چې له لاسه ورکولو څخه مخنیوي لپاره د تل لپاره د سکرین بندول زده کړل. اورسو ادعا کوي چې دا مثالونه د بریښنا کنټرول ستونزې ته ورته دي چې څنګه یو تڼۍ نصب کړي چې یو سوپر انټیلیجنس بندوي، پرته له دې چې دا هڅوي چې د انسان د تڼۍ فشارولو څخه مخنیوي لپاره اقدام وکړي.

ضعیف دمخه ازمول شوي AI سیسټمونه ځینې وختونه په تیرو وختونو کې زیانونه رامینځته کړي ، له کوچني څخه تر ناورین پورې ، چې د پروګرام کونکو لخوا نه و. په 2015 کې، د بیلګې په توګه، د فولکس ویګن په فابریکه کې یو روبوټ یو آلمانی کارکونکی مړ کړ، د احتمالي انساني تېروتنې له امله، دا د موټر برخه وه. په 2016 کې، مایکروسافټ یو چیټ بوټ، تای، پیل کړ چې د توکمپالنې او جنسیت ژبې کارول زده کړل. د شیفیلډ پوهنتون نویل شارکي وايي چې مثالی حل به هغه وخت وي چې "د AI برنامه کولی شي کشف کړي کله چې یو څه غلط وي او پخپله یې ودروي" مګر خلکو ته خبرداری ورکوي چې په عمومي قضیه کې د ستونزې حل کول به "ریښتیا خورا لوی ساینسي وي. ننګونه."   

## سرچينې

وېشنيزه:مصنوعي ځيرکتيا