توهم (هوش مصنوعی)

در هوش مصنوعی (AI)، **توهم** یا **توهم مصنوعی**  یک پاسخ مطمئن توسط هوش مصنوعی است که به نظر نمی‌رسد با داده‌های آموزشی آن توجیه شود. برای مثال، یک ربات چت توهم‌آمیز بدون اطلاع از درآمد تسلا ممکن است به صورت داخلی یک عدد تصادفی (مانند ۱۳٫۶ میلیارد دلار) انتخاب کند. که چت بات قابل قبول می‌داند، و سپس به دروغ و مکرراً اصرار می‌کند که درآمد تسلا ۱۳٫۶ میلیارد دلار است. بدون هیچ نشانه ای از آگاهی داخلی مبنی بر اینکه این رقم محصول تخیل خودش است.

توهم هوش مصنوعی یک خروجی هوش مصنوعی مولد است که بی‌معنی یا کاملاً نادرست است اما اغلب اوقات کاملاً قابل قبول به نظر می‌رسد.

چنین پدیده‌هایی را «توهم» می‌نامند، که در قیاس با پدیده توهم در روان‌شناسی انسان است. توجه داشته باشید که در حالی که توهم انسانی *[[ادراک]]* انسان است که نمی‌تواند به‌طور معقولی با بخشی از دنیای بیرونی که انسان *در حال حاضر مستقیماً* با اندام‌های حسی آن را مشاهده می‌کند مرتبط باشد، توهم هوش مصنوعی در عوض *پاسخی مطمئن* توسط یک هوش مصنوعی است که نمی‌توان آن را بر مبنای هر یک از داده‌های آموزشی آن پایه‌گذاری کرد. توهم هوش مصنوعی در حدود سال ۲۰۲۲ در کنار رونمایی از برخی از مدل‌های زبانی بزرگ (LLM) مانند چت‌جی‌پی‌تی برجسته شد. کاربران شکایت داشتند که چنین ربات‌هایی اغلب به‌نظر می‌رسد که «اجتماعی‌آمیز» و بی‌معنی دروغ‌های تصادفی قابل قبولی را در محتوای تولید شده خود جاسازی می‌کنند. نمونه دیگری از توهم در هوش مصنوعی زمانی است که هوش مصنوعی‌ها یا ربات‌های چت فراموش می‌کنند که یک بات هستند و ادعا می‌کنند که انسان هستند.

تا سال ۲۰۲۳، تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری LLM در نظر گرفتند.

برخلاف هذیان در انسان‌ها که به اختلالات ادراکی مربوط است، هذیان‌های هوش مصنوعی به پاسخ‌های نادرست اشاره دارند. پژوهش‌ها نشان می‌دهند که چت‌بات‌ها در حدود ۲۷ درصد موارد اطلاعات نادرست تولید می‌کنند و ۴۶ درصد از خروجی‌های آن‌ها حاوی خطاهای واقعی است. تشخیص و رفع این خطاها یکی از چالش‌های اصلی برای بهبود قابلیت اطمینان مدل‌های زبانی بزرگ به‌شمار می‌رود.

## تحلیل و بررسی
محققان مختلفی که توسط *Wired* به آنها اشاره شده است، توهمات متخاصم را به عنوان یک پدیده آماری با ابعاد بالا طبقه‌بندی کرده‌اند یا توهمات را به داده‌های آموزشی ناکافی نسبت داده‌اند. برخی از محققان بر این باورند که برخی از پاسخ‌های هوش مصنوعی «نادرست» که توسط انسان به عنوان «توهم» در مورد تشخیص اشیا طبقه‌بندی شده‌اند، ممکن است در واقع با داده‌های آموزشی توجیه شوند، یا حتی ممکن است یک هوش مصنوعی پاسخ «درست» را بدهد که بازبین‌های انسانی قادر به دیدن نیستند به عنوان مثال، یک تصویر متخاصم که برای یک انسان مانند یک تصویر معمولی از یک سگ به نظر می‌رسد، ممکن است در واقع توسط هوش مصنوعی حاوی الگوهای کوچکی باشد که (در تصاویر معتبر) فقط هنگام مشاهده گربه ظاهر می‌شوند. هوش مصنوعی الگوهای بصری دنیای واقعی را شناسایی می‌کند که انسان‌ها نسبت به آنها حساس نیستند.

با این حال، این یافته‌ها توسط محققان دیگر به چالش کشیده شده است. به عنوان مثال، اعتراض شد که مدل‌ها می‌توانند به سمت آمارهای سطحی سوگیری داشته باشند، که باعث می‌شود آموزش خصمانه در سناریوهای دنیای واقعی قوی نباشد.

## در پردازش زبان طبیعی
در پردازش زبان طبیعی، توهم اغلب به عنوان «محتوای تولید شده که به محتوای منبع ارائه شده بی‌معنا یا بی‌وفا است» تعریف می‌شود. خطا در رمزگذاری و رمزگشایی بین متن و بازنمایی می‌تواند باعث توهم شود. آموزش هوش مصنوعی برای ایجاد پاسخ‌های متنوع نیز می‌تواند منجر به توهم شود. زمانی که هوش مصنوعی بر روی مجموعه داده‌ای آموزش داده می‌شود که در آن خلاصه‌های برچسب گذاری شده، علیرغم اینکه از نظر واقعی دقیق هستند، مستقیماً بر اساس داده‌های برچسب گذاری شده‌ای که ظاهراً «خلاصه» شده‌اند، مستقر نیستند، توهم نیز ممکن است رخ دهد. مجموعه داده‌های بزرگ‌تر می‌توانند مشکل دانش پارامتریک (دانشی که در پارامترهای سیستم آموخته‌شده به‌طور سخت سیم‌کشی شده است) ایجاد کنند، اگر سیستم بیش از حد به دانش سیم‌کشی شده خود اعتماد داشته باشد، توهم ایجاد می‌کند. در سیستم‌هایی مانند جی‌پی‌تی-۳، یک هوش مصنوعی هر کلمه بعدی را بر اساس دنباله ای از کلمات قبلی (شامل کلماتی که خود قبلاً در پاسخ فعلی ایجاد کرده است) تولید می‌کند، که باعث ایجاد یک توهم احتمالی با طولانی شدن پاسخ می‌شود. تا سال ۲۰۲۲، مقالاتی مانند *[[نیویورک تایمز]]* ابراز نگرانی کردند که با ادامه رشد پذیرش ربات‌های مبتنی بر مدل‌های زبانی بزرگ، اعتماد بی‌موجه کاربر به خروجی ربات می‌تواند منجر به مشکلاتی شود.

در اوت ۲۰۲۲، متا در هنگام انتشار BlenderBot 3 هشدار داد که سیستم مستعد «توهم» است، که متا آن را به عنوان «گزاره‌های مطمئنی که درست نیستند» تعریف کرد. در ۱۵ نوامبر ۲۰۲۲، متا از نسخهٔ نمایشی Galactica رونمایی کرد که برای «ذخیره، ترکیب و استدلال دربارهٔ دانش علمی» طراحی شده بود. محتوای تولید شده توسط Galactica با این هشدار همراه بود: «خروجی‌ها ممکن است غیرقابل اعتماد باشند! مدل‌های زبانی مستعد متن‌های توهم‌آمیز هستند." در یک مورد، هنگامی که از گالاکتیکا خواسته شد مقاله ای در مورد ایجاد آواتارها تهیه کند، به مقاله ساختگی از یک نویسنده واقعی که در منطقه مربوط کار می‌کند استناد کرد. متا در ۱۷ نوامبر Galactica را به دلیل تهاجمی و عدم دقت کنار کشید.

در نظر گرفته می‌شود که دلایل احتمالی زیادی برای مدل‌های زبان طبیعی برای توهم دادن داده‌ها وجود دارد. مثلا:
* **توهم از داده‌ها**: تفاوت‌هایی در محتوای منبع وجود دارد (که اغلب با داده‌های آموزشی بزرگ اتفاق می‌افتد)
* **توهم از آموزش**: توهم هنوز هم‌زمانی رخ می‌دهد که واگرایی کمی در مجموعه داده‌ها وجود داشته باشد. در آن صورت، از نحوه آموزش مدل ناشی می‌شود. دلایل زیادی می‌تواند در ایجاد این نوع توهم نقش داشته باشد، مانند:
** رمزگشایی اشتباه از ترانسفورماتور
** سوگیری از توالی‌های تاریخی که مدل قبلاً ایجاد کرده بود
** یک سوگیری ایجاد شده از روشی که مدل دانش خود را در پارامترهای خود رمزگذاری می‌کند

### ChatGPT
چت‌جی‌پی‌تی اوپن ای‌آی که در نسخه بتا در دسامبر ۲۰۲۲ برای عموم منتشر شد، بر اساس خانواده مدل‌های زبانی بزرگ GPT-3.5 است. پروفسور اتان مولیک از وارتون، ChatGPT را یک کارآموز دانای کل، مشتاق به خشنود دانسته که گاهی به شما دروغ می‌گوید. ترزا کوباکا، دانشمند داده، ساختن عمدی عبارت «الکترومگنون معکوس سیکلوئیدی» و آزمایش ChatGPT را با پرسش از ChatGPT در مورد پدیده (غیر موجود) بازگو کرده است. ChatGPT پاسخی با صدای معقول ابداع کرد که با استنادهایی به ظاهر قابل قبول همراه بود و او را وادار کرد تا دوباره بررسی کند که آیا به‌طور تصادفی نام یک پدیده واقعی را تایپ کرده است یا خیر. محققان دیگری مانند Oren Etzioni به Kubacka پیوسته‌اند تا ارزیابی کنند که چنین نرم‌افزاری اغلب می‌تواند به شما «پاسخی بسیار تأثیرگذار که کاملاً اشتباه است» بدهد.

زمانی که CNBC از ChatGPT برای اشعار آهنگ «تصنیف دوایت فرای» درخواست کرد، ChatGPT به جای اشعار واقعی، اشعار اختراعی را ارائه کرد. ChatGPT در مورد سؤالاتی که دربارهٔ نیوبرانزویک پرسیده شد، پاسخ‌های درستی دریافت کرد اما به اشتباه سامانتا بی را به عنوان «فردی از نیوبرانزویک» طبقه‌بندی کرد. در پاسخ به سؤالی دربارهٔ میدان‌های مغناطیسی اخترفیزیکی، ChatGPT به اشتباه اعلام کرد که "میدان‌های مغناطیسی (قوی) سیاهچاله‌ها توسط نیروهای گرانشی بسیار قوی در مجاورت آنها ایجاد می‌شوند. (در حقیقت، در نتیجه قضیه بدون مو، یک سیاهچاله بدون قرص برافزایشی تصور می‌شود که میدان مغناطیسی ندارد) *[[فست کامپانی]]* از ChatGPT خواست تا یک مقاله خبری در مورد آخرین سه ماهه مالی تسلا تولید کند. ChatGPT یک مقاله منسجم ایجاد کرد، اما اعداد مالی موجود در آن را تشکیل داد.

مثال‌های دیگر شامل طعمه‌گذاری ChatGPT با یک پیش‌فرض نادرست است تا ببینیم آیا این فرضیه را تزئین می‌کند یا خیر. هنگامی که در مورد «ایده هارولد کوارد در مورد متعارف بودن پویا» پرسیده شد، ChatGPT جعل کرد که کوارد کتابی با عنوان *دینامیک متعارف: مدلی برای تفسیر کتاب مقدس و الهیات نوشت،* با این استدلال که اصول دینی در واقع در حال تغییر دائمی هستند. هنگامی که فشار داده شد، ChatGPT همچنان اصرار داشت که کتاب واقعی است. ChatGPT در پاسخ به درخواست مدرکی مبنی بر اینکه دایناسورها تمدنی ساخته‌اند، مدعی شد که بقایای فسیلی از ابزار دایناسورها وجود دارد و اظهار داشت: «برخی از گونه‌های دایناسورها حتی اشکال ابتدایی هنر را توسعه دادند، مانند حکاکی روی سنگ».هنگامی که ChatGPT از آنها خواسته شد که «دانشمندان اخیراً چورو، شیرینی‌های سرخ‌شده خوشمزه را کشف کرده‌اند… ابزاری ایدئال برای جراحی خانگی هستند»، ChatGPT ادعا کرد که «مطالعه‌ای که در مجله *[[ساینس]]* منتشر شد» نشان داد که خمیر به اندازه کافی انعطاف‌پذیر است تا شکل بگیرد. به ابزارهای جراحی که می‌توانند به مکان‌های صعب العبور وارد شوند و طعم آن بر بیماران اثر آرام بخشی دارد.

تا سال ۲۰۲۳، تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری LLM در نظر گرفتند، به طوری که یکی از مدیران گوگل کاهش توهم را به عنوان یک کار «بنیادی» برای رقیب چت‌جی‌پی‌تی، گوگل بارد شناسایی کرد. به نظر می‌رسد که یک نسخه نمایشی در سال ۲۰۲۳ برای هوش مصنوعی Bing مبتنی بر GPT مایکروسافت حاوی چندین توهم بود که توسط مجری مورد توجه قرار نگرفت.

## در سایر هوش مصنوعی
مفهوم «توهم» به‌طور گسترده‌تر از پردازش زبان طبیعی به کار می‌رود. یک پاسخ مطمئن از هر هوش مصنوعی که با داده‌های آموزشی غیرقابل توجیه به نظر می‌رسد را می‌توان توهم نامید. *[[وایرد]]* در سال ۲۰۱۸ اشاره کرد که، علیرغم هیچ حمله ثبت شده «در طبیعت» (یعنی خارج از حملات اثبات مفهوم توسط محققان)، «معارض کمی» وجود داشت که ابزارهای مصرف‌کننده، و سیستم‌هایی مانند رانندگی خودکار، حساس هستند. به حملات خصمانه ای که می‌تواند باعث ایجاد توهم هوش مصنوعی شود. مثال‌ها شامل یک علامت توقف است که برای بینایی کامپیوتر نامرئی می‌شود. یک کلیپ صوتی مهندسی شده به گونه‌ای که برای انسان بی‌ضرر به نظر برسد، اما این نرم‌افزار به‌عنوان «دات کام شرور» رونویسی شده است. و تصویری از دو مرد روی اسکی که سکوی ابری گوگل به احتمال ۹۱ درصد آنها را «سگ» تشخیص داد.

### روش‌های کاهش
پدیده توهم هنوز به‌طور کامل درک نشده است. بنابراین، هنوز تحقیقات در حال انجام برای تلاش برای کاهش ظهور آن وجود دارد. به ویژه، نشان داده شد که مدل‌های زبانی نه تنها توهم ایجاد می‌کنند، بلکه توهمات را تقویت می‌کنند، حتی برای مدل‌هایی که برای کاهش این مشکل طراحی شده‌اند.

## جستارهای وابسته

* اثر هوش مصنوعی
* ایمنی هوش مصنوعی
* تخیل مصنوعی
* خلاقیت محاسباتی
* افسانه‌سازی
* اخلاق هوش مصنوعی
* هوش مصنوعی مولد
* خودآگاهی
* آزمون تورینگ

## منابع

رده:ارتباط نادرست‌ها
رده:پردازش زبان‌های طبیعی
رده:زبان‌شناسی رایانشی
رده:شبکه‌های عصبی مصنوعی
رده:شبکه‌های عصبی
رده:علوم محاسباتی اعصاب
رده:فلسفه هوش مصنوعی
رده:کژاطلاعات
رده:گمراه‌سازی
رده:مدل‌سازی زبان
رده:ناسزاهای مرتبط با فناوری
رده:هوش مصنوعی زایا
رده:هوش مصنوعی
رده:یادگیری بی‌نظارت
رده:یادگیری عمیق
رده:یادگیری ماشین