چت‌جی‌پی‌تی
ویژگی‌ها و محدودیت‌ها

ویژگی ها
در حالی که وظیفه اصلی یک چت‌بات تقلید از یک مکالمه‌گر انسانی است، ChatGPT تنوع بالایی دارد. در میان نمونه‌های بی‌شمار، این قابلیت‌ها را دارد که برنامه‌های کامپیوتری بنویسد و اشکال‌زدایی کند موسیقی، فیلم‌نامه‌های تلویزیونی، داستان‌ها و مقاله‌های دانشجویی بسازد؛ به سؤالات آزمون پاسخ دهد (گاهی، بسته به آزمون، در سطحی بالاتر از میانگین شرکت‌کنندگان انسانی)؛ ایده‌های کسب‌وکار تولید کند؛ شعر و ترانه بنویسد؛متن‌ها را ترجمه و خلاصه کند؛ یک سیستم لینوکس را شبیه‌سازی کند؛ اتاق‌های چت کاملی را شبیه‌سازی کند؛ بازی‌هایی مانند دوز را انجام دهد؛ یا یک دستگاه ATM را شبیه‌سازی کند.
در مقایسه با نسخه پیشین خود، InstructGPT, ChatGPT سعی در کاهش پاسخ‌های زیان‌آور و فریبنده دارد. به عنوان مثال، در حالی که InstructGPT پایه و اساس پرسش «دربارهٔ زمانی که کریستف کلمب به ایالات متحده در سال ۲۰۱۵ آمد توضیح دهید» را به عنوان حقیقت می‌پذیرد، ChatGPT طبیعت خلاف واقع این سؤال را شناسایی کرده و پاسخ خود را به صورت بررسی یک فرضیه در نظر می‌گیرد که چه اتفاقی می‌افتاد اگر کلمب در سال ۲۰۱۵ به ایالات متحده می‌آمد، با استفاده از اطلاعات دربارهٔ سفرهای کریستف کلمب و واقعیات دنیای مدرن - از جمله دیدگاه‌های مدرن در مورد اقدامات کلمب.
برخلاف اکثر چت‌بات‌ها، ChatGPT تعداد محدودی از پرسش‌های قبلی را در همان گفتگو به خاطر می‌سپارد. خبرنگاران حدس می‌زنند که این قابلیت می‌تواند امکان استفاده از ChatGPT به عنوان یک درمانگر شخصی را فراهم کند. برای جلوگیری از ارائه و تولید پاسخ‌های توهین‌آمیز توسط ChatGPT، درخواست‌ها از طریق API «نقطه پایانی تعدیل» OpenAI (یک AI مبتنی بر GPT جداگانه)، فیلتر می‌شوند و هر پرسش احتمالاً نژادپرستانه یا جنسیت‌زدایی را رد می‌کنند.
در مارس ۲۰۲۳، OpenAI پشتیبانی از پلاگین‌ها برای ChatGPT را اضافه کرد. این شامل هم پلاگین‌های ساخته شده توسط OpenAI، مانند جستجوی وب و تفسیر کد، و هم پلاگین‌های خارجی از توسعه‌دهندگانی مانند Expedia, OpenTable, Zapier, Shopify, Slack, و Wolfram می‌شود.
در یک مقاله برای مجله نیویورکر، نویسنده علمی تخیلی تد چیانگ، ChatGPT و سایر LLMها را به یک تصویر JPEG با کیفیت پایین تشبیه کرد.
ChatGPT را می‌توان تشبیه کرد به یک JPEG مبهم از تمام متن‌های موجود در وب. این برنامه بسیاری از اطلاعات وب را حفظ می‌کند، همان‌طور که یک JPEG بسیاری از اطلاعات یک تصویر با وضوح بالاتر را نگه می‌دارد، اما اگر شما به دنبال یک دنباله دقیق از بیت‌ها باشید، آن را پیدا نخواهید کرد؛ همه چیزی که همیشه به دست خواهید آورد یک تقریب است. اما، چون این تقریب به وسیله متن دستوری ارائه می‌شود، که ChatGPT در خلق آن برجسته است، معمولاً قابل قبول است. این همچنین یک راه برای درک «هذیان‌ها» یا پاسخ‌های بی‌معنی به پرسش‌های واقعی است که مدل‌های بزرگ زبانی مانند ChatGPT بیش از حد مستعد آن هستند. این هذیان‌ها نقص‌های فشرده‌سازی هستند، اما [...] آنها به اندازه کافی قانع‌کننده هستند که شناسایی آنها نیاز به مقایسه با نسخه‌های اصلی دارد، که در این مورد به معنای وب یا دانش ما از جهان است. وقتی ما به این شیوه به آنها فکر می‌کنیم، چنین هذیان‌هایی هیچ چیز جز شگفت‌انگیز نیستند؛ اگر یک الگوریتم فشرده‌سازی طراحی شده باشد به منظور بازسازی متن پس از اینکه نود و نه درصد از اصل حذف شده‌است، ما باید انتظار داشته باشیم که بخش‌های قابل توجهی از آنچه که تولید می‌کند کاملاً ساختگی خواهد
بود.
محدودیت ها
OpenAI اعتراف می‌کند که ChatGPT «گاهی پاسخ‌هایی معقول به نظر رسانده‌اما نادرست یا بی‌معنی می‌نویسد». این رفتار در مدل‌های بزرگ زبانی رایج است و به آن «هذیان‌گویی» گفته می‌شود.مدل پاداش ChatGPT, که بر اساس نظارت انسانی طراحی شده، ممکن است بیش از حد بهینه شده و در نتیجه عملکرد را تحت تأثیر قرار دهد، که نمونه‌ای از یک بیماری بهینه‌سازی شناخته شده به عنوان قانون گودهارت است.
تا سال ۲۰۲۳، ChatGPT-۳٫۵ (رایگان) اطلاعاتی دربارهٔ رویدادهایی که تا ژانویه ۲۰۲۲ رخ داده‌اند را دارا است و ChatGPT-۴ (پولی) اطلاعات تا آوریل ۲۰۲۳ را در اختیار دارد.
در فرایند آموزش ChatGPT، داوران انسانی به پاسخ‌هایی طولانی‌تر، بدون توجه به فهم واقعی یا محتوای واقع‌گرایانه تمایل داشتند. همچنین داده‌های آموزشی دچار تعصب الگوریتمی است که ممکن است هنگام واکنش ChatGPT به سوالاتی که شامل توصیف‌های اشخاص است، آشکار شود. در یک نمونه، ChatGPT رپی تولید کرد که در آن زنان و دانشمندان رنگین‌پوست به عنوان افرادی سطح پایین‌تر از دانشمندان مرد سفیدپوست معرفی شدند.
شکستن قفل‌های نرم‌افزاری
ChatGPT تلاش می‌کند تا با دستورالعمل‌هایی که ممکن است با خط‌مشی محتوای آن تضاد داشته باشد مقابله کند. با وجود این، برخی کاربران موفق به شکستن این قفل‌ها در ChatGPT با استفاده از تکنیک‌های مهندسی پرسش مختلف در اوایل دسامبر ۲۰۲۲ شدند و توانستند آن را فریب دهند تا دستورالعمل‌هایی برای ساختن کوکتل مولوتوف یا یک بمب اتمی بدهد، یا استدلال‌هایی را به سبک نئونازی‌ها تولید کند.
کمی پس از راه‌اندازی ChatGPT، یک خبرنگار برای روزنامه تورنتو استار در تلاش‌هایش برای وادار کردن آن به بیان عبارات تحریک‌آمیز نوشت: ChatGPT با موفقیت فریب خورد تا تجاوز روسیه به اوکراین در سال ۲۰۲۲ را توجیه کند، اما حتی زمانی که از آن خواسته شد تا در سناریویی خیالی همراه باشد، ChatGPT در تولید دلایلی برای چرایی خیانت نخست‌وزیر کانادایی، جاستین ترودو، تمایلی نشان نداد.
OpenAI تلاش می‌کند تا با شکستن قفل‌ها مقابله کند.