موضوع مقاله: جی‌پی‌تی ۳ | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # جی‌پی‌تی ۳ | مقدمه: ترنسفورمر تولیدگر از پیش آموزش‌دیده ۳ یک مدل زبانی خودگرا است که از یادگیری عمیق برای تولید متنی شبیه انسان استفاده می‌کند. | ## بخش 1: جی‌پی‌تی ۳ | این سومین مدل پیش‌بینی زبان در سری GPT-n (و جانشین GPT-2) است که توسط اوپن ای‌آی ایجاد شده‌است. GPT-3، که در ماه مه ۲۰۲۰ معرفی شد و از ژوئیه ۲۰۲۰ در مرحله آزمایشی قرار دارد، بخشی از روند سیستم‌های پردازش زبان طبیعی (NLP) در ارائه زبان از پیش آموزش دیده‌است. کیفیت متن تولید شده توسط GPT-3 به حدی بالا است که تعیین اینکه آیا توسط انسان نوشته شده‌است یا خیر، اندکی دشوار است، که دارای مزایا و خطرات است. سی و یک محقق و مهندس اوپن ای‌آی مقاله اصلی خود را در ۲۸ می ۲۰۲۰ معرفی کرد که GPT-3 را معرفی می‌کرد. آنها در مقاله خود در مورد خطرات احتمالی GPT-3 هشدار دادند و خواستار تحقیق برای کاهش خطر شدند. دیوید چالمرز، فیلسوف استرالیایی، GPT-3 را «یکی از جالب‌ترین و مهم‌ترین سیستم‌های هوش مصنوعی تولید شده تا به حال» توصیف کرد. مایکروسافت در ۲۲ سپتامبر ۲۰۲۰ اعلام کرد که مجوز استفاده «انحصاری» از GPT-3 را دریافت کرده‌است. دیگران هنوز می‌توانند از واسط برنامه‌نویسی کاربردی عمومی برای دریافت خروجی استفاده کنند، اما فقط مایکروسافت به مدل اصلی GPT-3 دسترسی دارد. پیش‌زمینه به گفته اکونومیست، بهبود الگوریتم‌ها، رایانه‌های قدرتمند و افزایش داده‌های دیجیتالی باعث انقلاب در یادگیری ماشین شده‌است، با تکنیک‌های جدید در دهه ۲۰۱۰ منجر به «پیشرفت سریع در وظایف» از جمله دستکاری زبان شد. مدلهای نرم‌افزاری برای یادگیری با استفاده از هزاران یا میلیونها مثال در یک ساختار بر اساس معماری عصبی مغز آموزش داده می‌شوند". تعدادی سیستم NLP وجود دارد که قادر به پردازش، استخراج، سازماندهی، اتصال، یافتن تضاد، درک و تولید پاسخ به سوالات هستند. در ۱۱ ژوئن سال ۲۰۱۸، محققان و مهندسان اوپن ای آی مقاله اصلی خود را پیرامون مدل‌های مولد - مدل‌های زبانی - سیستم‌های هوش مصنوعی منتشر کرد که در رابطه با این بود که می‌توان سیستم‌ها را از قبل با مجموعه عظیمی از داده‌های یک دیتابیس (یادگیری ماشین)، در یک فرایند که آن را به نام پیش مولد آموزش (GP) می‌شناسیم آموزش داد. نویسندگان توضیح دادند که چگونه عملکردهای درک زبان در پردازش زبان طبیعی (NLP) در GPT-n از طریق فرایند «آموزش پیش فرض یک مدل زبان بر روی مجموعه متن متن بدون برچسب، و به دنبال آن تنظیم دقیق متمایز کننده در هر مورد خاص» بهبود یافته‌است. در فوریه ۲۰۲۰، مایکروسافت نسل طبیعی زبان تورینگ (T-NLG) خود را معرفی کر، که ادعا می‌شود «بزرگ‌ترین مدل زبانی تا کنون است که با ۱۷ میلیارد پارامتر منتشر شده‌است». با وجود کوچکتر بودن از مدل زبانی آی‌بی‌ام تانگورا که بیش از ۸ تریلیون پارامتر داشت، در انواع مختلفی از کارها که شامل جمع‌بندی متون و پاسخ به سوالات بود، بهتر از هر مدل زبانی دیگر عمل کرد. توانایی‌ها در ۲۸ مه ۲۰۲۰، پیش چاپ آرکایو توسط گروهی از ۳۱ مهندس و محقق در اوپن ای آی توسعه GPT-3، نسل سوم «مدل زبان پیشرفته» را مطرح کرد. این تیم ظرفیت GPT-3 را بیش از دو مرتبه بیشتر از مدل قبلی خود، GPT-2، افزایش داد و GPT-3 را به عنوان بزرگ‌ترین مدل زبانی غیر پراکنده تا به امروز تبدیل کرد. از آنجایی که GPT-3 از نظر ساختاری شبیه به مدلهای قبلی خود است، سطح بالاتر دقت در آن به افزایش ظرفیت و تعداد بیشتر پارامترها نسبت داده می‌شود. | ## بخش 2: جی‌پی‌تی ۳ | از آنجا که داده‌های آموزشی GPT-3 همه‌جانبه بوده، نیازی به آموزش بیشتر برای کارهای زبانی متمایز ندارد. GPT-3 در مقایسه با مدل قبلی خود، GPT-1، زبان سمی کمتری تولید کرد، اگرچه در مقایسه با CTRL Wiki، یک مدل زبانی که به‌طور کامل بر روی داده‌های ویکی‌پدیا آموزش داده‌است، هم نسل‌های بیشتری تولید کرد و هم سمیت بیشتری از زبان‌های سمی ایجاد کرد. پی‌نوشت: سمی بودن زبان به معنای استفاده از کلماتی است که توهین آمیز هستند و با استفاده کردن ماشین از این کلمات موجب ترک کاربر می‌شوند. در ۱۱ ژوئن ۲۰۲۰، اوپن ای آی اعلام کرد که کاربران می‌توانند درخواست دسترسی به API کاربر پسند GPT-3، یک «مجموعه ابزاره یادگیری ماشین» برای کمک به اوپن ای آی برای «کشف نقاط قوت و محدودیت» این فناوری جدید را داشته باشند. در این دعوتنامه توضیح داده شده‌است که چگونه این واسط برنامه‌نویسی کاربردی دارای رابط کاربری عمومی "text in, text out" است که می‌تواند تقریباً هر کاری که زبان انگلیسی را به جای مورد استفاده معمول تکمیل کند. در آزمایش اولیه از ۸۰ فرد آمریکایی خواسته شد قضاوت کنند که آیا مقاله‌های کوتاه ۲۰۰ پوندی توسط انسان یا GPT-3 نوشته شده‌است. شرکت کنندگان در ۴۸ درصد مواقع قضاوت نادرست کردند و فقط کمی بهتر از حدس زدن تصادفی عمل کردند. از آنجا که GPT-3 می‌تواند «مقالاتی خبری تولید کند که ارزیابی آنها از مقالاتی که توسط انسان نوشته شده‌است مشکل است»، GPT-3 دارای «پتانسیل پیشبرد کاربردهای مفید و مضر مدلهای زبانی است.» در مقاله خود در ۲۸ مه ۲۰۲۰، محققان به‌طور مفصل "اثرات مضر GPT-3" که شامل «اطلاعات غلط، هرزنامه، فیشینگ، سوء استفاده از فرایندهای قانونی و دولتی، مقاله‌نویسی متقلبانه و بهانه‌گیری و مهندسی اجتماعی» است. نویسندگان توجه خود را به این خطرات جلب کرده و خواستار تحقیق دربارهٔ کاهش ریسک می‌شوند. یک کاربر می‌تواند مقداری متن را به عنوان درخواست وارد کند و مدل یک تکمیل متن ایجاد می‌کند که سعی می‌کند با هر زمینه یا الگویی که داده شده مطابقت داشته باشد. به عنوان مثال، اگر به API دستور «همان‌طور که دکارت گفت، فکر می‌کنم، بنابراین» را بدهید، با احتمال زیاد تکمیل «من هستم» را برمی‌گرداند. به عنوان مثال، کلمه "همبرگر" به نشانه "ham" , "bur" و "ger" تقسیم می‌شود، در حالی که یک کلمه کوتاه و رایج مانند "گلابی" یک نشانه واحد است. بسیاری از نشانه‌ها با یک فضای سفید شروع می‌شوند، به عنوان مثال "سلام" و "خداحافظ". برای برنامه‌های خلاق تر ۹ دهم و برای مواردی که دارای پاسخ مشخص هستند ۰ (نمونه‌گیری argmax) را امتحان کنید. top_p - جایگزینی برای نمونه برداری با دما، به نام نمونه‌گیری هسته، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد؛ بنابراین ۰٫۱ بدین معناست که فقط توکن‌هایی که دارای ۱۰٪ جرم بالایی هستند در نظر گرفته می‌شوند. مقادیر مثبت، توکن‌های جدید را بر اساس اینکه آیا تا به حال در متن ظاهر شده‌اند مجازات می‌کند، و احتمال مدل را برای صحبت در مورد موضوعات جدید افزایش می‌دهد. مقادیر مثبت، توکن‌های جدید را بر اساس فرکانس موجود در متن تا کنون مجازات می‌کند و احتمال تکرار کلمه به‌طور کلمه را کاهش می‌دهد. مدلها و موتورها GPT-3 دارای ۴ مدل است که هر کدام دارای موتورهای متعدد با قابلیت‌ها و قیمت‌های متفاوت هستند. | ## بخش 3: جی‌پی‌تی ۳ | سری‌های پایه مجموعه ای از مدل‌های GPT-3 که می‌توانند زبان طبیعی را درک کرده و تولید کنند آموزش سری Beta مجموعه ای از مدل‌های تخصصی که شبیه سری اصلی هستند، اما با رعایت دستورالعمل‌ها بهتر عمل می‌کنند سری Codex Private beta مجموعه ای از مدل‌ها که می‌توانند کد را درک کرده و تولید کنند، از جمله ترجمه زبان طبیعی به کد فیلتر محتوا یک مدل دقیق تنظیم شده که می‌تواند حساس بودن یا ناامن بودن متن را تشخیص دهد سری پایه مدل‌های پایه GPT-3 می‌توانند زبان طبیعی را درک کرده و تولید کنند. محتوا-فیلتر هدف این فیلتر تشخیص متن تولید شده‌است که ممکن است از API حساس یا ناامن باشد. بررسی‌ها فرهاد منجو در بررسی ژوئیه ۲۰۲۰ در نیویورک تایمز گفت که توانایی GPT-3 در ایجاد کد رایانه، شعر و نثر نه تنها "شگفت انگیز"، "ترسناک" و "تحقیر آمیز" نیست، بلکه بیش از حد وحشتناک است. دیوید چالمرز، فیلسوف استرالیایی، GPT-3 را «یکی از جالب‌ترین و مهم‌ترین سیستم‌های هوش مصنوعی تولید شده» توصیف کرد. " به گفته نویسندگان، GPT-3 روابط بین کلمات را بدون درک معنای هر کلمه مدل می‌کند. جروم پسنتی، سرپرست آزمایشگاه هوش مصنوعی فیس بوک، گفت GPT-3 ناامن است و به جنسیت گرایی، نژادپرستی و سایر زبان‌های مغرضانه و منفی که توسط سیستم ایجاد می‌شود اشاره کرد، هنگامی که از آنها خواسته شد دربارهٔ یهودیان، زنان، سیاهپوستان و هولوکاست بحث کنند. نابلا، یک شرکت نوپای فرانسوی متخصص در فناوری مراقبت‌های بهداشتی، GPT-3 را به عنوان یک چت بات پزشکی آزمایش کرد، اگرچه خود اوپن ای آی نسبت به چنین استفاده ای هشدار داد. به عنوان مثال، هنگام آزمایش پاسخ GPT-3 در مورد مسائل مربوط به سلامت روان اینگونه بود، هوش مصنوعی به یک بیمار شبیه‌سازی شده توصیه کرد که خودکشی کند. نوام چامسکی در مورد ارزش علمی GPT-3 شک و تردید خود را بیان کرد: این یک مدل زبانی نیست. برای زبانهای غیرممکن به همان اندازه برای زبانهای واقعی کار می‌کند؛ بنابراین، اگر به عنوان یک مدل زبانی در نظر گرفته شود، با معیارهای عادی علمی رد می‌شود. [...] شاید برای مقاصدی مفید باشد، اما به نظر می‌رسد به‌طور کلی چیزی در مورد زبان یا شناخت به ما نمی‌گوید. " برنامه‌های کاربردی GPT-3 در برخی محصولات مایکروسافت برای ترجمه زبان معمولی به کد رایانه رایانه استفاده می‌شود. GPT-3 توسط گاردین برای نوشتن مقاله ای در مورد بی‌ضرر بودن هوش مصنوعی برای انسان استفاده شد. با ارائه برخی ایده‌ها و تولید هشت مقاله مختلف، که در نهایت در یک مقاله ادغام شد. در سال ۲۰۱۹، اوپن ای آی مدل پیش ساز GPT-3 را به صورت عمومی منتشر نکرد، و از شیوه‌های منبع باز قبلی OpenAI شکایت کرد و نگران بود که این مدل باعث تداوم اخبار جعلی شود. در سال ۲۰۲۰، مایکروسافت اعلام کرد که این شرکت دارای مجوز انحصاری GPT-3 برای محصولات و خدمات مایکروسافت پس از سرمایه‌گذاری چند میلیارد دلاری در اوپن ای آی است. این توافقنامه به اوپن ای آی اجازه می‌دهد تا یک API رو به عموم ارائه دهد تا کاربران بتوانند متن را به GPT-3 ارسال کنند تا خروجی مدل را دریافت کنند، اما فقط مایکروسافت به کد منبع GPT-3 دسترسی خواهد داشت. | ## جمع‌بندی | مدلهای بزرگ زبانی، مانند GPT-3، به دلیل تأثیر محیطی آموزش و ذخیره مدلها، مورد انتقاد محققان اخلاق هوش مصنوعی گوگل قرار گرفته‌اند، که در مقاله ای که توسط تیمنیت گبرو و امیلی M.