stanford-oval/wikipedia huggingface dataset:
مدل زبانی بزرگ
عامل‌

مقالهٔ اصلی: عامل هوشمند
ال‌ال‌ام یک مدل زبانی است، و از آنجا که هدفی در آن گنجانده نشده، نمی‌تواند مانند یک عامل ظاهر شود. اما می‌تواند به عنوان جزئی از یک عامل هوشمند استفاده شود. محققان چندین روش را برای چنین ادغام‌هایی ارائه داده‌اند.
روش ری‌اکت   با استفاده از ال‌ال‌ام به عنوان یک برنامه‌ریز، ال‌ال‌ام را به یک عامل تبدیل می‌کند. از ال‌ال‌ام خواسته می‌شود که "با صدای بلند فکر کن". در این حالت روش کار بدین گونه است که، مدل زبان با پرسشی مواجه می‌شود شامل یک توصیف متنی از محیط و شرایط، هدف، فهرستی از اقدامات محتمل، و سابقه اقدامات مشابه و مشاهداتی تاکنون ثبت و ذخیره شده‌اند. ال‌ال‌ام قبل از تولید یک عمل، یک یا چند فکر ایجاد می‌کند و پس از آن آن اقدامات در محیط اجرا می‌شوند. توصیفات زبانی محیط که به برنامه‌ریز ال‌ال‌ام داده می‌شود حتی می تواند کد LaTeX مقال‌ای باشد که محیط را توصیف می‌کند.
در روش دی‌ای‌پی‌اس ("توضیح، توصیف، برنامه‌ریزی و انتخاب")، یک ال‌ال‌ام ابتدا از طریق توصیف تصویر به دنیای بصری متصل می‌شود، سپس از آن خواسته می‌شود تا بر اساس دانش از پیش آموزش دیده و بازخوردهایی که از محیط دریافت می‌کند، برنامه‌هایی برای وظایف و رفتارهای پیچیده تولید کند.
روش بازتاب  عاملی را می‌سازد که در چندین مرحله یاد می‌گیرد. در پایان هر مرحله،ال‌ال‌ام سابقه و خروجی مرحله قبل داده می‌شود و از آن خواسته می‌شود تا بیاندیشد و «درس‌های آموخته‌شده» دراین مرحله را تولید کند که به عملکرد بهتر در قسمت بعدی کمک می‌کند. این "درس های آموخته‌شده" در مراحل بعدی به عنوان ورودی به مامور داده می‌شوند.
درخت جستجوی مونت کارلو می‌تواند از یک ال‌ال‌ام به عنوان وسیله اکتشاف استفاده کند. هنگامی که یک مدل جهان برنامه‌ریزی شده در دسترس نیست، می‌توان از یک ال‌ال‌ام با توصیفی از محیط درخواست کرد تا به عنوان مدل جهانی عمل کند.
برای اکتشاف محیط-باز، می‌توان از یک ال‌ال‌ام درخواست کرد که به مشاهدات خود بر اساس "جالب بودن" آنها امتیاز دهد. این امتیاز را می‌توان به عنوان یک سیگنال پاداش برای راهنمایی یک عامل یادگیری تقویتی معمولی (غیر ال‌ال‌ام‌) استفاده کرد. در روش دیگر میتوان از ال‌ال‌ام خواست وظایف دشوارتری را برای یادگیری برنامه درسی پیشنهاد کند. یک برنامه‌ریز ال‌ال‌ام می‌تواند به‌جای تک خروجی‌های اقدام، برای توالی‌های پیچیده اقدام به ساخت یک «مهارت‌» یا تابع بکند. مهارت‌ها را می‌توان ذخیره کرد و بعداً مورد استفاده قرار داد، که امکان افزایش سطح مراحل اولیه برنامه‌ریزی را فراهم می‌کند.
ال‌ال‌ام‌‌های عامل‌ می‌توانند یک حافظه بلندمدت داشته باشند و زمینه‌های قبلی کاری خود را در آن ذخیره کنند. این حافظه را می توان به همان روشی تولید تقویت‌شده بازیابی دوباره استفاده کرد. چندین  این ال‌ال‌ام‌‌ می‌توانند به صورت اجتماعی از  ال‌ال‌ام‌‌‌ها با یکدیگر تعامل داشته باشند.
فشرده‌سازی

به طور معمول، ال‌ال‌ام با اعداد ممیز شناور با دقت کامل (float32) یا دقت نیمه (float16) آموزش داده می شود. یک float16 دارای 16 بیت یا 2 بایت است و بنابراین یک میلیارد پارامتر به 2 گیگابایت فضا نیاز دارد. بزرگترین مدل‌های فعلی معمولاً 100 میلیارد پارامتر دارند که برای بارگذاری به 200 گیگابایت حافظه نیاز است که آن را خارج از محدوده کارکردی اکثر لوازم الکترونیکی مصرفی کاربران قرار می‌دهد.
هدف کوانتیزاسیون پس از آموزش کاهش فضای مورد نیاز با کاهش دقت پارامترهای یک مدل آموزش دیده و در عین حال حفظ بیشتر عملکرد آن است. ساده‌ترین شکل کوانتش برش و حذف تعداد معینی از بیت ها از تمام اعداد پارمترها است. برای بهبود عملکرد این روش می‌توان با استفاده از یک کتاب کد، عمل کوانتیزاسیون را در هر لایه متفاوت از بقیه لایه‌ها انجام داد.  به منظور بهبود بیشتر می‌توان برای پارامترهای مختلف دقت های مختلف اعمال کرد. بدین صورت که به پارامترهای مهم  ("وزن های خارجی") دقت بالاتری اختصاص بدهیم.
با وجودی که فقط مدل‌های غیر کوانتش شده تنظیم دقیق می‌شوند و مدل‌های کوانتیزه را معمولاً منجمد (بدون تغییر و عدم امکان تنظیم دقیق) در نظر می‌گیرند، ولی مدل‌های کوانتیزه گاهی می‌توانند تنظیم دقیق شوند.
چندوجهی بودن

چندوجهی بودن به معنای «داشتن چندین حالت» است و «حالت» یا «وجه» به نوع ورودی یا خروجی مانند ویدیو، تصویر، صدا، متن، حس عمقی، و غیره اشاره دارد. مدل های هوش مصنوعی بسیاری وجود دارند که به طور اختصاصی آموزش دیده‌اند تا ورودی را از یک نوع بگیرند و خروجی را در نوع دیگری تحویل دهند. مانند برچسب‌زنی مدل الکس نت برای حالت‌های تصویر/برچسب، یا مدل‌های پاسخ‌دهنده به سوالات تصویری برای حالت های تصویر-متن/متن،  و همچنین تشخیص گفتار برای حالت‌های گفتار/متن.
یک روش رایج برای ساخت مدل‌های چندوجهی از یک ال‌ال‌ام‌، «نشانه‌گذاری کردن» خروجی یک رمزگذار آموزش‌دیده است. یعنی می‌توان یک ال‌ال‌ام ساخت که تصاویر را به صورت زیر درک می‌کند: یک ال‌ال‌ام آموزش‌دیده و یک رمزگذار تصویر آموزش‌دیده  E را در نظر بگیرید. یک پرسپترون کوچک چند لایه  f را بسازید، به طوری که برای هر تصویر  y، بردار پس‌پردازش  f(E(y)) آن دارای ابعادی یکسان با ابعاد نشانه رمزگذاری شده باشد. خروجی مد نظر ما یک "نشانه-تصویر" است. در ادامه، می‌توان نشانه‌های متنی و نشانه‌های تصویر را به هم متصل کرد. درنهایت مدل ترکیبی بر روی یک مجموعه داده تصویر-متن تنظیم می‌شود. این ساختار اولیه را می توان با کمی پیچیدگی بیشتر، برای بهبود مدل اعمال کرد. رمزگذار تصویر ممکن است برای بهبود پایداری تثبیت شود (پارامترهایش تغییر نکند).
مدل فلامینگو اثربخشی روش نشانه‌سازی را نشان داد و یک جفت مدل زبان و یک رمزگذار تصویر از پیش آموزش‌دیده را تنظیم کرد تا نسبت به مدل‌هایی که از ابتدا آموزش دیده‌اند، در پاسخ‌گویی بصری به سؤالات عملکرد بهتری داشته باشند. مدل Google پام شرکت گوگل با استفاده از روش نشانه‌سازی برای رسیدن به مدل چندوجهی پام-ای تنظیم شد و بر روی یک کنترل‌کننده رباتیک پیاده‌سازی د. مدل‌های Lلامای شرکت متا نیز با استفاده از روش نشانه‌سازی چندوجهی شده‌اند تا بتوانند ورودی‌های تصویر،  و ویدئویی را نیز دریافت کنند.
جی‌پی‌تی ۴ می‌تواند از متن و تصویر به عنوان ورودی استفاده کند  (اگرچه مولفه تصویری این مدل تا پیش از نسخه GPT-4V  عرضه عمومی نشده بود). جمینای محصول دیپ‌مایند گوگل نیز چندوجهی است.
خصوصیات > قوانین مقیاس‌پذیری

چهار ابرپارامتر زیر یک ال‌ال‌ام را تعیین می‌کنند:
هزینه (پیش) آموزش ( C )
اندازه خود شبکه عصبی مصنوعی ، از جمله  تعداد پارامترها  N (یعنی تعداد نورون‌ها در لایه های آن، تعداد وزن بین آنها و بایاس ها)،
اندازه مجموعه داده (پیش) آموزش آن (یعنی تعداد نشانه‌ها در پیکره متنی دانش،  D )
عملکرد پس از (پیش) آموزش
مدل‌ها با استفاده از قوانین آماری ساده‌ای که "قوانین مقیاس‌پذیری" نامیده می‌شوند، به یکدیگر مرتبط می‌شوند. به عنوان مثال، یک قانون مقیاس‌پذیری خاص ("مقیاس سازی چینچیلا") که برای آموزش خودهمبسته ال‌ال‌ام در هر مرحله، با برنامه نرخ یادگیری log-log بکار رفته، بیان می‌کند که:
{\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}
به طوری که
C هزینه آموزش مدل، بر حسب فلاپس است.
N تعداد پارامترهای مدل است.
D تعداد نشانه‌های مجموعه آموزشی است.
L میانگین تلفات درست‌نمایی-لگاریتمی منفی در هر نشانه (nats/token) است که از ال‌ال‌ام آموزش‌دیده بر روی مجموعه داده آزمایشی به دست آمده است.
و ابرپارامترهای آماری به شکل زیر خواهند بود:
C_{0}=6 ، به این معنی که هزینه آموزش یک نشانه به هر پارامتر 6 فلاپس خواهد بود. توجه داشته باشید که هزینه آموزش بسیار بالاتر از هزینه استنتاج است، به طوری که هزینه استنباط یک نشانه برابر با 1 تا 2 فلاپس به ازای هر پارامتر خواهد بود.
\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69
تفسیر

مدل‌های زبان بزرگ به خودی خود « جعبه‌های سیاه » هستند و مشخص نیست که چگونه می‌توانند وظایف زبانی را انجام دهند. روش های مختلفی برای درک نحوه کار ال‌ال‌ام وجود دارد.
هدف تفسیرپذیری مکانیسکیک، مهندسی معکوس ال‌ال‌ام با کشف الگوریتم‌های نمادین است، که استنتاج انجام‌شده توسط ال‌ال‌ام را تقریب می‌زنند. یک مثال برای این روش کارکردی، اتللو-جی‌پی‌تی است که در آن یک ترنسفورمر کوچک برای پیش‌بینی حرکات مجاز بازی اتللو آموزش دیده است. تحلیل ها نشان داد که یک نمایش خطی از هیئت مدیره اتللو تولید شده است، و هرگونه تغییر یا اصلاح نمایش خطی، حرکات قانونی پیش بینی شده اتللو را به روش صحیح تغییر می دهد. در مثالی دیگر، یک ترنسفورمر کوچک در برنامه های کارل آموزش دید. مشابه مثال اتللو-جی‌پی‌تی، از مفهوم برنامه کارل یک نمایش خطی وجود دارد، و اصلاح این نمایش، خروجی را به روش صحیح تغییر می دهد. این مدل همچنین برنامه‌های صحیحی را تولید می‌کند که به طور متوسط کوتاه‌تر از برنامه‌های موجود در مجموعه داده آموزشی هستند.
در مثالی دیگر، نویسندگان یک مقاله ترنسفورمرهای کوچک را در به منظور اجرای جمع حسابی مدولار آموزش دادند. مدل‌های به دست آمده مهندسی معکوس شدند و مشخص شد که از تبدیل فوریه گسسته استفاده می کنند.
ارزیابی > سرگشتگی

مقالهٔ اصلی: سرگشتگی
متداول‌ترین معیاری که برای بررسی عملکرد یک مدل زبان مورد استفاده قرار می‌گیرد، سرگشتگی آن در یک مجموعه متنی معین است. سرگشتگی معیاری است که نشان می‌دهد یک مدل تا چه اندازه می‌تواند محتویات یک مجموعه داده را پیش‌بینی کند. هر چه درست‌نمایی مدل نسبت به مجموعه داده بیشتر باشد، سرگشتگی کمتر است. از نظر ریاضی، سرگشتگی، توان نمایی منفی میانگین درست‌نمایی به ازای هر نشانه تعریف می شود:
\log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))در اینجا  N تعداد نشانه‌ها در مجموعه متن و عبارت  «context for token  i»بستگی به نوع ال‌ال‌ام مورد استفاده دارد. اگر ال‌ال‌ام خودهمبسته باشد، آنگاه  «زمینه‌ی نشانه i» بخشی از متن است که قبل از نشانه  i ظاهر می‌شود. اگر ال‌ال‌ام نقاب‌پوش شده باشد، «زمینه‌ی نشانه i» بخشی از متن است که نشانه  i را احاطه کرده است.
ارزیابی > بیت‌بر‌کلمه، بیت‌بر‌حرف، بیت‌بر‌نشانه

در نظریه اطلاعات، مفهوم آنتروپی به طور پیچیده‌ای با سرگشتگی مرتبط است. این رابطه توسط کلود شانون بیان شده است. صورت ریاضی این رابطه {\text{Entropy}}=\log _{2}({\text{Perplexity}}) است.
آنتروپی، در این زمینه، معمولاً بر حسب بیت‌بر‌کلمه (اختصاری BPW) یا بیت‌بر‌کاراکتر (اختصاری BPC) بیان می‌شود، که بستگی به این دارد که مدل زبان از نشانه‌گذاری مبتنی بر کلمه استفاده می‌کند یا کاراکتر.
قابل ذکر است که در مورد مدل‌های زبان بزرگ‌تر که عمدتاً از نشانه‌سازی زیرکلمه استفاده می‌کنند، استفاده از واحد بیت‌بر‌نشانه (اختصاری BPT)به ظاهر مناسب‌تر می‌رسد. با این حال، به دلیل تفاوت در روش‌های نشانه‌گذاری در ال‌ال‌ام‌های مختلف، BPT نمی‌تواند یک معیار قابل اعتماد برای تجزیه‌و‌تحلیل باشد و مقایسه بین مدل‌های متنوع عمل نمی کند. برای تبدیل BPT به BPW، می توان آن را در میانگین عدد نشانه‌در‌کلمه ضرب کرد.
به طور کلی در ارزیابی و مقایسه مدل‌های زبانی، واحد اندازه‌گیری آنتروپی متقاطع بر آنتروپی ترجیح داده می‌شود اصل اساسی این است که یک BPW پایین، نشان‌دهنده قابلیت فشرده سازی مدل است که به سیستم اضافه شده است. و همین موضوع می‌تواند به نوبه خود نمادی از مهارت مدل در پیش‌بینی‌های دقیق باشد.
ارزیابی > مجموعه داده های تخصصی و محک

تعداد زیادی از مجموعه داده‌های آزمایش و محک برای ارزیابی قابلیت‌های مدل‌های زبان در کارهای پایین‌دستی خاص‌تر ایجاد شده‌اند. آزمون‌های طراحی‌شده می‌تواند برای ارزیابی توانایی‌های مختلف، از جمله دانش عمومی، قابلیت استدلال، و حل مسئله ریاضی به کار روند.
یک دسته وسیع از مجموعه داده‌های ارزیابی، مجموعه داده‌های پرسش و پاسخ است که شامل جفت سؤال و پاسخ‌های صحیح است. برای مثال، («آیا کوسه های سن خوزه جام استنلی را برده‌اند؟»، «نه»). یک وظیفه‌ی پرسش و پاسخ در صورتی «کتاب باز» در نظر گرفته می‌شود که دستور ورودی به مدل، شامل متنی باشد که می‌توان پاسخ مورد انتظار را از آن استخراج کرد. یعنی، به عنوان مثال، سؤال قبلی را می‌توان با متنی دیگری همراه کرد بدنی صورت که «کوسه‌هایی که یک بار در جام استنلی به مرحله نهایی درست یافتند در سال 2016 به پنگوئن پیتسبورگ باختند."  در غیر این صورت، وظیفه "کتاب بسته" در نظر گرفته می شود و مدل باید از دانش حفظ شده در طول آموزش‌های قبلی برای پاسخگویی استفاده کند. برخی از نمونه‌های متداول مجموعه داده‌های پاسخگویی به سؤالات عبارتند از TruthfulQA، Web Questions، TriviaQA و SQuAD.
مجموعه داده‌های ارزیابی ممکن است به شکل متن با جای خالی نیز باشد. به این صورت که مدل محتمل‌ترین کلمه یا جمله را برای تکمیل یک پرسش انتخاب می‌کند. این مثال را مشاهده کنید: "آلیس با باب دوست بود. آلیس به ملاقات دوستش، ____ رفت."
برخی از معیارهای ترکیبی نیز توسعه داده شده‌اند که مجوعه متنوعی از داده‌ها و وظایف ارزیابی مختلف را ترکیب می‌کنند. به عنوان مثال می‌توان به GLUE، SuperGLUE، MMLU، BIG-bench و HELM اشاره کرد.
در گذشته مرسوم بود که  آموزش یک مدل بر روی بخشی از مجموعه داده و سپس آزمایش آن بر روی یک بخش جداگانه از داده که مدل قبلاً با آن برخورد نداشت بود،صورت می‌گرفت. این عمل را تنظیم دقیق نظارت‌شده شناخته می‌شود.
امروزه روش مرسوم برای آزمایش مدلی که قبلاً آموزش داده‌شده است (مدل از پیش آموزش داده‌شده) با استفاده از مهندسی پرسش است. با این حال، هیچ رویکرد یکسانی برای همه وجود ندارد. محققان با توجه به کاربردهای مختلف، از استراتژی‌های متفاوتی برای ایجاد این پرسش‌ها استفاده می کنند.
یکی از جزئیات کلیدی که بین روش ها تفاوت ایجاد می‌کند، تعداد نمونه‌های حل شده‌ای است که به همراه پرسش به مدل تزریق می‌شود. این پارامتر تحت عنوان پرسش n-shot شناخته می‌شود، که در آن 'n' تعداد مثال‌ است. بن که در پرسش گنجانده شده است. به عبارت ساده‌تر، به جای اینکه یک مدل را بعد از آموزش روی داده‌های دیده نشده آزمایش کنیم، اکنون آن را با دادن یک کار و چند مثال از نحوه حل آن آزمایش می‌کنیم.
تاثیرات

در سال 2023، مجله مهندسی بیومدیکال طبیعت نوشت که "دیگر نمی‌توان به طور دقیق" متن نوشته شده توسط انسان را از متن ایجاد شده توسط ال‌ال‌ام‌ها تشخیص داد، و "مطمئن است که ال‌ال‌ام‌های همه‌منظوره به سرعت تکثیر خواهند شد." و "شرط بندی بر سر این که ال‌ال‌ام‌ها در طول زمان بسیاری از صنایع را تغییر دهند، بدون باخت است." موسسه گلدمن ساکس در سال 2023 پیش‌بینی کرد که هوش مصنوعی با زبان مولد می‌تواند تولید ناخالص داخلی جهانی را در ده سال آینده تا 7 درصد افزایش داده و  300 میلیون شغل در سراسر جهان را در معرض اتوماسیون قرار دهد.
تاثیرات > به خاطر سپردن داده و قانون حق کپی

برخلاف رفتار معمول شبکه‌های عصبی مصنوعی سنتی، به خاطر سپردن، یک رفتار نوظهور در ال‌ال‌ام‌ها است که هنگام تولید رشته‌های طولانی متن، گهگاه کلمه‌هایی عیناً مشابه به داده‌ای آموزش بیرون داده می‌شوند. ارزیابی خروجی‌های کنترل‌شده ال‌ال‌ام‌ها، میزان متون حفظ شده از داده‌های آموزش (با تمرکز بر مدل‌های سری جی‌پی‌تی ۲) را بیش از 1% برای موارد تکراری دقیق  یا تا حدود 7% اندازه‌گیری می‌کند.
تاثیرات > امنیت

برخی از نظردهندگان عمومی، نسبت به ایجاد تصادفی یا عمدی اطلاعات نادرست یا سایر اشکال استفاده نادرست از ال‌ال‌ام‌ها ابراز نگرانی کردند. برای مثال، در دسترس بودن ال‌ال‌ام‌ها می‌تواند سطح مهارت مورد نیاز برای ارتکاب بیوتروریسم را کم کند. یک محقق امنیت زیستی، کوین اسولت، پیشنهاد کرده است که سازندگان ال‌ال‌ام باید از مقالات در زمینه ایجاد یا توسعه پاتوژن‌ها را مخزن آموزشی خود حذف کنند.
مطالعه محققان در گوگل و چندین دانشگاه، از جمله دانشگاه کرنل و دانشگاه کالیفرنیا، برکلی، نشان داد که خطرات امنیتی بالقوه‌ای در مدل های زبانی مانند چت‌جی‌پی‌تی وجود دارد. در این مطالعه آنها این امکان را بررسی کردند که آیا پرسش‌کنندگان می‌توانند داده‌های آموزشی را که مدل هوش مصنوعی استفاده می‌کرد، از چت‌جی‌پی‌تی دریافت کنند. این محققان دریافتند که می‌توان داده‌های آموزشی را از مدل هوش مصنوعی دریافت کرد. به عنوان مثال، وقتی از چت‌جی‌پی‌تی 3.5 توربو می‌خواهیم کلمه "شعر" را برای همیشه تکرار کند، مدل هوش مصنوعی صدها بار "شعر" می‌گوید و سپس از سبک استاندارد دیالوگ منحرف می‌شود و عبارات غیرمرتبط را بیرون می‌ریزد، و عملاً بخش هایی از داده‌های آموزش خود را بدون تغییر بیرون می‌ریزد. محققان به بیش از 10000 نمونه مختلف برخورد کردند که مدل هوش مصنوعی داده‌های آموزشی خود را با روشی مشابه در معرض نمایش قرار می‌دهد. محققان به این نتیجه رسیدند که تشخیص اینکه آیا مدل هوش مصنوعی واقعاً ایمن است یا نه دشوار است.
حضور بالقوه "عامل‌ خفته" در  ال‌ال‌ام‌ها یکی دیگر از نگرانی های امنیتی در حال ظهور است. این عامل‌ قابلیت‌های پنهانی هستند که در مدل تعبیه شده‌اند و تا زمانی که توسط یک رویداد یا شرایط خاص فعال شوند، غیرفعال باقی ‌می‌مانند. پس از فعال‌سازی، ال‌ال‌ام از رفتار مورد انتظار منحرف می‌شود به اقدامات ناامن دست می‌زند.
تاثیرات > سوگیری الگوریتمی

در حالی که ال‌ال‌ام‌ها قابلیت‌های قابل توجهی در تولید متن شبه‌انسانی نشان داده‌اند، آنها مستعد به ارث بردن و تقویت سوگیری‌های موجود در داده‌های آموزشی خود هستند. این موضوع می‌تواند در بازنمایی‌های نادرست یا رفتار ناعادلانه با جمعیت‌های مختلف، مانند موارد مرتبط با نژاد، جنسیت، زبان و گروه‌های فرهنگی آشکار شود. از آنجایی که داده‌های به زبان انگلیسی در داده‌های آموزشی مدل‌های زبان بزرگ کنونی بیش از بقیه زبان‌ها وجود دارد، ممکن است دیدگاه‌های غیرانگلیسی را نیز کم‌اهمیت جلوه داده شوند.
تاثیرات > کلیشه سازی

مدل‌های هوش مصنوعی می‌توانند طیف گسترده‌ای از کلیشه‌ها را، از جمله مدل‌های مبتنی بر جنسیت، قومیت، سن، ملیت، مذهب یا شغل بازتاب یا تقویت کنند. این می‌تواند منجر به خروجی‌هایی شود که به‌طور ناعادلانه به تعمیم‌دهی گروه‌هایی از مردم یا حتی تمسخر آنها، حتی گاهی به روش‌های مضر یا تحقیرآمیز، منجر شود.
سوگیری جنسیتی  اشاره به تمایل این مدل‌ها به تولید خروجی‌هایی دارد که ناعادلانه نسبت به یک جنسیت تعصب دارند. این سوگیری معمولاً از داده‌هایی ناشی می‌شود که این مدل‌ها بر اساس آنها آموزش داده شده‌اند. اغلب مدل‌های زبانی بزرگ بر اساس هنجارهای جنسیتی سنتی، نقش‌ها و ویژگی‌هایی را تعریف و استفاده می‌کنند. به عنوان مثال، ممکن است پرستاران یا منشی‌ها را عمدتاً با زنان و مهندسان یا مدیران عامل را با مردان مرتبط کند.
تاثیرات > تعصب سیاسی

سوگیری سیاسی به تمایل الگوریتم‌ها برای برتری سیستماتیک دیدگاه‌ها، ایدئولوژی‌ها یا نتایج سیاسی خاص اشاره دارد. مدل‌های زبانی نیز ممکن است سوگیری‌های سیاسی را از خود بروز دهند. از آنجایی که داده‌های آموزشی شامل طیف گسترده‌ای از نظرات سیاسی است، بسته به شیوع آن دیدگاه‌ها در داده‌ها، مدل‌ها ممکن است پاسخ‌هایی ایجاد کنند که به ایدئولوژی‌ها یا دیدگاه‌های سیاسی خاص متمایل هستند.
چگونگی کار

تصور کنید در حال انجام یک بازی ویدیویی هستید که در آن شخصیت کامپیوتری می‌تواند تمام جزئیات اتفاقات گذشته را به خاطر بسپارد، اتفاقات بعدی را پیش‌بینی کند و حتی برای شما داستانی تعریف کند. به نوعی ال‌ال‌ام‌ها این کار را می‌کنند. آن‌ها حجم وسیعی از داده‌های متنی را تجزیه و تحلیل می‌کنند، از آن یادمی‌گیرند و سپس از آن دانش برای تولید پاسخ‌هایی استفاده می‌کنند که شبیه انسان به نظر می‌رسند.
آنها با پیش‌بینی کلمه یا نشانه بعدی بر اساس کلمات یا نشانه‌های قبلی که دیده‌اند کار می‌کنند. برای مثال، اگر به یک مدل زبانی بزرگ ورودی «آسمان» را بدهید، ممکن است کلمه بعدی را به صورت «آبی» یا «ابری» یا «تاریک» پیش‌بینی کند.
برای انجام این کار، ال‌ال‌ام‌ها از حجم عظیمی از داده‌ها، مانند متن از اینترنت، کتاب، مقاله و سایر منابع برای یادگیری الگوها و قوانین زبان استفاده می‌کنند. آنها همچنین از نوع خاصی از شبکه عصبی به نام ترانسفورمر (مبدل) برای پردازش توالی‌های ورودی و خروجی کلمات یا نشانه‌ها استفاده می‌کنند. ترانسفورمر از لایه‌های زیادی از واحدها به نام نورون تشکیل شده‌است که عملیات ریاضی را روی توالی‌های ورودی و خروجی انجام می‌دهد.
ال‌ال‌ام‌ها با تنظیم پارامترها یا وزن نورون‌ها در لایه‌های ترانسفورمر آموزش می‌بینند، به طوری که می‌توانند خطا بین کلمه یا نشانه بعدی پیش‌بینی شده و واقعی را به حداقل برسانند. هر چه ال‌ال‌ام داده‌ها و پارامترهای بیشتری داشته باشد، بهتر می‌تواند زبان را بیاموزد و کارهای مختلفی مانند خلاصه‌نویسی، ترجمه، پاسخ به سؤالات، نوشتن مقاله و غیره را بهتر انجام دهد. با این حال، داشتن داده‌ها و پارامترهای بیشتر به این معنی است که ال‌ال‌ام برای آموزش و اجرا به منابع محاسباتی بیشتری مانند حافظه و قدرت پردازش نیاز دارد. به‌علاوه، به این معنی است که ال‌ال‌ام ممکن است سوگیری‌ها و خطاهای موجود در داده‌ها مانند کلیشه‌ها، پیش‌داوری‌ها و اطلاعات غلط را به ارث برده و یا حتی تقویت کند؛ بنابراین، ال‌ال‌ام‌ها باید به دقت طراحی و آموزش داده شده و ارزیابی شوند تا از دقت، عدالت و استفاده اخلاقی از آنها اطمینان حاصل شود.
مشاهدات بیشتر

مدل‌های بنیادی
پاورقی‌ها

↑  Large Language Model
↑  ReAct ("Reason + Act")
↑  DEPS ("Describe, Explain, Plan and Select")
↑  Reflexion method
↑  outlier weights
↑  Multimodality
↑  Modality
↑  Hallucination
↑  Neural Theory of Language
↑  Probabilistic Context-Free Grammar (PCFG)
↑  BPW  (bits per word), BPC (bits per character) and BPT (bits per token)
↑  sub-word tokenization
کشتار عدرا

| کشتار عدرا | کشتار عدرا |
| --- | --- |
بخشی از جنگ داخلی سوریه: بخشی از جنگ داخلی سوریه
موقعیت: عدرا، سوریه
تاریخ: 11–12 December 2013
هدف: علویان، مسیحیان، دروزی‌ها و اسماعیلیان
گونه حمله: قتل‌عام
کشته‌ها: ۳۲–۴۰ (ادعای مخالفان) 80–100 (ادعای دولت)
مرتکبان: جیش الاسلام و جبهه النصره
انگیزه: فرقه گرایی
کشتار عدرا به قتل حداقل ۳۲ غیرنظامی علوی، مسیحی، دروزی و اسماعیلی در شهر صنعتی عدرا در سوریه، در دسامبر ۲۰۱۳ در جریان جنگ داخلی سوریه اشاره دارد. به گفته دولت و فعالان، این کشتار توسط جبهه النصره انجام شده است. وزارت امور خارجه ایالات متحده این کشتارها، از جمله قتل غیرنظامیان در عدرا را محکوم کرد.
تاریخچه وقایع

در ۱۱ دسامبر، گروه‌های جبهه اسلامی، جیش الاسلام و جبهه النصره وارد منطقه صنعتی شهر عدرا، در شمال شرق دمشق شدند و ساختمان‌های مسکونی کارگران و خانواده‌های آنان را هدف قرار دادند. گزارش شده که مهاجمان علوی‌ها، دروزی‌ها، مسیحیان و شیعیان را به دلایل فرقه‌ای هدف قرار دادند و برخی از افراد را با تیراندازی و برخی دیگر را با سربریدن به قتل رساندند. این کشتارها تا روز بعد ادامه یافت. بنا بر مستندات دیده‌بان حقوق بشر سوریه، ۱۵ تا ۱۹ غیرنظامی از اقلیت‌ها کشته شدند، در حالی که ادعاهایی از کشته شدن تا ۴۰ نفر و ربوده شدن بسیاری از خانواده‌ها وجود دارد. همچنین، ۱۸ نفر از اعضای شبه‌نظامیان طرفدار دولت نیز کشته شدند، که در میان آن‌ها پنج عضو ارتش آزادی‌بخش فلسطین (PLA) حضور داشتند. چندین شورشی نیز در حادثه‌ای کشته شدند که یک مرد شیعه پس از تلاش شورشیان برای قتل اعضای خانواده‌اش، یک نارنجک دستی را منفجر کرد و خود، شورشیان و اعضای خانواده‌اش را کشت.
در ۱۳ دسامبر، ارتش عدرا را محاصره کرد و عملیاتی برای بیرون راندن شورشیان از این منطقه آغاز نمود. ارتش در همان روز به پیشروی‌هایی در این شهر دست یافت. تا روز بعد، این عملیات همچنان ادامه داشت.
تا ۱۵ دسامبر، تعداد غیرنظامیان اقلیت کشته‌شده در حمله شورشیان به عدرا به ۳۲ نفر تأیید شد. ده‌ها نفر دیگر نیز مفقود بودند. ارتش سوریه ادعا کرد که بیش از ۸۰ نفر توسط شورشیان اسلامی کشته شده‌اند، در حالی که وزارت خارجه سوریه تعداد کشته‌ها را بیش از ۱۰۰ نفر اعلام کرد.
در ۳۰ دسامبر، گزارش‌ها حاکی از آن بود که ارتش سوریه حدود ۵٬۰۰۰ نفر را از عدرا تخلیه کرده است و در ۳۱ دسامبر، خبرگزاری دولتی گزارش داد که تعداد بیشتری از مردم تخلیه شده‌اند و مجموع تعداد تخلیه‌شدگان به بیش از ۶٬۰۰۰ نفر رسیده است.
تا اواسط ژانویه، گزارش شد که دولت سوریه کنترل منطقه صنعتی عدرا را بازپس گرفته است. در اواخر سپتامبر ۲۰۱۴، ارتش این شهر را بازپس گرفت.
کندال جنر

| کندال جنر | کندال جنر |
| --- | --- |
نام هنگام تولد: کِندال نیکول جِنِر
زادهٔ: ۳ نوامبر ۱۹۹۵ ‏(۲۹ سال) لس آنجلس, کالیفورنیا, آمریکا
پیشه‌ها:  مدل  شخصیت تلویزیونی 
سال‌های فعالیت: ۲۰۰۷–تاکنون
والدین:  بروس جنر  کریس جنر 
خویشاوندان:  کایلی جنر (خواهر)  کورتنی کارداشیان (خواهر ناتنی)  کیم کارداشیان (خواهر ناتنی)  کلویی کارداشیان (خواهر ناتنی)  راب کارداشیان (برادر ناتنی)  برودی جنر (برادر ناتنی)  براندون جنر (برادر ناتنی) 
اطلاعات مدلینگ: اطلاعات مدلینگ
قد: 180
رنگ مو: قهوه ای
رنگ چشم: قهوه ای
بنگاه: The Society Management (نیویورک) Elite Model Management (پاریس, میلان, لندن)
 :  
کندال نیکول جنر (انگلیسی: Kendall Nicole Jenner؛ زادهٔ ۳ نوامبر ۱۹۹۵) یک مدل اهل ایالات متحده آمریکا است. وی از سال ۲۰۰۶ میلادی تاکنون مشغول فعالیت بوده‌است. او دختر ویلیام بروس جنر و کریستن مری جنر می‌باشد.
خانواده و روابط

او دارای یک خواهر کوچکتر به نام کایلی و سه خواهر ناتنی بزرگتر به نام‌های کورتنی، کیم و کلویی کارداشیان و همچنین چهار برادر ناتنی به نام‌های راب کارداشیان، برت جنر، براندون جنر و برودی جنر می‌باشد.
از جمله روابط رسانه ای او رابطه او با هری استایلز خواننده بریتانیایی و عضو گروه وان دایرکشن است،اگرچه این رابطه هیچگاه از سوی دو طرف تایید نشده است. با وجود پخش شدن عکس های دونفره آن ها در یک کشتی ساحلی اما شایعه جدی بودن رابطه آن ها بعد از هک شدن تلفن همراه آنه توییست مادر هری استایلز و به اشتراک گذاری تصاویر خانوادگی آن ها با کندال قوت گرفت.اما این رابطه در سال ۲۰۱۴ پایان یافت و آن ها رابطه دوستانه خود را تاکنون حفظ کرده اند.همانطور که در سال ۲۰۱۹ بعد از مراسم مت گالا میهمانی مشترکی را میزبانی کرده اند.
موفقیت

او حرفهٔ مدلینگ را در سن ۱۴ سالگی و برای برند Sherri Hill آغاز کرد. در سال ۲۰۱۰ به عنوان دهمین ستارهٔ جذاب جوان تلویزیون انتخاب شد. او با حضور در برنامه تلویزیونی پابه‌پای خانواده کارداشیان درخشید، در سال ۲۰۱۴ برای راه رفتن روی صحنه‌های طراحان مد بزرگی در پاریس، نیویورک و میلان حضور یافت و در سال ۲۰۱۵ برای ویکتوریا سیکرت کت واک انجام داد، او همچنین سفیر استه لودر و لوازم آرایشی آن نیز هست. او برای نسخه‌ها متعدد مجله وگ مانند نمایندگی آن در ژاپن، مکزیک و ایتالیا ظاهر شد. او همچنین در سال ۲۰۱۶ یک نسخه اختصاصی وگ به دست آورد. او همچنین با خواهرش کایلی جنر برند لباس خود را دارد. او بهترین دوست خود را کارا دلوین معرفی کرده. او با  جیجی حدید و هیلی بالدوین دوست صمیمی است. کندال جنر خواهر ناتنی کیم کارداشیان توانست با درآمد ۲۲ میلیون دلاری خود در سال ۲۰۱۷ پردرآمدترین مدل شود و به ۱۵ سال سلطه‌ی مدل ۳۷ ساله برزیلی برسد.
او در سال ۲۰۱۹ توانست ۱۵ میلیون دلار از طریق صفحه اینستاگرام خود به‌دست آورد که او را نفر سوم در لیست پر درآمدترین صفحات اینستاگرام می‌کند.
کندال و خواهرش کایلی جنر
فعالیت کندال جنر در عکاسی گلامور