موضوع مقاله: مدل زبانی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل زبانی | مقدمه: به طور مثال اگر دنباله‌ای به طول داشته باشیم، این مدل احتمال را به کل دنباله می‌دهد. | ## بخش 1: مدل زبانی | مدل زبان بافتی (زبان‌شناسی) را برای تمایز بین کلمات و عباراتی که به نظر مشابه می‌رسند فراهم می‌کند. این مدل به عنوان مدل ان-گرام شناخته می‌شود و زمانی که n برابر با ۱ باشد مدل به عنوان یونیگرام شناخته می‌شود. تخمین احتمال نسبی عبارات مختلف در بسیاری از کاربردهای پردازش زبان طبیعی، به ویژه مواردی که متن را به عنوان خروجی تولید می کنند، مفید است. ابهامات هنگامی که شهودهایی از مدل زبان با یک مدل تلفظ و یک مدل صوتی ادغام شده است، آسان‌تر حل خواهند شد. انواع مدل یونیگرام یک مدل یونیگرام را می توان ترکیبی از چندین ماشین حالات متناهی یک حالته دانست. احتمال ایجاد شده برای یک پرسش خاص به صورت زیر محاسبه می‌شود مستندهای مختلف دارای مدل‌های یونیگرام هستند که احتمال مختلف کلمات در آن وجود دارد. توزیع احتمال از مستندهای مختلف استفاده می‌شود تا احتمال وجود کلمه برای هر جستجو را تولید شود. در زمینه‌های بازیابی اطلاعات، برای جلوگیری از مواردی که احتمال کلمه در آن صفر شود، آن را smooth می‌کنند. یک رویکرد معمول، ایجاد مدل حداکثر احتمال برای کل مجموعه و درون‌یابی خطی مدل مجموعه با یک مدل حداکثر احتمال برای هر مستند برای smooth کردن مدل است. ان-گرام در مدل ان-گرام، احتمال از مشاهده جمله به صورت زیر محاسبه می‌شود فرض بر این است که احتمال مشاهده‌ی iامین کلمه (wi) در i-1 کلمه قبل را می توان با احتمال مشاهده آن 10 کلمه قبلی تقریب زد. به طور معمول، احتمالات مدل ان-گرام مستقیماً از تعداد فرکانس ها بدست نمی‌آیند، زیرا مدل‌هایی که از این طریق بدست آمده‌اند هنگام مواجهه با هر ان-گرامی که قبلاً به طور صریح دیده نشده است، مشکلات جدی دارند. | ## بخش 2: مدل زبانی | دو طرفه بازنمایی های دو طرفه هم در قبل و هم در بعد متن (به عنوان مثال ، کلمات) در همه لایه‌ها شرط هستند. نمایی مدل‌های زبان اصل حداکثر آنتروپی با استفاده از توابع ویژگی، رابطه بین کلمه و تاریخچه ان-گرام را رمزگذاری می‌کنند. شبکه عصبی مدل‌های زبانی عصبی (یا مدل های زبان فضایی پیوسته) برای ارائه پیش‌بینی‌های خود از نمایش‌های پیوسته یا نمایش کلمات استفاده می‌کنند. نمایانگر پیوسته فضا به کاهش نفرین ابعاد در مدل سازی زبان کمک می‌کند: با آموزش مدل‌های زبان بر روی متن های بزرگتر و بزرگتر ، تعداد کلمات منحصر به فرد (واژگان) افزایش می‌یابد. تعداد توالی‌های احتمالی کلمات با اندازه واژگان به طور تصاعدی افزایش می‌یابد و به دلیل تعداد زیاد توالی‌ها، باعث ایجاد مشکل پراکندگی داده‌ها می‌شود. شبکه‌های عصبی با نمایش کلمات به صورت توزیع شده، به عنوان ترکیب‌های غیرخطی وزن‌ها در یک شبکه عصبی، از این مشکل جلوگیری می‌کنند. معماری شبکه عصبی ممکن است پیشخور یا بازگشتی باشد، و گرچه اولی ساده تر است دومی بیشتر مورد استفاده قرار می‌گیرد. به طور معمول، مدل‌های زبان شبکه عصبی به عنوان طبقه‌بندی کننده‌های احتمالی ساخته می شوند و آموزش می‌بینند که توزیع احتمال را پیش‌بینی کنند . یعنی شبکه آموزش دیده است تا با توجه به متن زبان، توزیع احتمال بر روی واژگان را پیش‌بینی کند. این کار با استفاده از الگوریتم های استاندارد آموزش عصبی عصبی مانند گرادیان کاهشی تصادفی همراه با پس‌انتشار انجام می‌شود. متن ممکن است یک پنجره با اندازه ثابت کلمات قبلی باشد، شبکه، احتمال زیر را پیش‌بینی می‌کند از بردار ویژگی که نشان‌دهنده کلمه‌ی قبلی است. | ## بخش 3: مدل زبانی | گزینه دیگر استفاده از کلمات "بعدی" علاوه بر کلمات "قبلی" به عنوان ویژگی است، احتمال تخمین زده شده برابر است با . وقتی بردارهای مشخصه کلمات در متن با یک عمل پیوسته ترکیب میaوند، از این مدل به عنوان معماری پیوسته کلمات (CBOW) یاد می‌شود. گزینه سوم که با سرعت کمتری نسبت به CBOW آموزش داده می‌شود اما عملکرد کمی بهتر دارد، معکوس کردن مشکل قبلی و ایجاد یک شبکه عصبی برای یادگیری متن می‌باشد. به صورت رسمی‌تر، با داشتن دنباله‌ای از کلمات آموزشی ، تابعی که متوسط احتمال را به حداکثر می رساند برابر است با که ، اندازه متن آموزش، می‌تواند تابعی از کلمه وسط باشد. به جای استفاده از مدل‌های زبانی شبکه عصبی برای تولید احتمالات واقعی، معمولاً از نمایش توزیع شده در لایه های "پنهان" شبکه به عنوان نمایش کلمات استفاده می‌شود. نمایش‌ها در مدل‌های skip-gram دارای مشخصه متمایزی است که آنها روابط معنایی بین کلمات را به صورت ترکیب‌های خطی مدل‌سازی می‌کنند و نوعی ترکیب‌بندی را بدست می‌آورند. به عنوان مثال، در برخی از این مدل‌ها، اگر تابعی باشد که یک کلمه را به نمایش -بعدی تبدیل کند، داریم: که ≈ با این شرط که سمت راست آن باید نزدیکترین همسایه مقدار سمت چپ باشد، دقیق‌تر می‌شود. سایر یک مدل زبان موقعیتی احتمال وقوع کلمات معین نزدیک به یکدیگر که لزوماً بلافاصله مجاور نیستند را در یک متن ارزیابی می‌کند. علیرغم موفقیت‌های محدود در استفاده از شبکه های عصبی، نویسندگان نیاز به تکنیک‌های دیگر را هنگام مدل‌سازی زبان اشاره تأیید می‌کنند. | ## جمع‌بندی | معیارها مجموعه داده‌های مختلفی برای استفاده برای ارزیابی سیستم‌های پردازش زبان ساخته شده است.