موضوع مقاله: مدل زبان ان-گرم کلمات | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل زبان ان-گرم کلمات | مقدمه: یک مدل زبانی ان-گرم واژه‌ای یک مدل آماری زبان است که احتمال واژه بعدی در یک دنباله را بر اساس واژه‌های پیشین موجود در یک پنجره با اندازه ثابت محاسبه می‌کند. | ## بخش 1: مدل زبان ان-گرم کلمات | برای توصیف بهتر می‌توان گفت که اگر برای محاسبه احتمال واژه بعدی، تنها یک واژه پیشین در نظر گرفته شود، این مدل یک مدل بی‌گرام است؛ اگر دو واژه در نظر گرفته شود، یک مدل تری‌گرام است؛ و اگر n − ۱ واژه در نظر گرفته شود، یک مدل n-گرم خواهد بود. در این روش، برای مشخص‌کردن آغاز و پایان جمله نشانه‌های ویژه‌ای معرفی می‌شوند که به ترتیب با و نمایش داده می‌شوند. برای جلوگیری از اختصاص احتمال صفر به واژه‌های دیده‌نشده، احتمال هر واژه دیده‌شده اندکی کاهش داده می‌شود تا فضایی برای واژه‌های دیده‌نشده در یک پیکره ایجاد شود. برای دستیابی به این هدف، از روش‌های مختلف هموارسازی استفاده می‌شود؛ از هموارسازی ساده «افزودن یک» (که در آن به ان-گرم‌های دیده‌نشده شمارش ۱ اختصاص داده می‌شود، به عنوان یک پیشین غیرآگاهانه) گرفته تا روش‌های پیشرفته‌تر مانند مدل‌های عقب‌گردی. مدل‌های زبانی ان-گرم واژه‌ای، تا حد زیادی جای خود را به مدل‌های مبتنی بر شبکه‌های عصبی بازگشتی داده‌اند که آن‌ها نیز به نوبه خود توسط مدل‌های مبتنی بر ترنسفورمر کنار گذاشته شده‌اند. این دسته از مدل‌های مبتنی بر ترنسفورمر معمولاً با عنوان مدل‌های زبانی بزرگ شناخته می‌شوند. در این مدل، احتمال هر واژه در یک دنباله مستقل از احتمال واژه‌های دیگر در همان دنباله است. مجموع جِرم احتمال‌های واژه‌ها که در سراسر واژگان سند توزیع شده‌اند برابر با ۱ است. احتمال محاسبه شده برای یک پرس‌وجوی خاص به صورت زیر محاسبه می‌شود: مدل‌های یونی‌گرامِ اسناد مختلف دارای توزیع‌های احتمالی متفاوتی از واژه‌ها هستند. توزیع‌های احتمال اسناد مختلف برای تولید احتمال برخورد هر پرس‌وجو استفاده می‌شوند. مدل بی‌گرام در یک مدل زبانی واژه‌ای بی‌گرام (n = ۲)، احتمال جمله «I saw the red house» به صورت تقریبی به شکل زیر محاسبه می‌شود: در این تقریب، احتمال هر واژه به همه واژه‌ها واسته نیست و تنها به واژه بلافاصله پیش از خود وابسته در نظر گرفته می‌شود. مدل تری‌گرام در یک مدل زبانی تری‌گرام (n = ۳)، تقریب به صورت زیر انجام می‌شود:توجه داشته باشید که در اولین ان-گرم، برای پر کردن زمینه در n − ۱ رشته نخست، از نشانگرهای آغاز جمله استفاده می‌شود که معمولاً با 
 نمایش داده می‌شوند. روش تقریب روش تقریب، احتمال مشاهده جمله را محاسبه می‌کند.فرض می‌شود که احتمال مشاهده واژه اُم یعنی (در پنجره زمینه‌ای شامل واژه پیشین) را می‌توان با احتمال مشاهده آن در یک پنجره زمینه‌ای کوتاه‌شده شامل واژه پیشین تقریب زد (خاصیت مارکوف، یا خاصیت مارکوف مرتبه n). برای روشن‌تر شدن موضوع، اگر n = ۳ و i = ۲ باشد، خواهیم داشت: احتمال شرطی را می‌توان از شمارش فراوانی‌های مدل ان-گرم به صورت زیر محاسبه کرد: واژه‌های خارج از دایره واژگان یکی از مسائل هنگام استفاده از مدل‌های زبانی ان-گرم، واژه‌های خارج از واژگان هستند. این واژه‌ها در زبان‌شناسی رایانشی و پردازش زبان طبیعی زمانی مشاهده می‌شوند که ورودی شامل واژه‌هایی باشد که در زمان آماده‌سازی سامانه در واژه‌نامه یا پایگاه داده آن وجود نداشته‌اند. | ## بخش 2: مدل زبان ان-گرم کلمات | به‌طور پیش‌فرض، هنگام برآورد یک مدل زبانی، کل واژگان مشاهده‌شده مورد استفاده قرار می‌گیرد. در برخی موارد، ممکن است لازم باشد مدل زبانی با یک واژگان ثابت و مشخص برآورد شود. در چنین حالتی، ان-گرم‌های پیکره که شامل یک واژه خارج از دایره واژگان هستند نادیده گرفته می‌شوند. احتمال‌های ان-گرم بر روی تمام واژه‌های موجود در واژگان هموارسازی (سرشکن) می‌شوند، حتی اگر مشاهده نشده باشند. با این حال، در برخی موارد ضروری است که احتمال واژه‌های خارج از واژگان به‌طور صریح مدل‌سازی شود. واژه‌های خارج از واژگان در پیکره، پیش از انباشت شمارش‌های ان-گرم، عملاً با این نشانه ویژه <unk> جایگزین می‌شوند. با استفاده از این روش، امکان برآورد احتمال‌های انتقال ان-گرم‌هایی که شامل واژه‌های خارج از واژگان هستند فراهم می‌شود. اگر رشته‌ها (که تنها شامل حروف الفبای انگلیسی هستند) را به ان-گرم‌های نویسه‌ای با طول ۳ تبدیل کنیم، به فضایی با بُعد می‌رسیم (که در آن بُعد نخست تعداد رخداد «aaa»، بُعد دوم «aab» و به همین ترتیب تمام ترکیب‌های ممکن از سه حرف را اندازه‌گیری می‌کند). با این حال، به صورت تجربی می‌دانیم که اگر دو رشته از متن واقعی نمایش برداری مشابهی داشته باشند (که با استفاده از فاصله کسینوسی سنجیده می‌شود)، احتمالاً این دو رشته مشابه هستند. معیارهای دیگری نیز برای بردارهای ان-گرم به‌کار رفته‌اند که در برخی موارد نتایج بهتری ارائه داده‌اند. برای نمونه، از نمره‌های z برای مقایسه اسناد استفاده شده است؛ به این صورت که بررسی می‌شود هر ان-گرم چند انحراف معیار با میانگین وقوع خود در یک مجموعه بزرگ از اسناد، یا پیکره متنی (که «بردار زمینه» را تشکیل می‌دهد)، تفاوت دارد. در مواردی که شمارش‌ها کوچک هستند، جی-اسکور (که با نام جی-تست نیز شناخته می‌شود) نتایج بهتری ارائه کرده است. همچنین می‌توان رویکردی اصولی‌تر نسبت به آمار ان-گرم‌ها اتخاذ کرد؛ به‌گونه‌ای که شباهت به صورت احتمال این مدل‌سازی شود که دو رشته مستقیماً از یک منبع مشترک آمده باشند، آن هم در قالب یک مسئله در استنباط بیزی. مبادله بایاس–واریانس برای انتخاب مقدار n در یک مدل ان-گرم، لازم است تعادل مناسبی میان پایداری برآورد و میزان تناسب آن برقرار شود. این بدان معناست که تری‌گرام‌ها (یعنی سه‌تایی‌های واژه‌ها) در پیکره‌های آموزشی بزرگ (در حد میلیون‌ها واژه) انتخابی رایج هستند، در حالی که در پیکره‌های کوچک‌تر اغلب از بی‌گرام استفاده می‌شود. | ## بخش 3: مدل زبان ان-گرم کلمات | روش‌های هموارسازی میان «گرام‌های کم‌رخداد» (برای مثال، اگر یک نام خاص در داده‌های آموزشی ظاهر شده باشد) و «گرام‌های پرتکرار» مسئله تعادل وزن وجود دارد. افزون بر این، بدون به‌کارگیری هموارسازی، اقلامی که در داده‌های آموزشی مشاهده نشده‌اند، احتمال ۰٫۰ دریافت خواهند کرد. برای داده‌های مشاهده‌نشده اما محتمل در یک نمونه، می‌توان شمارش‌های کاذب معرفی کرد. در عمل، لازم بود توزیع‌های احتمال «هموار» شوند؛ به این معنا که به واژه‌ها یا ان-گرم‌های دیده‌نشده نیز احتمال‌های ناصفر اختصاص داده شود. دلیل این امر آن است که مدل‌هایی که مستقیماً از شمارش فراوانی‌های ان-گرم استخراج می‌شوند، هنگام مواجهه با هر ان-گرمی که پیش‌تر به‌طور صریح دیده نشده باشد با مشکلات جدی روبه‌رو می‌شوند؛ مسئله‌ای که با عنوان «مشکل بسامد صفر» در الگوریتم فشرده‌سازی پی‌پی‌اِم شناخته می‌شود. روش‌های مختلفی برای هموارسازی به‌کار رفته‌اند؛ از هموارسازی ساده «افزودن یک» (لاپلاس) که در آن به ان-گرم‌های دیده‌نشده شمارش ۱ اختصاص داده می‌شود (نگاه کنید به قاعده توالی)، تا مدل‌های پیشرفته‌تر مانندمدل‌های عقب‌گرد. برخی از این روش‌ها معادل اختصاص دادن یک توزیع پیشین به احتمال‌های ان-گرم‌ها و استفاده از استنباط بیزی برای محاسبه احتمال‌های ان-گرمِ پسین هستند. با این حال، روش‌های هموارسازی پیشرفته‌تر معمولاً به این شیوه استخراج نشده‌اند، بلکه بر اساس ملاحظات مستقل دیگری توسعه یافته‌اند. درون‌یابی خطی (برای مثال، گرفتن میانگین وزنی از یونی‌گرام، بی‌گرام و تری‌گرام) تنزیل گود–تورینگ تنزیل ویتن–بل هموارسازی لیدستون مدل عقب‌گرد کاتز (تری‌گرام) هموارسازی کنسر–نی ان-گرم‌های نحوی ان-گرم‌های نحوی، ان-گرم‌هایی هستند که نه بر اساس ساختار خطی متن، بلکه بر اساس مسیرها در درخت‌های وابستگی نحوی یا سازه‌ای تعریف می‌شوند. برای مثال، جمله «اخبار اقتصادی تاثیر کمی بر روی بازارهای مالی دارند» را می‌توان بر اساس ساختار درختی روابط وابستگی نحوی آن به ان-گرم‌های نحوی زیر تبدیل کرد: اخبار-اقتصادی تاثیر-کم اثر-بر-بروی-بازار-مالی. ان-گرم‌های نحوی با هدف بازتاب دقیق‌تر ساختار نحوی نسبت به ان-گرم‌های خطی طراحی شده‌اند و بسیاری از کاربردهای مشابه را دارند، به‌ویژه به عنوان ویژگی در یک مدل فضای برداری. در برخی وظایف، استفاده از ان-گرم‌های نحوی نتایج بهتری نسبت به ان-گرم‌های استاندارد ارائه می‌دهد؛ برای مثال در تعیین نویسندگی متون. نوع دیگری از ان-گرم‌های نحوی، ان-گرم‌های نقش‌های دستوری (یا بخش های صحبت) هستند که به صورت زیر‌دنباله‌های هم‌پوشان و پیوسته با طول ثابت تعریف می‌شوند و از دنباله‌های نقش‌های دستوری متن استخراج می‌گردند. ان-گرم‌های نقش دستوری کاربردهای متعددی دارند که رایج‌ترین آن‌ها در بازیابی اطلاعات است. | ## جمع‌بندی | کاربردهای دیگر ان-گرم‌ها در حوزه‌های گوناگونی از علوم رایانه، زبان‌شناسی رایانشی و ریاضیات کاربردی مورد استفاده قرار می‌گیرند.