آنالیز پنهان مفهومی

آنالیز مفاهیم نهفته یک روش در پردازش زبان طبیعی است که در مدلسازی ارتباط مفهومی بین تعدادی متن بر اساس مجموعهٔ کلماتی که دربردارند کاربرد دارد.

آنالیز مفاهیم نهفته با فرض این‌که کلمات با بار معنایی مشابه در بخش های یکسانی از نوشته قرار می گیرند، کار خود را انجام می هد(طبق Distributional semantics).

یک ماتریس که ردیف‌های آن کلمات و ستون‌های آن نوشته‌ها را نشان می‌دهند، بیانگر تعداد هر واژه در هر نوشته خواهد‌بود.این ماتریس معمولا با متن‌های زیادی ایجاد می‌شود.در نتیجه برای کاهش تعداد ردیف‌ها از تکنیک تجزیه مقدارهای منفرد استفاده می‌شود که در عین کاهش تعداد ردیف‌ها ساختار مشابهت بین ستون‌ها را حفظ می‌کند.در نهایت نوشته‌ها با محاسبه «تشابه کسینوسی» بین هر دو ستون مقایسه می‌شوند.

خلاصه

ماتریس وقوع 
آنالیز مفاهیم نهفته از یک ماتریس استفاده می‌کند که بیانگر میزان نمایان شدن هر کلمه در هر نوشته است.این ماتریس یک ماتریس تنک است که معمولا سطر‌های آن بیانگر کلمات و ستون‌های بیانگر نوشته‌ها هستند.یک روش معمول برای مقدار هر درایه در این ماتریس روش فراوانی وزنی تی‌اف-آی‌دی‌اف است.این روش درواقع میزان اهمیت یک کلمه را در یک نوشته نشان می‌دهد.عبارات نادر برای نشان دادن اهمیتشان وزن بیشتری دارند.

کاهش رتبه 
بعد از تشکیل ماتریس وقوع ، نیاز است که آن را با یک تقریب کم رتبه از آن جایگزین کنیم.از جمله دلایل این عمل می توان به موارد زیر اشاره کرد:

 ماتریس وقوع اصلی بسیار برای محاسبات بزرگ است.
 ماتریس وقوع اصلی ممکن است حاوی نویز باشد.(برای مثال بعضی از حالت های یک کلمه ممکن است نیاز به حذف شدن داشته باشند.)
 ماتریس وقوع اصلی تنک است.همچنین ما ممکن است علاقمند به این باشیم که کلمات مرتبط با هر نوشته را بررسی کنیم.

روند کاهش رتبه به این شکل است که بعضی از ابعاد با هم ترکیب می‌شوند.در این حالت کلمات هم‌معنی را کنار هم قرار می‌دهد.و همچنین مشکل چند‌معنایی کلمات را نیز تا حدودی حل می‌کند.

کاربرد 

فضای کم‌بعد ایجاد شده می‌تواند در موارد زیر استفاده شود:

 مقایسه نوشته‌ها در فضای کم‌بعد (خوشه‌بندی داده، طبقه‌بندی نوشته‌ها )
 یافتن نوشته‌های مشابه در بین زبان های مختلف پس از آنالیز یک سری نوشته ترجمه شده (CLIR)
 یافتن ارتباط بین عبارات (هم‌معنایی و چند‌معنایی)
 یافتن نوشته‌های مرتبط بر حسب عبارت داده شده (کاوش اطلاعات)
 یافتن بهترین شباهت بین گروه های کوچک از عبارات (برای مثال سوالات چند‌گزینه ای )
 گسترش فضای خصوصیات در یادگیری ماشین یا سیستم های استخراج متن
 آنالیز وابستگی کلمات در چهارچوب متن

کاربرد های تجاری 
آنالیز مفاهیم نهفته در بررسی معیار‌های حق ثبت اختراع استفاده شده است.

کاربرد ها در مطالعه حافظۀ انسان 
آنالیز مفاهیم نهفته در مطالعاتی که در مورد حافظه انسان انجام شده است بسیار موثر بوده است، به خصوص در مباحث free recall و جست‌و‌جوی حافظه. یک همبستگی و وابستگی مثبت بین کلماتی که طبق آنالیز ما به هم شبیه هستند وجود دارد و احتمال این‌که این کلمات بعد از یک دیگر به زبان آورده شوند زیاد است.

منابع

جستارهای وابسته 
یادگیری تقریبی بیزی

توزیع دیریکله

تخصیص پنهان دیریکله

آنالیز پنهان مفهومی احتمالی

آمار بیزی
بازیابی اطلاعات
پردازش زبان‌های طبیعی
فنون بازیابی اطلاعات
مدل‌های متغییرهای پنهان