موضوع مقاله: دگرنمایی واژه | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # دگرنمایی واژه | مقدمه: جاسازی کلمات را می‌توان با ترکیبی از عملیات مدل‌سازی زبان و تکنیک‌های یادگیری ویژگی به دست آورد که در آن نگاشتی از واژگان کلمات یا عبارات به بردارهای اعداد واقعی انجام می‌شود. | ## بخش 1: دگرنمایی واژه | این عمل از نظر مفهومی به معنای یک جاسازی ریاضی از فضایی با ابعاد بزرگ به فضای برداری پیوسته با ابعاد بسیار کمتر است. روش‌های تولید این نگاشت شامل استفاده از شبکه‌های عصبی، کاهش ابعاد در ماتریس هم رویداد کلمه، مدل‌های احتمالی، روش مبتنی بر دانش قابل توضیح و همچنین بازنمایی صریح بر حسب زمینه که کلمات در آن ظاهر می‌شوند. زمانی که از جاسازی (تعبیه) کلمات و عبارات، به عنوان ورودی اولیه استفاده شود، عملکرد کارهای پردازش زبان طبیعی مانند تجزیه نحوی و تجزیه و تحلیل احساسات را افزایش می‌دهد. توسعه و تاریخچه رویکرد روش جاسازی کلمات در حوزه پژوهشی معناشناسی توزیعی در زبان‌شناسی، مورد بررسی قرار گرفته‌است و هدف آن طبقه‌بندی شباهت‌های معنایی بین اقلام زبان بر اساس ویژگی‌های توزیعی بین آنها در نمونه‌های بزرگی از داده‌های زبان است. این ایده که «یک کلمه با گروهی که آن را نگه می‌دارد مشخص می‌شود» اولین بار توسط جان روپرت فرث مطرح شد. مفهوم فضای معنایی شامل موارد لغوی (کلمات یا اصطلاحات چند کلمه‌ای) است که با بردارها یا عملیات جاسازی نشان داده می‌شوند و مبتنی بر چالش‌های محاسباتی بدست آوردن ویژگی‌های توزیعی و استفاده از آنها برای کاربرد عملی و همچنین برای اندازه‌گیری شباهت بین کلمات، عبارات یا کل اسناد است. چنین مدل‌هایی که فضای برداری کلمات و داده‌های توزیعی آنها در ساده‌ترین شکل پیاده‌سازی شده‌اند، منجر به یک فضای برداری بسیار پراکنده با ابعاد بالا می‌شوند (مبحث نفرین ابعاد). در سال ۲۰۰۰ بنجیو و همکارانش در مجموعه ای از مقالات «مدل‌های زبانی احتمالی عصبی» برای کاهش بالای ابعاد کلمات همراه با «یادگیری بازنمایی توزیع شده برای کلمات» را ارائه کردند. | ## بخش 2: دگرنمایی واژه | برای جاسازی کلمات دو سبک مختلف وجود دارد، یکی که در آن کلمات به عنوان بردار همزمان در نظر گرفته می‌شوند و دیگری که در آن کلمات به عنوان بردار زمینه‌های زبانی بیان می‌شوند. پس از سال ۲۰۰۵ اکثر تکنیک‌های جدید جاسازی کلمه به جای مدل‌های احتمالی و جبری بیشتر بر اساس معماری شبکه‌های عصبی کار می‌کنند. پس از پیشرفت‌هایی که در سال ۲۰۱۰ در زمینه کاری نظری در مورد کیفیت بردارها انجام شد و سرعت آموزش مدل و پیشرفت‌های سخت‌افزاری امکان کاوش در فضای پارامتر وسیع‌تری را فراهم کرد این رویکرد توسط بسیاری از گروه‌های تحقیقاتی مورد استفاده قرار گرفت. در سال ۲۰۱۳، تیمی در گوگل به رهبری توماس میکولوف روش word2vec را ایجاد کردند که ابزاری است که جاسازی کلمه در مدل‌های فضای برداری را سریعتر از رویکردهای قبلی امکان‌پذیر می‌کند. رویکرد word2vec به‌طور گسترده‌ای استفاده شده‌است و باعث افزایش علاقه به استفاده از تکنیک جاسازی کلمات و در نهایت هموار کردن راه برای کاربرد عملی شده‌است. محدودیت‌ها یکی از محدودیت‌های اصلی جاسازی کلمات (به‌طور کلی مدل‌های فضای برداری) این است که کلمات با معانی متعدد در یک نمایش واحد (یک بردار در فضای معنایی) ترکیب می‌شوند. به عنوان مثال، در جمله "باشگاهی (کلاب) که دیروز امتحان کردم عالی بود!"، مشخص نیست که اصطلاح باشگاه (کلاب) به معنای کلمه ساندویچ کلاب، باشگاه بیسبال ، کلاب هوس یا باشگاه گلف است یا ممکن است در بر گیرنده هر معنای دیگری مربوط به باشگاه باشد. از این رو تطبیق معانی متعدد هر کلمه در بردارهای مختلف (جاسازی‌های چند حسی (چند معنایی در پردازش زبان طبیعی برای تقسیم کردن جاسازی‌های تک معنایی به چند معنایی ضروری است. | ## بخش 3: دگرنمایی واژه | برای بازنمایی معنایی کلمه، اکثر رویکردهایی که تعبیه‌های چند معنایی تولید می‌کنند را می‌توان به دو دسته اصلی بدون نظارت و مبتنی بر دانش تقسیم کرد. همچنین این روش با ترکیب دانش قبلی بدست آمده از پایگاه داده‌های لغوی (به عنوان مثال، وردنت، ConceptNet و بابلنت) و جاسازی کلمه و ابهام زدایی معنی کلمه و روش مناسب‌ترین حاشیه نویسی حسی (MSSA) و با در نظر گرفتن بافت کلمه در یک پنجره از پیش تعریف شده، مفاهیم کلمه را از طریق یک رویکرد بدون نظارت و مبتنی بر دانش برچسب گذاری می‌کند. هنگامی که کلمات ابهام زدایی می‌شوند، می‌توان آنها را در یک تکنیک استاندارد جاسازی کلمه استفاده کرد، در نتیجه جاسازی‌های چند معنایی تولید می‌شوند. معماری MSSA این امکان را می‌دهد تا فرایند ابهام زدایی و حاشیه نویسی به‌طور مکرر و به شیوه ای خود-بهبود انجام شود. استفاده از تعبیه‌های چند معنایی برای بهبود عملکرد در چندین کار NLP، مانند برچسب‌گذاری جزء کلام، شناسایی رابطه معنایی، شباهت معنایی، شناسایی موجودیت نام‌گذاری شده و تحلیل احساسات کاربرد دارد. به‌طور کلی از واژگان برداری‌های پروتئینی (ProtVec) برای پروتئین‌ها (توالی‌های آمینو اسید) و برداری‌های ژنی (GeneVec) برای توالی‌های ژنی، به‌طور گسترده‌ای در یادگیری عمیق استفاده شود. نتایج ارائه شده توسط عسگری و مفرد نشان می‌دهد که BioVectosها می‌تواند توالی‌های بیولوژیکی را از نظر تفسیرهای بیوشیمیایی و بیوفیزیکی شناسایی کند. بردارهای فکر بردارهای فکر توسعه روش جاسازی کلمات برای کل جملات یا حتی اسناد هستند. | ## جمع‌بندی | برخی از محققان امیدوارند که این بردارها بتوانند کیفیت ترجمه ماشینی را بهبود بخشند.