موضوع مقاله: Word2vec | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # Word2vec | مقدمه: این مدل‌ها شبکه‌های عصبی هستند که برای آموزش بازسازی مفاهیم زبانی کلمات به کار می‌روند. | ## بخش 1: Word2vec | الگوریتم Word2vec به عنوان ورودی، یک قسمت بزرگ متن را می‌گیرد و یک فضای برداری، نوعاً چندصد بعد، با کلمه منحصربه‌فرد در پیکره متنی که به یک بردار متناظر در فضا اختصاص داده می‌شود، تولید می‌کند. بردارهای کلمه در فضای بردار قرار می‌گیرند به طوری که کلماتی که زمینه‌های متفاوتی را در زبان‌شناسی پیکره‌ای به صورت مشترک دارند در نزدیکی یکدیگر در فضا قرار دارند. بردارهایی که با استفاده از الگوریتم Word2vec ایجاد شده‌اند، مزایای زیادی در مقایسه با الگوریتم‌های قبلی مانند آنالیز پنهان مفهومی دارند. در بسته کلمات پیوسته، مدل، کلمه فعلی را از یک پنجره از کلمات متنی اطراف پیش‌بینی می‌کند. در معماری اسکیپ پیوسته، این مدل از کلمه فعلی برای پیش‌بینی پنجره اطراف کلمات متن استفاده می‌کند. الگوریتم آموزش یک مدل Word2vec می‌تواند با نمونه‌برداری بیشینه هموار و / یا نمونه‌برداری منفی آموزش داده شود. برای تخمین تقریبی لگاریتم درست‌نمایی-احتمال یک مدل به دنبال حداکثر سازی است و روش بیشینه هموار از کدگذاری هافمن برای کاهش محاسبه استفاده می‌کند. روش نمونه‌گیری منفی، از سوی دیگر، با به حداقل رساندن تابع درست‌نمایی احتمالِ ورود به نمونه‌های منفی، به حداکثر سازی می‌رسد. به گفته نویسندگان، بیشینه هموار سلسله مراتبی برای کلمات نادر بهتر عمل می‌کند در حالی که نمونه‌گیری منفی برای کلمات مکرر بهتر عمل می‌کند و با بردارهای تک‌بعدی بهتر کار می‌کند. همان‌طور که دوره‌های آموزشی افزایش می‌یابد، بیشینه هموار سلسله مراتبی می‌تواند مفید باشد. کلمات با فرکانس بالای یک آستانه خاص ممکن است به منظور افزایش سرعت آموزش مورد استفاده قرارگیرد. پنجره محتوا اندازه پنجره متن مشخص می‌کند که چند کلمه قبل و بعد از یک کلمه معین، به عنوان کلمات متن کلمه معین در نظر گرفته می‌شود. با توجه به نوشتار نویسندگان، ارزش پیشنهادی ۱۰ برای هر اسکیپ گرام و ۵ برای CBOW است. | ## بخش 2: Word2vec | برنامه‌های افزودنی یک فرمت word2vec برای ساختن جاسازی از کل اسناد (به جای کلمات فردی) پیشنهاد شده‌است. بردارهای کلمه برای بیوانفورماتیک: BioVectors بسط بردارهای حرفه‌ای برای n در توالی‌های زیست دارویی (به عنوان مثال دی ان ای، آر ان ای و پروتیین‌ها) برای کاربردهای بیوانفورماتیک توسط عسگری و مفرد پیشنهاد شده‌است. بردارهای حرفه‌ای برای رادیولوژی: کلمه هوشمند درون‌سازی شده (IWE) یک بسط بردارهای کلمه برای ایجاد یک بردار متراکم از گزارش رادیولوژی غیر ساختاری توسط بانجری مطرح شد. یکی از بزرگ‌ترین چالش‌ها با Word2Vec، چگونگی رسیدگی به کلمات ناشناخته یا خارج از دایره لغات و از لحاظ مورفولوژیکی شبیه کلمات است. این موضوع به خصوص در زمینه‌هایی مثل پزشکی که در آن کلمات مترادف و مرتبط می‌توانند بسته به سبک ترجیح داده‌شده توسط رادیولوژیست استفاده شوند، می‌تواند به ندرت در یک پیکره زبانی بزرگ مورد استفاده قرار گیرد. اگر مدل word2vec قبل از این با یک واژه خاص مواجه نشده باشد، مجبور به استفاده از یک بردار تصادفی خواهد شد، که به‌طور کلی از نمایش ایدئال خود دور است. IWE الگوریتم word2vecرا با یک تکنیک نقشه‌برداری فرهنگ معنایی برای مقابله با چالش‌های عمده استخراج اطلاعات از متون بالینی ترکیب می‌کند، که شامل ابهام سبک روایت متن آزاد، تغییرات واژگانی، استفاده از دوره‌های تلگرافی و استفاده مکرر از کلمات و ظهور مکرر اختصارات و لغات مخفف است. به‌طور خاص، مدل IWE (که بر روی یک مجموعه داده سازمانی آموزش‌دیده‌است) با موفقیت به مجموعه داده سازمانی متفاوتی ترجمه شده‌است که تعمیم پذیری مناسب رویکرد در موسسات را نشان می‌دهد. تحلیل و بررسی دلایل استفاده از یادگیری کلمه جاسازی در چارچوب word2vec به خوبی درک نشده‌است. گلدبرگ و لوی خاطرنشان می‌کند که تابع هدف word2vec باعث می‌شود که کلمات در شرایط مشابه به صورت مشابه (مانند اندازه‌گیری شباهت‌های کوزینوس) رخ دهند که این امر با فرضیه توزیعی J. با این حال، آن‌ها توجه دارند که این توضیح " بسیار دستی " است و استدلال می‌کند که توضیح رسمی تری ترجیح داده خواهد شد. حفظ روابط معنایی و نحوی رویکرد کلمه جاسازی می‌تواند چندین درجه متفاوت از تشابه بین کلمات را ثبت کند. Mikolov و همکاران در سال ۲۰۱۳ دریافتند که الگوهای معنایی و نحو با استفاده از محاسبات بردار قابل تولید می‌باشند. | ## بخش 3: Word2vec | الگوهایی مانند «مرد به زن به عنوان برادر به خواهر» است که می‌تواند از طریق عملیات جبری بر روی نمایشگرهای بردار این کلمات ایجاد شود به طوری که نمایش برداری «برادر»- «مرد» + « زن» نتیجه را تولید می‌کند که به نمایش برداری «خواهر» در مدل نزدیک‌تر است. آن‌ها مجموعه‌ای از روابط معنایی و معنایی را توسعه دادند که از آن به عنوان یک معیار برای تست صحت مدل استفاده کردند. هنگامی که کیفیت مدل برداری را ارزیابی می‌کنیم، کاربر می‌تواند از این تست برای دقت استفاده کند که در word2vec اجرا می‌شود، یا مجموعه تست خودشان را توسعه می‌دهد که برای پیکره زبانی که مدل را می‌سازد، معنادار است. این رویکرد آزمون چالش‌برانگیز تری را ارائه می‌دهد تا اینکه به سادگی استدلال کند، کلماتِ شبیه به کلمه آزمون داده‌شده، به‌طور مستقیم قابل قبول هستند. پارامترها و کیفیت مدل استفاده از پارامترهای مدل مختلف و اندازه‌های مختلف پیکره زبانی می‌تواند تا حد زیادی بر کیفیت یک مدل word2vec تأثیر بگذارد. دقت می‌تواند به چند روش، از جمله انتخاب معماری مدل (CBOW یا اسکیپ گرام)، افزایش تعداد برداری داده، افزایش تعداد ابعاد برداری، و افزایش اندازه پنجره در نظر گرفته‌شده توسط الگوریتم بهبود یابد. هر یک از این پیشرفت‌ها با هزینه افزایش پیچیدگی محاسباتی همراه است و بنابراین زمان تولید مدل افزایش می‌یابد. مدل اسکیپ گرام با استفاده از پیکره‌های بزرگ و تعداد زیادی از ابعاد، بالاترین دقت کلی را به دست می‌دهد و همواره بالاترین دقت را در روابط معنایی به همراه دارد و بالاترین دقت نحوی را در اغلب موارد ارائه می‌دهد. دقت به‌طور کلی افزایش می‌یابد زیرا تعداد کلمات مورد استفاده و ابعاد افزایش می‌یابد. آن‌ها متوجه شدند که Word2vec دارای منحنی تدریجی یادگیری است، که در صورت تمرکز با اندازه کروی متوسط و بزرگ (بیش از ۱۰ میلیون کلمه) آموزش داده می‌شود. علاوه بر این، آن‌ها نشان می‌دهند که بهترین تنظیمات پارامتر به کار و مجموعه آموزشی بستگی دارد. | ## جمع‌بندی | با این وجود، برای مدل‌های اسکیپ گرام آموزش‌دیده در پیکره‌های سایز متوسط، با ابعاد ۵۰، اندازه پنجره ۱۵ و ۱۰ نمونه منفی، یک تنظیمات پارامتر خوب به نظر می‌رسد.