تعیین قطبیت نظرات با ترکیب مدل‌های CNN و BLSTM با بهره گیری از بردارهای کلمات Static و Dynamic

?استاد راهنما: دکتر عباس عکاسینگارنده: کمیل آقابابایی، ارشد نرم افزار تابستان 1400#عشقسپاسگزاری:برخود لازم می‌دانم از استاد فرهیخته، جناب آقای دکتر عباس عکاسی که در طول انجام این پژوهش از راهنمایی‌های عالمانه و دلسوزانه‌ی ایشان بهره مند بودم، تشکر و قدردانی کنم.چکیدهبا افزایش تعداد وب سایت‌های ارتباط جمعی , مردم تمایل دارند دیدگاه‌های خود را در مورد همه چیز به صورت آنلاین به اشتراک بگذارند. این راهی مناسب برای انتقال پیام‌ها به کاربران نهایی در یک موضوع خاص است. آنالیز احساسی شاخه‌ای از پردازش زبان طبیعی[1] است که به شناسایی نظرات کاربران نسبت به موضوعات خاص اشاره دارد. این کار در زمینه‌های مختلفی مانند بازاریابی، خدمات مشتری و غیره مورد استفاده قرار می‌گیرد. از سوی دیگر، یادگیری عمیق[2] به دلیل نقش موفقیت‌آمیز آن در چندین کار پردازش زبان طبیعی محبوب شده‌است. هدف این مقاله ارائه یک معماری یادگیری عمیق نوین برای تحلیل احساسات[3]فارسی است . با توجه به مدل پیشنهادی، ویژگی‌های محلی توسط شبکه‌های عصبی کانولوشن[4] استخراج می‌شوند و وابستگی‌های طولانی‌مدت توسط LSTM دوطرفه[5]، بنابراین این مدل می‌تواند از توانایی‌های شبکه‌های عصبی کانولوشن و LSTM دوطرفه بهره ببرد. علاوه بر این، عملکرد روش پیشنهادی را با بهره‌گیری از دو مدل نمایش کلمات Word2vec و BERT با هم مورد مقایسه قرار می‌دهیم. این اولین تلاش است که یک مدل یادگیری عمیق ترکیبی را با بهره‌گیری از نمایش کلمات BERT، برای تحلیل احساسات فارسی مورد استفاده قرار می‌گیرد .ما مدل پیشنهادی را بر روی مجموعه داده‌های فارسی و انگلیسی که در این مطالعه معرفی شده‌است، ارزیابی می‌کنیم . نتایج تجربی اثربخشی مدل پیشنهادی را با دقت ۸۵ % در زبان فارسی و 88% در زبان انگلیسی نشان می‌دهد .کلمات کلیدی: تعیین قطبیت متن، ترکیب مدل‌های شبکه عمیق، بردارهای کلمات ایستا و پویا، LSTMدوطرفه، شبکه عصبی کانولوشن[1] NLP: Neuro linguistic programming[2] Deep Learning[3] Sentiment analysis[4] Convulsive neural networks[5] Bidirectional Long short-term memory#روش پیشنهادی فهرست مطالبعنوان صفحهفصل اول: کلیات تحقیق1-1- مقدمه. 31-2- بیان مسئله. 31-3- اهداف تحقیق.. 81-4- فرضیه‌های تحقیق.. 91-5- جنبه جدید و نوآوری تحقیق.. 91-6- ساختار پژوهش. 9فصل دوم:ادبیات و پیشینه تحقیق2-1- مقدمه. 122-2- آنالیز احساسات.. 122-2-1- سطح سند. 122-2-2- سطح جمله. 132-2-3- سطح بعد(جنبه) 132-3- مدل‌های زبانی.. 132-3-1- مدل سازی زبانی آماری.. 142-3-2- مدلهای زبانی عصبی.. 162-4- تعبیه کلمات.. 172-4-1-بردار کلمه. 182-4-2- رمزگذاری One-hot 192-4-3- صندوقچه کلمات.. 212-4-4- کدگذاری سفارشی.. 222-4-5- Word2Vec. 242-4-5-1- CBOW... 262-4-5-2- Skip-gram.. 262-4-6- BERT. 272-5-یادگیری عمیق.. 292-5-1- شبکه عصبی کانولوشن.. 302-5-2- شبکه عصبی LSTM دوطرفه. 322-6- یادگیری ماشین ترکیبی 342-7-پیشینه پژوهش... 35فصل سوم: روش پیشنهادی3-1- مقدمه. 413-2- طرح روش پیشنهادی.. 423-3- پیش پردازش... 433-3-1- نرمالسازی.. 443-3-2- اصلاح دادهی گمشده 453-3-3- تقسیم بندی.. 473-4- استخراج ویژگی.. 473-4-1- Word2vec. 473-4-2- BERT. 503-5- طبقه بندی.. 533-5-1- شبکه‌ عصبی کانولوشن.. 573-5-1-1- ماکس Pooling. 573-5-1-2- Drop out 583-5-2- شبکه‌ LSTM دوطرفه. 583-5-3- اتصال به صورت کامل.. 60فصل چهارم: ارزیابی روش پیشنهادی4-1- مقدمه. 624-2- محیط شبیه سازی.. 624-3- مجموعه داده 634-4- پارامترهای ارزیابی.. 644-5- نتایج روش پیشنهادی.. 654-6- نتیجه گیری.. 66فصل پنجم: نتیجه‌گیری و پیشنهادات5-1- نتیجه‌گیری.. 695-2- زمینه‌های تحقیقاتی آتی.. 70منابع. 70فهرست جداولجدول (2-1)طرح تعبیه سازی کلمات با استفاده از کدگذاری ONE-HOT برای یک لغت نامه ۹ کلمه‌ای.. 20جدول (2-2)کد گذاری سفارشی.. 22جدول (4-1)توزیع قطبیت نظرات در مجموعه داده فارسی.. 63جدول (4-2) توزیع قطبیت نظرات در مجموعه داده انگلیسی.. 64جدول (4-3) مقایسه روش پیشنهادی و مقاله پایه براساس معیارهای ارزیابی.. 65فهرست اشکالشکل (2-1) مدل N-Gram در سطح کلمات.. 16شکل (2-2) تعبیه کلمات [15]. 18شکل (2-3) کدگذاری one-hot 19شکل (2-4) Word2Vec. 25شکل (2-5) Skip-gram &amp;amp;amp;amp;amp;amp;amp;amp; CBOW... 27شکل (2-6) BERT. 29شکل (2-7) CNN.. 31شکل (2-8) BLSTM... 33شکل (3-1) طرح روش پیشنهادی.. 42شکل (3-2) نحوه ی بهبود داده ها 43شکل (3-3) عملیات پیش پردازش بروی داده ها 44شکل (3-4) نوع ویژگی جهت اصلاح داده گمشده 46شکل (3-5) نحوه پیش بینی لغت.. 49شکل (3-6) Fine - tuning BERT با استفاده از توکن [CLS] 52شکل (3-7) Fine - tuning BERT با استفاده از همه توکن.. 53شکل (3-8) الگوریتمهای دسته بندی.. 54شکل (3-9) معماری روش پیشنهادی.. 57شکل (3-10) LSTM UNIT. 59شکل (3-11) طرح شماتیک روش پیشنهادی.. 60** جهت دریافت متن کامل این پژوهش درخواست خود را به آدرس زیر ارسال نمائید:babaiekomeil@gmail.com