تشخیص عواطف (احساسات)

شناخت عواطف فرایند شناسایی عواطف انسانی است. دقت افراد در تشخیص احساسات دیگران، معمولاً بسیار متفاوت است. استفاده از فناوری برای کمک به افراد در حوزهٔ تشخیص احساسات، یک حوزه تحقیقاتی نسبتاً نوپا است. به‌طور کلی، این فناوری در صورتی که از روش‌های چندوجهی در پردازش داده‌ها استفاده کند، بسیار کارآمد خواهد بود. تا به امروز، بیشترین کار روی تشخیص خودکار حالات چهره از دادهٔ تصویری، عبارات گفتاری از داده‌های صوتی، عبارات نوشتاری از داده‌های متنی، و فیزیولوژی که توسط ابزارهای پوشیدنی اندازه‌گیری می‌شود، انجام شده‌است.

تشخیص عواطف از طریق انسان 
انسان‌ها انعطاف زیادی در توانایی‌های خود برای تشخیص عواطف نشان می‌دهند. نکته کلیدی که هنگام یادگیری در مورد تشخیص خودکار عواطف باید به خاطر داشت این است که چندین منبع "حقیقت پایه" یا حقیقت در مورد اینکه عواطف واقعی چیست، وجود دارد. فرض کنید سعی داریم که احساسات فردی به نام الکس را شناسایی کنیم. یک منبع این است که "بیشتر مردم چه می‌گویند در مورد این که الکس چه احساسی دارد؟" در این مورد، "حقیقت" ممکن است با آنچه الکس احساس می‌کند منطبق نباشد، اما ممکن است با آن عواطفی که اکثر مردم می‌گویند که به نظر می‌رسد الکس آن‌ها را احساس می‌کند، مطابقت داشته باشد. به عنوان مثال، الکس ممکن است واقعاً احساس غمگینی کند، اما در ظاهر لبخند بزرگی می‌زند، درنتیجه اکثر مردم می‌گویند که او خوشحال به نظر می‌رسد. اگر یک روش خودکار به نتایجی یکسان با گروهی از ناظران دست یابد، ممکن است آن روش، روش دقیقی به حساب بیاید، حتی اگر واقعاً آنچه را که الکس واقعاً احساس می‌کند اندازه‌گیری نکند. منبع دیگر برای «حقیقت» این است که از خود الکس بپرسید که واقعاً چه احساسی دارد. این منبع هنگامی کارا است که الکس درک خوبی از وضعیت درونی خود داشته باشد و بخواهد که به شما بگوید که آن وضعیت درونی‌اش چیست، و همچنین توانایی بیان دقیق آن وضعیت درونی را با کلمات یا یک عدد داشته باشد. با این حال، برخی از افراد دارای نارسایی هیجانی هستند (افراد دارای نارسایی هیجانی، افرادی هستند که از بیان احساسات و عواطف خود عاجزند) و درک خوبی از احساسات درونی خود ندارند، یا با استفاده کلمات و اعداد، قادر به برقراری یک ارتباط دقیق با این احساسات درونی نیستند. به‌طور کلی، دستیابی به این حقیقت که واقعاً عواطف چه چیزی را بیان می‌کنند، نیاز به تحقیقات بیشتری دارد، و بسته به انتخاب شاخص‌ها، چگونگی این تحقیقات می‌تواند متفاوت باشد و معمولاً مستلزم درنظر گرفتن مقداری از عدم قطعیت است.

تشخیص عواطف خودکار 
دهه‌هاست که تحقیقات علمی برای توسعه و ارزیابی روش‌هایی برای تشخیص خودکار عواطف انجام شده‌است. در حال حاضر ادبیات گسترده‌ای وجود دارد که صدها نوع روش مختلف را پیشنهاد و ارزیابی می‌کند، تکنیک‌هایی را از حوزه‌های مختلف، مانند پردازش سیگنال، یادگیری ماشین، بینایی رایانه و پردازش گفتار به کار می‌گیرد. ممکن است روش‌ها و تکنیک‌های مختلفی برای تفسیر عواطف استفاده شود، مانند شبکه‌های بیزی استفاده شود. مدل‌های مخلوط گاوسی و مدل‌های مارکوف پنهان و شبکه‌های عصبی عمیق.

رویکردها 
دقت تشخیص احساسات معمولاً زمانی بهبود می‌یابد که تجزیه و تحلیل عبارات انسانی را از اشکال چندوجهی مانند متون، فیزیولوژی، صدا یا ویدیو ترکیب کند.

انواع مختلف احساسات از طریق ادغام اطلاعات از حالات چهره، حرکات بدن و ژست‌ها و گفتار شناسایی می‌شوند. گفته می‌شود که این فناوری در پیدایش اینترنت به اصطلاح عاطفی یا احساسی کمک می‌کند.

رویکردهای موجود در تشخیص احساسات برای طبقه‌بندی کردن انواع خاص عواطف را می‌توان به‌طور کلی به سه دسته اصلی طبقه‌بندی کرد: تکنیک‌های مبتنی بر دانش، روش‌های آماری و رویکردهای ترکیبی.

تکنیک‌های مبتنی بر دانش 
تکنیک‌های مبتنی بر دانش (که گاهی اوقات به عنوان تکنیک‌های مبتنی بر واژگان شناخته می‌شوند)، از دانش حوزه و ویژگی‌های معنایی و نحوی زبان برای تشخیص انواع خاص احساسات استفاده می‌کنند. در این رویکرد، استفاده از منابع مبتنی بر دانش در طول فرایند طبقه‌بندی احساسات، مانند WordNet , SenticNet, ConceptNet و EmotiNet, رایج است. یکی از مزایای این رویکرد، دسترسی و صرفه اقتصادی‌ای است که به سبب دسترسی زیاد به چنین منابع مبتنی بر دانش، به ارمغان آمده‌است. از سوی دیگر، یک محدودیت این تکنیک، ناتوانی آن در رسیدگی به مفاهیم ظریف و قوانین پیچیده زبانی است.

تکنیک‌های دانش محور را می‌توان عمدتاً در دو دسته، طبقه‌بندی کرد: رویکردهای مبتنی بر فرهنگ لغت و رویکردهای مبتنی بر پیکره. رویکردهای مبتنی بر فرهنگ لغت، کلمات بذر نظرات یا احساسات را در فرهنگ لغت پیدا می‌کنند و مترادف و متضاد آنها را جستجو می‌کنند تا فهرست اولیه نظرات یا احساسات را گسترش دهند. از سوی دیگر، رویکردهای مبتنی بر پیکره، با یک لیست اولیه از نظرات یا کلمات احساسات شروع می‌شوند و با یافتن کلمات دیگری با ویژگی‌های زمینه خاص در یک مجموعه بزرگ، دادگان را گسترش می‌دهند. در حالی که رویکردهای مبتنی بر پیکره، زمینه را در نظر می‌گیرند، عملکرد آنها همچنان در حوزه‌های مختلف متفاوت است زیرا یک کلمه در یک حوزه می‌تواند جهت‌گیری متفاوتی در حوزه‌ای دیگر داشته باشد.

روش‌های آماری 
روش‌های آماری معمولاً شامل استفاده از الگوریتم‌های مختلف یادگیری ماشین تحت نظارت است که در آن مجموعه بزرگی از داده‌های مشروح به الگوریتم‌ها وارد می‌شود تا سیستم یاد بگیرد و انواع احساسات مناسب را پیش‌بینی کند. الگوریتم‌های یادگیری ماشین عموماً دقت طبقه‌بندی معقول‌تری را در مقایسه با سایر رویکردها ارائه می‌کنند، اما یکی از چالش‌های دستیابی به نتایج خوب در فرایند طبقه‌بندی، نیاز به مجموعه آموزشی به اندازه کافی بزرگ است.

برخی از متداول‌ترین الگوریتم‌های یادگیری ماشین شامل ماشین‌های بردار پشتیبان (SVM)، بیز ساده و Maximum Entropy هستند. یادگیری عمیق، که زیرمجموعه‌ای از خانواده یادگیری ماشین بدون نظارت است، نیز به‌طور گسترده در تشخیص احساسات به کار می‌رود. الگوریتم‌های معروف یادگیری عمیق شامل معماری‌های مختلف شبکه عصبی مصنوعی (ANN) مانند شبکه عصبی کانولوشنی (CNN)، حافظه طولانی کوتاه‌مدت (LSTM) و ماشین یادگیری افراطی (ELM) می‌باشد. محبوبیت رویکردهای یادگیری عمیق در حوزه تشخیص احساسات عمدتاً به دلیل موفقیت آن در کاربردهای مرتبط با بینایی رایانه، تشخیص گفتار و پردازش زبان طبیعی (NLP) است.

رویکردهای ترکیبی 
رویکردهای ترکیبی در تشخیص عواطف، اساساً ترکیبی از تکنیک‌های مبتنی بر دانش و روش‌های آماری هستند که از ویژگی‌های مکمل هر دو تکنیک استفاده می‌کنند. برخی از آثاری که مجموعه‌ای از عناصر زبانی دانش محور و روش‌های آماری را به کار گرفته‌اند، شامل محاسبات حسی و iFeel هستند، که هر دو از منابع مبتنی بر دانش SenticNet در سطح مفهومی استفاده کرده‌اند. نقش چنین منابع دانش بنیان در اجرای رویکردهای ترکیبی در فرایند طبقه‌بندی احساسات بسیار مهم است. از آنجایی که تکنیک‌های ترکیبی از مزایای ارائه شده توسط هر دو رویکرد مبتنی بر دانش و آماری به دست می‌آیند، در مقایسه با استفاده از روش‌های مبتنی بر دانش یا آماری به‌طور مستقل، عملکرد طبقه‌بندی بهتری دارند. اما یک نقطه ضعف استفاده از تکنیک‌های ترکیبی، پیچیدگی محاسباتی در طول فرایند طبقه‌بندی است.

دادگان‌ها 
داده بخشی جدایی ناپذیر از رویکردهای موجود در تشخیص احساسات هستند و یک چالش در اکثر موارد، به دست آوردن داده‌های حاشیه نویسی است که برای آموزش الگوریتم‌های یادگیری ماشین ضروری هستند. برای فرایند طبقه‌بندی انواع احساسات مختلف از منابع چندوجهی در قالب متون، صدا، ویدئو یا سیگنال‌های فیزیولوژیکی، دادگان‌های زیر موجود است:
 دادگان HUMAINE: کلیپ‌های طبیعی را با کلمات احساسی و برچسب‌های نوشتاری در چند وجه مختلف ارائه می‌کند
 پایگاه داده بلفاست: کلیپ‌هایی را در طیف گسترده‌ای از احساسات از برنامه‌های تلویزیونی و ضبط مصاحبه ارائه می‌دهد
 دادگان SEMAINE: ضبط سمعی و بصری را بین یک شخص و یک عامل مجازی فراهم می‌کند و حاوی حاشیه نویسی احساساتی مانند عصبانیت، خوشحالی، ترس، انزجار، غم، تحقیر و سرگرمی است
 دادگان SEMAINE: ضبط جلسات دوتایی بین بازیگران را فراهم می‌کند و حاوی حاشیه نویسی احساساتی مانند شادی، خشم، غم، ناامیدی و حالت خنثی است
 دادگان eNTERFACE: ضبط‌های سمعی و بصری از سوژه‌هایی از هفت ملیت را فراهم می‌کند و حاوی حاشیه‌نویسی‌های احساساتی مانند شادی، خشم، غم، تعجب، انزجار و ترس است
 دادگان DEAP: الکتروانسفالوگرافی (EEG)، الکتروکاردیوگرافی (ECG) و ضبط ویدیوی صورت، و همچنین حاشیه نویسی احساسات از نظر ظرفیت، برانگیختگی و تسلط افراد در حال تماشای کلیپ‌های فیلم را ارائه می‌دهد
 دادگان DREAMER: ضبط‌های نوار مغزی (EEG ) و الکتروکاردیوگرافی (ECG) و همچنین حاشیه نویسی احساسات را از نظر ظرفیت، برانگیختگی و تسلط افراد در حال تماشای کلیپ‌های فیلم ارائه می‌دهد
 دادگان MELD: یک مجموعه داده مکالمه چند جانبه است که در آن هر گفته با عواطف و احساسات برچسب گذاری می‌شود. MELD مکالمات را در قالب ویدئویی فراهم می‌کند و از این رو برای تشخیص احساسات چندوجهی و تجزیه و تحلیل احساسات مناسب است. MELD برای تجزیه و تحلیل احساسات چندوجهی و تشخیص احساسات، سیستم‌های گفتگو و تشخیص احساسات در مکالمات مفید است.
 دادگان MuSe: ضبط سمعی و بصری از تعاملات طبیعی بین یک فرد و یک شی را فراهم می‌کند. دارای حاشیه‌نویسی‌های هیجانی گسسته و پیوسته از نظر ظرفیت، برانگیختگی و قابل اعتماد بودن و همچنین موضوعات گفتاری مفید برای تجزیه و تحلیل احساسات چندوجهی و تشخیص احساسات است.
 دادگان UIT-VSMEC: یک مجموعه احساسی رسانه اجتماعی استاندارد ویتنامی (UIT-VSMEC) با حدود ۶۹۲۷ جمله مشروح شده توسط انسان با شش برچسب احساس است که به تحقیقات تشخیص احساسات در ویتنامی کمک می‌کند که یک زبان کم منابع در پردازش زبان طبیعی (NLP) است. .
 دادگان BED: ضبط‌های الکتروانسفالوگرافی (EEG) و همچنین حاشیه نویسی احساسات از نظر ظرفیت و برانگیختگی افراد در حال تماشای تصاویر را فراهم می‌کند. همچنین شامل ضبط الکتروانسفالوگرافی (EEG) از افرادی است که در معرض محرک‌های مختلف (SSVEP، استراحت با چشمان بسته، استراحت با چشمان باز، وظایف شناختی) برای انجام وظایف بیومتریک مبتنی بر EEG هستند.

کاربردها 
تشخیص احساسات به دلایل مختلفی در جامعه مورد استفاده قرار می‌گیرد. Affectiva که توسط MIT توسعه داده شده‌است، یک نرم‌افزار هوش مصنوعی را ارائه می‌کند که انجام کارهایی که قبلاً به صورت دستی توسط افراد انجام می‌شد را کارآمدتر می‌کند. این نرم‌افزار عمدتاً برای جمع‌آوری اطلاعات حالت چهره و حالت صوتی مربوط به زمینه‌های خاصی است که بینندگان رضایت داده‌اند این اطلاعات را به اشتراک بگذارند. به عنوان مثال، به جای پر کردن یک نظرسنجی طولانی دربارهٔ احساس شما در هر مرحله از تماشای یک فیلم آموزشی یا یک تبلیغات، می‌توانید موافقت کنید که یک دوربین چهره شما را تماشا کند و به آنچه می‌گویید گوش فرا دهد، و توجه کند که در چه بخش‌هایی از تجربه، شما حالاتی مانند خستگی، علاقه‌مندی، سردرگمی یا لبخندزدن را نشان می‌دهید. (توجه داشته باشید که این به معنای خواندن احساسات درونی شما نیست - بلکه فقط آنچه را که شما به صورت ظاهری بیان می‌کنید می‌خواند) از دیگر کاربردهای نرم‌افزار Affectiva می‌توان به کمک به کودکان مبتلا به اوتیسم، کمک به افراد نابینا برای خواندن حالات چهره، کمک به روبات‌ها برای تعامل هوشمندانه‌تر با مردم و نظارت بر علائم هشدار هنگام رانندگی به منظور افزایش ایمنی راننده اشاره کرد.

اسنپ چت در سال ۲۰۱۵ یک ثبت اختراع انجام داد. این اختراع، روشی را برای استخراج داده‌های مربوط به جمعیت در رویدادهای عمومی، با اجرای الگوریتمی شناسایی احساسات بر روی سلفی‌های برچسب جغرافیایی‌دار کاربران شرح می‌دهد.

Emotient یک شرکت استارتاپی بود که از تشخیص احساسات برای خواندن اخم‌ها، لبخندها و سایر حالات روی صورت، یعنی هوش مصنوعی برای پیش‌بینی «نگرش‌ها و اعمال بر اساس حالات چهره» استفاده می‌کرد. اپل در سال ۲۰۱۶ Emotient را خرید و از فناوری تشخیص احساسات برای افزایش هوش هیجانی محصولات خود استفاده می‌کند.

nViso تشخیص احساسات بلادرنگ را برای برنامه‌های وب و تلفن‌همراه از طریق یک API بلادرنگ فراهم می‌کند. Visage Technologies AB تخمین احساسات را به عنوان بخشی از Visage SDK خود، برای بازاریابی و تحقیقات علمی و اهداف مشابه ارائه می‌دهد.

Eyeris یک شرکت تشخیص احساسات است که برای ادغام نرم‌افزار تجزیه و تحلیل چهره و شناسایی احساسات خود، با سازندگان سیستم‌های تعبیه شده از جمله خودروسازان و شرکت‌های رباتیکی (ساخت ربات‌های) اجتماعی کار می‌کند، همچنین این شرکت با سازندگان محتوای ویدیویی هم همکاری دارد، به این‌صورت که به آنها کمک می‌کند اثربخشی درک شده از خلاقیت ویدیویی کوتاه و بلند خود را اندازه‌گیری کنند.

همچنین بسیاری از محصولات برای جمع‌آوری اطلاعات از احساسات مخابره شدهٔ برخط، از جمله از طریق فشار دادن دکمه «پسندیدم» و از طریق تعداد عبارات مثبت و منفی موجود در متن وجود دارند. همچنین تشخیص تأثیر در برخی از انواع بازی‌ها و واقعیت مجازی، هم برای اهداف آموزشی و هم برای این هدف که به بازیکنان کنترل طبیعی بیشتری بر روی آواتارهای اجتماعی خود بدهد، به‌طور فزاینده‌ای استفاده می‌شود.

زیرمجموعه‌های تشخیص عواطف 
تشخیص احساسات چنانچه به صورت اعمال چندین روش با ترکیب اشیاء مختلف، از جمله متن (مکالمه)، صدا، ویدیو و فیزیولوژی باشد، احتمالاً بهترین نتیجه را در شناسایی احساسات به دست می‌دهد.

تشخیص عواطف در متن 
داده‌های متنی هنگامی که در همه جای زندگی انسان در دسترس و رایگان باشند، یک هدف تحقیقاتی مطلوب برای تشخیص احساسات است. در مقایسه با انواع دیگر داده‌ها، ذخیره‌سازی داده‌های متنی، به دلیل تکرار مکرر کلمات و کاراکترها در زبان‌ها، کم حجم‌تر است و فشرده‌سازی آن آسان است. احساسات را می‌توان از دو گونه اساسی متنی استخراج کرد: متون نوشتاری و متون مکالمه (دیالوگ‌ها). برای متون نوشتاری، بسیاری از محققان بر روی کار در سطح جمله برای استخراج «کلمات/عبارات» معرف احساسات تمرکز می‌کنند.

تشخیص عواطف در صوت 
در استخراج احساسات از صدا، جدای شناسایی احساسات در متن، سیگنال‌های صوتی هم برای شناسایی استفاده می‌شوند.

تشخیص عواطف در ویدیو 
داده‌های ویدیویی ترکیبی از داده‌های صوتی، داده‌های تصویری و گاهی اوقات داده‌های متنی (در شکل زیرنویس) است.

تشخیص عواطف در مکالمات 
تشخیص احساسات در مکالمه (ERC) نظرات بین شرکت‌کنندگان را از داده‌های عظیم مکالمه‌ای در پلتفرم‌های اجتماعی، مانند فیس‌بوک، توییتر، یوتیوب و دیگران استخراج می‌کند. تشخیص احساسات در مکالمه می‌تواند داده‌های ورودی مانند متن، صدا، ویدئو یا یک فرم ترکیبی را برای تشخیص چندین احساس مانند ترس، شهوت، درد و لذت دریافت کند.

جستارهای وابسته 
 محاسبات مؤثر
 ادراک چهره
 سیستم تشخیص چهره
 تحلیل احساسات
 دقت بین فردی

منابع 

پردازش رایانه‌ای مؤثر
کاربردهای هوش مصنوعی
هیجان