Maramihang Modalidad na Pagsusuri ng Damdamin

Ang Maramihang Modalidad na Pagsusuri ng Damdamin ay isang bagong sangay ng tradisyunal na Pagsusuri ng Damdamin (Ingles: sentiment analysis), na hindi lamang limitado sa pagsusuri ng mga teksto, kung hindi sangkop din ang iba pang modalidad gaya ng audio at visual na datos. Ito ay maaaring maging bimodal, kung saan ang kumbinasyon ng dalawang modalidad ang kasama sa pagsusuri, o di kaya trimodal, kung saan naman tatlong uri ng modalidad ang kalakip. Sa malawak na sukat ng mga datos mula sa mga iba't ibang plataporma ng social media, sa sari saring modalidad gaya na lamang ng mga larawan o di kaya mga videos, ang tradisyunal na Pagsusuri ng Damdamin ay nagpatuloy sa mas kumplikadong modelo ng Maramihang Modalidad na Pagsusuri ng Damdamin, kung saan ito ay maaaring gamitin sa pag-unlad ng virtual assistants, pagsusuri ng mga reaksyon sa pelikula mula sa YouTube videos, pagsusuri ng mga videos tungkol sa balita, at sa paksa ng emotion recognition kagaya na lamang ng pagsubaybay sa depresyon , bukod sa iba pa.
Halintulad sa tradisyunal na Pagsusuri ng Damdamin, isa sa mga pinakasimpleng gawain sa Maramihang Modalidad na Pagsusuri ng Damdamin ay ang pag-uuri ng damdamin, kung saan ang iba't ibang klase ng damdamin ay inuuri kung ito ba ay positibo, negatibo, o walang pinapanigan. Ang mataas na lebel ng kumplikasyon ng pagsusuri ng mga tampok ng teksto, audio, at video, ay kinakailangan ng iba't ibang klase ng pagsasanib gaya ng feature-level, decision-level, at hybrid na pagsasanib. Ang katumpakan ng mga nabanggit na taktika ng pagsasanib, at maging ang tagumpay ng isang algoritmo sa klasipikasyon ng mga damdamin, ay naaapektuhan ng tamang pagpili ng tampok ng teksto, audio, at video na gagamitin sa pagsusuri.

Tampok

Ang feature engineering, kung saan ang wastong pagpili ng mga tampok na gagamitin sa mga algoritmo ng pagkatuto ng makina (Ingles: machine learning), ay importante sa pagkamit ng isang matagumpay na pagsusuri. Sa Maramihang Modalidad na Pagsusuri ng Damdamin, iba't ibang kumbinasyon ng tampok mula sa teksto, audio, at video, ang kadalasang ginagamit.

Tampok na Teksto

Gaya ng tradisyunal na Pagsusuri ng Damdamin, ang ilan sa mga pinaka-karaniwang ginagamit na tampok na teksto sa Maramihang Modalidad na Pagsusuri ng Damdamin ay ang unigrams at n-grams, na ang ibig sabihin ay ang pagkakasunod-sunod ng mga salita sa isang tekstuwal na dokumento. Ang mga tampok na ito ay inilalapat gamit ang bag-of-words o di kaya ang bag-of-concepts, kung saan ang mga salita o konsepto ay kinakatawan bilang mga espasyong bektor.

Tampok na Audio

Ang mga katangian ng damdamin at emosyon ay kitang kita sa iba't ibang phonetic at prosodic na katangian na kinakatawan ng tampok na audio. Ang ilan sa mga pinakamahahalagang tampok sa audio na ginagamit sa Maramihang Modalidad na Pagsusuri ng Damdamin ay ang  mel-frequency cepstrum (MFCC), spectral centroid, spectral flux, beat histogram, kabuuan ng beat, pinakamalakas na beat, tagal ng paghinto, at tono (Ingles: pitch). Ang OpenSMILE at Praat ay ilan sa mga sikat na kagamitan para sa pagkuha ng mga nabanggit na mga tampok ng audio.

Tampok na Video

Isa sa mga pangunahing bentahe ng pag-aaral ng mga video kumpara sa mga teksto lamang, ay ang pagkakaroon ng mga makabuluhang damdamin na mga pahiwatig sa visual na datos. Kabilang sa mga visual na tampok ay ang facial expression, na nagbabahagi ng mga pangunahing mga palatandaan ng pag-unawa ng damdamin at emosyon, dahil ang mga ito ay matuturing na pangunahing daluyan ng pagbabalangkas ng kasalukuyang kalagayan ng isip ng isang tao. Sa partikular, ang ngiti, ay itinuturing na isa sa mga pinakamahusay na visual na pahiwatig sa Maramihang Modalidad na Pagsusuri ng Damdamin. Ang OpenFace ay isang libre na instrumento sa pagtatasa na magagamit para sa pagkuha at pag-unawa ng gayong mga visual na tampok.

Taktika ng Pagsasanib

Hindi tulad ng tradisyunal na Pagsusuri ng Damdamin, ang Maramihang Modalidad na Pagsusuri ng Damdamin, ay sumasailalim sa isang proseso ng pagsasanib na kung saan ang datos mula sa iba't ibang modalidad (teksto, audio, o visual) ay pinagsasama at sinusuri ng sama-sama. Ang umiiral na mga pamamaraan sa pagsasanib ng mga tampok hango sa iba't ibang modalidad, ay maaaring maangkop sa tatlong pangunahing mga kategorya: feature-level, decision-level, at hybrid na pagsasanib, at ang pinal na resulta ng pag-uuri ng damdamin ay nakasalalay sa kung anong uri ng pamamaraan ng pagsasanib ang ginagamit.

Feature-level na Pagsasanib

Ang feature-level na pagsasanib (minsan ay kilala bilang maagang pagsasanib), ay nangangalap ng lahat ng mga tampok mula sa lahat ng modalidad (teksto, audio, o visual) at isinasama ang lahat ng mga ito sa isang espasyong bektor, na sa huli ay ginagamit ng sabay sabay sa isang algoritmo ng pagkatuto ng makina . Isa sa mga kahirapan sa pagpapatupad ng pamamaraan na ito ay ang pagsasama ng magkakaiba na mga tampok mula sa modalidad ng teksto, audio, at visual.

Decision-level na Pagsasanib

Ang decision-level na pagsasanib (minsan na kilala bilang huling pagsasanib), ay indibidual na ginagamit ang mga datos mula sa bawat modalidad (teksto, audio, o visual) sa sarili nitong angkop na algoritmo ng pagkatuto ng makina, at ang pinal na resulta ng pag-uuri ng damdamin ay nakakamit sa pamamagitan ng pagsasanib ng bawat resulta sa isang espasyong bektor. Ang isa sa mga bentahe ng pamamaraan ng pagsasanib na ito ay inaalis nito ang pangangailangan sa pagsasama ng magkakaibang datos, at ang bawat modalidad ay maaaring magamit ang pinaka angkop na algoritmo ng pag-uuri.

Hybrid na Pagsasanib

Ang hybrid na pagsasanib ay isang kumbinasyon ng feature-level at decision-level na pagsasanib, na nagsasamantala ng mga komplimentaryong impormasyon mula sa parehong pamamaraan. Kadalasan ito ay nagsasangkot ng dalawang hakbang na pamamaraan kung saan ang fusion-level ay unang isinagawa sa pagitan ng dalawang modalidad, at pagkatapos ay inilalapat ang decision-level bilang pangalawang hakbang, upang pagsamahin ang mga unang resulta mula sa fusion-level at ang mga natitirang tampok mula sa iba pang modalidad.

Mga Paggamit

Katulad ng tradisyunal na Pagsusuri ng Damdamin na nakabatay sa teksto, maaaring ipataw ang Maramihang Modalidad na Pagsusuri ng Damdamin sa pagpapaunlad ng iba't ibang anyo ng recommender system tulad ng sa pagtatasa ng mga video patungkol sa pagsusuri ng mga pelikula at sa mga pagsusuri ng iba't ibang uri ng produkto, upang wastong mahulaan ang damdamin ng mga mamimili, at pagkatapos ay makalikha ng mga rekomendasyon ng produkto o serbisyo. Ang Maramihang Modalidad na Pagsusuri ng Damdamin ay may mahalagang papel sa pagsulong ng virtual assistant sa pamamagitan ng aplikasyon ng mga taktika ng natural language processing (NLP) at pagkatuto ng makina. Sa saklaw ng pangangalagang pangkalusugan, ang Maramihang Modalidad na Pagsusuri ng Damdamin ay maaaring magamit upang matuklasan ang ilang mga kondisyong medikal katulad na lamang ng sikolohikal na pagod, pagkabalisa, o depresyon. Ang Maramihang Modalidad na Pagsusuri ng Damdamin ay maaari ring magamit sa pag-unawa sa damdamin na nakapaloob sa mga programa ng balita sa telebisyon, na kung saan ay itinuturing na isang komplikado at mapaghamong saklaw, dahil ang mga pagpapahayag ng mga tagapag-ulat ay kadalasang walang ipinapahiwatig na emosyon o damdamin.