Misinformation detection using multitask learning with mutual learning for novelty detection and emotion recognition
Detekce dezinformací pomocí víceúkolového učení se vzájemným učením pro detekci novot a rozpoznávání emocí
Year: 2021
Authors: Rina Kumari, Nischal Ashok, Tirthankar Ghosal, Asif Ekbal

Abstract (English):
Fake news or misinformation is the information or stories intentionally created to deceive or mislead the readers. Nowadays, social media platforms have become the ripe grounds for misinformation, spreading them in a few minutes, which led to chaos, panic, and potential health hazards among people. The rapid dissemination and a prolific rise in the spread of fake news and misinformation create the most time-critical challenges for the Natural Language Processing (NLP) community. Relevant literature reveals that the presence of an element of surprise in the story is a strong driving force for the rapid dissemination of misinformation, which attracts immediate attention and invokes strong emotional stimulus in the reader. False stories or fake information are written to arouse interest and activate the emotions of people to spread it. Thus, false stories have a higher level of novelty and emotional content than true stories. Hence, Novelty of the news item and recognizing the Emotional state of the reader after reading the item seems two key tasks to tightly couple with misinformation Detection. Previous literature did not explore misinformation detection with mutual learning for novelty detection and emotion recognition to the best of our knowledge. Our current work argues that joint learning of novelty and emotion from the target text makes a strong case for misinformation detection. In this paper, we propose a deep multitask learning framework that jointly performs novelty detection, emotion recognition, and misinformation detection. Our deep multitask model achieves state-of-the-art (SOTA) performance for fake news detection on four benchmark datasets, viz. ByteDance, FNC, Covid-Stance and FNID with 7.73%, 3.69%, 7.95% and 13.38% accuracy gain, respectively. The evaluation shows that our multitask learning framework improves the performance over the single-task framework for four datasets with 7.8%, 28.62%, 11.46%, and 15.66% overall accuracy gain. We claim that textual novelty and emotion are the two key aspects to consider while developing an automatic fake news detection mechanism. The source code is available at https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.

Abstract (Czech):
Falešné zprávy nebo dezinformace jsou informace nebo příběhy záměrně vytvořené s cílem oklamat nebo uvést čtenáře v omyl. V dnešní době se platformy sociálních médií staly zralým důvodem k dezinformacím a během několika minut je rozšířily, což vedlo k chaosu, panice a potenciálním zdravotním rizikům mezi lidmi. Rychlé šíření a plodný nárůst šíření falešných zpráv a dezinformací vytváří časově nejkritičtější výzvy pro komunitu zpracování přirozeného jazyka (NLP). Z příslušné literatury vyplývá, že přítomnost momentu překvapení v příběhu je silnou hnací silou rychlého šíření dezinformací, které přitahuje okamžitou pozornost a vyvolává ve čtenáři silné emocionální podněty. Falešné příběhy nebo falešné informace jsou psány, aby vzbudily zájem a aktivovaly emoce lidí, aby je šířili. Falešné příběhy mají tedy vyšší úroveň novosti a emočního obsahu než pravdivé příběhy. Z toho vyplývá, že novost zpravodajského příspěvku a rozpoznání emočního stavu čtenáře po přečtení příspěvku jsou dva klíčové úkoly, které úzce souvisejí s odhalováním dezinformací. Předchozí literatura nezkoumala detekci dezinformací vzájemným učením pro detekci novot a rozpoznávání emocí podle našeho nejlepšího vědomí. Naše současná práce tvrdí, že společné učení novosti a emocí z cílového textu je pádným argumentem pro odhalování dezinformací. V tomto dokumentu navrhujeme hluboký víceúčelový vzdělávací rámec, který společně provádí detekci novot, rozpoznávání emocí a detekci dezinformací. Náš hluboký multitask model dosahuje nejmodernějších výkonů (SOTA) pro detekci falešných zpráv na čtyřech srovnávacích datasetech, viz. ByteDance, FNC, Covid-Stance a FNID s přesností 7,73%, 3,69%, 7,95% a 13,38%. Z hodnocení vyplývá, že náš víceúkolový vzdělávací rámec zlepšuje výkon oproti jednoúkolovému rámci pro čtyři datové soubory o 7,8 %, 28,62 %, 11,46 % a 15,66 % celkového zisku přesnosti. Tvrdíme, že textová novinka a emoce jsou dva klíčové aspekty, které je třeba zvážit při vývoji automatického mechanismu detekce falešných zpráv. Zdrojový kód je dostupný na adrese https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.