JTweetRoBERTa:大規模SNS投稿テキストによる事前学習と各種タスクによる性能検証

SNS投稿は一般の書き言葉と異なり口語的かつ特有の傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある．本研究では6,000万件のツイートデータで事前学習モデルを作成し，JGLUE，WRIME，メンタルヘルス不調の有無のツイート2値分類など8つのタスクでファインチューンを行い評価し，既存モデルとの比較を行った．すべての評価タスクでWikipediaおよびCC100で事前学習したベースラインを上回り，大規模ツイートで事前学習した提案手法の効果を示した．また，ほとんどの評価で多言語ツイート事前学習モデルTwHIN-BERTをも上回り，提案手法は日本語SNS投稿を対象とするタスクにおいて世界最高の性能であると考えられる．