JTweetRoBERTa:大規模SNS投稿テキストによる事前学習と各種タスクによる性能検証

近年，SNSの利用の増加に比例して，インターネットには膨大な投稿テキストが存在する．SNS関連のテキストの分析は様々な分野に応用が可能な一方で，あまりに膨大なデータを人手で処理することは難しい．そのため近年は，テキストに機械学習を用いる研究が頻繁に行われている．山内ら[1]は，日本語の学術文章を用いてBERTモデルを事前学習し，様々なタスクで性能の向上が見られたと報告している．またSci-BERT[2]のようなドメイン特有のコーパスで学習されたモデルが配列タグ付け，文の分類，係り受け構文解析を含む一連のタスクで性能向上を報告している．しかし，SNSの投稿は一般の書き言葉と異なり，文が短い，文の区切りが明確でない，省略が多い，口語が多いなど話し言葉に近い傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある．Müllerら[3]はCOVID-19のトピックに関する大規模英語Tweetコーパスで事前学習された事前学習モデルを公開した．Qudarら[4]は，数百万件の英語ツイートに対して事前に訓練された，ドメインに特化した言語表現モデルである2つのTweetBERTモデルを公開した．また，7つのBERTモデルを31の異なるデータセットで評価することで，広範な分析を提供した．Zhangら[5]は，Twitterで作成されたBERTベースの多言語言語モデルであるTwHIN-BERTを公開した．日本語だけでも10億ツイート程度が学習に用いられている．マスク言語モデルに加え，リプライ等で紐づいた「社会的に関連する」投稿群をTwitter異種情報ネットワーク（TwHIN）として収集し，その予測を同時学習させている．また，ハッシュタグ予測と社会的関連性のベンチマークデータセットとして提供した1）．我々はSNS投稿データを用いたRoBERTaベースの事前学習モデルを提案する．2）TwitterはSNSの中でも国内利用者が多く，データ取得APIも整っているため多くのデータを収集することが出来，多様なパターンを学習できる．我々は6,000万件を超える投稿データを収集し，事前学習を行った．学習した事前学習モデルの性能評価のため，日本語理解能力測定を目的としたベンチマークJGLUE[6]の5つのタスク，感情強度分析を目的とした主観と客観の感情分析データセットWRIME[7]，メンタルヘルス不調の有無でのツイート2値分類[8]，診断付き被験者データセットによるツイート2値分類，計8つのタスクで性能評価を行った．すべての評価でWikipediaおよびCC100で事前学習したベースラインを上回り，大規模ツイートで事前学習した提案手法の効果を示した．また，ほとんどの評価で多言語ツイート事前学習モデルTwHIN-BERTをも上回り，提案手法は日本語SNS投稿を対象とするタスクにおいて世界最高の性能であ1）ツイートIDから原ツイートを取得しないと実験できない．2）事前学習済みモデルは一般公開予定である．.ると考えられる．