SNS投稿は一般の書き言葉と異なり口語的かつ特有の傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある．本研究では6,000万件のツイートデータで事前学習モデルを作成し，JGLUE，WRIME，メンタルヘルス不調の有無のツイート2値分類など8つのタスクでファインチューンを行い評価し，既存モデルとの比較を行った．すべての評価タスクでWikipediaおよびCC100で事前学習したベースラインを上回り，大規模ツイートで事前学習した提案手法の効果を示した．また，ほとんどの評価で多言語ツイート事前学習モデルTwHIN-BERTをも上回り，提案手法は日本語SNS投稿を対象とするタスクにおいて世界最高の性能であると考えられる．

近年，SNSの利用の増加に比例して，インターネットには膨大な投稿テキストが存在する．SNS関連のテキストの分析は様々な分野に応用が可能な一方で，あまりに膨大なデータを人手で処理することは難しい．そのため近年は，テキストに機械学習を用いる研究が頻繁に行われている．山内ら[1]は，日本語の学術文章を用いてBERTモデルを事前学習し，様々なタスクで性能の向上が見られたと報告している．またSci-BERT[2]のようなドメイン特有のコーパスで学習されたモデルが配列タグ付け，文の分類，係り受け構文解析を含む一連のタスクで性能向上を報告している．しかし，SNSの投稿は一般の書き言葉と異なり，文が短い，文の区切りが明確でない，省略が多い，口語が多いなど話し言葉に近い傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある．Müllerら[3]はCOVID-19のトピックに関する大規模英語Tweetコーパスで事前学習された事前学習モデルを公開した．Qudarら[4]は，数百万件の英語ツイートに対して事前に訓練された，ドメインに特化した言語表現モデルである2つのTweetBERTモデルを公開した．また，7つのBERTモデルを31の異なるデータセットで評価することで，広範な分析を提供した．Zhangら[5]は，Twitterで作成されたBERTベースの多言語言語モデルであるTwHIN-BERTを公開した．日本語だけでも10億ツイート程度が学習に用いられている．マスク言語モデルに加え，リプライ等で紐づいた「社会的に関連する」投稿群をTwitter異種情報ネットワーク（TwHIN）として収集し，その予測を同時学習させている．また，ハッシュタグ予測と社会的関連性のベンチマークデータセットとして提供した1）．我々はSNS投稿データを用いたRoBERTaベースの事前学習モデルを提案する．2）TwitterはSNSの中でも国内利用者が多く，データ取得APIも整っているため多くのデータを収集することが出来，多様なパターンを学習できる．我々は6,000万件を超える投稿データを収集し，事前学習を行った．学習した事前学習モデルの性能評価のため，日本語理解能力測定を目的としたベンチマークJGLUE[6]の5つのタスク，感情強度分析を目的とした主観と客観の感情分析データセットWRIME[7]，メンタルヘルス不調の有無でのツイート2値分類[8]，診断付き被験者データセットによるツイート2値分類，計8つのタスクで性能評価を行った．すべての評価でWikipediaおよびCC100で事前学習したベースラインを上回り，大規模ツイートで事前学習した提案手法の効果を示した．また，ほとんどの評価で多言語ツイート事前学習モデルTwHIN-BERTをも上回り，提案手法は日本語SNS投稿を対象とするタスクにおいて世界最高の性能であ1）ツイートIDから原ツイートを取得しないと実験できない．2）事前学習済みモデルは一般公開予定である．.ると考えられる．