新聞記事からつくる時事と社会に強い日本語LLM

に英語の生成を伴うタスクで性能が悪化した．大規模言語モデル（LLM）の事前学習において新この現象は，生の記事のみではテキストの量や多聞記事はどのような恩恵をもたらすのか？本研究様性が不足していたことが原因であると推測した．では，LLMの日本語継続事前学習における新聞記また，LLMが特定の知識を獲得するにはその事実に事データの有用性，およびその効果を引き出すため多数回触れる必要がある[3]と言われており，ウェの手法について報告する．はじめに，新聞記事のみブテキストで補えない知識を少量の新聞記事からを用いてLLMの継続事前学習を行ったが，テキス獲得する取り組みにおいて，悩ましい課題である．ト量と多様性の不足のためか，十分な効果を得るこドメイン適応の分野における既存研究では，読解問とができなかった．そこで，ドメイン適応の既存研題[4,5]やQA[6]，エンティティに焦点を当てたテ究を参考に，新聞記事をシードとしてLLMで合成キスト[7]などの合成データをLLMで生成して学習データを生成し，継続事前学習のデータに追加しに加え，より多様な知識表現を与えることで，ドメた．実験の結果，合成データを併用することによりイン知識に関するタスクの性能を改善できたことが前述の問題を解消し，新聞記事に関連する分野を中報告されている．良質な合成データを構築するにあ心に，LLMの日本語能力が向上した．たっては，生成の情報元となるシード（種）テキストの品質担保が重要[8]とされているが，元々内容