に英語の生成を伴うタスクで性能が悪化した．大規模言語モデル（LLM）の事前学習において新この現象は，生の記事のみではテキストの量や多聞記事はどのような恩恵をもたらすのか？本研究様性が不足していたことが原因であると推測した．では，LLMの日本語継続事前学習における新聞記また，LLMが特定の知識を獲得するにはその事実に事データの有用性，およびその効果を引き出すため多数回触れる必要がある[3]と言われており，ウェの手法について報告する．はじめに，新聞記事のみブテキストで補えない知識を少量の新聞記事からを用いてLLMの継続事前学習を行ったが，テキス獲得する取り組みにおいて，悩ましい課題である．ト量と多様性の不足のためか，十分な効果を得るこドメイン適応の分野における既存研究では，読解問とができなかった．そこで，ドメイン適応の既存研題[4,5]やQA[6]，エンティティに焦点を当てたテ究を参考に，新聞記事をシードとしてLLMで合成キスト[7]などの合成データをLLMで生成して学習データを生成し，継続事前学習のデータに追加しに加え，より多様な知識表現を与えることで，ドメた．実験の結果，合成データを併用することによりイン知識に関するタスクの性能を改善できたことが前述の問題を解消し，新聞記事に関連する分野を中報告されている．良質な合成データを構築するにあ心に，LLMの日本語能力が向上した．たっては，生成の情報元となるシード（種）テキストの品質担保が重要[8]とされているが，元々内容

の正確性や有用性が確保されている新聞記事であれ大規模言語モデル（LLM）の事前学習において，ば，シードとしての適性が高いと予想できる．高品質なデータを用いることの重要性が知られていこれらを踏まえ，本研究ではさらに，新聞記事る[1,2]．日本語は英語などに比べてデータ量が少を情報元としてLLMで合成データを構築し，学習ないため，ウェブページ以外の有用な言語資源を開データに加えることで，データの量や多様性に起因拓することも重要となる．新聞記事は，日本語テキする問題の解消と，新聞記事に含まれる有用な知識ストとしての品質が担保されている，日本の社会・の獲得を促し，モデルの日本語性能の向上を目指し文化・時事に関する情報が豊富に含まれているたた．実験の結果，合成データを併用した学習では前め，LLMの事前学習に有益と考えられているが，そ述の問題を解消し，既に大規模・高品質な日本語の効果は未だ実証されていない．コーパスで学習済みであったベースモデル[9]の日そこで，本研究ではまず，朝日新聞社が所有す本語の知識や推論能力をさらに改善できた．より具る直近41年間の新聞記事テキストを用いて日本語体的には，時事的知識，社会科学，人文科学など新LLMに継続事前学習を行い，その効果を調査した．聞記事に関連する分野で改善幅が大きいことを確認我々の知る限り，LLMの事前学習における日本語し，新聞記事と合成データの効果を実証した．の新聞記事の効果を検証した研究はこれが初めてでLLMに新聞記事のような高品質なデータを与えある．ところが，生の記事のみを用いた場合は期待ても，知識をうまく定着させることができなかった通りの効果が得られず，日英ほぼ全てのタスクで性が，合成データで言い換えながら繰り返し教えるこ能が下落した．学習量を増やすために記事を複数エとで学習効果が高まったという知見は，興味深い．―3948―.