新聞記事からつくる時事と社会に強い日本語LLM

の正確性や有用性が確保されている新聞記事であれ大規模言語モデル（LLM）の事前学習において，ば，シードとしての適性が高いと予想できる．高品質なデータを用いることの重要性が知られていこれらを踏まえ，本研究ではさらに，新聞記事る[1,2]．日本語は英語などに比べてデータ量が少を情報元としてLLMで合成データを構築し，学習ないため，ウェブページ以外の有用な言語資源を開データに加えることで，データの量や多様性に起因拓することも重要となる．新聞記事は，日本語テキする問題の解消と，新聞記事に含まれる有用な知識ストとしての品質が担保されている，日本の社会・の獲得を促し，モデルの日本語性能の向上を目指し文化・時事に関する情報が豊富に含まれているたた．実験の結果，合成データを併用した学習では前め，LLMの事前学習に有益と考えられているが，そ述の問題を解消し，既に大規模・高品質な日本語の効果は未だ実証されていない．コーパスで学習済みであったベースモデル[9]の日そこで，本研究ではまず，朝日新聞社が所有す本語の知識や推論能力をさらに改善できた．より具る直近41年間の新聞記事テキストを用いて日本語体的には，時事的知識，社会科学，人文科学など新LLMに継続事前学習を行い，その効果を調査した．聞記事に関連する分野で改善幅が大きいことを確認我々の知る限り，LLMの事前学習における日本語し，新聞記事と合成データの効果を実証した．の新聞記事の効果を検証した研究はこれが初めてでLLMに新聞記事のような高品質なデータを与えある．ところが，生の記事のみを用いた場合は期待ても，知識をうまく定着させることができなかった通りの効果が得られず，日英ほぼ全てのタスクで性が，合成データで言い換えながら繰り返し教えるこ能が下落した．学習量を増やすために記事を複数エとで学習効果が高まったという知見は，興味深い．―3948―.