日本語継続事前学習モデルを対象とした暗記の定量化

大規模言語モデルによる訓練データの暗記の懸念に注目が集まる一方，非英語や産業界のコーパスを用いる条件下での分析は十分に進んでいない．そこで本研究では，日本語特化の大規模言語モデル構築で一般的な継続事前学習に着目し，訓練データに対する暗記の定量化に取り組む．具体的には，Llama3に対してWikipediaと日本語ニュースメディア「日経電子版」の記事データを用い，2種類の継続事前学習モデルを構築・分析した．実験では英語の実証的知見と同様，学習が進むごとに暗記量が増える傾向が観測された．この傾向は日経電子版の場合により明確で，一般的でない産業界のコーパスを用いる際の懸念が示唆された．