日本語継続事前学習モデルを対象とした暗記の定量化

大規模言語モデルの実用性が高まるにつれ，事前学習に用いられた訓練データの暗記に関する懸念が浮上している[1]．暗記は訓練データと同じ，または類似の文字列が出力される現象を指す．大規模言語モデルの暗記はプライバシや著作権の侵害に繋がる他，汎用性の低下も引き起こす可能性がある．プライバシについて，最初期の研究であるCarlinietal.[2]は，GPT-2から暗記された個人情報が抽出できると警鐘を鳴らした．著作権に関してLeeetal.[3]は剽窃の観点からGPT-2を分析し，実用面での倫理的な問題を指摘した．汎用性については，大規模言語モデルが評価ベンチマークを暗記することで評価の正当性が損なわれるとの議論がある[4]．大規模言語モデルの暗記に関する研究は，主に英語の一般的なコーパスを対象として精力的に進んでいる．訓練データが明らかになっているオープンな設定では，訓練データの一部をプロンプトとして与えた際の続きの生成結果を用いる枠組みが一般的である（図1上）．実証的知見として，暗記が(1)訓練∗株式会社日本経済新聞社での業務委託オープン：訓練データが分かっている設定日本語継続事前学習モデルLlama3続きの生成文字列の類似度■■■■■■■■■■■■■■■■■■■■■……プロンプト■■■■■■■■■■■■■■■■参照クローズド：訓練データに含まれるか分からない設定日本語継続事前学習モデル生成確率Llama3メンバーシップ推論?■■■■■■■■■■■■■■■■■■■■■……テキストされた大規模言語モデルに対し，訓練データの暗記の定量化を試みる．訓練データが分かっているオープンな設定（上）では，訓練データをプロンプトと参照用に分割し，続きの生成結果と参照用の類似度を算出する．テキストが訓練データに含まれるか分からないクローズドな設定（下）では，生成確率を用いて訓練データに含まれる可能性を予想する．データ内の文字列の重複(2)モデルサイズ(3)プロンプト長の3つと強く関連すると報告されている[5]．メンバーシップ推論[6]手法を用いて，テキストが訓練データに含まれるか分からないクローズドな設定で検出を試みる研究も盛んである（図1下）．Shietal.[7]はWikipediaの日付情報を用いた評価ベンチマークを構築すると共に，トークンごとの生成確率を用いた予測手法MIN-K%Probを提案した．非英語や産業界のコーパスを用いた大規模言語モデルの構築も進み，同時にそれらを対象とした暗記に関する議論の需要も高まっている．日本語に関しては日本語に強いモデルの開発を目的に，学術界主導で組織横断プロジェクトLLM-jp[8]が始動した．Kiyomaruetal.[9]はLLM-jpで構築されたGPT-2モデルを分析し，英語での実証的知見が日本語でも再現されると確認した．産業界ではIshiharaetal.[10].対象のモデル問題設定事前学習継続事前学習オープン一般的なコーパス[9]産業界のコーパス[10]本研究§2.1クローズド一般的なコーパス[11]産業界のコーパス[10]本研究§2.2が日本語ニュースメディア「日経電子版」の記事データを用いてGPT-2モデルを事前学習し，独特な文体の日本語でも英語での実証的知見が再現されると報告している．クローズドな設定でも，メンバーシップ推論手法を用いることでAUC0.60程度の性能が出ると実証した．日本語・英語で，メンバーシップ推論手法の性能を比較した研究[11]もある．しかし，非英語や産業界のコーパスを用いる条件下での主要な手法である継続事前学習[12]では，暗記が十分に調査されていない．継続事前学習では，事前学習済みモデルを起点に追加学習することで，比較的小規模のコーパスでもドメイン特化の優れたモデルを構築できる[13,14]．このように微調整されたモデルの暗記に関する既存研究の主な対象は英語[15,16,17,18]で，限られた日本語を対象とする暗記の研究[9,10,11]では議論されていない（表1）．そこで本研究では，一般的な日本語と産業界のコーパスの2種類を用いて日本語継続事前学習モデルを構築し暗記を定量化する（§2）．具体的には日本語の一般的なウェブコーパスであるWikipediaと独自の表記規定を持つ日経電子版の記事データを用い，Llama3[19]をLow-RankAdaptation(LoRA)[20]で継続事前学習したモデルを構築1）・分析した（§3）．分析の結果，日本語継続事前学習の設定でも部分的に英語の実証的知見が再現され，特に日経電子版を用いた場合に顕著であると分かった（§4）．