組織を超えたLLM学習データの目的外利用を防げるか

LLMの性能向上において，学習データは極めて重要な要素である．データの品質がモデルの能力を大きく左右することは広く認識されており[1,2]，高品質なデータセットの確保が研究や開発の鍵となる．LLMの開発に携わる開発者であれば，他の組織が所有する高品質データを活用したいと考えたことがあるだろう．しかし，このようなデータは，プライバシー保護や知的財産権の観点から厳格な制約の下に管理されており，組織を超えた共有は容易ではない[3]．そのため，次の要件を満たす学習データの保護法が必要となる．•学習データをオリジナルデータに復元できない形に黒塗りし，目的外利用を防ぐこと•保護されたデータを用いてLLMを構築した際に，モデル性能が顕著に低下しないこと我々は先行研究として，各トークンの出現頻度に基づきデータを黒塗りする保護法を提案した．この黒塗り手法で保護された事前学習データを使用してLLMを構築し，JGLUE[4]などを用いて言語理解能力を確認した[5]．しかし，より影響を及ぼすと想定される言語生成能力は未評価のままであった．本研究は，データ保護を強化するため，黒塗りの実装方法を再評価し，さらにLLMのモデル性能に与える影響を生成能力から評価する．我々は，生成能力の評価としてコード生成タスクを採用した．コード生成は，一文字でも正しくない生成を行うとパスしないため厳密に生成能力を見るのに適している．