大規模コーパスにおける要配慮個人情報検出の精度向上

LLMの構築には大規模な事前学習コーパスが必要であり，その収集手段としてWebクローリングが広く利用されているが，意図せず個人情報を収集してしまうことがある．LLMが個人情報を記憶し，出力を通じて漏洩する危険性があり[1]，特に高い機微性を有する要配慮個人情報については，漏洩時の社会的影響がより大きくなる．個人情報の保護に関する法律（平成十五年法律第五十七号）[2](個人情報保護法)では，要配慮個人情報を以下のように定義している．「要配慮個人情報」とは、本人の人種、信条、社会的身分、病歴、犯罪の経歴、犯罪により害を被った事実その他本人に対する不当な差別、偏見その他の不利益が生じないようにその取扱いに特に配慮を要するものとして政令で定める記述等が含まれる個人情報をいう。個人情報保護委員会は，生成AIサービスの学習データに要配慮個人情報が含まれないように取り組み，含まれる場合は削除または適切な加工をすることを要求している[3]．このような背景から，LLMの学習データ，特に大規模事前学習コーパスを対象として，要配慮個人情報を実用的な速度で検出する技術が不可欠である．近年公開されたCommonCorpus[4]やDolma[5]のような事前学習コーパスでは，構築段階で個人情報の除去が行われているが，要配慮個人情報を含む機微性の高い個人情報を除去したことは報告されていない．また，Dolma3[6]ではLLMを用いて個人情報に加えて，機微性の高い個人情報も除去されているが，この処理はPDFなど一部のデータに限定されている．日本語では，大規模コーパス用の要配慮個人情報フィルタ1）が存在するが，表層的なルールに基づくフィルタであり，網羅的な検出ではなく実用的なリスク軽減を目的として設計されている．我々は，LLMによるアノテーションによって，事前学習コーパスから抽出した各文書に要配慮個人情報の区分と対応するラベルを1つ付与したデータセット（自動データセット）を構築した[7]．自動データセットは，医療関係，犯罪関係，および障害の3区分の文書と非要配慮文書から構成される．自動データセットで学習した検出器は，要配慮文書（要配慮個人情報を含む文書）だけでなく，カテゴリ関係文書（要配慮個人情報の区分と関係するが，要配慮個人情報を含まない文書）も検出する傾向があった．これは，複数のLLMが非要配慮と判定した文書を負例データとして採用した結果，境界的なカテゴリ関係文書が負例データに十分に含まれなかったためと考えられる．本研究では，カテゴリ関係文書の誤検出を抑制するため，人手アノテーションによってカテゴリ関係文書を含むデータセット（人手データセット）を構築する．さらに，人手データセットを用いて学習した検出器を大規模コーパスに適用し，その挙動を分析する．