大規模言語モデルの事前学習用コーパスにおける要配慮個人情報の検出

LLMの構築には大規模な事前学習用コーパスが必要であり，その収集手段としてWebクローリングが広く利用されている．通常，クローラは自由に取得可能なデータを網羅的に探索するが，この過程で実際には利用が制限される情報を誤って収集してしまう可能性がある．特に本研究で対象とする要配慮個人情報は法的にその利用を制限され，可能な限り収集結果から除外するような対策が求められる．個人情報の保護に関する法律（平成十五年法律第五十七号）[1](以下，個人情報保護法と略称)では，要配慮個人情報を以下のように定義している．「要配慮個人情報」とは、本人の人種、信条、社会的身分、病歴、犯罪の経歴、犯罪により害を被った事実その他本人に対する不当な差別、偏見その他の不利益が生じないようにその取扱いに特に配慮を要するものとして政令で定める記述等が含まれる個人情報をいう。学術研究機関等による学術研究目的などいくつかの例外を除き，要配慮個人情報の取得や第三者提供には，原則として本人の同意が必要である．また，令和5年6月2日には個人情報保護委員会から生成AIサービスの利用に関する注意喚起等とOpenAIに対する注意喚起[2]が行われた．その中で，機械学習のための学習用データセットに要配慮個人情報が含まれないように取り組み，もし含まれている場合は削除もしくは適切な加工をすることが要求されている．このような背景から，クローリングにより収集されたコーパスを要配慮個人情報の観点でフィルタリングする必要があり，これを実現するための当該情報の検出・判定技術が不可欠である．クローリングによるコーパスは非常に大規模であり，特にLLMの事前学習に用いるものでは数兆単語にのぼるケースもある1）．このため，判定器は可能な限り高速に動作する必要がある．また，判定器の学習に必要となる要配慮個人情報自体が法律上利用を制限されるため，公開されたデータセットは存在せず，法律に注意しながら独自に構築する必要がある．要配慮個人情報も一種のラベル情報であるため，データセットの構築には既存コーパスに対して各種アノテーション手法を適用することになる．このときに選択する手法によってそれぞれ精度，コスト，時間，労力において異なる特徴を持つ．本研究では，人手アノテーションと比較して低コストで実行可能なLLMによるアノテーションをコーパスに適用し，要配慮個人情報データセットを構築する．構築したデータセットで各種の機械学習モデルを学習することにより要配慮個人情報の高速な判定器を作成し，それらの性能を比較する．なお，日本国外でも個人情報保護に関する各種の法律が定められており，コーパスから個人情報を除去することが求められている．Royら[3]はPII(個人情報)を検出するために機械学習モデルを構築し，高精度でPIIを検出する手法を提案している．1）https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-corpus-v3.また，LLMの事前学習用コーパスから個人情報を除去する取り組みも進められている．Llama3[4]やGemma2[5]では，事前学習用コーパスに対して個人情報やセンシティブな情報を除去するフィルターを適用している．要配慮個人情報の検出にも類似の技術を使用できるが，前節で述べたようにデータの利用方法に制約を受ける点は注意が必要である．