大規模言語モデルの事前学習用コーパスにおける要配慮個人情報の検出

法的に取得が制限される要配慮個人情報は，大規模言語モデル（LLM）の構築に必要な大規模な事前学習用コーパスに含まれる可能性があり，その検出とフィルタリングは重要な課題である．本研究では，文章内の要配慮個人情報を検出するために，要配慮個人情報データセットを構築し，機械学習モデルを学習させた．その結果，要配慮個人情報のジャンルと関係する情報を高速に検出する判定器を構築できた．