トークナイザーの圧縮率を用いた有害コンテンツの判定法

大規模言語モデル（LLM）の驚異的な性能は，その事前学習に用いられるテキストデータの量[1,2]と品質[3]によって決まる．まず，テキストデータの量を確保するために，Web上のコンテンツをクローリングしてデータセットとすることが一般的である．このように集められた代表的な日本語データセットには，mC41），OSCAR[4]，Wikipedia等があり，多くのLLMの事前学習に活用されている．残る課題は品質である．品質はLLMの性能だけでなく，安全性や信頼性にも大きく影響するためである．ところが，Webから収集されたテキストは，品質管理が不十分であるため，差別や暴力を助長したり，読者を不愉快にしたり，不適切な内容や表現が含まれている．このような不適切なコンテンツが多ければ，学習されたLLMが有害な出力をもたらすことが知られている[5]．我々は，LLMの安全性や信頼性に関わるリスクのあるテキストのことを有害コンテンツと呼ぶ．∗Theseauthorscontributedequallytothiswork.1）https://huggingface.co/datasets/allenai/c4サンプリング有害コンテンツSentencePiece圧縮率有害有害語彙モデル無害≒有害度Webコーパス有害コンテンツへの対応法として，前処理の段階でクリーニングを処理して除去することは有効かつ必須である．しかし，日本語における有害コンテンツの判定法は，十分に確立されているとは言えない．本研究では，LLMの学習に用いられる大規模コーパスの前処理として日本語テキストの有害度を効率よく判定する新しい手法を提案する．図1は我々の提案を概観している．提案では，まず大規模なWebコーパスから有害なコンテンツをサンプリングする．サンプリングした有害コンテンツをトークナイザーを用いて，有害語が多く含まれるUnigram語彙モデルを作成する．この語彙モデルを有害語彙モデルと呼ぶ．有害語彙モデルを用いたトークナイザー2）を用いると，有害コンテンツはより少ないトークン長に変換されるようになる．つまり，圧縮率（１文字あたりのトークン長）で有害度が近似できる．我々は，この圧縮率から，Webコーパスの有害フィルタリングを行うことを提案する．