本研究では，大規模言語モデルの学習に用いられる大規模コーパスの有害コンテンツ除去を目的として，トークナイザーの圧縮率をもとにテキストを有害/無害に判定する方法を提案する．まず，有害コンテンツから有害語彙モデルを構築する．次に，有害語彙モデルを用いてテキストをトークン化し，圧縮率を算出する．これにより，有害なコンテンツは高い圧縮率を示し，一般的な無害なコンテンツは比較的低い圧縮率を示すため，有害コンテンツの判定に利用できると考える．本論文では，提案手法を用いて大規模なテキストにおける有害コンテンツの判定を評価し，有害コンテンツを実用的な速度で正しく判定できることを確認した．

大規模言語モデル（LLM）の驚異的な性能は，その事前学習に用いられるテキストデータの量[1,2]と品質[3]によって決まる．まず，テキストデータの量を確保するために，Web上のコンテンツをクローリングしてデータセットとすることが一般的である．このように集められた代表的な日本語データセットには，mC41），OSCAR[4]，Wikipedia等があり，多くのLLMの事前学習に活用されている．残る課題は品質である．品質はLLMの性能だけでなく，安全性や信頼性にも大きく影響するためである．ところが，Webから収集されたテキストは，品質管理が不十分であるため，差別や暴力を助長したり，読者を不愉快にしたり，不適切な内容や表現が含まれている．このような不適切なコンテンツが多ければ，学習されたLLMが有害な出力をもたらすことが知られている[5]．我々は，LLMの安全性や信頼性に関わるリスクのあるテキストのことを有害コンテンツと呼ぶ．∗Theseauthorscontributedequallytothiswork.1）https://huggingface.co/datasets/allenai/c4サンプリング有害コンテンツSentencePiece圧縮率有害有害語彙モデル無害≒有害度Webコーパス有害コンテンツへの対応法として，前処理の段階でクリーニングを処理して除去することは有効かつ必須である．しかし，日本語における有害コンテンツの判定法は，十分に確立されているとは言えない．本研究では，LLMの学習に用いられる大規模コーパスの前処理として日本語テキストの有害度を効率よく判定する新しい手法を提案する．図1は我々の提案を概観している．提案では，まず大規模なWebコーパスから有害なコンテンツをサンプリングする．サンプリングした有害コンテンツをトークナイザーを用いて，有害語が多く含まれるUnigram語彙モデルを作成する．この語彙モデルを有害語彙モデルと呼ぶ．有害語彙モデルを用いたトークナイザー2）を用いると，有害コンテンツはより少ないトークン長に変換されるようになる．つまり，圧縮率（１文字あたりのトークン長）で有害度が近似できる．我々は，この圧縮率から，Webコーパスの有害フィルタリングを行うことを提案する．