本研究では、言語モデルや人が生成した有害表現の検知を目的としたラベリングスキーマを考案し、日本語有害表現データセットの構築と評価に取り組んだ。まず、提案したスキーマを用いてデータセットを構築し、アノテーションに関する定量的な分析を行った。次に、構築したデータセットを利用して有害表現検知器を作成した。作成した有害表現検知器は既存の有害表現検知システムに比べ、少ないデータ数で同等の性能を達成し、様々な種類の有害表現を捉えられる可能性を示した。また、対話システムが生成した応答に対して、有害表現検知器を適用したところ、有害な発話を高精度で検知できることを確認した。

大規模なWebテキストコーパスによって構築された言語モデルが、有害な文章を生成するリスクが問題視されている[1,2]。この問題に対して、言語モデルによって生成されたテキストをフィルタリングすることで、有害表現を抑制する取り組みが行われている[3]。しかし有害/非有害といった単純なラベルで構築したフィルターだけでは、図1に示すような対話システムの個性を表現するために差別的な表現のみを抑制したいといった複雑なユースケースには利用できない。また、インターネットの普及により、YouTubeやTwitterのようなソーシャルプラットフォームは人々の生活に欠かせない存在になっている。一方で、プラットフォーム上でのヘイトスピーチや嫌がらせといった有害表現が急増している[4]。この問題に対処するため、有害表現データセットの構築に関する研究が英語[5]、韓国語[6]、ポルトガル語[7]などのお前なんて、右フック一発で病院送りにしてやるシステムAシステムBシステムC差別表現フィルター有害表現フィルター有害表現フィルター適切な応答⭕卑語表現フィルター性的表現フィルター︙性的表現フィルター差別表現フィルター︙差別表現フィルター不適切な応答❌不適切な応答❌ングは異なる。例えば、攻撃的な性格を持つ対話システムを構築したい場合、暴力的な文章を全てフィルターすると適切な応答を得られない場合がある。多様な言語で行われている。しかし、日本語の大規模なデータに対する有害表現ラベルのアノテーションは、限定的にしか行われていない。本研究では、言語モデルが生成した文章や人が書いた文章を対象として、有害表現1）を詳細に分類できる有害表現スキーマを提案する。さらに、提案したスキーマを元にデータセット2）を構築した。また、構築したデータセットを用いて、有害レベル予測モデルと有害カテゴリ予測モデルの2つの有害表現検知器を構築し、評価した。実験の結果、作成した有害レベル予測モデルは公開されている多言語有害表現検知システムと同等のROC-AUCが得られることを日本語において確認した。また有害レベル予測モデルが実運用に耐えうるか確認するため、対話1）本稿では有害表現について説明するため、気分を害する可能性がある文が含まれています。2）有害表現スキーマとデータセットの一部はhttps://github.com/inspection-ai/japanese-toxic-datasetにて公開している。.システムに対する性能を測定した。その結果、構築したモデルは対話システムの有害発話を防ぐのに有効であることを確認した。有害カテゴリ予測モデルでは、4つのカテゴリについてROC-AUCが0.6を超え、有害表現をより詳細に分類できる可能性を示した。