事前学習コーパス内の特定の属性への言及の急激な変化の調査

Webからクロールされた事前学習コーパス内の有害性を含む文章がLLMの有害な出力を引き出すことは知られているが、事前学習コーパス内の有害性が時とともにどのように変化するかは十分に調査されていない。特に、紛争の勃発や移民問題などの社会問題を通じて2,3年単位で世論に起きた急激な変化がどのようにコーパスに影響を与えるかは未だ調査されていない。本研究では近年その取り巻く環境が大きく変わった民族に対する言及がどのように変化しているかを、事前学習に用いられることの多いCommonCrawlの日本語データを対象として調査する。結果としてCommonCrawlでは紛争などの事象が発生した時期を境として、特定の属性に対する有害な文脈を伴う言及が増加することが確認された。