Webからクロールされた事前学習コーパス内の有害性を含む文章がLLMの有害な出力を引き出すことは知られているが、事前学習コーパス内の有害性が時とともにどのように変化するかは十分に調査されていない。特に、紛争の勃発や移民問題などの社会問題を通じて2,3年単位で世論に起きた急激な変化がどのようにコーパスに影響を与えるかは未だ調査されていない。本研究では近年その取り巻く環境が大きく変わった民族に対する言及がどのように変化しているかを、事前学習に用いられることの多いCommonCrawlの日本語データを対象として調査する。結果としてCommonCrawlでは紛争などの事象が発生した時期を境として、特定の属性に対する有害な文脈を伴う言及が増加することが確認された。

GPT-3[1]やLlama[2]に代表される大規模言語モデル(LLM)はその事前学習の過程においてWebからクロールされた大規模コーパスがよく用いられる。コーパスにはマイノリティや特定の民族に対する攻撃的な表現がしばしば含まれており、LLMは事前学習時にそのような表現を出力するように学習してしまう[3]。LLMが出力する有害表現に関する既存研究は主にコーパスとLLMの出力の間の関係の調査や、またLLMの有害な出力を抑えるための手法の開発に取り組んできた[4,5]。しかしながら、ほとんどの既存研究は特定のタイムスタンプのコーパスのみを対象にしており、複数のタイムスタンプのコーパス間にどのような違いがあるかの調査は行なっていない。その時々の社会の時流によってWebに書き込まれる内容は変わり、それはクロールされたコーパスにも影響することが考えられる。社会の時流がどのようにコーパスに影響しているのかを調査するのはLLMが今後長く使用されることが期待される今の時代において重要な課題である。我々と近いモチベーションをもつ研究としてはYiらのもの[6]が挙げられる。この研究は2020年から2022年の各月のSNSデータを対象とし、それぞれのタイムスタンプのコーパスで言語モデルを訓練することにより性別バイアスや年齢バイアスが時系列順にどのように変化するかを調査した。この研究では一部を除いたほとんどのタイプのバイアスにおいて時系列による変化が見られなかったという実験結果が得られている。しかしながら、そもそも性別バイアスや年齢バイアスのような社会に深く根差したバイアスは数年で大きく変わるものではない。時系列によるLLMの社会バイアスの変化をより深く知るためには、近年急激に社会の中でその立ち位置が変わりつつある属性に目をむける必要がある。そこで本研究はここ数年で大きく取り巻く環境が変わった民族にフォーカスをあて、それぞれの民族に対する言及とその有害性がコーパス内でどのように変化しているかの調査を行う。本稿ではクルド人、ロシア人、ユダヤ人の3つの民族を対象属性、LLMの事前学習においてよく用いられるCommonCrawlの2021年から2024年までの日本語データを対象データとして定量的な分析と定性的な分析を行う。定量的な分析としては各属性に対する言及の有害性がそれぞれの時期ごとにどのように変化し、またその言及の量がどのように増減しているかを測定する。定性的な分析としては属性に対応する文字列周辺に共起する名詞の出現頻度を測り、それを時期ごとに比較することでどのような文脈で属性への言及が発生しているかを分析する。分析の結果、図1に示すようにクルド人とロシア人に対しては特定の時期を境目として、その言及の有害性の急激な増加が確認された。これらは紛争の勃発など実社会の事象と強い関連を見せている。特にクルド人に関する言及の有害性はその量とともに2023年以降急激な増加を見せており、社会問題に対応して事前学習コーパス内に今までは存在しなかった新たな有害性が発生しうることが確認された。.(a)クルド人(b)ロシア人(c)ユダヤ人りアノテーションした有害性のスコア。黒の縦線はそれぞれ川口市立医療センターでの騒動が起きた2023年7月,ロシアとウクライナの間の緊張が高まった2021年3月,ロシアがウクライナに侵攻した2022年2月,イスラエルとガザの紛争が起きた2021年5月,2023年10月を示している。