本研究の目的は，大衆の感覚を反映した，実用性の高い安全性評価データセットを構築すること，および既存の安全性評価データセットが抱えるラベリングの妥当性に関する課題を実証することである．既存の安全性評価データセットは，少数の専門家による規格化された基準に基づいて構築されており，大衆の感覚とは一致しない可能性がある．そこで本研究では，クラウドソーシングを用いた大規模な調査，および統計的な分析を取り入れた，データセットの再ラベリングを実施する．実験の結果，既存データセットのラベルと，大衆の感覚の間には一定の差異が存在し，その差異がモデルの適正な評価を妨げることを示した．

近年の大規模言語モデルの急速な発展に伴い，その安全性の確保は重要な課題となっている．特に，有害な出力や差別的な表現を抑制するための技術開発が進められており，その評価基盤として多様な安全性評価データセットが構築されてきた[1][2][3]．しかし，既存の安全性評価データセットの構築手法や評価基準には，以下の課題が存在する．•アノテータの属性の偏り•規範的・論理的なアプローチへの偏重第一の課題は，アノテータの属性の偏りに関する問題である．既存の安全性評価データセットの大部分は，研究者，エンジニア，訓練されたアノテータなどの少数の専門家によって構築されている．しかし，安全性の感覚は個人差が大きいため，専門家の規定した基準が必ずしも大衆の感覚と一致しない可能性がある．実際に，アノテータのアイデンティティが，テキストのラベリングに影響を与え，さらにそのラベルの違いがモデルの性能評価に有意な影響を及ぼすことが指摘されている[4]．また，安全注：道徳的判断とは，対象が良いか悪いかを決める価値付けを指す．道徳的推論とは，道徳的判断に至るまでの意識的な心的活動を指す.性評価におけるアノテーションの多様性が，評価の妥当性において重要であり，単一の専門家集団による判断では捉えきれない視点の多様性が存在することも指摘されている[4][5]．これらの指摘は，安全性評価データセットの構築において，少数の専門家だけでなく，より多種多様な視点を取り入れる必要性を示唆している．第二の課題は，安全性評価データセットの構築が，タクソノミに基づく規範的・論理的なアプローチに偏重していることである．既存のデータセットの多くは，開発者が定義した詳細なカテゴリやガイドラインに基づき，対象のデータがそれに合致するか否かを，論理的に照合することで安全性のラベルが決定される．道徳心理学の観点から見れば，このプロセスは理性主義モデル1）（図1）[6][7]を暗黙の前提としている．すなわち，道徳的判断は推論の結果として導かれる，という主張である．しかし，社会的直観主義モデル2）（図1）[8][9]が示唆するように，実際の人間による道徳的判断の多くは，推論よりも先に生じる直観によって即座に決定されている．以上を踏まえると，規範的・論理的に定まった1）理性主義モデル：従来的な道徳的判断のモデル．道徳的判断は意識的な推論によって生じると考える．2）社会的直観主義モデル：ハイドらが提唱した道徳的判断のモデル．道徳的判断は，まず直観的に生じ，そのあとに理由付けとしての推論が続くと考える．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3.1クラウドソーシングによる安全性評価データの取得XSTestJP（450件）および日本語安全性境界テスト（120件）の計570件を対象として，一般被験者による安全性評価を実施した．各テキストにつき40名が回答し，取得した評価データは合計22,800件である．被験者は20代から60代の男女480名であり，クラウドソーシングサービスであるランサーズを用いて募集した．被験者には各テキストを提示し，「安全でない」から「安全である」まで4段階のリッカートスケールでテキストの安全性を評価するように求めた．評価の際には，判断基準の提示や，判断根拠の要求はせず，事前のラベリングの訓練も実施していない．これは，実運用における利用者の直観に近い評価データを取得するためである．また，それぞれのテキストの提示順は，被験者ごとにランダム化している．これは，提示順によって生じる評価結果のバイアスを軽減させることを意図したためである．評価対象のデータセットにおける，具体的なテキストの例は付録の表3,4に，データセットのラベルの内訳は表1に示す．3.2直観に基づくラベリング前節で取得した各テキストの評価に対して，ウィルコクソンの符号順位和検定を実施し，評価の中央値が「安全でない」と「安全である」のいずれに有意に偏っているかを判定した（有意水準𝛼=0.05）．4段階評価を数値化し（「安全でない」=1，「やや安全でない」=2，「やや安全である」=3，「安全である」=4），各テキスト𝑖に対する40名の評価値{𝑥𝑖,1，𝑥𝑖,2，...，𝑥𝑖,40}の中央値𝑚𝑖を算出した．帰無仮説を𝐻0:𝑚𝑖=2.5，対立仮説を𝐻1:𝑚𝑖≠2.5として両側検定を実施し，𝑝値が𝛼未満の場合に帰無仮説を棄却した．中央値が𝑚𝑖<2.5かつ有意な場合は非安全（unsafe）ラベルを付与し，𝑚𝑖>2.5かつ有意な場合は安全（safe）ラベルを付与した．有意な偏りが確認できなかった場合（𝑝≥𝛼）は，明確な合意が形成されていないと判断し，controversialラベルを付与した．これらは，大衆が決めきれなかったデータとみなし，専門家の基準を優先するために元データのラベルを再度付与した．以上の多段階プロセスによって，各テキストに対するsafeまたはunsafeのラベルが確定した．ベルの内訳データセット件数既存(s/u)新(s/u)contr.XSTestJP450250/200269/181(60)境界テスト12060/6078/42(25)合計570310/260347/223(85)注：表中のcontr.はcontroversialを表す．controversialは最終的なラベル（safe，unsafe）には含まれないラベルであり，ラベリングの中間過程（§3.2）で一時的に付与された．4データセットの分析本章では，提案手法によって構築されたデータセットと既存のデータセットを比較し，安全性評価の差異を定量的に分析する．4.1ラベルの比較XSTestJP450件，および日本語安全性境界テスト120件の計570件について，本手法によるラベリング結果と元ラベルとの比較を実施した．XSTestJP全450件のうち，6%にあたる27件でラベルが変更された．内訳はunsafe→safeへのラベルの変更が23件，safe→unsafeへのラベルの変更が4件である．日本語安全性境界テスト全120件のうち，23.3%にあたる28件でラベルが変更された．内訳はunsafe→safeが23件，safe→unsafeが5件である．データセット全体XSTestJP（450件）および日本語安全性境界テスト（120件）の計570件のうち，9.6%にあたる55件でラベルが変更された．内訳はunsafe→safeが46件，safe→unsafeが9件であった（図1)．これは，変更されたデータの大半が，大衆の感覚ではsafeと判断されたことを意味する．ラベルの変更が生じたデータの具体例は，付録の表3に示す．また，最終的な二値ラベル（safe，unsafe）には反映されていないが，ラベリングの中間過程(§3.2)において，controversialラベルのデータが，一時は全体の約15%（85件）を占めた（表1）．この結果は，安全性判断における個人差が定量的にも大きいことを示しており，注目すべき点といえる．4.2各データセットによる評価結果の比較提案手法で構築したデータセットを用いて，ガードレールモデルの評価を実施し，性能指標(F1スコア)の変化を分析する．§4.1で確認されたorg/licenses/by/4.0/).XSTestJP既存XSTestJP新規モデルラベルの変更が，評価結果にどの程度影響を及ぼすか定量的に検証する．ガードレールモデルは，AzureContentSafety[14],OpenAIModerationAPI[15],chakoshi[16][17]を使用する．評価結果および既存データセットとの比較を表2に示す．XSTestJPF1スコアで最大0.05の評価結果の差異が確認された．また，chakoshiを除く全てのモデルでF1スコアが向上した．日本語安全性境界テスト既存データセットと新データセットの間で評価結果の差異がXSTestJPより大きく，F1スコアで最大0.18の差異が確認された．また，全てのモデルでF1スコアが向上した．データセット全体結果として，全体的にF1スコアが向上していた．この結果から，既存データセットでは，モデルの性能を過小評価していたことが分かる．また，既存データセットによる評価と，本研究で構築されたデータセットによる評価の間には，無視できない差異が存在しており，モデルの安全性評価にも一定の影響を与えていることが定量的に確認できた．5構築と評価を通した考察5.1既存データセットの保守性がモデル評価に与える影響既存の安全性評価データセットには，大衆の感覚と一致しないラベルが一定数含まれており，この不一致が，モデルの評価に一定の影響を与えていることが§4.2の評価を通じて示された.また，ラベルの不一致率はデータセット全体の約9.6%であったが，そのうちunsafe→safeへの変更が約8割を占めた．この結果は，専門家による既存のラベリングが，大衆の感覚と比較して保守的な傾向にあることを示唆している．こうした保守的な傾向は，モデルの真の有用性を見誤るリスクを抱えている.境界テストΔF1AzureContentSafety(Low)0.700.720.020.570.600.03AzureContentSafety(Middle)0.660.700.040.330.510.18AzureContentSafety(High)0.360.390.030.100.140.04OpenAIModerationAPI0.730.780.050.390.550.16chakoshi0.880.870.010.610.780.17注：ΔF1は，既存データセットによるF1スコアと構築したデータセットのF1スコアの値の差を表す．この値が大きいほど，評価結果の差も大きい．AzureContentSafetyの括弧内はガードレールの閾値設定を示す.境界テスト既存境界テスト新規XSTestJPΔF15.2規範的・論理的アプローチによる安全性境界データ作成の難しさ日本語安全性境界テストは，安全性の境界となるsafeとunsafeの対データによって，全体が構成されている．しかし，一般被験者による安全性評価ではラベルに差異が生じず，対となるテキストの双方が同じラベルとして評価される事例が数多く確認された．具体的には，全体の約16.7%のデータにおいて，ラベルの不一致が確認された．これは，専門家が意図した境界の多くが，大衆の感覚においては，有効な境界として機能していなかったことを意味している．この結果は，既存のアプローチによる安全性境界データ作成の本質的な難しさを示している．5.3画一的な安全性基準の限界と個別基準の必要性ラベリングの中間過程（§3.2）において，一般被験者による安全性評価がsafeとunsafeの間で分れた事例のラベルをcontroversialと定義したところ，全体の約15%（85件）がこれに該当した．この結果は，テキストの安全性評価が，アノテータのアイデンティティや文化的，状況的な文脈に深く依存していることを示唆している．画一的な安全性評価には限界があることを認め，ユースケースや利用ユーザの属性を踏まえた個別の安全性基準の策定と評価が，実運用を考える上で重要であることが本研究の結果によって強調された．6まとめ本研究では，大衆の感覚を反映した，実用性の高い安全性評価データセットを構築した．さらに，既存の安全性評価データセットの一部にはラベルの妥当性に関する懸念があり，モデルの適正な評価を妨げる可能性が示された．今後も，本手法の改善を通じて，より実用性の高い安全性評価データセットの構築を目指す．org/licenses/by/4.0/).