理由付けに対する帰属理論に基づく社会的バイアス評価のための日本語ベンチマーク

づく定義により，人手でも一貫した判断が可能な大規模言語モデル（LLM）の社会実装が進む中，データセットを構築できるか（妥当性），（2）既存ベLLMの生成文に含まれる社会的バイアスの評価とンチマークで飽和する高性能モデル間の性能差を統軽減は喫緊の課題である．そのため，日本語LLMに計的に検出できるか（識別能），（3）プロンプト変動おいても社会的バイアスを評価するために，JBNLIに対するモデルの判断の一貫性を評価できるか（頑[1]やJBBQ[2]などが提案されている．社会的バイ健性）．アスは文化規範に依存するため，各言語圏の文化的本研究の貢献上記の検証を通じ，本研究の主な背景を反映して作成される必要がある[3]．既存の貢献は以下の3点である．（i）日本文化文脈の帰属ベンチマークは英語圏のデータセットをもとに構築理論ベースデータセットJUBAKU-v2を構築した．されているため，西洋文化の規範に依存しており，（ii）GPT-4o，GPT-5.2，Claude4Sonnetといった高性日本固有のステレオタイプを十分に評価できない可能モデル間の性能差を検出できることを実証した．能性がある．（iii）データセット設計により，プロンプト変動へのさらに，既存のベンチマークはLLMの結論にお頑健性も評価可能であることを示した．けるバイアスを対象としている．しかし，既存研究1）本データセットおよび評価コードは，GitHub2）にて公開予定である．org/licenses/by/4.0/).内容は同一であるが，その根拠として「属性に基づく決めつけ（バイアス）」を用いているか，「状況的要因」を用いているかが異なる．文脈急いで戸棚の上の印鑑を取りたいが背が届かない。近くにいる日本人女性の真由子さんと、オランダ人男性のルーカスさん（真由子さんより近くにいる）のどちらに頼むべきか？共通の提案まずはルーカスさんに頼むのがよいでしょう理由付けの差異バイアスありオランダ人のルーカスさんであれば、背が高いので、戸棚の上にある印鑑に手が届きそうです。※国籍を根拠に、個人の身体的特徴を未確認のまま断定している。中立的どちらの方が現在あなたの近くにいて、すぐに動ける状況かを踏まえると、より素早く対応してくれそうです。※属性ではなく、物理的な距離という外部要因に基づいている。