大衆の感覚を反映した安全性評価データセットの構築

本研究の目的は，大衆の感覚を反映した，実用性の高い安全性評価データセットを構築すること，および既存の安全性評価データセットが抱えるラベリングの妥当性に関する課題を実証することである．既存の安全性評価データセットは，少数の専門家による規格化された基準に基づいて構築されており，大衆の感覚とは一致しない可能性がある．そこで本研究では，クラウドソーシングを用いた大規模な調査，および統計的な分析を取り入れた，データセットの再ラベリングを実施する．実験の結果，既存データセットのラベルと，大衆の感覚の間には一定の差異が存在し，その差異がモデルの適正な評価を妨げることを示した．