大規模言語モデルと世界各国の価値観とのアライメント

大規模言語モデル（LLM）は日常の意思決定支援において重要性を増している[1,2]．利用者とのやり取りでは，客観的質問のみならず主観的質問への回答も求められる[3,4,5]．価値観へのアライメントという観点でLLMは，事前学習における次トークン予測から価値観に対する統計的事前分布を学ぶ[6,7]．その後の指示学習[8,9]や選好最適化[10,3]によってLLMは人間の価値観にアライメントするように学習される．LLMの利用者層は地域的・世代的に多様であり，多言語対応のみならず，そうした背景から形成される価値観との整合性を備えることが重要である．そのため，アライメントのためのデータは，多様な国・言語・年代を背景に持つアノテータの価値観に沿って作成される必要がある[11]．国際調査Question:Howimportantisfamilyinyourlife?⽶国✅チリLLM…Choices:1.Stronglyagree