言語モデルにおける語と色の連想関係のアライメント

「りんご」から赤色を連想し，「冷たい」から青色を連想するように，その言葉が具体的か抽象的かにかかわらず特定の色のイメージを喚起することがある．このような語と色の連想関係は，情報提示や可視化においてメッセージ理解を助けたり感情反応を誘発したりする要因になっている[1]．語と色の連想関係を扱う先行研究として，Mohammadはクラウドソーシングにより英語の大規模な語–色連想データを構築した[1]．Harashimaらはこれを日本語へ拡張し，2,903語の語–色連想関係を収集するとともに，語を文脈付きで提示した場合と文脈なしで提示した場合を比較した[2]．また，語と色の対応を人手回答ではなく実世界から推定する試みとして，書籍の表紙画像に含まれる文字の色から単語ごとの色分布を推定した研究[3]やWeb上の画像をもとに語から連想される色を推定する研究[4]も報告されている．近年は，大規模言語モデル（LLM）や視覚言語モデル（VLM）が人間の語–色連想をどの程度再現するかの検証も進みつつあり，Fukushimaらは日本語80語に対する人間の回答とGPT系列モデルの回答を比較した[5]．⾊のトークンの⽣成確率質問Whatcolorisassociatedwiththe“hot”?Pleaseanswerwithcolornamesonly.平均逆順位LLMやVLM(MRR)Red⼈間のデータこれらの先行研究を踏まえ，本研究には次の2つの新規性がある．(i)より大規模な英語の語–色連想データを用いて，LLM/VLMがもつ連想傾向を人間の傾向と比較する点，(ii)比較にとどまらず，人間の連想傾向を追加学習させた場合の下流タスクへの影響を検証する点である．本研究は言語モデル内での語と色の連想関係に関して，次の2つのリサーチクエスチョンを設定する．(1)モデルのサイズやLLM/VLMの違いが，人間の語–色連想との一致度にどのように影響し，また一致しやすい語にはどのような特徴があるのか．(2)人間の語–色連想関係をモデルに追加学習させることで，語が喚起する感覚的イメージの理解が補強され，人間の感性が強く影響するタスク（例：感情分類，比喩の意味理解）の性能向上につながるのか．実験の結果，(1)に関してサイズ別やLLMとVLMの比較から人間の連想関係と一致しやすいモデルの一貫した特徴は見られなかった．しかし，語の特性に基づいた分析から，形容詞や具体的な語は人間の連想傾向と一致しやすいということがわかった．また(2)に関して，人間の語–色連想を学習させることで，学習前と比較して感情分類および比喩の意味理解タスクの性能が向上することを確認した．