大規模言語モデルの音象徴ベンチマーク

大規模言語モデル（largelanguagemodel;LLM）は，高い水準で自然言語を理解し生成する能力を示している．しかし，その理解・生成の過程にはブラックボックス的な側面があり，その振る舞いをどのように説明するかが重要な課題となっている[1]．こうした状況を踏まえ，LLMの言語処理が，人間と比べてどのような点が共通し，どのような点が異なるのかを体系的に調査することは極めて重要である[2]．そうして得られた知見は，LLMが人間社会にどのように関わり得るのかを考えるための基盤となる[3]．また，LLMと人間の差異の分析は，「人間の言語学習から得られる洞察は，言語モデルの改良にどのように活かせるか？」といったBabyLM[4]のような研究動向とも密接に関連する．人間の言語処理において特徴的な要素のひとつに音象徴（soundsymbolism）がある[5]．音象徴とは，語の音形がその意味と体系的に結びつく現象であり，例えばブーバ・キキ効果[6]では，角ばった形には「kiki」，丸い形には「bouba」という名前を結びつける傾向があり，様々な言語地域でこれが実証されている．音象徴は生物学的・身体的に基づく言語非依存な要素と，言語体系や文化的習慣から現れる言語依存な要素があり，秋田らは，それらを言語発達及び言語進化の両方において現れるアイコニシティリングモデルとして説明している[7]．また，今井ら[8]は音象徴ブートストラッピング仮説（sound-symbolismbootstrappinghypothesis）を提唱し，音象徴が乳児・幼児の語彙学習を多様な方法で支えると主張した．これは発達心理学，脳科学においての多くの実証研究[9,10,11]により支持されており，音象徴は人間の言語獲得において重要な役割を持つ可能性が示唆される．本研究では，音象徴が言語モデルにおいて現れるかどうかを検証するためのベンチマークを提案する．具体的には，無意味語が文中でどのように用いられているかに基づき，音象徴的に整合する文と整合しない文からなるミニマルペアのデータセットを構築する．そして，言語モデルがいずれの文に対してより高い尤度を割り当てるかを評価する．音象徴の具体的事例は多岐に渡るが，今回はその中の一つである象徴素（phonestheme）1）について検証する．本ベンチマークにより，言語モデルが音象徴をどのようにとらえるのかを明らかにし，人間との差異を検証できる．これにより，音象徴のうち，当該言語の体系に内在する要因と，言語非依存な音声やマルチモーダル処理に由来する要因とを分離して捉えるための新たな視座を提供する．また，この評価セットを，言語モデルの人間らしさを評価する指標の一つとして提案する．