指標比喩コーパスにおける印象評定情報を用いたLLMの指標比喩の理解能力評価

比喩表現とは，ある領域の概念構造を別の領域の理解に利用する表現である．例えば「雪のような肌」という用例では「雪」が喚起する白さや綺麗さといったイメージを「肌」に適用することで，肌の状態を具体的に描写できる．このような比喩表現は，円滑なコミュニケーションや言語表現の拡張など，さまざまな場面で用いられる．多様な自然言語処理タスクにおいて高い性能を示す大規模言語モデル（LLM）は，このような比喩を含む用例も大量に学習しているため，比喩を一定程度理解していると考えられている．一方で，一般話者がもつ比喩に対する直感的な感覚を，LLMがどの程度捉えられるのかを分析した研究は限られている．本研究では，加藤らによって作成された指標比喩の用例が収集されたコーパスであるBCCWJ-Simile[1,2]と，中村による『比喩表現の理論と分類』[3]の，加藤らにより電子化されたデータ[4]の一部を用いて，LLMが一般話者の比喩理解をどの程度持っているか評価した．これらのコーパスには一般人が持つ一般話者が抱く「比喩性」に対する印象評定がクラウドソーシングにより収集されている．そこで本研究では，この印象評定値をどれだけ正確に予測できるかを指標として，LLMの比喩理解能力を測定した．さらに，同じデータには「わかりやすさ」に関する印象評定も含まれているため，比喩の理解難易度をモデルが把握できるかについても併せて評価した．予測モデルには，日本語ModernBERT1）およびOpenAI社が提供する文章埋め込みモデルtext-embedding-3-large2）を用いた．