本研究の目的は、意味・テキスト理論で定義されている語彙関数が、大規模言語モデルにおいてどの程度習得されているかを評価することである。複数のオープンソース大規模言語モデルを対象に、特定の語彙関数に関連するデータセットを用いたタスクを実行し、それらの正確率を統計的に分析した。実験結果から、大規模言語モデルは異なる語彙関数に対して正確率に明確な差があることを示した。このことは、モデルが異なる意味関係を理解する能力に違いがあることを示唆している。また、大規模言語モデルのサイズと正確率には強い相関関係が見られることも明らかになった。

機械学習と自然言語処理の分野において、類推タスクはモデルの言語理解能力および言語生成能力を評価するための重要な手法の一つと見なされてきた。類推関係の課題では、モデルが適切な解を推論することで、語彙内に存在する単語関係に対するモデル理解度を検討できる。有名な例として、「王」と「妃」の関係が「男性」と「女性」の関係に等しいということに基づき、モデルに「男性：女性：：王：x」のような課題を与えた際、「妃」を出力できれば、モデルが複雑な言語現象を適切に処理できていると結論付けられる。そして、モデルが語彙関数SonやAntiを処理する際に異なる挙動を示すことや、多言語環境での処理に違いが見られることが挙げられる。類推タスクは、語彙の理解において重要な役割を果たすだけでなく、モデルの汎化能力や言語横断的な転移学習能力の評価にも寄与しており、より高度で適応性のある自然言語処理システムの構築においても重要な役割を担っている。本論文は、オープンソースの大規模言語モデルが類推課題において、どのような性能を示すかを探求することを目的とし、意味・テキスト理論[1]の枠組みを用いて評価する。具体的には、異なる語彙関数に対して多言語での類推タスクを実施し、それらの正確性や相関性を比較する。本研究を通じて、異なる言語モデルや語彙関数が類推結果に及ぼす影響を説明し、今後のモデル設計と最適化への支援をを提供することを目指す。また、モデルに中国語と日本語のデータセットを処理させ、異なる言語間における汎化能力を評価する。