大規模言語モデルにおける語彙関数知識の類推推論による検討

機械学習と自然言語処理の分野において、類推タスクはモデルの言語理解能力および言語生成能力を評価するための重要な手法の一つと見なされてきた。類推関係の課題では、モデルが適切な解を推論することで、語彙内に存在する単語関係に対するモデル理解度を検討できる。有名な例として、「王」と「妃」の関係が「男性」と「女性」の関係に等しいということに基づき、モデルに「男性：女性：：王：x」のような課題を与えた際、「妃」を出力できれば、モデルが複雑な言語現象を適切に処理できていると結論付けられる。そして、モデルが語彙関数SonやAntiを処理する際に異なる挙動を示すことや、多言語環境での処理に違いが見られることが挙げられる。類推タスクは、語彙の理解において重要な役割を果たすだけでなく、モデルの汎化能力や言語横断的な転移学習能力の評価にも寄与しており、より高度で適応性のある自然言語処理システムの構築においても重要な役割を担っている。本論文は、オープンソースの大規模言語モデルが類推課題において、どのような性能を示すかを探求することを目的とし、意味・テキスト理論[1]の枠組みを用いて評価する。具体的には、異なる語彙関数に対して多言語での類推タスクを実施し、それらの正確性や相関性を比較する。本研究を通じて、異なる言語モデルや語彙関数が類推結果に及ぼす影響を説明し、今後のモデル設計と最適化への支援をを提供することを目指す。また、モデルに中国語と日本語のデータセットを処理させ、異なる言語間における汎化能力を評価する。