マルチモーダルLLMを活用した現実世界の状況認識に基づく運動モデリング

近年のマルチモーダル大規模言語モデル(MLLM)の発展に伴い、大学入試センター試験レベルの物理の問題について、模式化された絵から得られる情報なども活用しながら物理法則に基づいた適切な式を立てて説明を行うことが可能となっている．しかし、MLLMは人間と異なり、現実の状況を示す写真と模式化された絵の対応関係を認識することは簡単ではない．そのため、写真による状況説明では、模式化した絵と異なり、適切な立式による運動の分析ができないことがある．本論文では、簡単なばねや斜面の摩擦のある運動の初期状態についての画像から、MLLMがどのように状況を理解するかを分析するともに、ファインチューニングにより適切に状況を認識した説明を生成できるかについて検証した．