マルチモーダルLLMを活用した現実世界の状況認識に基づく運動モデリング

日本の生産年齢人口の減少が世界の中でも著しく進んでいる．2032年には7000万人を割り、2070年には4535万人となり、ピークの5割の水準まで減少すると予測されている[1]．特に製造業は日本の国内総生産の2割を占めている主要産業であるが[2]、2030年には38万人の人手が不足すると言われている[3]．人手不足・技能継承などの問題に対して、効率的な物理シミュレーションの活用などによる迅速な対応が求められており、様々なデジタル技術の導入が進められている[4]．物理シミュレーションの一例として故障診断が挙げられるが[5]、従来のシンボリックなシステムでは、想定外の現象に対応するために事前に全ての知識を用意することが困難であった．そこで、MLLMを応用させることが期待される．従来は、大学入試センター試験物理のような必要な情報が与えられる模式的な問題に対して、「ロボッた内容である）トは東大に入れるか」プロジェクト（東ロボ）のように人手を介入させて回答を生成する必要があった[6]．一方で、MLLMは人手を介入させることなく概ね正しい説明を生成することが可能になってきている．実際に、故障診断を例にMLLMを用いてモデルを構築している例が複数存在している[7,8]．しかし、MLLMの物理世界とその法則を理解する能力には限界があり、物理法則を適切に組み合わせて正しく物体の挙動推定を行うことは容易ではない．[9]は、我々が無意識に理解しているものは重力で落ちるなどの直感的物理の理解がMLLMにとって困難であることを示している．一方で、現実世界の空間的な関係性と物理的な法則に関する情報を含む追加データを用いて学習させるフィジカルAIの研究が進められており[10]、現実の物理的な世界を認識、理解して複雑な行動ができるようになることが期待されている．しかし、我々はニューロシンボリックAIの考え方に基づき[11]、MLLMを用いて推論に必要な情報を上手く抽出し、シンボリックなシステムと組み合わせて網羅的かつ汎用的なモデルを構築する方針が効果的であると考えている．我々は、MLLMに問題に関連する物理法則を列挙させるとともに、東ロボで用いられていたModelicaのような物理シミュレーターの実行可能なコードを生成させる手法を提案している[12]．しかし、現実世界の物理現象の問題を扱うためには、画像などのマルチモーダルな情Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ロックの配置パターンは次の3つである．(i)斜面中央に配置されており茶色の木製ブロックと接触する、(ii)斜面左部に配置されており茶色の木製ブロックと接触しない、(iii)斜面右部に配置されており茶色の木製ブロックと接触しない．各42件で合計126件用意した．なお、オレンジ色のブロックの色は様々な色の画像を用意している．(3)spring-h-slope：(1)と(2)を合わせたもので、合計234件用意した．(4)spring-hv：(1)のspring-hの各データに関して時計回りに90度回転させて縦方向の減衰運動を行うデータを追加したもので、合計216件用意した．(5)spring-hv-slope：(3)のspringの各データに対して時計回りに90度回転させて縦方向の減衰運動を行うデータを追加したもので、合計342件用意した．(6)spring-mini：(1)のspring-hの各データに対して、(iv)、(v)の配置パターンのデータを削除し、(i)(iii)の配置パターンのデータのみを抽出してそれぞれ90度、180度、270度回転させたものも追加したものであり、合計280件用意した．3.2実験設定本実験では、AppleM3Ultraチップ（32コア：24performancecores、8eﬃciencycores、512GBのユニファイドメモリ）のAppleMacStudioを使用してMLLMのファインチューニングを行った．MLLMはhuggingfaceのmlx-community/Llama-3.2-11B-Vision-Instruct-4bitを使用し、これに対して、MLX-VLM2）を用いて3.1節で説明した6つのデータセットをそれぞれ別々に用いてQLoRA[13]を行った．ハイパーパラメータについてはMLX-VLMのデフォルトのままに設定した（learning-rate：1e-5、batch-size：1、lora-rank：10、lora-alpha：0.1、lora-dropout：0.1、steps：0）．エポック数について、spring-h、slope、spring-h-slopeそれぞれを用いた学習は5エポック、spring-hv、spring-hv-slopeそれぞれを用いた学習は2エポックの学習を行った．これは、それぞれのデータセットのデータ数を考慮して、学習データ数*エポック数に差が出ないようして結果を比較するためである．なお、spring-miniは最もデータ数が多いが、直接的に他の学習結果との比較を行わず、5エポック学習を行った．テストデータはspringの問題に関するものを合計30件用意した．ばねとの接触2）https://github.com/Blaizzy/mlx-vlmを問う物体として青い布、白い紙、透明なクリアファイルがそれぞれ配置された画像について、それぞれ5つの配置パターンを想定した合計15件と、それらを90度時計回りに回転させたものの15件を合わせて合計30件を使用した（spring-miniで学習した場合のみ、3つの配置パターンの合計9件をテストデータとして使用した）．ばねに取り付けられている物体はオレンジ色の消しゴムのみに統一してある．評価指標については、ばねが布や紙、クリアファイルに接触する場合をTrue、接触しない場合をFalseとして、適合率（Precision）、再現率(Recall）、F1値を用いて評価した．また、学習前のモデルでテストデータに対して1回推論させた結果についても評価した．なお、本実験では全てtemperatureを0.0に設定して推論を行った．3.3結果・考察学習結果は表1および表2のようになった．表1に関して、PrecisionをP、RecallをR、F1値をF1と表記しており、各指標について分母の値が0になった場合は0として扱った．また、表2についてはテストデータを次の種類に分類して集計した（「接触」：ばねと布や紙、クリアファイルが接触する問題．「方向」：布や紙、クリアファイルがばねの運動方向線上に配置されておらず接触しない問題．「距離」：ばねと布や紙、クリアファイルとの距離が大きく，接触しない可能性が大きい問題）．学習前のモデルについては全ての評価指標において0.000となり、ばねと布や紙との接触について考慮していない結果となった．また、基準として全ての問題に対して接触するという内容の回答を生成した場合、Precisionは0.200、Recallは1.000、F1値は0.333となった．これをベースラインとする．まず、springの問題のみを学習した場合の結果について考察する．spring-hで横方向のばねの運動に関する問題を学習した結果、横方向のばねの運動に関する問題に対するF1値がベースラインを上回り、学習によってばねと布や紙との接触を考慮するようになったと考えられる．しかし、縦方向のばねの運動に関する問題に対してはF1値が低いことから、学習した問題のばねの運動方向と一致しない問題に対する推論性能が低いと考えられる．一方、縦方向のばねの運動に関する問題も含むspring-hvを学習した結果、縦方向・横方向の問題の両方に対する各評価指標についてspring-h以上のスコアとなっorg/licenses/by/4.0/).ばね横方向ばね縦方向学習データPRF1PRF1学習前0.0000.0000.0000.0000.0000.000全て接触0.2001.0000.3330.2001.0000.333spring-h0.2860.6670.4000.2500.3330.286spring-hv0.3330.6670.4440.2860.6670.400slope0.0000.0000.0000.0000.0000.000spring-h-slope0.2000.6670.3080.5000.6670.571spring-hv-slope0.2731.0000.4290.2000.6670.308spring-mini0.4000.6670.5000.2500.3330.286た．縦方向の運動に関するデータも学習させることで横方向、縦方向の運動に対する推論能力が向上したと考えられる．そのため、運動方向に関する推論能力は学習したデータセットの問題の運動方向の影響を受けていると捉えることができる．このことからも、MLLMが与えられた問題に対して類似した事例をもとに回答を生成しており、情報を適切に捨象して物理法則をもとに物理現象を推論することに対して課題があると考えられる．次に、slopeの問題も学習した場合の結果について考察する．slopeのみで学習した結果、各評価指標のスコアは著しく低かった．実際にばねが振動するという単一の内容が多く出力されており、接触に関して特に考慮できているとは考えられなかった．よって、ばねと斜面の運動のように、テストデータで扱う運動とは異なる運動について学習させただけでは十分な効果が期待できないと考えられる．一方、slopeに加えてばねの横方向の運動の問題を含むspring-h-slopeを学習した結果、縦方向・横方向のばねの運動の問題に対して共にスコアが向上した．特に、縦方向の問題に対してspring-hとspring-hvのスコアよりも向上している結果となった．斜面上を滑り落ちる木製ブロックの運動方向は縦方向であったため、横方向のばねの問題と合わせて学習することで、両方向に関する問題に対しても接触を上手く認識することができるようになったと考えられる．さらに縦方向のばねの運動の問題も含まれるspring-hv-slopeを学習した結果、spring-h-slopeの結果と比較して縦方向の問題に対するスコアが悪化したが、横方向の問題に対するスコアが向上し、両スコア間の差が縮まった結果となった．最後にspringの問題のみに注目し、布の配置パターンを単純化したspring-miniを学習した結果につばね横方向ばね縦方向学習データ接触方向距離接触方向距離spring-h0.6670.3330.0000.3330.7780.000spring-hv0.6670.5560.3330.6670.6670.000slope0.0000.0001.0000.0000.0001.000spring-h-slope0.6670.1110.0000.6670.7780.000spring-hv-slope1.0000.0000.0000.6670.0000.000slope-mini0.6670.222-0.3330.222-いて考察する．横方向の運動の問題に対するスコアが高くなり、縦方向のスコアとの差が開いた結果となった．ばねが布や紙に届かない問題と、ばねや布が2枚ある問題を除外したが、これらの問題はいずれも特に正しく接触を認識できた数が少ない問題であったため、今回のスコアが向上した可能性がある．しかし、縦方向、横方向に加えて、さらに180度、270度時計回りに回転させた運動方向の問題について学習したにも関わらず、なぜ横方向と縦方向でスコアの差が開いたのか、さらに検証する余地がある．また、問題のパターン数を減らしたにも関わらず、接触するという内容の出力を多く生成し、接触しない問題と区別することが難しかったことについて、さらなる実験により検証したい．同時に、エポック数や学習データの内容、量などの学習方法についても改善を検討する．4おわりに本研究では、様々なデータセットを用意してMLLMにファインチューニングを施して比較実験を行うことで、MLLMの物体の運動方向に関する情報の捨象する能力にどのような課題があるのかを示した．MLLMに学習させる物理現象の種類や物体の運動方向などの特徴によって、物体の運動方向を認識して物体の接触を考慮した説明を生成する能力が変化することを確認できた．本研究を受けて、実験手法の改善やさらなる学習データセットの構築により比較を進めて、MLLMが現実世界における多様な状況を認識して情報の捨象を適切に行えるよう、さらなる発見につながることを期待する．参考文献[1]日本経済新聞.生産年齢人口とは日本は5割台後半、g7最低,2025.https://www.nikkei.com/article/DGXZQOUA145KM0U5A410C2000000/最終アクセス:2026-01-01.org/licenses/by/4.0/).