MLLMsの普及を阻む主な課題や制約はいくつかあります。まず第一に、MLLMsの高い計算コストと推論速度の遅さが挙げられます。特化型モデルと比較して、MLLMsは多くのリソースを必要とし、大規模な計算環境や時間が必要です。これは実用的な展開において障壁となり得ます。
さらに、MLLMsの透明性や解釈可能性の欠如も問題です。特化型モデルでは通常、その訓練方法や意思決定プロセスが比較的理解しやすく透明ですが、MLLMsはその内部構造が複雑でブラックボックス化しており、予測結果を正確に説明することが困難です。
また、現在の技術水準では一部のタスクにおいて特化型モデルの方が優れたパフォーマンスを示す場合もあります。したがって、全ての領域でMLLMsだけで完全に代替することは容易ではありません。
最後に、「過学習」や「タスク固有性」という問題も挙げられます。MLLMsは幅広い知識を持ち合わせていますが、ある特定タスク向けに最適化された専門知識を持つ特化型モデルよりも柔軟性に欠ける場合もあります。