在持續學習和知識遷移方面，MLLM面臨幾個關鍵挑戰。首先是“災難性遺忘”問題，這是指模型在學習新任務時，可能會忘記之前學習的知識。為了解決這一問題，研究者需要探索更有效的持續學習方法，如重播基礎、正則化基礎和架構基礎的方法，以確保模型能夠在不損失舊知識的情況下學習新知識。
其次，知識的整合和更新也是一個挑戰。當前的MLLM在處理過時或不正確的信息時，往往缺乏靈活性。知識編輯和檢索增強技術的應用可以幫助模型在推理過程中動態獲取外部信息，從而提高其在複雜任務中的表現。
此外，如何在有限的標記數據下進行有效的任務適應也是一個亟待解決的問題。研究者需要開發基於提示、適配器和外部知識的方法，以幫助模型在特定領域中更好地進行知識遷移和適應。