Obwohl die Integration von visuellen Informationen in NLP-Aufgaben viele Vorteile bietet, können auch potenzielle Nachteile auftreten. Ein mögliches Problem ist die Komplexität der multimodalen Modelle, die mehr Rechenressourcen und Trainingsdaten erfordern können. Die Verarbeitung von visuellen Daten kann auch zu einer erhöhten Latenzzeit führen, insbesondere wenn die Modelle auf großen Bildern arbeiten. Darüber hinaus kann die Integration von visuellen Informationen in NLP-Systeme die Erklärbarkeit und Interpretierbarkeit der Modelle erschweren, da die Entscheidungsfindung auf einer Kombination von Text und Bild basiert.