FMMS（Feedback-based Modal Mutual Search）の性能は、ターゲットモデルのアーキテクチャに大きく依存します。融合型モデル（例：ALBEFやTCL）は、テキストと視覚特徴を統合して一つの表現を生成するため、異なるモダリティ間の相互作用が強化されます。一方、整列型モデル（例：CLIP）は、各モダリティを独立して処理し、最終的に類似性スコアを用いてマッチングを行います。このため、FMMSは融合型モデルに対してより高い攻撃成功率（ASR）を示す傾向があります。これは、FMMSがマッチングペアの距離を増加させるだけでなく、ミスマッチペアの距離を減少させることによって、ターゲットモデルの特徴空間をより効果的に探索できるからです。したがって、ターゲットモデルのアーキテクチャの違いは、FMMSの攻撃性能に直接的な影響を与え、特に融合型モデルにおいてその効果が顕著に現れます。