どうして他の方法よりもPromptKDが優れていると考えられるか？
PromptKDは、他の方法と比較して優れている点がいくつかあります。まず第一に、PromptKDは教師モデルから学習した知識を効果的に生徒モデルに伝達するためのprompt-driven imitationを活用し、大規模なCLIP教師モデルから軽量なターゲットモデルへの知識移行を可能にします。このプロセスではラベルの付いていないドメイン画像を使用し、従来の手法では利用されてこなかった未ラベルドメインデータから学習できる点が大きな利点です。
さらに、PromptKDはテキスト特徴量を共有クラスベクトルとして保存し再利用することで計算コストを削減しました。これにより、テキストブランチから追加の計算負荷が発生せず、訓練プロセス全体で重要なコンピューティングリソースを節約することが可能です。
最後に、PromptKDは11種類の認識データセットで実験を行いその効果を実証しており、先進的なアプローチや既存手法よりも高い性能向上率を達成しています。これらすべての要素が組み合わさって PromptKD の優位性が明確化されます。