Adversarial Doodlesを物理的な攻撃に応用する際には、いくつかの課題が存在する。まず、物理的な環境においては、描画の精度や一貫性がデジタル環境よりも難しいため、攻撃の効果が減少する可能性がある。人間が手描きで再現する際に、コンピュータ生成の落書きと正確に一致させることが難しく、これが誤分類の成功率に影響を与える。また、物理的な攻撃は、環境条件（光の反射、視覚的なノイズなど）や対象物の特性（色、形状、質感など）に大きく依存するため、これらの要因が攻撃の効果を変動させる可能性がある。さらに、物理的な攻撃は、攻撃者が意図しない目立ちやすさを伴うことが多く、攻撃の隠密性が損なわれるリスクもある。これらの課題を克服するためには、より洗練された描画技術や、環境に適応した攻撃戦略の開発が求められる。