歴史的フレームへの依存度が高い場合の潜在的な制限や欠点はいくつかあります。まず第一に、長期間追跡された場合でもモデルが新しい状況にうまく適応できない可能性があります。また、歴史的フレームだけに頼ってしまうと、「記憶喪失」現象が発生してしまう恐れもあります。つまり、新たな情報や状況へ柔軟かつ効果的に対応できず、「固定観念」から抜け出せなくなる可能性も考えられます。さらに大量の歴史的データを保持・処理する必要性からメモリ消費量や計算資源使用量が増加し、実装上問題として浮上します。