Al igual que lo hicieron con otros monumentos de Cuéllar, como los conventos de San Francisco y La Trinidad o la iglesia de San Pedro, el castillo también fue víctima del robo y destrozo de los franceses.