A principios del siglo XX se decidió el derribo del castillo por sus propietarios, que iniciaron el mismo por el torreón noroeste para aprovechar el magnífico material de madera existente en sus vigas y artesonado, consiguiendo vender uno de ellos, el de la torre sudeste, el cual, está colocado en un palacio de Torrelodones actualmente.