Al trasladarse los dueños del castillo al municipio toledano de Torrijos, la fortaleza quedó sin uso y fue deteriorándose, aunque permaneció en la familia Cárdenas hasta el siglo , cuando se abolieron los señoríos.