El castillo cayó en desuso después de la misma refundación de la Villa y la propia construcción del "Palacio de la Encomienda" (1412).