Su actual estado ruinoso se debe al mandato de las Cortes de Toro en 1505, por el cual los Reyes Católicos ordenaron su derribo, precisamente en la época en la que se pretendía poner coto a las pretensiones de la nobleza.