Fue numerosas veces restaurado y ampliado, posiblemente desde Alfonso X hasta Felipe II.