Al norte de la iglesia y dentro de unos terrenos bastante amplios denominados Castillazo, se encuentran las ruinas de la Universidad de Carlos II, un aljibe en lo que pudo ser el patio de armas contiguo al paseo de ronda de la basílica, y un solar donde estuvo el torreón del homenaje del castillo.