En primera instancia se observa que las primeras trazas que se conservan de Juan Bautista de Toledo proponían un edificio con una imagen muy diferente al que se construyó definitivamente: torres en la mitad de las fachadas laterales (las huellas de la Torre de la Biblioteca aún son visibles en la fachada que da al Jardín, ya que se construyó en vida de Juan Bautista) y dos torres más en la portada principal, donde el Patio de Reyes quedaba abierto y dejaba ver en el fondo la portada de la Basílica.