A principios del siglo XVIII, ni Felipe V ni el archiduque Carlos, en sus respectivas visitas a la ciudad, residieron el palacio, habitando el palacio del Virrey cerca del puerto.