Va patir els efectes del setge de 1714 i es va convertir en caserna. Més endavant, fou recuperada per a la ciutat i es va decidir modernitzar l'edifici. Joan Soler i Faneca fou qui, finalment, se n'encarregà. Les obres es van desenvolupar des del 1774 fins al 1802, i les van acabar els arquitectes Tomás Soler i Joan Fàbregas. D'aquesta ampliació cal esmentar el conjunt exterior que cobreix totalment el saló gòtic (saló de Contractacions), les sales neoclàssiques de la Junta de Comerç i el pati, on es conserva la font de Neptú, de Nicolau Travé.