Posteriormente fue elegido como palacio de la Regencia durante el asedio de las tropas napoleónicas. Durante la invasión francesa de los Cien mil hijos de San Luis (1823), en la última planta del edificio estuvo "cautivo" el rey Fernando VII hasta su liberación. Durante la proclamación del Cantón de Cádiz en su lugar comienza a funcionar la Junta General del Gobierno Provincial, presidida por Juan Bautista Topete.