El gobernador Pastor Obligado fue autorizado por la Legislatura a demoler el lado sur que daba sobre la actual calle Hipólito Yrigoyen y destruir las murallas y baluartes de todo el edificio, con el fin de poder construir la Aduana Nueva sobre terrenos ganados al río.