Durante la época del Marqués de la Torre, sobre los escombros de la edificación se comenzó en 1776 la construcción de la Casa de Gobierno, la que se terminó en 1792, bajo el gobierno de don Luis de las Casas, convirtiéndose en la residencia de los gobernadores coloniales de la isla.