En 1745 el edificio fue remodelado por el director del Ministerio, Emanuel Teles Count Silva-Tarouca, para que fuera su palacio.