Es durante el gobierno del Virrey Bernardo de Gálvez en 1785 que se construye en la cima del cerro nuevas y más confortables habitaciones para el virrey, además de obras de fortificación que terminaron por destruir la capilla de San Miguel, como lo es el camino de acceso a la cima, en cuya obra se destruyeron varios de los bustos labrados en la época Mexica, estas obras fueron motivo de murmuraciones de conspiración por parte del virrey para levantar el reino contra la Corona y hacerse nombrar Rey de la Nueva España.