Durante el periodo virreinal fue la residencia principal de los Condes del Valle de Orizaba, y uno de sus descendientes ordenó revistirle todo su exterior de azulejos en el siglo XVIII, con los trabajos en cantera de los balcones y molduras, que es como llegó el edificio a nuestros días.