Fue habitado por los descendientes de la familia condal hasta recién consumada la Independencia de México (comienzos del siglo XIX), cuando la propiedad fue adquirida por varios personajes destacados del país, hasta cambiarle su uso residencial, que es cuando el inmueble llegó a convertirse en la sede del conocido Jockey Club de México (1881), y posteriormente y por un breve periodo en la Casa del Obrero Mundial.