Debido a la muerte de éste, el palacio pasó a manos de diversos dueños durante gran parte del siglo XIX, siendo ocupado por varias familias acaudaladas y destacados personajes de la vida política de México.