La casa continuó en manos de los descendientes del Conde hasta el año de 1871, que fue habitada por la última descendiente del título del "Condado del Valle de orizaba", también en ese año se decide ponerla en venta, siendo adquirida por un abogado de apellido "Martínez de la Torre", el cual fue el dueño de la propiedad tan solo por seis años debido a su muerte, por lo cual el palacio es puesto en venta de nuevo pasando a manos de la familia Yturbe Idaroff, quienes fueron los últimos habitantes en darle un uso residencial al palacio.