Grofje Valle of Orizaba so hišo prodali odvetniku Martinezu de la Torreju leta 1871. Po Torrejevi smrti se je vselila družina de Yturbe Idaroff, zadnja, ki je stavbo ohranila kot zasebno rezidenco. Konec 19. stoletja je hiša izgubila 90 kvadratnih metrov na severni strani, da je naredila pot ulici 5 de Mayo. Leta 1881 je bilo zgornje nadstropje dano v najem Jockey Clubu, naj ekskluzivnejšemu družabnemu klubu med letoma 1880 in 1914, v spodnjem nadstropju pa je bila do leta 1914 ekskluzivna trgovina z ženskimi oblačili. Med mehiško revolucijo je zapatistična vojska (Osvobodilna vojska juga, špansko "Ejército Libertador del Sur, ELS") za kratek čas zasedla stavbo. Leta 1914 so privrženci Porfiria Díaza priredili banket v čast Victoriana Huerte v počastitev atentata na Francisca I. Madera po Decena Trágica (deset tragičnih dni). Ogorčeni Venustiano Carranza je nato leta 1915 zasegel posest in jo držal več mesecev. Prvotni lastnik, Francisco-Sergio de Yturbe, je uspel povrniti hišo v posest, preden so jo delavci, ki jih je najela vlada, končali s prenovo.